i.MX8MファミリにISPと機械学習アクセラレーションを追加する

i.MX 8M Plusアプリケーションプロセッサがエッジコンピューティングを可能にし、産業タスクを含むさまざまなアプリケーションの機械学習を高速化する方法を学びましょう。

クラウドコンピューティング、エッジコンピューティング、およびビジョンベースのシステムは、ますます多くの産業用システムと消費者向けシステムを同様に引き継いでいます。さらに、最新のシステムの多くは、機械学習と人工知能を使用してユーザーエクスペリエンスを向上させています。このアプローチでは、多くの場合、組み込みシステムの設計者は、これらすべてのタスクを実行するために、さまざまな異なるSoCと専用プロセッサを利用する必要があります。

ただし、NXPは別のアプローチを取ることを決定し、画像信号プロセッサ（ISP）、機械学習アクセラレーション用のニューラルプロセッシングユニット（NPU）、およびMPUをすべて1つのデバイス（高度なi.MX 8M Plus）に統合しました。アプリケーションプロセッサ。

図1。 i.MX 8MPlusアプリケーションプロセッサ。

クラウドコンピューティングとエッジコンピューティング

i.MX 8M Plusアプリケーションプロセッサがエッジコンピューティングに強力なソリューションを提供する理由を理解するには、ある程度のコンテキストが必要です。

クラウドコンピューティングとは、ユーザーのネットワークの範囲外にあるコンピューターシステムリソースのオンデマンドの可用性を指します。これらのリソースはどのようなものでもかまいません。ただし、これらは通常、要求の厳しいタスクの実行やデータストレージに使用されます。

多くの場合、クラウドベースのデータセンターは単一のユーザーまたは組織に限定されていません。代わりに、リソースはすべてのユーザー間で共有されます。通常、パブリッククラウドサービスは従量課金モデルを利用します。つまり、不要なデータやノイズの多いデータがクラウドで処理するためにアップロードされると、コストが急速に増加する可能性があります。

そこで、エッジコンピューティングが役に立ちます。エッジコンピューティングは、ユーザーとクラウドの間にいくつかのリソースをネットワークの範囲内に配置します。ただし、通常、すべての計算がエッジで実行されるわけではありません。代わりに、エッジのリソースを利用してデータをフィルタリングし、不要な要素をクラウドにアップロードして不要なコストを発生させる前に破棄します。多くの場合、機械学習とAIを使用して結果を自動的に分類し、関連情報のみをクラウドにアップロードします。

ただし、クラウドを完全に省略して、すべての機械学習推論をエッジプロセッサ（たとえば、いくつかの利点があるi.MX 8M Plusアプリケーションプロセッサ）でローカルに実行することもできます。

クラウドコンピューティングよりもエッジコンピューティングを使用することの潜在的な利点

エッジコンピューティング（i.MX 8M Plusによって提供されるものなど）は、クラウドコンピューティングに比べて、より綿密に検討する価値のある多くの可能な利点を提供します。

コスト要因とは別に、クラウドにアップロードされるデータを減らすと、ネットワークトラフィック全体も減り、ネットワークに依存する他のアプリケーションの速度が上がる可能性があります。これにより、プロセッサが特に専念するタスクの効率が向上するだけでなく、他の補助的なアクティビティや優先順位のために重要なリソースが解放されます。

次に、推論をローカルで実行するということは、クラウドサービスがオフラインの場合やネットワーク接続が中断された場合でも、アプリケーションが機能し続けることができることを意味します。これは、特にセーフティクリティカルなユースケースだけでなく、ホームセキュリティデバイスなどの他の接続されたアプリケーションにとっても重要な要素になる可能性があります。

さらに、このソリューションは、クラウドサービスの利用と比較して、より良いレイテンシーとより短い応答時間を提供します。たとえば、工場の床の目視検査やその他のタイムクリティカルなアプリケーションを実行する場合は、低遅延が重要です。

最後に、ユーザーのプライバシーも考慮すべきもう1つの要素です。すべての外部サービスは、機密データを処理する際の潜在的なセキュリティリスクです。したがって、重要な情報をユーザーのネットワークの範囲内に保つことで、アプリケーション全体のセキュリティを強化できます。これは、産業ユーザーにとって重要であるだけでなく、たとえば音声アシスタントを使用する場合や、個人のビデオや画像ファイルを操作する場合など、個人ユーザーや顧客にとっても重要です。

どのくらいの機械学習パフォーマンスが必要ですか？

クラウドコンピューティングでは、機械学習のパフォーマンスは通常、問題や制限要因ではありません。ただし、これらの操作をエッジで実行する場合、問題はどれだけの電力が必要かということです。機械学習のパフォーマンスを測定する一般的な方法はTOPSです。これは、1秒あたりの兆（テラ）演算の頭字語であり、その名前が示すように、1秒あたりの（通常は8ビット整数の乗算または累積）演算の数を指します。 。ただし、全体的なシステムパフォーマンスは、さらに多くの要因に依存します。それでも、TOPSは、機械学習システムのパフォーマンスをすばやく比較するためによく使用されます。

エッジでの完全な音声認識（キーワードスポッティングだけでなく）には、およそ1〜2TOPSのシステムパフォーマンスが必要であることがわかります。実際の要件は、採用されているアルゴリズムと、ユーザーの発言を理解することが重要かどうかに大きく依存します。別の例として、毎秒60フレームでのオブジェクト検出には、Yolov3などのアルゴリズムを使用する場合に約2〜3個のTOPSが必要です。

エッジでの処理と機械学習の関連性が高まるにつれ、NXPはi.MX 8M Plusアプリケーションプロセッサに約2.3TOPSのパフォーマンスを備えた機械学習アクセラレータを追加しました。これにより、さまざまな産業タスクやその他の多くのタスクに十分に対応できます。外部のクラウドベースのサービスを採用する必要のないアプリケーション。

図2。 i.MX 8M Plusアプリケーションプロセッサは、外部のクラウドベースのサービスを利用するさまざまな産業用タスクに十分に対応しています。

i.MX 8MPlusは組み込みビジョンベースのシステムに対応しています

これまで、この記事では、カメラが機能する必要があるアプリケーションのさまざまな例について説明しました。そのうちの1つは、自動光学検査の後に生産ラインの最後で欠陥のある部品を廃棄するビジョンベースのシステムでした。このようなシステムはすべて、カメラからの画像などの視覚的な入力を必要とします。 ISP機能は、すべてのカメラベースのシステムに存在します。多くの場合、画像信号プロセッサは、カメラ自体などの外部デバイスに存在し、ユーザーから隠されています。このようなISPは通常、いくつかの異なる画像の最適化とフィルタリングのタスクを処理します。

多くの場合、たとえば単純なUSB Webカメラを使用している場合は、専用のISPを使用せずに逃げることができます。次に、ISPは通常、カメラにすでに組み込まれています。これにより、ユーザーが気付くことなく、必要なすべての変換が実行されます。

ただし、このようなISPには制限があり、通常、最大2メガピクセルの解像度で適切に機能します。さらに、ISPに対する制御の欠如、複雑さの追加、および消費電力の追加は、場合によっては問題になる可能性があります。

2MP（1080p）よりも高い画像解像度が必要な場合、組み込みシステムの設計者は外部ISPを利用できます。これにより、システムの全体的な複雑さと消費電力が増加します。または、設計者は、i.MX 8MPlusなどの組み込みISPを備えたアプリケーションプロセッサを使用することもできます。このアプローチは、システムの複雑さを増すことなく、特に2メガピクセル以上の解像度で最適化されたイメージングソリューションを提供します。

概要

エッジコンピューティングには、クラウドコンピューティングに比べていくつかの魅力的な利点があり、将来、仕事、生活、余暇の過ごし方を変える可能性があります。いくつかの利点には、信頼性、スケーラビリティ、セキュリティの向上、および遅延の減少が含まれます。

NXPは、i.MX 8M Plusアプリケーションプロセッサを使用して、最新のアプリケーションをエッジで実現する2つの要素を組み合わせています。この新しいMPUは、数多くの革新的な産業用デバイスと消費者レベルの製品の開発を促進します。これには、高解像度の入力データを必要とする最新のビジョンベースのシステムを構築するためのISPが含まれています。

ISPからの画像情報を組み込みのNPUに直接フィードして、他のタスクのためにCPUを空けたまま、画像データに依存する高速アプリケーションを実現できます。さらに、i.MX 8M Plusアプリケーションプロセッサは、一見の価値のある他のいくつかの機能を提供します。たとえば、時間に敏感なネットワークを備えたイーサネットコントローラ、ECCをサポートするDRAMコントローラ、およびさまざまなコアのさまざまな異なるコアです。アプリケーション。

i.MX 8M Plusアプリケーションプロセッサを使用すると、スマートホームハブ、インテリジェントな建物制御、または産業用アプリケーションのいずれであっても、エッジでのハイパワービジョンベースのアプリケーションの可能性はほぼ無限に広がります。

業界記事は、業界パートナーが編集コンテンツに適さない方法でAll About Circuitsの読者と有用なニュース、メッセージ、テクノロジーを共有できるようにするコンテンツの形式です。すべての業界記事は、読者に有用なニュース、技術的専門知識、またはストーリーを提供することを目的とした厳格な編集ガイドラインの対象となります。業界記事で表明されている見解や意見はパートナーのものであり、必ずしもAll AboutCircuitsやそのライターのものではありません。