Armは、アプリケーションプロセッサにニューラル処理IPを提供します

Armは、アプリケーションプロセッサのCortex-A CPUコアと一緒に使用するのに適したmicroNPU（ニューラルプロセッシングユニット）IPの新しいバージョンを作成しました。リードライセンシーNXPは、ポーズ推定、ビデオでの多面認識とオブジェクト検出、基本的なキーワードスポッティング以外の音声認識などのAIアプリケーションを処理できるアプリケーションプロセッサの今後のファミリでこのIPを使用することを計画しています。

エートス-U65

2020年2月に発売されたArmの既存のmicroNPU製品であるEthos-U55は、Cortex-Mコアと並んでマイクロコントローラークラスの製品を対象としています。最大0.5TOPSの加速（16または7 nmなどのより小さな形状に基づいて1 GHzで動作）を提供し、3〜256の積和演算ユニット（MAC）を備えています。 Armのポートフォリオには、それぞれ4、2、1のTOPSを提供するEthos-N77、N57、N37もあります。

Ethos-U65は、Ethos-U55の電力効率を維持しながら、使用可能なMACを2倍（1GHzで最大512の並列MAC）、合計1つのTOPSにするように設計されています。この電力とパフォーマンスの組み合わせは、特にアプリケーションプロセッサクラスのデバイスでCortex-Aコアと一緒に使用するためのものです。 Armによると、MLオペレーターに対するEthos-Uラインのネイティブサポートも更新および拡張されています。

リードライセンシー

リードテクノロジーパートナー（およびリードライセンシー）NXPは、Ethos-U65のシステムレベルの側面を定義する上でArmと緊密に協力し、Ethos-U65IPを次世代のi.MXアプリケーションプロセッサに統合すると述べています。

microNPUを搭載したアプリケーションプロセッサ用にNXPが考案したアーキテクチャは、Cortex-AコアとCortex-Mコアの両方を使用します（画像：NXP）

NXPがAIアプリケーションプロセッサ用に念頭に置いているアーキテクチャでは、Ethos-U65microNPUがCortex-MおよびCortex-Aコアと並んで配置されているとNXPのAI / MLハードウェアのチーフエンジニアであるBenEckermannは説明しています。 Cortex-Aはアプリケーションを実行し、（たとえば）マイクまたはカメラのドライバーを処理し、NPUにワークロードを提示します。 microNPUとCortex-Mは機械学習のワークロードを計算し、その答えをCortex-Aに返します。

「Ethos-U55と同様に、[Ethos-U65]は、完全にオフロードする意味がないニューラルネットワークからの機械学習オペレーターがいる場合に備えて、システムの近くにあるCortex-Mプロセッサに依存しています。ハードウェアで」とEckermann氏は述べています。 「めったに呼び出されず、純粋にハードウェアに実装することを正当化しない可能性のある機械学習演算子がたくさんあります。」

この構成でCortex-Mが提供する柔軟性により、ある程度の将来性も可能になるとEckermann氏は述べています。

U65にはU55よりも広い内部システムバスが与えられており、DRAMに関連する余分なバッファリングと遅延に対処するように調整されています（アプリケーションプロセッサを使用するシステムでは一般的ですが、Cortex-Mシステムは通常SRAMを使用します）。

ポートフォリオの作成

NXPは、AI対応SoCのポートフォリオに記入しています。

同社が以前に発表したi.MX8M +アプリケーションプロセッサには、デュアルまたはクアッドCortex-A53コアに加えてNPUAIアクセラレータブロックが搭載されています。これらの製品に含まれているNPUIPはArmのものではありません。これは、シーンのセグメンテーション、ライブビデオの顔とオブジェクトの認識、または音声アクセントの解釈に十分な2.3TOPSを提供するVerisiliconデザインです。スペクトルの下限では、Arm Ethos-U55 NPUを備えたNXPのマイクロコントローラーは、人物の検出、ウェイクワードの検出、およびビデオのノイズ除去を処理できます。

Ethos-U65対応製品は、これら2つの製品カテゴリの中間に位置し、多顔認識、より複雑な音声認識、ポーズ推定などのAIアプリケーションを処理します。したがって、このカテゴリの新製品はi.MX 8M +と重複しないとEckermann氏は述べています。

さまざまなAIアプリケーション（x軸）と対応するNPU（画像：NXP）に必要な計算量

>>この記事はもともと姉妹サイトのEETimes。