専用プロセッサがエンドポイントAIワークロードを加速します

AIおよびMLアプリケーションの高速化はまだ比較的新しい分野ですが、ほとんどすべてのニューラルネットワークのワークロードを高速化するためにさまざまなプロセッサが登場しています。プロセッサの巨人から業界の最新の新興企業まで、すべてが異なるものを提供します。それがさまざまな垂直市場、アプリケーション領域、電力予算、または価格帯を対象としているかどうかは関係ありません。これが今日の市場のスナップショットです。

アプリケーションプロセッサ

Intel Movidius Myriad X
2016年にIntelに買収されたアイルランドのスタートアップMovidiusによって開発されたMyriadXは、同社の第3世代のビジョン処理ユニットであり、専用のニューラルネットワークコンピューティングエンジンを搭載した最初のユニットであり、1秒あたり1テラの操作（TOPS）を提供します。ディープニューラルネットワーク（DNN）コンピューティング。ニューラルコンピューティングエンジンは、データ転送時のメモリのボトルネックを回避するために、高スループットのインテリジェントメモリファブリックと直接インターフェイスします。 FP16およびINT8の計算をサポートします。 Myriad Xは、16個の独自のSHAVEコアのクラスターと、アップグレードおよび拡張されたビジョンアクセラレータも備えています。

Myriad Xは、IntelのNeural Compute Stick 2で利用でき、事実上、USBサムドライブの形式の評価プラットフォームです。任意のワークステーションに接続して、AIおよびコンピュータービジョンアプリケーションを専用のMovidiusハードウェアで非常に迅速に稼働させることができます。

NXP Semiconductors i.MX 8M Plus
i.MX 8M Plusは、VeriSilicon（Vivante VIP8000）の専用ニューラルネットワークアクセラレータIPを備えた異種アプリケーションプロセッサです。消費者向けおよび産業用モノのインターネット（IIoT）のエンドポイントデバイスでの推論に2.3 TOPSの加速を提供し、複数のオブジェクトの識別、40,000語の音声認識、さらには医用画像処理（MobileNet v1、毎秒500画像）に十分です。

ニューラルネットワークプロセッサに加えて、i.MX 8M Plusは、2GHzで動作するクアッドコアArmCortex-A53サブシステムと、Cortex-M7リアルタイムサブシステムも備えています。

ビジョンアプリケーションの場合、ステレオビジョン用の2台の高解像度カメラまたは1台の12メガピクセル（MP）カメラをサポートする2つの画像信号プロセッサがあります。音声の場合、デバイスには、音声データの前処理および後処理用の800 MHz HiFi4オーディオデジタルシグナルプロセッサ（DSP）が含まれています。

NXPのi.MX8M Plusは、専用のニューラルネットワークアクセラレータを備えた同社初のアプリケーションプロセッサです。 IoTアプリケーション向けに設計されています。 （画像：NXPセミコンダクターズ）

XMOS xcore.ai
xcore.aiは、人工知能（AIoT）アプリケーションで音声制御を可能にするように設計されています。クロスオーバープロセッサ（アプリケーションプロセッサのパフォーマンスとマイクロコントローラの低電力のリアルタイム動作を備えた）であるこのデバイスは、音声信号の機械学習推論用に設計されています。

これは、XMOS独自のXcoreアーキテクチャに基づいており、I / O、DSP、制御機能、またはAIアクセラレーションのいずれかに使用できる論理コアと呼ばれるビルディングブロック上に構築されています。各xcore.aiチップにはこれらのコアが16個あり、設計者は各機能に割り当てるコアの数を選択できます。ファームウェアの論理コアにさまざまな機能をマッピングすることで、完全にソフトウェアで記述された「仮想SoC」を作成できます。 XMOSは、機械学習ワークロード用のベクトルパイプライン機能をXcoreに追加しました。

xcore.aiは、32ビット、16ビット、8ビット、および1ビット（2値化）ネットワークをサポートし、3,200 MIPS、51.2 GMACC、および1,600MFLOPSを提供します。 1Mバイトの組み込みSRAMと拡張用の低電力DDRインターフェイスを備えています。

XMOSのxcore.aiは独自のアーキテクチャに基づいており、音声処理アプリケーションのAIワークロード向けに特別に設計されています。 （画像：XMOS）

自動車SoC

Texas Instruments Inc. TDA4VM
自動車先進運転支援システム（ADAS）向けのJacinto 7シリーズの一部であるTDA4VMは、専用の深層学習アクセラレーターを搭載したTI初のシステムオンチップ（SoC）です。このブロックは、C7x DSPに加えて、8つのTOPSを達成できる自社開発の行列乗算アクセラレータ（MMA）に基づいています。

SoCは、最大8 MPのフロントマウントカメラからのビデオストリーム、または4〜6台の3 MPカメラとレーダー、LiDAR、および超音波センサーの組み合わせを処理できます。 MMAは、たとえば、自動バレーパーキングシステムでこれらの入力に対してセンサーフュージョンを実行するために使用される場合があります。 TDA4VMは、5〜20WのADASシステム向けに設計されています。

デバイスはまだ試作段階ですが、開発キットは現在入手可能です。

TI TDA4VMは、車両が環境を認識できるようにする複雑な自動車ADASシステムを対象としています。 （画像：Texas Instruments Inc。）

GPU

Nvidia Corp. Jetson Nano
Nvidiaの有名なJetsonNanoは、エンドポイントデバイスのAIアプリケーション向けの小さいながらも強力なグラフィックスプロセッシングユニット（GPU）モジュールです。 Jetsonファミリーのより大きなメンバー（AGX XavierおよびTX2）と同じMaxwellアーキテクチャ上に構築された、NanoモジュールのGPUは128コアで、0.5 TFLOPSに対応しており、高からのデータの複数のストリームで複数のニューラルネットワークを実行するのに十分です。同社によれば、解像度のイメージセンサー。使用時の消費電力はわずか5Wです。このモジュールは、クアッドコアArm Cortex-A57CPUも備えています。

Nvidiaの範囲内の他のパーツと同様に、Jetson Nanoは、ニューラルネットワーク用のNvidiaのアクセラレーションライブラリのコレクションであるCUDAXを使用します。安価なJetsonNano開発キットが広く利用可能です。

NvidiaのJetsonNanoモジュールには、エッジにAI用の128コアを備えた強力なGPUが搭載されています。 （画像：Nvidia Corp。）

コンシューマーコプロセッサー

Kneron Inc. KL520
アメリカと台湾のスタートアップKneronが最初に提供したのは、スマートホーム、セキュリティシステム、モバイルデバイスなどのアプリケーションでの画像処理と顔認識用に設計されたKL520ニューラルネットワークプロセッサです。今日の画像処理で一般的に使用されているタイプの畳み込みニューラルネットワーク（CNN）を実行するように最適化されています。

KL520は0.3TOPSを実行でき、0.5 W（0.6 TOPS / Wに相当）を消費します。これは、チップのMAC効率が高い（90％以上）ことを考えると、正確な顔認識には十分であると同社は述べています。チップアーキテクチャは再構成可能であり、さまざまなCNNモデルに合わせて調整できます。同社の補完的なコンパイラは、チップのリソース内でより大きなモデルを実行して電力とコストを節約するために、圧縮技術も使用しています。

KL520は現在入手可能であり、メーカーAAEON（M2AI-2280-520）のアクセラレータカードにも記載されています。

KneronのKL520は、再構成可能なアーキテクチャと巧妙な圧縮を使用して、モバイルデバイスとコンシューマーデバイスで画像処理を実行します。 （画像：Kneron Inc。）

Gyrfalcon Lightspeeur 5801
家電市場向けに設計されたGyrfalconのLightspeeur5801は、224mWの消費電力（12.6 TOPS / Wに相当）で2.8 TOPS、4msの遅延を提供します。同社は、他のアーキテクチャと比較して特に電力効率の高いプロセッサインメモリ技術を使用しています。消費電力は、実際にはクロック速度を50〜200 MHzの間で変化させることにより、クロック速度とトレードオフすることができます。 Lightspeeur5801には10MBのメモリが含まれているため、モデル全体をチップに収めることができます。

この部品は同社の4番目の製品チップであり、カメラ効果の推論を処理するLGのQ70ミッドレンジスマートフォンにすでに搭載されています。 USBサムドライブ開発キット5801PlaiPlugが利用可能になりました。

超低電力

Eta Compute ECM3532
Eta Computeの最初の製品であるECM3532は、IoT向けのバッテリー駆動または環境発電設計におけるAIアクセラレーション用に設計されています。画像処理とセンサーフュージョンの常時接続アプリケーションは、100 µWという低い電力バジェットで実現できます。

このチップには、ArmCortex-M3マイクロコントローラーコアとNXPCoolFluxDSPの2つのコアがあります。同社は、クロックサイクルごとに調整する独自の電圧および周波数スケーリング技術を使用して、両方のコアから最後の一滴の電力を絞り出します。機械学習ワークロードはどちらのコアでも処理できます（たとえば、一部の音声ワークロードはDSPに適しています）。

ECM3532のサンプルは現在入手可能であり、大量生産は2020年第2四半期に開始される予定です。

Syntiant Corp. NDP100
米国のスタートアップSyntiantのNDP100プロセッサは、電力が厳しいアプリケーションでの音声コマンドの機械学習推論用に設計されています。そのプロセッサインメモリベースのシリコンは、140 µW未満の有効電力を消費し、キーワードスポッティング、ウェイクワード検出、話者識別、またはイベント分類のモデルを実行できます。同社によれば、この製品は、イヤフォン、補聴器、スマートウォッチ、リモコンなどの消費者向けデバイスのハンズフリー操作を可能にするために使用される予定です。開発キットは現在入手可能です。

SyntiantのNDP100デバイスは、超低電力アプリケーションでの音声処理用に設計されています。 （画像：Syntiant Corp。）

GreenWaves Technologies GAP9
フランスのスタートアップGreenWavesの最初の超低電力アプリケーションプロセッサであるGAP9は、消費電力を最適化するために命令セットが大幅にカスタマイズされた9つのRISC-Vコアの強力なコンピューティングクラスターを備えています。双方向マルチチャネルオーディオインターフェイスと1.6MBの内部RAMを備えています。

GAP9は、バッテリー駆動のIoTデバイスでの画像、音声、振動検知のニューラルネットワークワークロードを処理できます。 GreenWavesの数値では、GAP9が160×160の画像でMobileNet V1を実行しており、チャネルスケーリングはわずか12ミリ秒で0.25であり、消費電力は806μW/フレーム/秒です。