エッジAI加速：2024年の主要専用プロセッサ動向

AIおよび機械学習ワークロードがエッジへシフトする中、多様なアプリケーション要求に応えるための専用プロセッサが続々と登場しています。大手半導体ベンダーからアジャイルなスタートアップまで、各ソリューションは特定の垂直市場、電力包絡線、価格帯をターゲットとしています。以下に現在の市場リーダーを簡潔にまとめます。

アプリケーションプロセッサ

Intel Movidius Myriad X

アイルランドのスタートアップMovidiusが開発し、2016年にインテルが買収したMyriad Xは、専用ニューラルネットワーク演算エンジンを導入した第3世代ビジョン処理ユニット（VPU）です。FP16およびINT8精度をサポートし、インテリジェントメモリファブリックと密結合することでデータ転送ボトルネックを解消。1 TOPSのDNN演算性能を発揮し、16基の独自SHAVEコアと強化されたビジョンアクセラレータを搭載します。インテルのNeural Compute Stick 2として提供され、プラグアンドプレイのUSB評価プラットフォームにより、あらゆるワークステーションでAIおよびコンピュータビジョンワークロードを迅速に導入可能です。

NXP Semiconductors i.MX 8M Plus

i.MX 8M Plusは、VeriSilicon（Vivante VIP8000）製の専用ニューラルネットワークアクセラレータを備えたヘテロジニアスアプリケーションプロセッサです。推論用に2.3 TOPSを提供し、マルチオブジェクト識別、4万語音声認識、MobileNet v1を500枚/秒で処理可能です。アクセラレータを補完する形で、2 GHz動作のクアッドコアArm Cortex-A53サブシステムとCortex-M7リアルタイムサブシステムを内蔵。ビジョン対応として、ステレオまたはシングル12 MPカメラ向けの2つの高精細画像信号プロセッサ、音声前後処理用の800 MHz HiFi4 DSPを搭載しています。

NXPのi.MX 8M Plusは、専用ニューラルネットワークアクセラレータを搭載した同社初のアプリケーションプロセッサで、IoTシナリオ向けに最適化されています。（画像：NXP Semiconductors）

XMOS xcore.ai

xcore.aiは、アプリケーションプロセッサ級の性能とマイクロコントローラ級のリアルタイム効率を融合し、音声制御AIoTデバイスをターゲットとしています。XMOS独自のXcoreアーキテクチャ上に構築され、16の論理コアをI/O、DSP、制御、AI機能に動的に割り当て可能で、実質的にソフトウェア定義SoCを実現します。32ビット、16ビット、8ビット、1ビット（二値化）ニューラルネットワークをサポートし、3,200 MIPS、51.2 GMACCs、1,600 MFLOPSを提供。1 MBの内蔵SRAMと低消費電力DDRインターフェイスにより、コンパクトで低レイテンシな音声処理ワークロードに適しています。

XMOSのxcore.aiは、音声中心のAIワークロード向けに設計された独自の多機能プラットフォームです。（画像：XMOS）

自動車向けSoC

Texas Instruments TDA4VM

Jacinto 7シリーズの一員であるTDA4VMは、TI初の統合ディープラーニングアクセラレータ搭載SoCです。アクセラレータはC7x DSPコアとカスタム行列乗算アクセラレータ（MMA）を基盤とし、最大8 TOPSを達成。ADAS向けに設計され、8 MPフロントカメラストリームや複数の3 MPカメラに加え、レーダー、LiDAR、超音波入力を処理可能で、自律駐車などの高度運転支援機能向けセンサーフュージョンを実現します。5〜20 Wの電力予算をターゲットとし、プリプロダクション開発キットとして提供されています。

TIのTDA4VMは、複雑な自動車ADASシステムを駆動し、単一チップで知覚とセンサーフュージョンを実現します。（画像：Texas Instruments Inc.）

GPU

Nvidia Jetson Nano

NvidiaのJetson Nanoは、128コアMaxwell GPUとクアッドコアArm Cortex-A57 CPUをエッジデバイスにもたらします。0.5 TFLOPSの性能で、高解像度画像ストリーム上で複数のニューラルネットワークを同時実行可能ながら、消費電力はわずか5 W。CUDA X（Nvidiaのニューラルネットワーク加速ライブラリ群）を統合し、コスト効率の高い開発キットとして提供されています。

NvidiaのJetson Nanoは、コンパクトで低消費電力なフォームファクタにパワフルなエッジAI用GPUを搭載しています。（画像：Nvidia Corp.）

コンシューマー向けコプロセッサ

Kneron KL520

KL520は、スマートホーム、セキュリティシステム、モバイルデバイス向けの画像処理と顔認識を対象とした専用ニューラルネットワークプロセッサです。畳み込みニューラルネットワークに最適化され、0.5 Wで0.3 TOPS（約0.6 TOPS/W）、90%以上のMAC効率を実現。再構成可能なアーキテクチャと圧縮を適用するコンパイラにより、より大きなモデルをチップリソース内に収め、消費電力とコストを削減します。AAEON M2AI-2280-520アクセラレータカードで利用可能です。

KneronのKL520は、再構成可能な設計と圧縮技術を組み合わせ、効率的なモバイル画像処理を実現します。（画像：Kneron Inc.）

Gyrfalcon Lightspeeur 5801

コンシューマーエレクトロニクス向けのLightspeeur 5801は、プロセッサインメモリアーキテクチャにより、224 mWで2.8 TOPS（約12.6 TOPS/W）、4 msレイテンシを達成し、優れた電力効率を発揮します。10 MBのオンチップメモリでモデル全体を格納可能で、クロック速度を50〜200 MHzで調整し、電力と性能をトレードオフ可能。LGのミッドレンジスマートフォンQ70でカメラエフェクト推論を担当し、USBサムドライブ型開発キットも提供されています。

超低消費電力

Eta Compute ECM3532

ECM3532は、常時推論を必要とする電池駆動またはエナジーハーベスト型IoTデバイス向けに設計されています。Arm Cortex-M3マイクロコントローラとNXP CoolFlux DSPを組み合わせ、クロックサイクル単位で電力を最適化する独自の電圧/周波数スケーリング技術を採用。機械学習ワークロード（特に音声タスク）をいずれのコアでも実行可能です。サンプル出荷中で、量産は2020年第2四半期予定。

Syntiant NDP100

NDP100は、厳しい電力予算下での音声コマンド推論向けに設計されたプロセッサインメモリシリコンです。アクティブ消費電力140 µW未満で、キーワードスポッティング、ウェイクワード検出、話者識別、イベント分類をサポート。イヤホン、補聴器、スマートウォッチ、リモコンなどのハンズフリー消費者デバイス向けで、開発キットが利用可能です。

SyntiantのNDP100は、コンシューマーIoT向けに超低消費電力音声処理を提供します。（画像：Syntiant Corp.）

GreenWaves Technologies GAP9

GAP9は、電力効率にチューニングされたカスタム命令セットを持つ9つのRISC-Vコアを備えた超低消費電力アプリケーションプロセッサです。双方向マルチチャネルオーディオインターフェイスと1.6 MBの内部RAMを搭載。MobileNet V1を160×160画像で12 ms、フレームあたり806 µWで実行可能で、電池駆動の画像、音声、振動センシングアプリケーションに最適です。