エッジAIチップ、従来のMACアレイを排除し55 TOPS/Wの高効率を達成

シリコンバレーのスタートアップがニューラルネットワーク数学を再発明し、従来の乗算累積（MAC）アレイをバイパスするエッジAIチップを開発しました。7×7 mmのチップ「Ergo」は、4 TOPSの性能をわずか20 mWで発揮し、驚異的な55 TOPS/Wの電力効率を実現。Perceiveによれば、データセンターグレードの推論ワークロードであるYOLOv3を30 fpsで、20 mW未満で実行可能です。

Perceiveは2年前にサンノゼで設立され、ステルスフェーズを経て親会社Xperiの全額出資で事業を展開。41名のコアチームに加え、同数のXperiエンジニアがErgoのアプリケーション開発に従事しています。創業者兼CEOのスティーブ・テイグ氏はPerceiveのCEOを務めるとともにXperiのCTOも兼任。以前は3DプログラマブルロジックスタートアップTabulaを率い、CadenceでCTOを務めたチップ設計とAIのエキスパートです。

テイグ氏は、出発点となった問いをこう説明します。「ニューラルネットワークが実際に行っている計算とは何か？」情報理論の原理を適用することで、ネットワーク演算のより効率的な表現を特定し、それがErgoのアーキテクチャに反映されました。この新アプローチにより、従来のMACアレイの大部分を排除し、競合ソリューション比で20〜100倍の電力効率を実現しています。

Ergoのアーキテクチャ

Ergoは専用メモリを持つ4つのコンピュートクラスタで構成されます。典型的なアクセラレータがドット積計算にMACアレイを用いるのに対し、Ergoのクラスタは新規かつ高並列な方法で演算を実行。CNN、RNN、さらには複数の異種モデルの同時実行など、幅広いネットワークトポロジを外部RAMなしでサポートします。

実用面では、YOLOv3（6,000万〜7,000万パラメータ）またはM2Detを、ResNet-28と音声処理用LSTMと同時に実行するデモに成功。これにより、単一エッジデバイス上でリアルタイムの視覚および音声推論が可能になります。

さらなる省電力化

ニューラルネットワークワークロードの決定論的な性質を活かし、積極的なパワーゲーティングとクロックゲーティングで電力効率をさらに向上。推論コードに分岐がないためタイミングが予測可能で、モーションセンサやアナログマイクのトリガーまでチップをほぼオフ状態に維持できます。起動後は、フルデータセンターグレードモデルをロードし、復号を含めて約50 msで推論を開始可能です。

コンピュート以外の機能

Ergoは、魚眼レンズ補正、ガンマ補正、ホワイトバランス、クロッピングに対応したハードウェア画像処理パイプラインを内蔵。同等の音声処理ブロックはマルチマイクビームフォーミングをサポート。Synopsys ARCマイクロプロセッサ（DSPコア付き）が追加の前処理と暗号化ファームウェアを実行し、専用セキュリティブロックが全データパスとネットワーク重みを暗号化してIoT展開を保護します。

外部フラッシュメモリと接続し、OTAアップデートに対応。必要に応じてオンデバイスでのニューラルネットワーク再トレーニングやモデル差し替えが可能です。チップとリファレンスボードは現在サンプル出荷中で、量産は2024年第2四半期予定。

スティーブ・テイグ氏（画像：Perceive）

PerceiveはErgoチップの効率が最大55 TOPS/W、YOLOv3を30fpsで20mWで実行可能と主張（画像：Perceive）

Perceiveの技術は、情報理論の手法を用いてニューラルネットワーク数学を再発明したものです（画像：Perceive）