Quadric、ハイブリッドデータフロー&フォンノイマンアーキテクチャでAIとビジョンワークロードを加速
新しいハイブリッドデータフローとフォンノイマンアーキテクチャが、ニューラルネットワーク、機械学習、コンピュータビジョン、DSP、基本線形代数サブプログラムなどのワークロードを加速します。
シリコンバレーのスタートアップQuadricは、ロボット、工場自動化、医療用画像処理などのエッジデバイスで、AI推論と従来のコンピュータビジョンアルゴリズムの両方をブーストするアクセラレータを設計しました。このハードウェアのユニークなハイブリッド設計は、データフローとフォンノイマンの原理を統合し、ニューラルネットワーク、機械学習、DSP、線形代数ルーチンの効率的な実行を可能にします。
「当初から、エッジデバイスにはAI以上のものが必要だと認識していました」とCEOのVeerbhan Kheterpal氏はEE Timesに語っています。「開発者は、古典的な高性能コンピューティングアルゴリズムとAIを単一システムで実行できる必要があります。」
Kheterpal氏は、このアーキテクチャが離散的なアクセラレータの集合ではなく、AI推論を含む多様なワークロードを加速できる単一のデータ並列命令セットであることを強調しています。
「最近の研究では、レイヤー全体を高速フーリエ変換(FFT)で置き換えることでトランスフォーマーを大幅に高速化できることが示されています」と最高製品責任者のDaniel Firu氏。Quadricはこのようなワークロードの加速に対応可能で、Googleの論文ではトランスフォーマーエンコーダの自己注意サブレイヤーをFFTに置き換え、BERTベンチマークで92%の精度を達成し、GPUで最大7倍、TPUで2倍の学習高速化を実現したとしています。

Quadricの開発キット:Q16プロセッサと4GB外部メモリを搭載したM.2カード(出典:Quadric)
ブドウ園ロボットからの着想
創業者のVeerbhan Kheterpal氏、Daniel Firu氏、Nigel Drego氏は以前、Coinbaseに買収されたビットコインマイニング企業「21」を設立。Quadricの初期フォーカスは、ナパバレーのブドウ園を巡回し、灌漑漏れと害虫を検出する農業ロボットでした。しかし、ドローンベースのソリューションの高コストがチームをカスタムアクセラレータの探求へと駆り立てました。

Veerbhan Kheterpal(出典:Quadric)
「ドローンベースシステムなら5〜1万ドルだが、トラクターベースプラットフォームだと大型GPUと多数のカメラで5万ドルを超える。この洞察が、我々に必要なアクセラレータチップの設計へと導きました」とKheterpal氏は説明します。
2017年のシードラウンドと、自動車Tier-1のDensoがリードした1300万ドルのシリーズAを経て、Quadricはこれまでに1800万ドルを調達しています。
チューリング完全な設計
Quadricの命令駆動型アーキテクチャは、データフローとフォンノイマンの概念を融合し、異種エッジシステムを単一の柔軟なソリューションに置き換えます。チューリング完全なVortexコアがプログラマビリティを保ちながら加速を提供。スケーラブルなアレイと7nmまたは5nmプロセスとの互換性により、数百ミリワットから20Wの電力予算を持つエッジデバイスに適しています。
Q16チップは16×16アレイのVortexコア(計256コア)を搭載。各コアは行列乗算とAI操作を実行し、論理、リダクション、シフトなどの多機能ALUを含みます。ソフトウェアは、LSTM活性化関数からカスタム制御フローまで広範なアルゴリズムスペクトルを公開し、if-then-else文をアレイ全体で使用して細粒度のスパース性を活用します。
すべてのコアは隣接コアへの単一サイクルアクセスと4Kbのコア内メモリを持ち、オンチップメモリが低レイテンシで決定論的なデータアクセスを提供します。
コアは「シングルインストラクション、マルチデコード」モードで実行:毎サイクル同じ命令がブロードキャストされますが、動的ランタイムデータにより個々のコアが異なる解釈を行い、均質なアレイ内で異種機能を実現します。
専用ブロードキャストバスが、ニューラルネットワーク重みなどの定数をすべてのコアに同時に効率的にストリーミング。スタティックなソフトウェア制御ロード/ストアユニットにより決定論的なカーネル実行時間を実現し、同時デュアルエッジロードとトリプルエッジストアで実行時間を短縮します。

Daniel Firu(出典:Quadric)
「片側からロードし、もう片側からストアすることで、データの再マッピングと画像回転をハードウェアレベルで実行できます」とFiru氏。
オンチップスタティックメモリ(キャッシュではない)が大規模データ構造のための十分なスペースを提供。Q16の8GBメモリは複数のHDフレームバッファやニューラルネットワーク重みセット全体を保持可能です。
ソフトウェアスタック
Quadricはシリコンより先にソフトウェアスタックを構築し、開発者がシミュレータやFPGAでプロトタイピングできるようにしました。スタックはLLVMベースのコンパイラとC++ APIでアーキテクチャを抽象化。Source Modeはデータ並列アルゴリズムをC++でアーキテクチャ機能を制御しながらサポートし、AIモデルが複雑化するにつれてカスタム操作を表現可能です。

Quadricのソフトウェアスタック(出典:Quadric)
今後提供予定のGraph Modeは、TensorFlowやONNXモデル向けのノーコードインターフェースを提供し、TVMベースのDNNコンパイラがコードを自動生成します。
「ほとんどのプラットフォームは独自のAIコンパイラに制限されますが、当社は任意の操作を実行できる完全なチューリング完全コアを提供します」とKheterpal氏。「この柔軟性により、開発者は制約なしにカスタムアルゴリズムや未サポートオペレータを展開できます。」
チップロードマップ
Q16は16nmシリコンで製造された16×16アレイの256 Vortexコアを搭載し、4 INT8 DNN TOPSを達成。224×224画像でResNet-50を毎秒200推論で実行し、平均2Wを消費します。
Quadricのロードマップには、第2世代アーキテクチャとQ32チップ(1,000コアアレイ)が含まれ、7nm製造を目標としています。Q32はホストプロセッサとして機能するARMまたはRISC-Vコアも統合する可能性があります。
Q16プロセッサと4GB外部メモリを搭載したM.2開発キットが現在利用可能です。
>> この記事は姉妹サイトEE Timesで最初に公開されました。
関連コンテンツ:
- ハードウェアアクセラレータがAIアプリケーションに貢献
- DSPがハードウェアアクセラレータを上回る場合
- 適切なRISC-Vカスタム命令でアプリケーションを加速するガイド
- 推論チップ性能は最適化されたメモリサブシステム設計に基づく
- 新しいAIアクセラレーションモジュールでエッジ性能を向上
- エッジAIがメモリ技術に挑戦
Embeddedの週刊メールニュースレターを購読して、さらに多くの情報を入手してください。
埋め込み
- Omron TMシリーズコボットでワークフロー最適化:シームレス統合と直感的プログラミング
- ハイパースペクトルビジョン理解:食品安全のための強力なツール
- IBMがハイブリッドブロックチェーンアーキテクチャでIoTネットワークを安全に管理
- 建築設計の原理と実践:歴史・専門分化・現代建築家に求められる力
- Blaize、AIワークロード向けGraph Streaming Processor(GSP)を発表
- STM32WB50:セキュアIoTアプリケーション向けデュアルコアワイヤレスMCU
- エッジAI加速:2024年の主要専用プロセッサ動向
- LatticeとEtron、エッジAIワークロード向けコンパクト低消費電力メモリコントローラを発表
- ECM3532:Eta Compute初の統合超低消費電力AIセンサーボード、エッジ開発を加速
- ADLINK、NEON-1000-MDXを発表:ターンキー エッジAIスマートカメラで産業用ビジョン導入を迅速化
- ハイブリッドクラウド環境:最適なパフォーマンスのためのアプリケーション、ワークロード、戦略選定