工業製造
産業用モノのインターネット | 工業材料 | 機器のメンテナンスと修理 | 産業プログラミング |
home  MfgRobots >> 工業製造 >  >> Industrial Internet of Things >> 埋め込み

Quadric、ハイブリッドデータフロー&フォンノイマンアーキテクチャでAIとビジョンワークロードを加速

新しいハイブリッドデータフローとフォンノイマンアーキテクチャが、ニューラルネットワーク、機械学習、コンピュータビジョン、DSP、基本線形代数サブプログラムなどのワークロードを加速します。

シリコンバレーのスタートアップQuadricは、ロボット、工場自動化、医療用画像処理などのエッジデバイスで、AI推論と従来のコンピュータビジョンアルゴリズムの両方をブーストするアクセラレータを設計しました。このハードウェアのユニークなハイブリッド設計は、データフローとフォンノイマンの原理を統合し、ニューラルネットワーク、機械学習、DSP、線形代数ルーチンの効率的な実行を可能にします。

「当初から、エッジデバイスにはAI以上のものが必要だと認識していました」とCEOのVeerbhan Kheterpal氏はEE Timesに語っています。「開発者は、古典的な高性能コンピューティングアルゴリズムとAIを単一システムで実行できる必要があります。」

Kheterpal氏は、このアーキテクチャが離散的なアクセラレータの集合ではなく、AI推論を含む多様なワークロードを加速できる単一のデータ並列命令セットであることを強調しています。

「最近の研究では、レイヤー全体を高速フーリエ変換(FFT)で置き換えることでトランスフォーマーを大幅に高速化できることが示されています」と最高製品責任者のDaniel Firu氏。Quadricはこのようなワークロードの加速に対応可能で、Googleの論文ではトランスフォーマーエンコーダの自己注意サブレイヤーをFFTに置き換え、BERTベンチマークで92%の精度を達成し、GPUで最大7倍、TPUで2倍の学習高速化を実現したとしています。

Quadric、ハイブリッドデータフロー&フォンノイマンアーキテクチャでAIとビジョンワークロードを加速
Quadricの開発キット:Q16プロセッサと4GB外部メモリを搭載したM.2カード(出典:Quadric)

ブドウ園ロボットからの着想

創業者のVeerbhan Kheterpal氏、Daniel Firu氏、Nigel Drego氏は以前、Coinbaseに買収されたビットコインマイニング企業「21」を設立。Quadricの初期フォーカスは、ナパバレーのブドウ園を巡回し、灌漑漏れと害虫を検出する農業ロボットでした。しかし、ドローンベースのソリューションの高コストがチームをカスタムアクセラレータの探求へと駆り立てました。

Quadric、ハイブリッドデータフロー&フォンノイマンアーキテクチャでAIとビジョンワークロードを加速
Veerbhan Kheterpal(出典:Quadric)

「ドローンベースシステムなら5〜1万ドルだが、トラクターベースプラットフォームだと大型GPUと多数のカメラで5万ドルを超える。この洞察が、我々に必要なアクセラレータチップの設計へと導きました」とKheterpal氏は説明します。

2017年のシードラウンドと、自動車Tier-1のDensoがリードした1300万ドルのシリーズAを経て、Quadricはこれまでに1800万ドルを調達しています。

チューリング完全な設計

Quadricの命令駆動型アーキテクチャは、データフローとフォンノイマンの概念を融合し、異種エッジシステムを単一の柔軟なソリューションに置き換えます。チューリング完全なVortexコアがプログラマビリティを保ちながら加速を提供。スケーラブルなアレイと7nmまたは5nmプロセスとの互換性により、数百ミリワットから20Wの電力予算を持つエッジデバイスに適しています。

Q16チップは16×16アレイのVortexコア(計256コア)を搭載。各コアは行列乗算とAI操作を実行し、論理、リダクション、シフトなどの多機能ALUを含みます。ソフトウェアは、LSTM活性化関数からカスタム制御フローまで広範なアルゴリズムスペクトルを公開し、if-then-else文をアレイ全体で使用して細粒度のスパース性を活用します。

すべてのコアは隣接コアへの単一サイクルアクセスと4Kbのコア内メモリを持ち、オンチップメモリが低レイテンシで決定論的なデータアクセスを提供します。

コアは「シングルインストラクション、マルチデコード」モードで実行:毎サイクル同じ命令がブロードキャストされますが、動的ランタイムデータにより個々のコアが異なる解釈を行い、均質なアレイ内で異種機能を実現します。

専用ブロードキャストバスが、ニューラルネットワーク重みなどの定数をすべてのコアに同時に効率的にストリーミング。スタティックなソフトウェア制御ロード/ストアユニットにより決定論的なカーネル実行時間を実現し、同時デュアルエッジロードとトリプルエッジストアで実行時間を短縮します。

Quadric、ハイブリッドデータフロー&フォンノイマンアーキテクチャでAIとビジョンワークロードを加速
Daniel Firu(出典:Quadric)

「片側からロードし、もう片側からストアすることで、データの再マッピングと画像回転をハードウェアレベルで実行できます」とFiru氏。

オンチップスタティックメモリ(キャッシュではない)が大規模データ構造のための十分なスペースを提供。Q16の8GBメモリは複数のHDフレームバッファやニューラルネットワーク重みセット全体を保持可能です。

ソフトウェアスタック

Quadricはシリコンより先にソフトウェアスタックを構築し、開発者がシミュレータやFPGAでプロトタイピングできるようにしました。スタックはLLVMベースのコンパイラとC++ APIでアーキテクチャを抽象化。Source Modeはデータ並列アルゴリズムをC++でアーキテクチャ機能を制御しながらサポートし、AIモデルが複雑化するにつれてカスタム操作を表現可能です。

Quadric、ハイブリッドデータフロー&フォンノイマンアーキテクチャでAIとビジョンワークロードを加速
Quadricのソフトウェアスタック(出典:Quadric)

今後提供予定のGraph Modeは、TensorFlowやONNXモデル向けのノーコードインターフェースを提供し、TVMベースのDNNコンパイラがコードを自動生成します。

「ほとんどのプラットフォームは独自のAIコンパイラに制限されますが、当社は任意の操作を実行できる完全なチューリング完全コアを提供します」とKheterpal氏。「この柔軟性により、開発者は制約なしにカスタムアルゴリズムや未サポートオペレータを展開できます。」

チップロードマップ

Q16は16nmシリコンで製造された16×16アレイの256 Vortexコアを搭載し、4 INT8 DNN TOPSを達成。224×224画像でResNet-50を毎秒200推論で実行し、平均2Wを消費します。

Quadricのロードマップには、第2世代アーキテクチャとQ32チップ(1,000コアアレイ)が含まれ、7nm製造を目標としています。Q32はホストプロセッサとして機能するARMまたはRISC-Vコアも統合する可能性があります。

Q16プロセッサと4GB外部メモリを搭載したM.2開発キットが現在利用可能です。

>> この記事は姉妹サイトEE Timesで最初に公開されました。


関連コンテンツ:

Embeddedの週刊メールニュースレターを購読して、さらに多くの情報を入手してください。

埋め込み

  1. Omron TMシリーズコボットでワークフロー最適化:シームレス統合と直感的プログラミング
  2. ハイパースペクトルビジョン理解:食品安全のための強力なツール
  3. IBMがハイブリッドブロックチェーンアーキテクチャでIoTネットワークを安全に管理
  4. 建築設計の原理と実践:歴史・専門分化・現代建築家に求められる力
  5. Blaize、AIワークロード向けGraph Streaming Processor(GSP)を発表
  6. STM32WB50:セキュアIoTアプリケーション向けデュアルコアワイヤレスMCU
  7. エッジAI加速:2024年の主要専用プロセッサ動向
  8. LatticeとEtron、エッジAIワークロード向けコンパクト低消費電力メモリコントローラを発表
  9. ECM3532:Eta Compute初の統合超低消費電力AIセンサーボード、エッジ開発を加速
  10. ADLINK、NEON-1000-MDXを発表:ターンキー エッジAIスマートカメラで産業用ビジョン導入を迅速化
  11. ハイブリッドクラウド環境:最適なパフォーマンスのためのアプリケーション、ワークロード、戦略選定