エッジでの AI の加速:専用プロセッサとメモリの重要な役割

AI はもはや単なるバズワードではなく、今日のコンピューティング プラットフォームの設計を推進する世界的な必須事項です。 GPU はデータセンターでの大規模な言語モデルのトレーニングを強化してきましたが、AI のフロンティアは現在、IoT センサー、セキュリティ カメラ、自律型ロボットなど、電力に制約のあるデバイスのエッジにあります。

何十億ものエンドポイントを単なるクラウド エージェントから自律的なオンデバイス推論エンジンに変えるには、コンピューティングとメモリの両方を最適化する必要があります。本当に重要な指標は、1 ワットあたりのテラ演算数 (TOPS/W) の効率です。

リアルタイム エッジ AI への挑戦

基盤モデルが数十億のパラメーターに成長するにつれて、データセンター インフラストラクチャのコストとエネルギー フットプリントは急激に増加します。しかし、データ ソースでのリアルタイムで低遅延の推論に対する需要は、これまで以上に強いままです。したがって、エッジ AI は、生のコンピューティング密度を超えて、限られた電力予算と厳しいコスト目標という 2 つの制約に対処する必要があります。

実際には、これは生のスループット (TOPS) とメモリ帯域幅および遅延のバランスをとることを意味します。 GPU などの最新のアクセラレータは、前例のないコンピューティングを提供しますが、そのパフォーマンスは、データがメモリに出入りする速度によって制限されます。メモリのボトルネックによりアクセラレータに電力が供給され、より高いコンピューティング能力の利点が無効になります。

メモリ帯域幅の制約は、組み込みエッジ AI のパフォーマンスを制限する最も重要な要因となっています。モデルがより複雑になっても、メモリ パスが遅いと、リアルタイム推論が機能しなくなる可能性があります。

推論は、生のセンサー データから始まり、前処理を経て、量子化されたニューラル ネットワークに供給され、実用的な結果を提供する後処理で終わるパイプラインです。このチェーン内のリンクのいずれかが弱い場合、それが低帯域幅のメモリ バスであれ、前処理ルーチンの遅延であれ、システム全体に影響が及びます。

さらに、ニューラル プロセッシング ユニット (NPU) またはアクセラレータ コアをシステム オン チップ (SoC) 設計に追加すると、部品表が増加し、柔軟性が低下する可能性があります。解決策は、高い TOPS/W とコンパクトで低電力のメモリ インターフェイスを組み合わせる専用の ASIC アクセラレータにあります。

専用 ASIC には複数の利点があります。ニューラル ネットワークの算術パターンに最適化され、幅広いモデルに合わせて調整でき、自律型農機、監視カメラ、倉庫ロボットなどのエッジ展開に対して可能な限り最高のエネルギー効率を提供します。

コンピューティングとメモリの相乗効果

エッジ プラットフォームとシームレスに統合されるコプロセッサは、消費電力とコストを低く抑えながら、リアルタイムのディープラーニング推論を可能にします。ビジョン トランスフォーマーから大規模な言語モデルに至るまで、さまざまなワークロードをサポートします。

この相乗効果の主な例はHailo とのパートナーシップです。 のエッジ AI アクセラレータとマイクロン の低電力 DDR (LPDDR) メモリ。これらを組み合わせることで、厳しいエネルギーと予算の範囲内に収めるために必要な、バランスの取れたコンピューティングとメモリの組み合わせが提供されます。

マイクロンの LPDDR テクノロジーは、電力効率を損なうことなく、高速、高帯域幅のデータ転送を実現します。スマートフォン、ラップトップ、自動車エレクトロニクス、産業用制御機器で使用される LPDDR は、高速 I/O と低レイテンシを必要とする AI ワークロードに最適です。

LPDDR4/4X は、最大 x64 のバス幅でピンあたり最大 4.2Gb/s をサポートします。 Micron の LPDDR5/5X は、これをピンあたり 9.6 Gb/s に押し上げ、LPDDR4X よりも 20% 優れた電力効率を実現し、最も要求の厳しいエッジ AI モデルに必要な帯域幅を提供します。

AI シリコンのリーダーである Hailo は、このメモリ パートナーシップを活用してHailo-10H などのプロセッサを提供しています。 、最大40TOPSを達成します。そのデータフロー アーキテクチャはニューラル ネットワークの統計的特性と一致しており、エッジ デバイスがコストを抑えながら複雑なモデルをフルスケールで実行できるようにします。

ソリューションを実践する

Hailo‑15 VPU SoC は、スマート カメラや視覚集約型アプリケーション向けに調整されています。 Hailo の推論エンジンと高度なコンピューター ビジョン パイプラインを組み合わせて、最高の画質と高度なビデオ分析を単一の電力効率の高いパッケージで提供します。

Micron の LPDDR4X は、自動車、産業、エンタープライズ環境にわたって厳密にテストされており、Hailo-15 VPU と完璧に組み合わせられます。その結果、極端な温度範囲であっても、高帯域幅、低遅延、妥協のない電力効率を実現するソリューションが実現しました。

勝利の組み合わせ

エコシステムが進化するにつれて、開発者は数百万、さらには数十億のデバイスを完全自律型エッジ AI プラットフォームとして再考する必要があります。成功は、ニューラル ワークロードを高速化するためにゼロから構築されたプロセッサと、データのスムーズな移動を維持する低電力、高性能メモリにかかっています。

プロセッサとメモリが一緒に最適化されると、エッジ AI は、自律型農業機器からリアルタイムのビデオ監視やロボティクスに至るまで、新しいアプリケーションに拡張できます。

スポンサー記事

X:@IoTNow_ 経由でこの記事にコメントし、当社のホームページ IoT Now にアクセスしてください