マルチチップ推論アーキテクチャで性能を最適化

過去2年間で推論チップ設計のイノベーションが相次いでいます。新ソリューションがほぼ毎週登場する一方、信頼できるベンチマークが乏しいため、多くの企業が比較に苦労しています。ベンダーはこれまで、モデル、バッチサイズ、動作条件を詳細に示さずにTOPSやTOPS/Wattを謳い、一般的なResNet-50ベンチマークはほとんどの実ワークロードには単純すぎます。

推論チップの性能を測る上で真に重要なのは、高いMAC利用率、低消費電力、コンパクトなシリコンフットプリントです。これらの指標を理解した上で、次の論理的ステップは、単一設計に複数チップを導入するメリットと落とし穴を探ることです。

複数チップが線形ゲインをもたらす理由

並列性を考慮して設計されたチップなら、2個、4個、以上のユニットへのスケーリングで、理論上スループットを比例的に増加できます。これは1車線道路を複数車線に拡張するのと似ています。鍵は、適切なチップを選び、ニューラルネットワークを正しく分割することで、トラフィックボトルネックを回避することです。

ニューラルネットワークのチップ間分割

ニューラルネットワークはレイヤーで構成されます。各レイヤーは前のレイヤーの出力活性化を消費します。ResNet-50（50層）やYOLOv3（100層超）のような深いモデルでは、初期レイヤーが最大の活性化を生成し、ネットワークが深まるにつれて徐々に縮小します。

モデルを複数チップに分割するには、活性化サイズとレイヤーごとのMultiply-Accumulate（MAC）演算数の両方を検討します。目標はワークロードのバランス：各チップが同程度のMAC数とデータ量を処理すること。一方のチップが大部分を処理し他方がアイドル状態なら、全体スループットは遅い方に制限されます。

また、モデルの分割点がチップ間で転送必須のデータを決定します。活性化サイズが最小となる分割点を選ぶことで、チップ間帯域幅要件とレイテンシを削減し、通信リンクがボトルネックになるのを防ぎます。

例示：YOLOv3を2チップ vs 4チップで実行

Winograd畳み込みアルゴリズムで2メガピクセル画像上でYOLOv3を実行する場合、累積MAC演算と活性化出力サイズは以下の通り。2チップ構成では通常、50% MAC付近で分割し、チップ間で約1-2MBの活性化を転送。4チップ構成では約25%、50%、75%で分割し、最も早い分割では4-8MBのデータ転送が必要になることが多いです。

クリックで拡大

YOLOv3/Winograd/2Mピクセル画像における活性化出力サイズ（青バー）と累積MAC演算（赤線）、複数チップ間のワークロード分布を示す（画像提供：Flex Logix）

性能モデリングツールの活用

最新の性能ツールでは、単一チップとマルチチップの両構成をモデリング可能。レイヤーごとのMAC数、活性化サイズ、データ転送帯域幅の影響を考慮。チップ間帯域幅が不足すると理論的スピードアップが相殺されるため、正確なモデリングが不可欠です。

4チップパイプラインでは、活性化が最大となる初期レイヤーを全ユニットで共有するため帯域幅要求が増大。より高い帯域幅はより多くのチップをサポートしますが、単体展開時でも全チップが負担するオーバーヘッドも増加します。

結論

複数推論チップの導入は大きな性能向上をもたらせますが、ニューラルネットワークを知的に分割し、選択したチップアーキテクチャが高MAC利用率と効率的なデータ移動をサポートしている場合に限られます。TOPSやResNet-50スコアなどのヘッドラインベンチマークよりスループットを優先し、ネットワークをチップの強みに合わせて設計してください。適切な戦略があれば、単一レーンの推論パイプラインを大容量・低レイテンシシステムへ変革できます。

— Geoff Tate、Flex Logix CEO