ソフトウェアツールは、AIアプリケーション用にGPUコードをFPGAに移行します

AIソフトウェアのスタートアップMipsologyは、ザイリンクスと協力して、1つの追加コマンドのみを使用してFPGAがAIアクセラレータアプリケーションのGPUを置き換えることができるようにしています。 Mipsologyの「ゼロエフォート」ソフトウェアであるZebraは、GPUコードを変換して、コードの変更や再トレーニングを必要とせずに、FPGA上のMipsologyのAIコンピューティングエンジンで実行します。

ザイリンクスは本日、データセンター向けに最新ビルドのAlveoU50カードを搭載したZebraを出荷すると発表しました。 Zebraは、AlveoU200やAlveoU250などの他のザイリンクスボードでの推論アクセラレーションをすでにサポートしています。

ザイリンクスのAlveoU50データセンターアクセラレータカードの最新ビルドには、GPU AIコードをFPGAで実行するように変換するためのMipsologyのZebraソフトウェアが付属しています（画像：ザイリンクス）

ザイリンクスのマーケティング担当バイスプレジデントであるRamineRoaneは、次のように述べています。 「Zebraと組み合わせることで、Alveo U50はAIワークロードの柔軟性とパフォーマンスのニーズを満たし、あらゆる展開に高スループットと低遅延のパフォーマンスの利点を提供します。」

プラグアンドプレイ

FPGAは歴史的に、専門家以外の人がプログラミングするのが難しいことで有名でしたが、Mipsologyは、FPGAをCPUやGPUと同じくらい使いやすいプラグアンドプレイソリューションにしたいと考えています。アイデアは、他のタイプのアクセラレーションからFPGAへの切り替えを可能な限り簡単にすることです。

「[Mipsology]を確認する最良の方法は、NvidiaがCuda CuDNNを実行してGPUをAIユーザーに対して完全に透過的にするのと同じ方法で、FPGAの上にあるソフトウェアを実行してFPGAを透過的にすることです」とMipsologyのCEOであるLudovicLarzulは述べています。 、 EE Times とのインタビューで 。

重要なのは、移行にモデルの再トレーニングが必要ないため、AIの深い専門知識やFPGAスキルがなくても、専門家ではない人でもこれを実行できることです。

「人々のAIプロジェクトを見ると、ニューラルネットワークを設計するAIチームにアクセスできないことが多いため、使いやすさは非常に重要です」とLarzul氏は述べています。 「通常、誰かがロボットのシステムやビデオ監視システムを設置した場合、他のチームや他の関係者がニューラルネットワークを開発してトレーニングします。そして、[トレーニング済みモデル]を取得したら、専門知識がないため、変更したくありません。」

ゼブラのスタック。このテクノロジーは、データセンター、エッジ、組み込みアプリケーションに適用できます（画像：Mipsology）

対ブドウ

データサイエンティストとソフトウェア開発者（つまり、Vitis）の両方がFPGAにアクセスできるようにすることを目的とした包括的なソリューションがすでにあるのに、ザイリンクスがサードパーティソフトウェアをサポートするのはなぜですか？

「一文のピッチは次のとおりです。私たちはより良くやっています」とLarzulは言いました。 「別の文は次のようになります：私たちの作品。」

Mipsologyは、Vitisの一部を使用したり、Vitisとリンクしたりすることはありません。また、ザイリンクスのニューラルネットワークアクセラレータエンジンであるXDNNも使用しません。 MipsologyはZebra内に独自の計算エンジンを備えており、顧客の既存の畳み込みニューラルネットワーク（CNN）モデルをサポートします。これは、Larzulが多くのデモをサポートしているがカスタムニューラルネットワークにはあまり適していないXDNNとは異なります。これにより、カスタムネットワークをXDNNで稼働させることが「苦痛」になったと彼は言いました。 XDNNは、GPUによる脅威がないアプリケーションで競合できますが、Zebraは、パフォーマンス、コスト、使いやすさに基づいて、FPGAがGPUを正面から利用できるようにすることを目的としています。

ゼブラのスタックの詳細。目的は、ハードウェアを可能な限り非表示にすることで、FPGAをGPUまたはCPUからAIアクセラレーションに簡単に切り替えることです（画像：Mipsology）

GPUソリューションから変更するほとんどの顧客の動機はコストです、とLarzulは言いました。

「彼らはハードウェアのコストを下げたいと思っていますが、ニューラルネットワークを再設計する必要はありません」と彼は言いました。 「GPUを透過的に交換でき、ニューラルネットワークの再トレーニングや変更がないため、（回避される）非反復コストが発生します。」

Larzul氏によると、FPGAは、シリコンの領域に対する攻撃性が低く、GPUを含む他の種類のアクセラレータよりも動作が遅いことが多いため、信頼性も提供します。これは、長期的なメンテナンスコストがかかるデータセンターでは特に重要です。

「総所有コストは、取締役会の価格だけではありません」とLarzul氏は述べています。 「システムが稼働していることを確認することにも代償があります。」

Zebraは、FPGAのパフォーマンスを競わせることも目指しています。 FPGAは通常、他のアクセラレータよりも少ないTOPS（1秒あたりのテラ操作）を提供しますが、Zebraの慎重に設計されたコンピューティングエンジンのおかげで、これらのTOPSをより効率的に使用できます。

Ludovic Larzul（画像：Mipsology）

「これは、AIを加速するASICスタートアップのほとんどが忘れていることです。彼らは、非常に大きなシリコンを実行し、より多くのTOPSを詰め込もうとしていますが、ネットワークを効率的にマッピングする方法については考えていません。 」と彼は述べ、ZebraのFPGAベースのエンジンはTOPSの6倍の量のGPUよりも1秒あたりより多くの画像を処理できると述べました。

これはどのように達成されますか？ Larzulは正確な詳細を提供しませんでしたが、精度の低下が大きすぎて再トレーニングなしでは受け入れられないため、剪定に依存しないと述べました。同じ理由で、極端な量子化（8ビット未満）は使用しません。

ZebraのエンジンはCNNを高速化します。これは、今日の画像およびビデオ処理アプリケーションで主に使用されていますが、Zebraは、同様の数学的概念を使用するBERT（Googleの自然言語処理モデル）にも適用できます。 Zebraの将来の反復は、LSTM（長短期記憶）やRNN（リカレントニューラルネットワーク）を含む他のタイプのニューラルネットワークをカバーする可能性がありますが、RNNは数学的に多様であるため、これを実現するのは困難です。

EVEのチーム

Mipsologyは2015年に設立され、フランスでは約30人が研究開発に従事し、カリフォルニアでは主に事業開発を担当する小さなチームがいます。同社は合計700万ドルの資金を受け取り、そのうち200万ドルは2019年のフランス政府のイノベーションコンペティションからの賞品でした。

MipsologyのコアチームはEVEからです。これは、2012年にSynopsysがZeBu（Zero Bug）ハードウェア支援検証製品のために買収したASICエミュレーター会社であり、当時はCadenceのPalladium検証プラットフォームの競合企業でした。 Larzulによると、EVEテクノロジーは、ほとんどすべての主要なASIC企業で、設計サイクル中にASICを検証するために使用されていました。このテクノロジーは、ASICの動作を再現するために相互に接続された数千のFPGAに依存していました。

Mipsologyは12の特許を申請中であり、ザイリンクスと緊密に連携し、Western Digitalスモールフォームファクタ（SFF U.2）カードやVega-4001などのアドバンテックカードなどのサードパーティ製アクセラレータカードと互換性があります。

>>この記事はもともと姉妹サイトのEETimes。