AIチップはクラウドサービスを介してオンラインになります

Groqのテンソルストリーミングプロセッサ（TSP）シリコンが利用可能になり、クラウドでの顧客のAIワークロードを加速します。クラウドサービスプロバイダーのNimbixは、「選択した顧客」のみを対象としたオンデマンドサービスとして、Groqハードウェアで機械学習アクセラレーションを提供するようになりました。

データセンター用のAIシリコンを構築しているスタートアップがいくつかありますが、Groqは現在、顧客がクラウドサービスの一部として使用できるアクセラレータを備えた唯一の2つとしてGraphcoreに加わっています。 Graphcoreは以前、アクセラレータがMicrosoftAzureの一部として利用可能であることを発表しました。

「Groqの簡素化された処理アーキテクチャはユニークであり、コンピューティング集約型のワークロードに前例のない決定論的なパフォーマンスを提供し、クラウドベースのAIおよびディープラーニングプラットフォームへのエキサイティングな追加です」とNimbixのCEOであるSteveHebertは述べています。

Groqは、ハードウェアをクラウドで利用できるようにする2番目のAIアクセラレータスタートアップです（画像：Groq）

昨年秋に発売されたGroqのTSPチップは、巨大な1,000 TOPS（1秒あたり1ペタの操作）が可能です。同社が発表した最近の結果によると、ResNet-50 v2推論では、チップが1秒あたり21,700の推論を達成できます。これは、Groqによると、今日のGPUベースのシステムのパフォーマンスの2倍以上です。これらの結果は、Groqのアーキテクチャが、市販されている最速のニューラルネットワークプロセッサではないにしても、最速の1つであることを示唆しています。

「これらのResNet-50の結果は、Groqの独自のアーキテクチャと機械学習アクセラレーションへのアプローチが、競合他社よりも大幅に高速な推論パフォーマンスを提供することの検証です」と、Groqの共同創設者兼CEOであるJonathanRossは述べています。 「シミュレーションやハードウェアエミュレーションではなく、業界標準のベンチマークに基づくこれらの実際の証明ポイントは、Groqのテクノロジーによって可能になった機械学習と人工知能アプリケーションの測定可能なパフォーマンスの向上を確認します。」

Groqによると、そのアーキテクチャは、従来のCPUおよびGPUアーキテクチャの同期オーバーヘッドなしで、ディープラーニングの高速化に必要な大規模な並列処理を実現できます。 Groqのソフトウェア主導のアプローチの一環として、制御機能がシリコンから削除され、代わりにコンパイラに提供されました。これにより、コンパイラによって調整された完全に予測可能で決定論的な操作が可能になり、コンパイル時にパフォーマンスを完全に理解できるようになります。

注意すべきもう1つの重要な機能は、Groqのパフォーマンス上の利点がバッチ処理に依存しないことです。これは、スループットを向上させるために、一度に複数のデータサンプルが処理されるデータセンターで一般的な手法です。 Groqによると、そのアーキテクチャは、バッチ=1でもピークパフォーマンスに達する可能性があります。これは、リアルタイムで到着するデータのストリームを処理する可能性のある推論アプリケーションの一般的な要件です。 GroqのTSPチップは、大きなバッチサイズでGPUに比べて中程度の2.5倍のレイテンシの利点を提供しますが、バッチ=1では、利点は17倍に近いと同社は述べています。