新しいレベルのエッジAIへのシフトアップ

テクノロジーの進化段階はおなじみの場所であり、近年の主要なテクノロジーであるAIも例外ではありません。 AIでは、新しい世代がさらにMAC、​​量子化の複数のレイヤー、この機能、その機能を追加して、改善されたTOPS /ワットを追跡します。

私たちは、この環境内のCEVA NeuProプラットフォームを通じて、さまざまな市場にAI-at-the-edgeソリューションを導入することに成功しています。現在、ユーザーはもっと多くのことを望んでいますが、進化だけでは不十分な場合もあります。

当初、ユーザーは使いやすさを重視して、この新しいAI-at-the-edgeテクノロジーを導入できるようにしました。しかし、高度なAI技術に関する専門知識が深まるにつれて、製品に差別化を構築し、現在の最先端のアプローチを桁違いに超えるためのあらゆる可能な方法へのアクセスを望んでいます。進化によってそこにすばやく到達することは不可能です。革新的な改善が必要です。彼らが望んでいるのは、使いやすさから、最大のスループットと最小の電力で最大のアルゴリズムの柔軟性に切り替わったことです。

測定

TOPS / Wは優れたマーケティング番号ですが、実際のアプリケーションで使用するには粗すぎます。たとえば、視覚的な推論では、1ワットあたりの1秒あたりのフレーム数（FPS / W）がはるかに意味のあるメトリックです。この文脈での良いスコアの価値は理解しやすいです。前方の歩行者や車、後方から通過する車を検知するには、迅速な対応が必要です。ブレーキをかけたり離れたりする時間はほとんどなく、どちらの行動も瞬時には起こりません。推論エンジンは、最低100 FPSを管理できる必要があります。これは、車の周りにある多くのセンサー/ AIシステムの1つにすぎないため、可能な限り低い電力で管理できます。それには、競争力のためにはるかに高いfps / Wが必要です。

市場機会は疑いの余地がありません。自動車およびテレコムアプリケーションは、この成長への最大の貢献者であると予想されており、自動車では、インテリジェントイメージングが引き続き強力です。ちなみに、携帯電話の「多くのカメラ」のトレンドもそうです。実際、このようなカメラのイメージングパイプラインは、ノイズ除去、画像安定化、超解像、その他の新しい機能のために、従来のアルゴリズムをニューラルネットに置き換え始めました。これらはすべて、非常に制約されたエネルギーエンベロープで60fpsで実行されます。

大きな進歩に必要なもの

アナログAIとスパイキングニューラルネットの周りで起こっている興味深いことがいくつかありますが、製品メーカーは、今日のボリュームに合わせて拡張できると確信しているものから離れすぎないようにしたいと考えています。その制約は依然として多くのアルゴリズムの可能性を残していますが、現在、製品ビルダーは、最小の電力で最大のパフォーマンスを引き出すために、はるかに柔軟にこれらすべてのアルゴリズムにアクセスすることを望んでいます。

最適化の可能性のリストは長いです：幅広い量子化オプション、winogradのサポート、ゼロによる乗算をスキップするスパース性の最適化、アクティブ化のデータ型の多様性とビットサイズの範囲にわたる重み、ニューラル乗算と並行したベクトル処理機能、重みとアクティベーションの読み込み時間を短縮するデータ圧縮、行列分解のサポート、参照ネットワーク上で最大50：1の加速を実現、トランスフォーマーや3Dコンボリューションサポートなどの次世代NNアーキテクチャ。

行動の呼びかけ

AIの経験が豊富な製品ビルダーは、何を構築したいのか、どのように構築するのかを知っています。彼らが必要としているのは、製品に最適なソリューションを構築するために、すでに理解しているすべてのニューラルネットコンポーネントアルゴリズムを提供するプラットフォームです。

これは、高度なエッジAIが必要とする真の画期的な機能、スループット、および低電力を実現するためのアルゴリズムと最適化の夢のリストです。しかし、なぜ夢だけなのか？高度な製品ビルダーは、AIの段階的な改善にもはや満足していません。彼らは現在、プラットフォームが可能性についての理解を大幅に向上させていることを期待しています。

エッジAIでのCEVAの取り組みの詳細については、ここをクリックしてください。

Roni Sadehは、プロセッサとアクセラレータの設計で20年以上の経験があり、近年、オーディオ/スピーチ/コンピュータビジョンアプリケーション向けのAI関連のSWおよびHWソリューションに焦点を当て、数百に拡張可能な次世代のAIアクセラレータを設計しています。トップス。

ロニはテクニオン大学で航空工学の理学士号を取得しています。