Edge AIチップは、55 TOPS / W

に到達するための積和演算を行いません。

シリコンバレーの新興企業は、ニューラルネットワークの数学を再発明し、積和演算ユニットの通常の大規模な配列を使用しない、すでにサンプリングされた補完的なエッジAIチップを作成したと主張しています。このチップは4TOPSに相当し、55 TOPS / Wの優れた消費電力を実現し、同社によれば、20mW未満でデータセンタークラスの推論を実現します（YOLOv3、30fps）。

サンノゼを拠点とするPerceiveは、これまでスーパーステルスモードでした。Xperiからのスピンアウトとして、2年前に正式に設立されて以来、完全に親から資金提供を受けています。チームは41人で、Xperi内で同様の数がチップ用のアプリに取り組んでいます。創設者のCEOであるSteveTeigは、XperiのCTOでもあります。彼は以前、5年前にドアを閉めた3DプログラマブルロジックスタートアップであるTabulaの創設者兼CTOであり、それ以前はCadenceのCTOでした。

Teigは、最初のアイデアは、Xperiの画像および音声処理に関する古典的な知識と機械学習を組み合わせることであると説明しました。 Xperiは、DTS、IMAX Enhanced、HD Radioなどのブランドを所有しています。その技術ポートフォリオには、デジタルカメラで広く使用されている写真の赤目や画像安定化などの機能のための画像処理ソフトウェアと、Blu-Rayディスクプレーヤー用のオーディオ処理ソフトウェアが含まれます。

Steve Teig（画像：Perceive）

「私たちはきれいな紙から始め、情報理論を使って質問しました。ニューラルネットワークは実際にどのような計算を行っているのでしょうか。そして、[エッジで]可能なことを変える可能性のあるその計算にアプローチする別の方法はありますか？」テイグは言った。 「この作業を数年行った後、それが正しいことを発見し、決定しました…これらのアイデアを具体化したチップを作成する必要があります。」

TeigがXperiボードに提示したアイデアは、20mWの電力バジェットでエッジデバイスで意味のある推論を行うことができるチップを作るために会社をスピンアウトすることでした。その結果、Ergoという名前の7x7mmチップは、外部RAMなしで4 TOPSを実行できます（実際、4 TOPSで評価されたGPUが達成できるのと同等の動作をしています）。 Ergoは、CNNに合わせて調整された市場の多くのソリューションとは対照的に、畳み込みネットワーク（CNN）やリカレントネットワーク（RNN）を含む多くのスタイルのニューラルネットワークをサポートします。 Ergoは、複数の異種ネットワークを同時に実行することもできます。

「実行できるネットワークの数を制限する唯一のことは、組み合わせに必要な合計メモリです」とTeig氏は述べ、PerceiveはYOLOv3またはM2Det（6000万または7000万のパラメーター）とResNet28（数百万）を同時に実行することを実証したと付け加えました。パラメータに加えて、音声および音声処理を行うためのLSTMまたはRNN。アプリケーションでは、これはイメージングとオーディオ推論に同時に対応する場合があります。

Perceiveはまた、Ergoチップが非常に電力効率が高く、55 TOPS / Wを達成していると主張しています。この数字は、一部の競合他社が主張しているものを1桁上回っています。 Perceiveの数値では、わずか20mWを消費しながら、毎秒30フレームで、6,400万個のパラメータを持つ大規模ネットワークであるYOLOv3を実行しています。

Perceiveは、Ergoチップの効率が最大55 TOPS / Wであり、わずか20mWで30fpsでYOLOv3を実行していると主張しています（画像：Perceive）

この電力効率は、ニューラルネットワーク処理の決定論的性質を利用するいくつかの積極的なパワーゲーティングおよびクロックゲーティング技術に依存します。他のタイプのコードとは異なり、分岐がないため、コンパイル時にタイミングがわかります。これにより、Perceiveは、何をいつオンにする必要があるかを正確に把握できます。

「バッテリー駆動の設定では、[チップ]は文字通りオフ（ゼロミリワット）で、関心のあるものを検出するための何らかのマイクロワットモーションセンサーまたはアナログマイクを備えている可能性があります」とTeig氏は述べています。 「オフからウェイクアップし、データセンタークラスの巨大なニューラルネットワークをロードして、復号化を含めて約50ミリ秒で実行できます。そのため、床には約2フレームのビデオしか残しません。」

ただし、慎重なハードウェア設計は全体像の一部にすぎません。

情報理論

「基礎となる計算自体とそれに伴う算術を表す別の方法を考え出しました」とTeig氏は述べています。 「私たちはネットワーク自体を新しい方法で表現しています。それが私たちの利点です。」

Perceiveは、情報理論（信号とノイズを区別する数学的な方法を含む科学の一分野）から始まり、その概念を使用して、信号をノイズから引き出すために必要な計算量を調べました。 Teigは、例としてオブジェクト検出ネットワークを使用しています。

「あなたはネットワークに何百万ものピクセルを渡します、そしてあなたが知りたいのは、この写真に犬がいるかどうかだけです。」彼は言った。 「犬らしさ[信号]を除いて、写真の他のすべてはノイズです。情報理論はそれを定量化できるようにします— [写真に犬がいるかどうかを知るために]どれだけ知っておく必要がありますか？実際には、数学的に正確にすることができます。」

Teigが説明しているように、主流のニューラルネットワークは、ノイズ内の信号の少なくとも一部を検出したため、犬の多くの写真を見ることに基づいて一般化できますが、これは数学的に厳密なアプローチではなく、経験的な方法で行われました。これは、ノイズが信号とともに運ばれることを意味し、主流のニューラルネットワークを非常に大きくし、敵対的な例やその他のトリックの影響を受けやすくします。

「どの部分を保持する必要があり、どの部分が単なるノイズであるかを数学的に理解できるほど、一般化でより良い仕事ができ、他のオーバーヘッドが少なくなります」とTeig氏は述べています。 「現在のニューラルネットワークでさえ、ノイズから信号を抽出していると思います。それらは厳密な方法で信号を抽出しておらず、その結果、余分な重みを持っています。」

この情報理論の観点は、ニューラルネットワークを新しい方法で表現するPerceiveの機械学習戦略の基礎です。

「実際、これは機械学習の方法に関する情報理論の観点と、それらのアイデアを具体化するチップとの融合です」とTeig氏は述べています。

チップアーキテクチャ

TabulaのCTOとしてのTeigの経歴により、プログラマブルロジックに基づくハードウェアを期待するかもしれませんが、ここではそうではありません。

「FPGAで行われることの多くは超並列であり、非常に集中的であるため、私は10年間、プログラマブルロジックと、高性能で非常に並列な計算を可能にする豊富な相互接続アーキテクチャを構築する方法について考えることに強く影響を受けてきました。計算とメモリの間の相互作用」とTeig氏は述べています。 「その作業はPerceiveでの私の作業に間違いなく影響を与えましたが、私たちが持っているのはプログラマブルロジック自体ではありません 。その考え方の影響を受けていますが、アーキテクチャ自体はニューラルネットワークを中心にしています。」

Perceiveのニューラルネットワークファブリックはスケーラブルであり、初期チップのErgoには4つの計算クラスターがあり、それぞれに独自のメモリがあります。正確な詳細はまだ明らかにされていませんが、Teigは、これらのクラスターは、ベクトルと行列の内積を計算するために積和演算ユニット（MAC）の配列を通常使用する他のAIアクセラレーターに見られるものとは大幅に異なると述べました。

Perceiveのテクノロジーは、情報理論の手法を使用してニューラルネットワークの数学を再発明することに基づいています（画像：Perceive）

「私たちはそれをしていません」とテイグは言いました。 「MACの配列はありません。その結果、私たちは市場に出回っている他の製品の20〜100倍の電力効率を実現しています。その理由は、他のすべての人が同じことをしているのに、そうではないからです。私たちのネットワークの表現は非常に新しく、それが私たちがそのような優れた効率を達成することを可能にしたものです。これに加えて、ネットワークのこの表現を見つけて、チップが見たいものと互換性を持たせる方法でネットワークをトレーニングできる機械学習テクノロジーがあります。」

画像と音声

Ergoは2台のカメラをサポートでき、プリプロセッサとして機能する画像処理ユニットを備えており、魚眼レンズの写真の歪み補正、ガンマ補正、ホワイトバランス、トリミングなどを処理します。

「それは派手ではありませんが、ハードウェアで行うのに明らかに役立つ前処理です。私たちはハードウェアで行います」とTeig氏は述べています。 「オーディオと同等のものもあります。たとえば、複数のステレオマイクを使用して、ビームフォーミングを行うことができます。」

前処理にも使用できるDSPブロックを備えたSynopsisARCマイクロプロセッサと、同じくSynopsisのセキュリティブロックもあります。

「私たちが行ったことの1つは、IoT設定でセキュリティのレベルを維持するために、すべてを完全に暗号化することです。ネットワークを暗号化し、マイクロプロセッサで実行されるコードを暗号化し、インターフェイスを暗号化し、すべてを暗号化します」とTeig氏は述べています。

このチップは、画像と音声の外部のセンサーに適切なI / Oを備えており、無線更新を可能にする外部フラッシュメモリやマイクロプロセッサをサポートしています。これは、チップにロードされたニューラルネットワークを更新したり、必要に応じて別のネットワークをロードしたりするために使用できます。

エルゴは現在、付属のリファレンスボードと一緒にサンプリングしています。 2020年第2四半期に大量生産が見込まれています。