エンジニアリンググループは、1mWのAIを限界まで押し上げようとしています

TinyMLグループが最近最初の会議を招集したとき、メンバーは次のようないくつかの基本的な質問に取り組む必要がありました。TinyMLとは何ですか？

TinyMLは、超低電力システムに機械学習（ML）を実装するための最良の方法に焦点を当てたエンジニアのコミュニティです。彼らの月例会議の最初は、問題を定義することに専念しました。マイクロコントローラーなどの低電力デバイスで機械学習を実現できますか？また、専門の超低電力機械学習プロセッサが必要ですか？

Qualcomm AIResearchのEvgeniGousevは、TinyMLを1mW以下を消費する機械学習（ML）アプローチとして定義しました。 Gousev氏によると、1mWは、スマートフォンの常時接続アプリケーションの「魔法の数字」です。

「クラウドMLについては多くの話題がありますが、スマートフォンレベルのMLはますます洗練されています」と彼は言いました。 「しかし、データを見ると、データの90％は現実の世界にあります。これらすべてのカメラ、IMU、およびその他のセンサーをどのように接続し、そのレベルでMLを実行しますか？」

「小さなMLは大きくなり、アプリケーション、ソフトウェア、ツール、アルゴリズム、ハードウェア、ASIC、デバイス、ファブ、その他すべてを含む、小さなMLのエコシステム全体を推進する緊急の必要性があります」とGousev氏は述べています。 。

<中央>

GoogleのエンジニアであるNatJefferiesが最初のTinyMLミートアップで発表します（画像：TinyML）

TensorFlow Lite

GoogleエンジニアのDanielSitunayakeが、マイクロコントローラーなどのエッジデバイス向けに設計されたGoogleのTensorFlowフレームワークのバージョンであるTensorFlowLiteの概要を説明しました。

「TensorFlowLiteは携帯電話をターゲットにしてきましたが、これまで以上に小型のデバイスで実行できることに興奮しています」と彼は言いました。

TensorFlowでモデルを構築した後、エンジニアはTensor Flow Liteコンバーターを介してモデルを実行できます。これにより、「モデルが小さくなり、量子化などが実行されます。これにより、モデルのサイズと精度を、モデルが快適に収まるスケールまで縮小できます。ターゲットにしているデバイスで」と彼は言いました。

Situnayakeは、モデルを連鎖させることを含む、電力効率を高めるために使用できる1つの手法について説明しました。

「分類器のカスケードモデルを想像してみてください。ここでは、音が発生しているかどうかを検出するためにほとんど電力を使用しない非常に低電力のモデルがあり、次に実行に多くのエネルギーを必要とする別のモデルがあり、それが人間の発話であるかどうかを判断します。」彼が説明した。 「次に、これらの条件が満たされたときにのみウェイクアップする、より多くの電力とリソースを使用する、より深いネットワーク。これらをチェーン化することで、必要なときにのみ[エネルギー集約型]をウェイクアップできるため、エネルギー効率を大幅に節約できます。」

<中央>

カスケード機械学習モデルは電力の節約に役立ちます（画像：Google）

Googleの「TensorFlowLiteformicrocontrollers」チームのエンジニアであるNatJefferiesは、洗練された機能と洗練されたセンサーシステムにもかかわらず、現代の消費者向けガジェットにおける厳しいエネルギー消費要件の傾向について説明しました。これらのガジェットは、数か月または数年続く必要があるバッテリーで動作するか、環境発電を使用する場合があります。

「これに対する最善の解決策は、マイクロコントローラーに関するディープラーニングであるTinyMLだと思います」と彼は言いました。 「これにより、すべての情報をオフチップで送信するのではなく、CPUサイクルとセンサー読み取りを実行できます。これは、[電力をあまり消費しません]…TinyMLを使用して、センサーデータをわずか数バイトに凝縮できます。その後、送信できるのは…電力のほんの一部です」と彼は言いました。

参加者が人の検出を行うために250kバイトのモデルを開発した最近のGoogleの課題は、多くの印象的な提出物を受け取り、「私たちが行っていることが有意義であることを検証します」とジェフリーズは述べています。

「現在、TensorFlowモデルをマイクロコントローラーに適合させることができるレベルまで縮小することができます。そのため、今がこの分野に参加する絶好の機会です」と彼は言いました。 「このプロセスをすぐに開始できることに興奮しています。」

マイクロコントローラーでのTensorFlowLiteに関するGoogleのロードマップには、Googleのデモの一部をオープンソーシングすること、チップベンダーと協力してカーネルを最適化すること、TensorFlow Liteのメモリ使用量を最適化して同じデバイスでより高度なモデルを実行すること、より多くの開発プラットフォームを有効にすることが含まれます（SparkFunEdgeのみボードはこれまでサポートされていましたが、ArduinoとMbedボードのサポートは間もなく開始されます。

スペシャリストデバイス
MLの専門的な低電力アプリケーションプロセッサの事例を提示したのは、GreenWavesTechnologiesの事業開発担当副社長であるMartinCroomeでした。 Croomeは、超低電力の機械学習を進める方法についての業界の議論が遅れていることに同意しました。

「アルゴリズムの観点からも、[ハードウェア]の世界からも、この分野にもっと焦点を当てる必要があります」と彼は言いました。

GreenWavesは、RISC-VアプリケーションプロセッサGAP8を開発しました。これは、ミリワットの電力を消費し、超低スタンバイ電流を提供するエッジデバイスの推論に焦点を当てています。同社は、バッテリー駆動のデバイスと、環境発電を使用するデバイスを対象としています（GreenWavesのチップがどのように機能するかについては、以前の記事をご覧ください）。

<中央>

GreenWavesの超低電力機械学習アクセラレータには9つのRISC-Vコアがあります（画像：GreenWaves Technologies）

消費電力を抑えるために、さまざまな手法が使用されています。これには並列化が含まれますが、速度を上げることはできません。 8コアを使用してクロック速度を遅くし、コア電圧を低下させてエネルギーを節約します（実際には、クロック周波数はワークロードに応じて動的に調整されます）。

このチップは畳み込みニューラルネットワーク（CNN）を対象としており、ハードウェアアクセラレータは、単一のクロックサイクル（ライトバックを含まない）で16ビットデータに対して5×5の畳み込みを実行します。明示的メモリ管理は、画像処理に広く使用されているCNNの性質に依存しています。イメージセンサーは固定サイズであり、推論には同じ数の重みが必要であり、結果は常に同じサイズになります。したがって、ツールはコンパイル時にすべてのデータ移動のコードを生成できます。

Croomeは、テクノロジーの進歩に対応するのに十分な柔軟性を維持しながら、MLワークロードを効果的に処理するのに十分な専門性を備えていることは、難しいバランスであることを認めました。

「AIの範囲は信じられないほど速い速度で前進しています。物事をどのように行うかについての今日の素晴らしいアイデアは、おそらく明日の素晴らしいアイデアがどうなるかではないでしょう」とクルームは言いました。 「専門性が高すぎると、昨年のすべての人の行動を加速させることができますが、これは企業にとっては良くありません。そのため、柔軟性、プログラマビリティ、加速の違いのバランスをとろうとしています。」

GreenWavesのチップは1年間サンプリングされており、今月から生産が開始され、第3四半期末までに大量に顧客に出荷される予定です。

TinyMLのミートアップは、毎月最終木曜日にベイエリアで開催され、産業界と学界の両方からの参加者が参加できます。