TinyMLコミュニティ、エッジデバイス向け1mW AIを目指す

TinyMLグループが初会合を開いたとき、最初の議題はシンプルな質問でした：TinyMLとは一体何か？

TinyMLは、機械学習（ML）を超低消費電力デバイスで動作させることに専念するエンジニアのコミュニティです。初回の集まりでは、MLがマイクロコントローラーで実装可能か、専用の低消費電力MLプロセッサが必要かが焦点となりました。

Qualcomm AI ResearchのEvgeni Gousev氏は、TinyMLを1mW以下で動作するML技術と定義しました。彼は1mWをスマートフォンにおける「常時オン」アプリケーションの「マジックナンバー」と呼びました。

「クラウドMLが会話を支配している一方で、デバイス上のMLはますます洗練されています」とGousev氏は指摘。「しかしデータの90%は現実世界で生成されます。カメラ、IMU、その他センサーをどう融合し、ローカルでMLを実行するか？」

「TinyMLは大きくなるでしょう。アプリケーション、ソフトウェア、ツール、アルゴリズム、ハードウェア、ASIC、デバイス、ファブなど、エコシステム全体を構築する緊急の必要性があります」とGousev氏は付け加えました。

GoogleエンジニアのNat Jefferies氏が初回TinyMLミートアップで発表（画像：TinyML）

TensorFlow Lite

GoogleエンジニアのDaniel Situnayake氏が、エッジデバイス（マイクロコントローラー含む）向けに調整されたTensorFlowの軽量版であるTensorFlow Liteを紹介しました。

「TensorFlow Liteは数年間モバイルフォンで活用されてきました。今、さらに小さなデバイスへ展開できることを楽しみにしています」と同氏。

TensorFlowでモデルを訓練した後、エンジニアはそれをTensorFlow Liteに変換します。これによりモデルが縮小し、量子化が適用され、ターゲットハードウェアに快適に収まるよう最適化されます。

彼が説明した省電力戦略の一つは、モデルを連鎖させることです。

「分類器のカスケードを想像してください：小さな低消費電力モデルがまず音の有無を検出し、少し大きなモデルが人の話し声かどうかを判断し、それらの条件が満たされたときのみディープネットワークが起動します」とSitunayake氏は説明。「エネルギー集約的なモデルを必要なときのみ起動することで、大幅な省電力を達成できます。」

機械学習モデルのカスケードで省電力化（画像：Google）

Googleの「TensorFlow Lite for microcontrollers」チームメンバー、Nat Jefferies氏は、洗練されたセンサーを備えながら長寿命バッテリーやエナジーハーベスティングに依存するコンシューマーデバイスにおける厳格なエネルギー予算の需要増を強調しました。

「TinyML——マイクロコントローラー上のディープラーニング——が鍵です」と同氏。「最小限のCPUサイクルとセンサーリードでセンサーデータをローカル処理し、オフチップ送信のエネルギーコストを回避できます。TinyMLは生センサーデータを数バイトに蒸留し、その圧縮ペイロードのみを送信できます。」

同氏は、250KBモデルでの人物検出に印象的な応募があった最近のGoogleチャレンジを引用し、このアプローチの実現可能性を確認しました。

「TensorFlowモデルをマイクロコントローラーに収まるレベルまで縮小できるようになりました。この分野に飛び込む好機です」とJefferies氏は結びました。

Googleのマイクロコントローラー向けTensorFlow Liteロードマップには、デモプロジェクトのオープンソース化、チップベンダーとのカーネル最適化協業、メモリ使用量削減によるより複雑なモデル実行、プラットフォームサポート拡大（SparkFun Edgeが第一弾、ArduinoとMbedサポートも予定）が含まれます。

専用デバイス

GreenWaves TechnologiesのVP Business Development、Martin Croome氏が、専用低消費電力MLプロセッサの必要性を訴えました。

「アルゴリズムとハードウェアの両面から、超低消費電力MLへの明確な焦点が必要です」とCroome氏。

GreenWavesのRISC-VアプリケーションプロセッサGAP8は、ミリワット消費電力と超低スタンバイ電流でエッジデバイスでの推論をターゲットにしています。このチップは電池駆動デバイスとエナジーハーベスティングデバイス向けに設計されています。

GreenWavesの超低消費電力MLアクセラレーターは9つのRISC-Vコアを搭載（画像：GreenWaves Technologies）

消費電力を抑えるため、GAP8は速度向上ではなく、より低いクロック周波数と電圧を可能にするために並列性を採用しています。チップのハードウェアアクセラレーターは、16ビットデータでの5×5畳み込みを1サイクルで実行可能。畳み込みニューラルネットワーク（CNN）は固定サイズの入力と重みを使用するため、メモリ管理をコンパイル時に決定でき、ランタイムオーバーヘッドをさらに削減します。

専門化と柔軟性のバランスは課題です。「AIは急速に進化します。今日最先端でも、明日陳腐化するかもしれません」とCroome氏は警告。「過度な特化を避け、将来のイノベーションに適応できる機敏さを保つ必要があります。」

GAP8は1年間サンプリング段階にあり、今月から量産開始、Q3末までに大量出荷予定です。

TinyMLミートアップはベイエリアで毎月最終木曜日に開催され、業界と学術界の参加者を歓迎しています。