効率的な組み込み展開のためのAIモデル最適化

AI駆動インターフェースへの需要が高まる中、顔認識のような機能を機械に統合することはもはや大きな飛躍ではありません。顔ID例のような豊富なAIプラットフォーム、訓練ツール、オープンソースプロジェクトにより、開発者はPCで迅速にプロトタイピングできます。

(出典:CEVA)

制約

PCやクラウドで訓練されたネットワークを組み込みシステムに移行することは、明確な課題を提示します。ハイエンドハードウェア向けに構築されたモデルは、メモリ制約を無視し、浮動小数点演算に依存し、スライディングウィンドウ推論でオフチップメモリに依存することが多々あります。強力なPCでのプロトタイプはこれらの非効率を許容できますが、組み込みアプリケーションはパフォーマンスを維持しながら大幅に倹約的でなければなりません。

最適化の要諦

最適化の第一の柱は量子化です。重みを32ビット浮動小数点から8ビット整数に変換することで、モデルサイズと中間値の両方が縮小し、ほとんどのビジョンタスクで精度への影響は無視できるレベルながら、大幅なメモリ節約が可能です。

重みのスパース性活用でさらなる計算削減が可能。ゼロに近い係数をゼロ化しつつ精度影響を監視することで、不要な乗算を排除し、メモリトラフィックと消費電力の両方を削減します。

実践では、ビジョンモデルは画像を増分的に処理するため、計算ウィンドウがフレームを横断するにつれて重みが更新されます。重み行列の大部分をゼロに強制することで、配列を圧縮してオンチップSRAMに格納でき、オフチップトラフィックを削減しスループットを向上させます。

ニューラルネットは成熟ライブラリにも依存します。TensorFlow Liteやベンダー固有のアクセラレータライブラリのような、マイクロコントローラフレンドリーなランタイムは効率的な推論に不可欠。マイクロコントローラを完全に活用するには、通常カスタム調整されたソリューションが必要です。

したがって、適切なプラットフォーム選択が極めて重要です。選んだフレームワーク（例：TensorFlow）で訓練されたモデルを、最小限の手動調整で組み込みターゲットに直接コンパイルし、量子化レベル、重み閾値、メモリマッピングへのきめ細かな制御を可能にするフローが必要です。

どうすればこれを使いやすいフローにできるか？

求めるのは、訓練済みネットワークを取り込み、量子化、スパース性刈り込み、ランタイムコード生成を完備して展開用にパッケージ化するシームレスなパイプラインです。これにより、ローレベル最適化ではなくアプリケーションに集中できます。

CEVAのCDNNはまさにこの目的で構築されています。量子化、刈り込み、ランタイム生成のオフラインツールチェーンを提供し、CEVA DSPと顧客アクセラレータにタイトに結合したライブラリを提供。CDNNはTensorFlow Lite、ONNX、Caffeを含むすべての主要モデルフォーマットをサポートします。

---

関連コンテンツ：

• 組み込みAIの習得
• マイクロコントローラへのAIモデル圧縮
• 組み込みシステムへの機械学習適用
• AI向けマイクロコントローラアーキテクチャの進化
• エッジでのAIモデル学習
• AI向けマイクロコントローラアーキテクチャの進化
• 組み込みAIでビッグデータをスマートデータに変換

Embeddedの週刊メールニュースレターを購読して、さらなる組み込み情報を入手してください。