DSPを活用したエッジでのリアルタイム オーディオAI

DSPを活用したエッジでのリアルタイム オーディオAI

かつて事実上無限のリソースを持つクラウド サーバに限定されていた機械学習が、今やエッジ デバイスへ移行しています。低レイテンシ、コスト削減、エネルギー効率、プライバシー保護がこのシフトを推進しています。例えば、自動運転車が歩行者認識のためにデータをクラウドに送る遅延を許容できず、帯域幅コストがクラウドベースの音声認識をコスト面からは非現実的にすることがあります。

なぜエッジ処理が重要か

データ送信とローカル推論のエネルギー トレードオフは極めて重要です。複雑なMLワークロードは、効率的に実行されないとデバイスのバッテリーを急速に消耗します。エッジ推論は、音声入力メールなどの機密データをデバイス上に留め、ユーザー プライバシーを保護します。

低消費電力常時オン 音声ウェイクアップ

キーワード スポッティング（例：「Hey Siri」「OK Google」）は、エッジMLの最も初期のユースケースの1つです。汎用アプリケーション プロセッサで実行すると100 mW以上を消費し、スマートフォンのバッテリーを急速に枯渇させます。初期の電話機ではアルゴリズムを<5 mWで動作する小型DSPに移し、最新のスマート マイクでは特化型オーディオML DSPで<0.5 mWで同じタスクを実行します。

音声を超えて：エッジ機能の拡張

デバイスが常時オン オーディオMLをサポートすると、文脈的な手がかりを認識できるようになります：混雑したレストラン、繁華街、環境音楽、超音波室内シグネチャ、近くの叫び声や笑い声。これらの機能は、デバイスとユーザーの双方に利益をもたらす高度なユースケースを可能にします。

エッジAI DSPの構築

エッジ推論の最高性能とエネルギー効率には、専用ハードウェアが必要です。最もインパクトのある技術を以下の表にまとめます。

ニューラル ネットワーク推論は行列・ベクトル乗算（MVM）に大きく依存します。融合型乗算累積（MAC）演算が効率的なMVM実行の基石です。低精度演算（多くの場合8ビット）で推論には十分で、計算複雑性を大幅に削減します。IntelとTexas Instrumentsは、専用低精度MACユニットを備えたプロセッサを提供します：TI TMS320C6745はサイクルあたり8ビット オペランドの8 MACを実行、Knowlesのオーディオ DSPは毎サイクル16 MACを実行可能です。

学習と推論の両方に大量のメモリ帯域幅が必要です。幅広データ パスが圧力を緩和します：IntelのAVX-512はサイクルあたり512ビット転送を64マルチプライヤ アレイへ；TI 6745は64ビット バス；Knowlesのプロセッサは128ビット バスを採用し、チップ面積と帯域幅のバランスを取ります。再帰アーキテクチャ（RNN、LSTM）はフィードバック ループを必要とし、ヘビリー パイプライン設計をストールさせる追加のアーキテクチャ制約を課します。

オーディオMLパイプラインは通常、スペクトル解析と特徴抽出から始まります。FFT、フィルタ、三角関数、対数関数などの古典的DSP演算の高速化がエネルギー効率に不可欠です。非線形ベクトル演算（シグモイド、ReLUなど）も単一サイクル命令の恩恵を受け、サイクル数と消費電力をさらに削減します。

要するに、機械学習とオーディオ信号加速を融合したプロセッサが、低コストでリアルタイム・常時オン推論を実現しながらプライバシーを保護します。アーキテクチャの選択（複数演算命令セット、ワイド バス、専用低精度ユニット）が高性能を高消費電力なしで維持します。専用エッジ コンピュートが進化し続ける中、実現可能なMLユースケースのスペクトラムは拡大し続けるでしょう。

Jim Steele、Knowles Corp. テクノロジー戦略担当バイスプレジデント

© この記事は元々EE Timesで「Machine Learning on DSPs: Enabling Audio AI at the Edge.」として公開されました。