エッジでのオーディオAIにDSPを使用する

実質的に無限のリソースを備えたクラウドサーバーに限定されると、機械学習は、遅延の低減、コストの削減、エネルギー効率、プライバシーの強化など、さまざまな理由でエッジデバイスに移行しています。自動運転車での歩行者認識など、解釈のためにデータをクラウドに送信するのに必要な時間は法外なものになる可能性があります。クラウドにデータを送信するために必要な帯域幅は、音声コマンドの音声認識など、クラウドサービス自体のコストは言うまでもなく、コストがかかる可能性があります。

エネルギーは、サーバーとローカライズされた処理の間でデータをやり取りすることの間のトレードオフです。機械学習の計算は複雑であり、効率的に実行しないと、エッジデバイスのバッテリーを簡単に消耗する可能性があります。エッジの決定により、スマートフォンの音声で指示される機密性の高い電子メールなど、ユーザーのプライバシーにとって重要なデータをデバイス上に保持することもできます。オーディオAIは、エッジでの推論の豊富な例です。また、オーディオ機械学習のユースケースに特化した新しいタイプのデジタルシグナルプロセッサ（DSP）により、ネットワークのエッジでパフォーマンスと新機能を向上させることができます。

常時オンの音声ウェイクは、エッジでの機械学習の最も初期の例の1つです。システムの残りの部分をウェイクアップして次のアクションを決定する前に、「HeySiri」や「OKGoogle」などのキーワードをリッスンします。このキーワード検出を汎用アプリケーションプロセッサで実行した場合、100mWをはるかに超える時間がかかる可能性があります。 1日を通して、これはスマートフォンのバッテリーを使い果たします。したがって、この機能を実装した最初の電話では、5mW未満で実行できる小さなDSPにアルゴリズムが移植されていました。現在、これらの同じアルゴリズムは、0.5mW未満のスマートマイクの特殊なオーディオおよび機械学習DSPで実行できます。

エッジデバイスが常時オンのオーディオ機械学習に対して有効になると、低電力での音声認識よりも多くのことができるようになります。デバイスが混雑したレストランやにぎやかな通りにあるかどうかなどのコンテキスト認識、周囲の音楽認識、超音波室認識、近くの誰かが叫んでいるのか笑っているのかさえ認識します。これらのタイプの機能により、エッジデバイスを改善し、ユーザーに利益をもたらす可能性のある新しい高度なユースケースが可能になります。

エッジでの機械学習推論に最適なパフォーマンスとエネルギー効率を実現するには、ハードウェアを大幅にカスタマイズする必要があります。最も影響力のある手法のいくつかを表1に示します。これらの機能を実装すると、エッジ機械学習の推論効率が向上します。

ニューラルネットワークの推論に必要な算術演算の大部分は、行列とベクトルの乗算です。これは、機械学習モデルは通常、行列として表され、ベクトルとして表される新しい刺激物に適用されるためです。エッジ機械学習の推論を改善するための最も一般的な手法は、行列とベクトルの乗算を非常に効率的にすることです。これに対処する一般的な方法は、融合乗算とそれに続く累積（MAC）です。

トレーニングフェーズは数値の精度に敏感ですが、推論フェーズでは、低精度（8ビットなど）でほぼ同等の結果を得ることができます。精度を制限すると、エッジ計算の複雑さを大幅に軽減できます。このため、IntelやTexasInstrumentsなどのプロセッサ企業は限定された精度のMACを追加しています。 Texas InstrumentsのTMS320C6745は、サイクルごとに8ビットの8つのMACを実行できます。また、KnowlesのオーディオDSPは、サイクルごとに8ビットの16個のMACSをサポートしています。

トレーニングフェーズと推論フェーズの両方が、メモリサブシステムに圧力をかけます。ワイドワード幅のプロセッササポートは、これに対応するために改善されることがよくあります。 Intelの最近の高性能プロセッサには、1サイクルあたり512ビットを64個の乗算器のアレイに転送することをサポートするAVX-512が搭載されています。 Texas Instruments 6745は、64ビットバスを使用してメモリ帯域幅を増やします。 Knowlesの高度なオーディオプロセッサは128ビットバスを使用しており、大きなチップ領域と高帯域幅のバランスが取れています。さらに、オーディオ機械学習アーキテクチャ（RNNやLSTMなど）では、フィードバックが必要になることがよくあります。これにより、データ依存によりパイプライン化されたアーキテクチャが停止する可能性があるため、チップアーキテクチャに追加の要件が課せられます。

従来の機械学習は生データを処理できますが、オーディオ機械学習アルゴリズムは通常、スペクトル分析と特徴抽出を実行してニューラルネットワークにフィードします。エネルギー効率を上げるには、FFT、オーディオフィルター、三角関数、対数などの従来の信号処理機能の高速化が必要です。後続の演算では、双曲線正接として実装されたシグモイドや正規化線形単位（すべての負の数がゼロに変更された絶対値関数）など、さまざまな非線形ベクトル演算が使用されることがよくあります。これらの高度な非線形演算は、従来のプロセッサでは多くのサイクルを要します。これらの機能のシングルサイクル命令は、機械学習オーディオDSPのエネルギー効率も向上させます。

要約すると、機械学習とオーディオ処理の両方に特化した高度なプロセッサにより、プライバシーを維持しながら、リアルタイムの常時接続エッジ推論を低コストで実現できます。エネルギー消費は、サイクルごとに複数の操作を可能にする命令セットのサポートに関するアーキテクチャ上の決定と、低電力で高性能を維持するためのより広いメモリバスによって低く抑えられます。企業が最先端の特殊なコンピューティングの革新を続けるにつれて、それを利用する機械学習のユースケースは増えるだけです。

Jim Steeleは、KnowlesCorp。の技術戦略担当副社長です。

>>この記事はもともと姉妹サイトであるEETimes：「DSPでの機械学習：エッジでのオーディオAIの有効化」