DSPが突然どこにでもある理由

ARM CPUコアが最初に検証されたとき、Appleを含むコンピューティングの主要な名前のいくつかで採用されましたが、特にモバイルアプリケーションでの使用が爆発的に増加しました。振り返ってみると、利点は明らかでした。組み込みプロセッサを使用すると、どのデバイスもはるかに柔軟で機能が豊富になります。同時に、その機能はソフトウェアでアップグレードできます。単一のハードウェアプラットフォームで、ソフトウェアのみのアップグレードを通じて複数の製品リリースを推進できます。

（出典：CEVA）

これらのコンピューティングエンジンは非常に柔軟性があり、スマートフォンやその他のモバイル製品の管理および汎用コンピューティングタスクの多くに最適ですが、その一般性には欠点があります。汎用コンピュータでは実行速度が遅すぎて、消費電力が大きすぎて実用的ではない特定の操作があります。スマートフォンの無線通信部分にあるモデムは初期の例でした。これは、無線信号をリアルタイムで処理する必要があります。いずれの場合も、電話のコンピューティング部分で使用される使い慣れたデジタルワードやビットではなく、無線の送受信で使用される連続的に変化するアナログ信号のデジタル化バージョンを処理します。 。

デジタルシグナルプロセッサ（DSP）は、この種の分析用に設計されています。これらには、デジタル化された信号に必要な浮動小数点表現が組み込まれており、積和（MAC）関数などの信号処理に必要な数学関数を強力にサポートしています。また、従来のコンピューティングで一般的なバッチ指向の処理ではなく、ストリーミングデータを処理するように最適化されています。これは、この場合、継続的な無線送受信を処理するための重要な機能です。

オーディオ処理のニーズは、ワイヤレス信号処理で見られるのと同じ機能の多くを共有しています。このDSPのアプリケーションは、イコライゼーションやレンジ圧縮（ドルビー圧縮など）などのハイエンドオーディオアプリケーションで一般的になり、その後、飛行中に邪魔されずに眠ることができるノイズキャンセリングヘッドホンなどの機能でますます一般的になりました。

その後、AIは、当初はデータセンターでのみ、今ではモバイルやその他のエッジアプリケーションでますます普及しました。私たちの車は、歩行者や潜在的な衝突を検出できるようになり、車線のマーキングを検出して、自動運転の基本的な形でステアリングをガイドできるようになりました。音声コマンドでテレビやスマートスピーカーを操作して、曲や映画を見つけたり、音量を下げたり上げたりすることができます。写真の撮影を開始または停止する音声コマンドを使用して、自転車の安全ヘルメットのGoProを制御することもできます。

これらの機能はすべて、ストリーミングデータ（音声）または画像（カメラの静止画像）、あるいは両方（ビデオ）の処理に依存しており、それぞれがリアルタイムまたは非常にリアルタイムに近いものです。最初にオーディオ処理を見てください。まず、複数のマイクからのオーディオビームフォーミング、エコーキャンセレーション、ノイズ抑制を通じて、DSPの実装ですでに長年の経験があるすべての分野で高品質のストリーミングオーディオ信号をキャプチャする必要があります。

次に、これらのAI技術のほとんどすべての基礎である、訓練されたニューラルネットワークを使用してコマンドを認識する必要があります。これらのアルゴリズムは、CPUで実行するアルゴリズムとは大きく異なります。また、CPUで実行することはできますが、速度が遅く、バッテリーがすぐに消耗します。より良いアプローチは、高レベルの並列処理を提供するアーキテクチャでニューラルネットをプログラムし、CPUのようにシリアルではなく、同時に多くの計算を実行できるようにすることです。これは、DSPのもう1つのコアの強みであり、計算における並列処理です。

これらすべての利点にもかかわらず、DSPは複雑すぎて、使用せざるを得ない専門家以外の人が採用するには複雑すぎるのではないかと思うかもしれません。確かに、CPUほど簡単には使用できませんが、違いはそれほど大きくありません。両方のCコードを記述しますが、パフォーマンスを最大限に活用するには、DSP用に記述したコードをもう少し慎重に検討する必要があります。

（出典：CEVA）

広く採用されているのは、Bluetooth、Wi-Fi、携帯電話など、携帯電話のすべての無線機が1つ以上のDSPを使用していることです。 Bluetoothイヤフォンは、BluetoothとオーディオにDSPを使用します。多くのスマートスピーカーはDSPを使用しています。音声制御のリモートはDSPを使用します。ホームセキュリティシステムは、DSPを使用して、カメラの異常な動きや、犬の吠え声やガラスの割れる音などの異常な音を検出します。車のスマートセンサーは、DSPを使用して、前方およびバックアップの危険を検出し、車線のマーキングを検出します。

これらすべての機能にGPUを使用してみませんか？ GPUは、特にAIで非常によく知られており、ニューラルネットトレーニングのデータセンターで広く使用されています。しかし、それらは大きすぎ、電力を大量に消費し、多くのエッジアプリケーションには高すぎます。電力、セキュリティ、プライバシーの理由から、より多くのAI機能をこれらのデバイスに移行するという大きな推進力があります。しかし、これらは非常に費用効果の高いソリューションでなければなりません。ほとんどの場合、ソリューション全体（車、テレビ、ホームセキュリティ）のコストを大幅に増やす意欲はほとんどありません。

これが、組み込みDSPが至る所で普及している理由です。音声制御、オブジェクト検出、オーディオ品質管理などを低コスト、低電力で、ソフトウェアのプログラム可能性の柔軟性を備えた製品に追加できます。管理や一般的な処理のためにCPUを置き換えることはありませんが、スマートオーディオとビデオ/イメージングに関連するすべてを引き継いでいるようです。

このブログはシリーズの最初のものであり、「 DSPがハードウェアアクセラレータを打ち負かすとき」の投稿が続きます。 」および「決定、決定：ハードウェアアクセラレータまたはDSP ？“。