リアルタイムの音響処理を成功させるには、慎重な計画が必要です

低遅延のリアルタイム音響処理は、音声前処理、音声認識、アクティブノイズキャンセル（ANC）など、多くの組み込み処理アプリケーションの重要な要素です。これらのアプリケーションドメイン内でリアルタイムのパフォーマンス要件が着実に増加しているため、開発者はこれらのニーズに適切に対応するための戦略的思考を採用する必要があります。チップ上の多くの大規模システムによって提供される実質的なパフォーマンスを考えると、発生する追加のタスクをこれらのデバイスに単純にロードしたくなるかもしれませんが、レイテンシと決定論は、主要なリアルタイムシステムに簡単につながる重要な要素であることを理解することが重要です注意深く考慮しないと問題が発生します。この記事では、リアルタイム音響システムでの不快な驚きを避けるために、設計者がSoCと専用オーディオDSPのどちらかを選択する際に考慮すべき問題について説明します。

低遅延音響システムは、幅広いアプリケーションをカバーします。たとえば、自動車の分野だけでも、パーソナルオーディオゾーン、ロードノイズのキャンセル、車載通信システムなどでは、低遅延が重要です。

車両の電動化の新たな傾向に伴い、目立った騒音を発生する燃焼エンジンがないため、ANCはさらに重要になります。したがって、車と道路のインターフェースに関連する音は、はるかに目立ち、不快になります。この騒音を低減することで、より快適な乗り心地を実現するだけでなく、ドライバーの疲労も軽減します。専用のオーディオDSPではなくSoCに低遅延音響システムを実装することに関連する多くの課題があります。これらには、遅延、スケーラビリティ、アップグレード可能性、アルゴリズムの考慮事項、ハードウェアアクセラレーション、およびカスタマーサポートの問題が含まれます。これらを順番に調べてみましょう。

レイテンシ

リアルタイム音響処理システムのレイテンシーの問題は重要な問題です。プロセッサがシステムのリアルタイムのデータ移動と計算要求に対応できない場合、許容できないオーディオドロップが発生する可能性があります。

通常、SoCには小さなオンチップSRAMが搭載されているため、ほとんどのローカルメモリアクセスではキャッシュに依存する必要があります。これにより、コードとデータの非決定的な可用性がもたらされ、処理の待ち時間も長くなります。 ANCなどのリアルタイムアプリケーションの場合、これだけで取引を妨げる可能性があります。ただし、SoCが大量のマルチタスク負荷を管理する非リアルタイムオペレーティングシステムを実行しているという事実もあります。これにより、システムの非決定的な動作特性が増幅され、マルチタスク環境で比較的複雑な音響処理をサポートすることが非常に困難になります。

図1は、リアルタイムオーディオ処理負荷を実行しているSoCの具体例を示しています。ここでは、優先度の高いSoCタスクが処理されるとCPU負荷が急上昇します。これらのスパイクは、たとえば、システムでのメディアレンダリング、ブラウジング、アプリの実行などのSoC中心のアクティビティが原因で発生する可能性があります。スパイクが100％のCPU負荷を超えると、SoCはリアルタイムで動作しなくなり、オーディオのドロップアウトが発生します。

クリックしてフルサイズの画像を表示

図1：他のタスクに加えて高オーディオメモリ処理を実行する代表的なSoCの瞬間的なCPU負荷[1]。 （出典：Analog Devices）

一方、オーディオDSPは、サンプリングされたオーディオ入力からコンポジット（オーディオ+アンチノイズなど）スピーカー出力まで、信号処理パス全体で低遅延を実現するように設計されています。プロセッサコアに最も近いシングルサイクルメモリであるL1命令およびデータSRAMは、中間データをオフチップメモリ​​にオフロードすることなく、多くの処理アルゴリズムをサポートするのに十分な容量を備えています。さらに、オンチップL2メモリ（コアからは離れていますが、オフチップDRAMよりもはるかに高速なアクセス）は、L1SRAMストレージを超えた場合の中間データ操作用のバッファーを提供するのに役立ちます。最後に、オーディオDSPは通常、リアルタイムオペレーティングシステム（RTOS）を実行します。これにより、新しい入力データが到着する前に、受信データを処理してターゲットの宛先に送信できるため、リアルタイム操作中にデータバッファがオーバーフローすることはありません。

システム起動時の実際の遅延（多くの場合、オーディオの可用性までの時間で測定）も重要な指標になる可能性があります。特に、起動から特定のウィンドウ内で警告音をブロードキャストする必要がある自動車システムでは重要です。デバイス全体のオペレーティングシステムの起動を伴う長い起動シーケンスが一般的であるSoCの世界では、この起動要件を満たすことが困難または不可能な場合があります。一方、他の外部システムの優先順位の影響を受けない独自のRTOSを実行するスタンドアロンオーディオDSPは、オーディオまでの時間の要件を快適に満たす高速ブート用に最適化できます。

スケーラビリティ

遅延の懸念は、ノイズ制御などのアプリケーションのSoCにとって問題ですが、音響処理の実行を目指すSoCのもう1つの重要な欠点は、スケーラビリティにあります。言い換えると、多くの異なるサブシステムを備えた大規模システム（自動車のヘッドエンドユニットやクラスターなど）を制御するSoCは、各サブシステムコンポーネントのスケーラビリティのニーズが常に競合するため、ローエンドからハイエンドのオーディオニーズに簡単に拡張できません。 SoC全体の使用率のトレードオフ。たとえば、ヘッドエンドSoCがリモートチューナーに接続し、自動車モデル全体で、そのチューナーを数チャネルから多数チャネルに拡張する必要がある場合、各チャネル構成は前述のリアルタイムの懸念を増幅します。これは、SoCの制御下にある各追加機能が、SoCのリアルタイムの動作と、複数の機能で使用される主要なアーキテクチャコンポーネントのリソースの可用性を変更するためです。これらのリソースには、メモリ帯域幅、プロセッサコアサイクル、システムバスファブリックアービトレーションスロットなどの側面が含まれます。

マルチタスクSoCに接続する他のサブシステムに関する懸念は別として、音響サブシステム自体には独自のスケーラビリティの問題があります。ローエンドからハイエンドへのスケーリング（たとえば、ANCアプリケーションのマイクとスピーカーチャンネルの数の増加）があり、基本的なオーディオデコードやステレオ再生から3D仮想化やその他のプレミアム機能まで、オーディオエクスペリエンスのスケーリングもあります。これらの要件はANCシステムのリアルタイムの制約を共有していませんが、それでもシステムのオーディオプロセッサの選択に直接関係しています。

SoCへのコプロセッサーとして別個のオーディオDSPを利用することは、オーディオのスケーラビリティの問題を解決し、モジュラーシステム設計を可能にし、コストを最適化するのに役立ちます（図2を参照）。 SoCは、大規模システムのリアルタイム音響処理のニーズに焦点を当てることができず、代わりにその処理を低遅延オーディオDSPにオフロードできます。さらに、包括的なコード互換およびピン互換のロードマップ全体でいくつかの異なる価格/パフォーマンス/メモリレベルを提供するオーディオDSPは、システム設計者が特定の製品層に提供するオーディオパフォーマンスを適切なサイズにするための最大限の柔軟性を提供します。

クリックしてフルサイズの画像を表示

図2：拡張性の高いオーディオプロセッサの例。ここに示すADSP-2156xDSPなどの別のオーディオプロセッサを利用すると、オーディオのスケーラビリティの問題を解決し、モジュラーシステムの設計が可能になり、コストが最適化されます。（出典：アナログデバイセズ）

アップグレード可能性

今日の車両では無線によるファームウェアの更新が一般的になるにつれて、重要なパッチを発行したり、新しい機能を提供したりするためのアップグレード可能性がますます重要になっています。これは、さまざまなサブシステム間の依存関係が高まるため、SoCに大きな問題を引き起こす可能性があります。まず、SoCでは、複数の処理スレッドとデータ移動スレッドがリソースを争っています。これにより、特にピークアクティビティのバースト時に、新しい機能が追加されたときにプロセッサMIPSとメモリの競合が増加します。オーディオの観点からは、他のSoC制御ドメインでの機能の追加は、リアルタイムの音響パフォーマンスに予測できない影響を与える可能性があります。この状況の1つの副作用は、新しい機能をすべての操作プレーンでクロステストする必要があることです。その結果、競合するサブシステムのさまざまな操作モード間で無数の順列が発生します。したがって、ソフトウェア検証は、アップグレードパッケージごとに指数関数的に増加します。

別の角度から見ると、SoCオーディオパフォーマンスの改善は、SoCによって制御される他のサブシステムの機能ロードマップに加えて、利用可能なSoCMIPSに依存していると言えます。

アルゴリズムの開発とパフォーマンス

リアルタイム音響アルゴリズムの開発に関しては、オーディオDSPがそのタスク専用に構築されていることは明らかです。スタンドアロンオーディオDSPは、SoCとの大きな差別化要因として、最小限のDSPコーディング経験を持つエンジニアが高品質の音響処理を設計に追加できるグラフィカルな開発環境を提供できます。このタイプのツールは、品質やパフォーマンスを犠牲にすることなく開発時間を短縮することで、開発コストを削減できます。

一例として、ADIのSigmaStudioグラフィカルオーディオ開発環境は、直感的なグラフィカルユーザーインターフェイス（GUI）に統合されたさまざまな信号処理アルゴリズムを提供し、複雑なオーディオ信号フローの作成を可能にします（図3を参照）。また、オーディオトランスポート用のグラフィカルなA2B構成をサポートし、リアルタイムの音響システム開発を促進するのに大いに役立ちます。

クリックしてフルサイズの画像を表示

図3：アナログデバイセズのSigmaStudioのようなグラフィカルオーディオ開発環境は、直感的なグラフィカルユーザーインターフェイス（GUI）に統合されたさまざまな信号処理アルゴリズムへのアクセスを提供し、複雑なオーディオ信号フローの作成を簡素化します。 （出典：Analog Devices）

オーディオフレンドリーなハードウェア機能

効率的な並列浮動小数点計算とデータアクセス用に特別に設計されたプロセッサコアアーキテクチャに加えて、オーディオDSPには、高速フーリエ変換（FFT）、有限および無限インパルス応答（FIRおよびIIR）などの一般的なオーディオプリミティブ専用のマルチチャネルアクセラレータが備わっていることがよくあります。 ）フィルタリング、および非同期サンプルレート変換（ASRC）。これらにより、コアCPUの外部でのリアルタイムのオーディオフィルタリング、サンプリング、および周波数ドメイン変換が可能になり、効果的なコアパフォーマンスが向上します。さらに、最適化されたアーキテクチャとデータフロー管理機能により、柔軟でユーザーフレンドリーなプログラミングモデルを促進できます。

オーディオチャネル数、フィルターストリーム、サンプリングレートなどが急増しているため、インラインサンプルレート変換、高精度クロッキング、および同期高速シリアルポートでデータを効率的にルーティングできるように、最大​​限に構成可能なピンインターフェイスを用意することが重要です。追加の遅延や外部インターフェイスロジックを回避します。図4に示すように、ADIのSHARCファミリプロセッサのデジタルオーディオ相互接続（DAI）は、この機能を示しています。

クリックしてフルサイズの画像を表示

図4：デジタルオーディオインターコネクト（DAI）は、インラインサンプルレート変換、高精度クロッキング、同期高速シリアルポートを使用してデータを効率的にルーティングし、遅延の増加を回避できる、最大限に構成可能なピンインターフェイスです。外部インターフェースロジック。 （出典：Analog Devices）

カスタマーサポート

組み込みプロセッサを使用した開発で見過ごされがちな側面の1つは、デバイスのカスタマーサポートです。

SoCベンダーは、統合されたDSP製品で音響アルゴリズムを実行することを推進していますが、これには実際にはいくつかの責任があります。 1つは、音響の専門知識は通常SoCアプリケーション開発の領域ではないため、ベンダーのサポートはより複雑になることがよくあります。その結果、SoCのオンチップDSPテクノロジーで独自の音響アルゴリズムを開発しようとしている顧客に対するサポートは弱い傾向があります。むしろ、ベンダーは標準アルゴリズムを提供し、音響アルゴリズムをSoCの1つ以上のコアに移植するためにかなりのNREを請求する場合があります。それでも、特にベンダーが成熟した低遅延のフレームワークソフトウェアを提供していない場合は、成功の保証はありません。最後に、SoCベースの音響処理のサードパーティエコシステムは、SoCの焦点では​​なく、日和見的にサポートされている機能であるため、かなり脆弱になる傾向があります。

専用のオーディオDSPは、最適化されたアルゴリズムライブラリやデバイスドライバーからリアルタイムオペレーティングシステムや使いやすい開発ツールまで、複雑な音響システムの開発のためのはるかに強力なエコシステムを備えています。市場投入までの時間を短縮するオーディオ中心のリファレンスプラットフォーム（図5に示すADIのSHARCオーディオモジュールプラットフォームなど）は、SoCにとっては珍しいものですが、スタンドアロンのオーディオDSPドメインでは非常に一般的です。

図5：DSPは通常、ここに示すSHARCオーディオモジュール（SAM）のようなオーディオに焦点を合わせた開発プラットフォームを提供します。（出典：Analog Devices）

リアルタイム音響システムの設計には、システムリソースの慎重で戦略的な計画が含まれ、マルチタスクSoCに残りの処理ヘッドルームを割り当てるだけでは管理できません。代わりに、低遅延処理用に最適化されたスタンドアロンオーディオDSPは、堅牢性の向上、開発時間の短縮、および将来のシステムニーズとパフォーマンス層に対応するための最適なスケーラビリティにつながる可能性があります。

参照

[1]ポールベックマン。 「マルチコアSOCプロセッサ：パフォーマンス、分析、および最適化。」 2017 AES International Conference on Automotive Audio、2017年8月。

---

> デビッドカッツ アナログ、デジタル、および組み込みシステムの設計で30年の経験があります。彼は、Analog Devices、Inc。の自動車インフォテインメントのシステムアーキテクチャのディレクターです。彼は、100近くの組み込み処理記事を国際的に公開しており、この分野でいくつかの会議論文を発表しています。以前は、Motorola、Inc。で、ケーブルモデムおよびファクトリオートメーショングループのシニアデザインエンジニアとして働いていました。デビッドは両方の理学士号を取得しています。とM.Eng。コーネル大学で電気工学の博士号を取得。彼の連絡先は[email protected]です。

---

>

関連コンテンツ：

• より良いオーディオのためのハードウェアとソフトウェアのブレンド
• オーディオエッジプロセッサがIoTデバイスでの音声統合を可能にする方法
• AIはオーディオチェーンでその声を見つけます
• アダプティブANCソリューションは強化されたオーディオ機能をもたらします
• 低電力の常時接続音声コマンドシステムの設計上の考慮事項

Embeddedの詳細については、Embeddedの週刊メールニュースレターを購読してください。