AVに聴覚を向上させる

ドライバーがサイレンを聞くことができるのなら、自動運転車が同じことをできないのはなぜですか？

深刻な交通事故などの緊急事態では、毎秒が重要であり、十分に広い救助車線が生死の違いを生む可能性があります。ドライバーがサイレンを聞くことができるのなら、自動運転車が同じことをできないのはなぜですか？エジプトのカイロに本拠を置くAvelabsは、視覚を補完し、自動運転システムを改善するために、車両に聴覚を与えるセンサーソリューションを開発しました。

「ビジョンは、環境を評価する際の私たちの最も重要な感覚です」と、今年のAutoSensブリュッセルでのパネルセッションで、Avelabsの製品管理ディレクターであるAmrAbdelsabourは述べています。 「しかし、人間のドライバーとして、私たちは視覚だけに依存しているわけではありません。私たちが運転しているとき、私たちは聴覚にも依存しています。後ろからサイレンが鳴り響くように聞こえるが見えない情報はたくさんあります。または、目の見えない交差点に車を運転していて、車が来ている場合、実際には見えませんが、聞こえます。」

AutoSensで、AvelabsはAutoHearsを導入しました。これは、車両の複雑な環境を理解するのに役立つ音を検出、分類、およびローカライズする音響センシングシステムです。 AutoHearsは、ハードウェア、メカニカルエンクロージャー、およびセンシング機能を実行するソフトウェアを含み、緊急車両、不明瞭なフィールド、自然災害（例：岩盤滑り）、安全イベント（例：近くの衝突、銃撃、爆発）の検出を実行することを目的としています。車両の自己診断および音声認識として。

EE Times Europe とのフォローアップディスカッション 、Abdelsabourは、車両に聴覚を与えるために必要なこと、ソフトウェアとハ​​ードウェアが相互にどのように依存しているか、データ融合プロセスがどこでどのように実行されるか、そしてAutoHearsがいつ登場すると予想できるかを説明しました。

EE Times Europe：AutoHearsが検出できる音と検出できない音の種類について説明してください。

Amr Abdelsabour： 私たちは、世界中のさまざまな規格のホーンやサイレンだけでなく、走行中の車両の音（タイヤ、エンジン、ブレーキ、空力音など）から始めました。これらのクラスは、これまでにテストおよび実証されたものです。現在、自然災害や衝突判定などの新しいクラスの追加に取り組んでいますが、それらはまだ機能開発段階にあります。機能開発のロードマップは現在作成中です。

EE Times Europe：AutoHearsはあらゆる角度から音を検出します。物理的な制限はありますか？

Abdelsabour： AutoHearsは、あらゆる角度からの音を検出できます。それだけでなく、壁の後ろやその他の障害物からの音も検出できます。もちろん、物理的な制限があります。音の測定は相対的な感知プロセスであり、音はその環境に対して感知されます。これは、環境が静かな場合、AutoHearsは自転車や足音などのかすかな音や弱い音を検出できることを意味します。ただし、環境にノイズが多い場合、AutoHearsは最も重要な音しか検出できません。そのため、たとえば、近くで大きなサイレンが鳴っている場合、大きな音が静かな音を覆ってしまうため、他の車両のモーター音を検出することはできません。それでも、お客様に信頼できる制限を提供できるように、目標数の正確な物理的制限を見つけることに取り組んでいます。

EE Times Europe：音の分類はどうですか？

Abdelsabour： 音の分類は、特に標準化されていない音に関しては、複雑なプロセスです。サイレンなどの標準化された音について話している場合、分類プロセスは簡単でかなり簡単になり、モデルベースのアルゴリズムを使用して実行できます。ただし、走行中の車両の検出は、さまざまな物理コンポーネントで構成される非標準の音の組み合わせであり、耳やセンサーが聞く最終的な音を生成するため、より複雑なプロセスです。ここで、さまざまな人工知能の手法が登場し、収集されたデータを通じて機械学習に基づいて音を分類し、学習した内容に応じて音を検出して分類できるようになります。 AutoHearsでは、モデルベースのアルゴリズムと機械学習の両方を組み合わせて、検出するターゲットサウンドに応じてサウンドを分類していることを誇りに思います。

EE Times Europe：オーディオデータは、車に埋め込まれたカメラやその他のセンサーからの画像データとどのように融合しますか？

Abdelsabour： 人間のドライバーの場合と同様に、音は視覚を補完します。これがAutoHearsの見方であり、それに応じて開発しました。私たちは主に音響センシングの部分に関心を持っているため、カメラやレーダーなどの他のセンサーと融合できる生の音響センシング情報を提供して、オブジェクトを分類およびローカライズし、個々のセンサーの長所を使用してそれらの短所を克服します。したがって、たとえば、レーダー、カメラ、およびAutoHearsを組み合わせると、死角にある車両が次のように検出される可能性があります。レーダーは障害物を検出し、その距離を正確に推定できます（レーダーはその観点から信頼性が高いため）。カメラはそのオブジェクトを分類し（ターゲット車両が存在する方向を見ているカメラがある場合）、AutoHearsはこの車両の独自の分類とローカリゼーションで検出を確認し、その車両がそのような音を発している場合は情報を追加しますホーンを鳴らしたり、サイレンを鳴らしたりします。すべてのセンサーを組み合わせることで、センサーフュージョンは、可能な限り最良の方法で周囲の環境を非常に決定的に再構築します。

EE Times Europe：なぜ完全なシステムを構築することにしたのですか？ソフトウェアとハ​​ードウェアのすべての側面に取り組むことが不可欠だったのはなぜですか？

Amr Abdelsabour、Avelabs

Abdelsabour： センシングシステムとしてのAutoHearsは、この種の最初の検出システムの1つ、つまり音響検出システムです。 Avelabsはソフトウェア会社であるため、当初は、ハードウェアパーツではなく、ソフトウェアの観点から機能を検出することに主眼を置いていました。ただし、センシングハードウェアがないと、センシング機能はありません。センサーは検出を可能にするために車両にマイクを設置するほど単純ではないため、センシングハードウェアはセンシング機能の主なイネーブラーですが、周囲の正確な位置特定を可能にするためにハードウェアを慎重に設計する必要があります。オブジェクトをローカライズするために、ローカリゼーションアルゴリズムは、到着の音の時間差などの物理的要因に依存します。これは、ハードウェアがこれを検出できるように設計されている場合にのみ検出できます。マイクの数、マイク間の距離、車両への配置など、いくつかのハードウェア要素が関係しています。これらのハードウェア要件はすべて、私たちが提供する音響センシング機能を有効にするために、ハードウェアを自分たちで設計および構築することを余儀なくされました。簡単に言えば、車両用の外部音響検出ハードウェアを提供している会社はありません。そのため、私たちはそれを自分たちで開発しなければなりませんでした。

EE Times Europe：音響センサー自体について詳しく教えてください。そして、アルゴリズムが実行されているCPUでは？

Abdelsabour： センサーとプロセッサーシステムに関しては、集中型アーキテクチャを決定しました。この決定は、すべての自動車会社が現在採用しているトレンドに沿って進むことです。これは、生データ（カメラ、レーダーなど）を検出するセンサーに依存することです。次に、生データは中央のドメインコントローラーに送信され、そこでセンサーの融合が行われます。そのため、音響センサーを生データセンサーとして構築し、すべての音響情報を検出して、センシングアルゴリズムが実行される集中型ドメインコントローラーに送信しました。ご存知のように、私たちは音響センサーを自分たちで設計しましたが、アルゴリズムを実行するCPUとして、ザイリンクスFPGAやTI ADAS TDASoCなどの市販の自動車用ドメインコントローラーを使用しています。ただし、お客様ごとに独自のドメインコントローラーを使用しているため、これらのプロセッサーは参照ハードウェアとしてのみ使用しています。必要なカスタマイズがあれば、どのタイプのドメインコントローラーにも簡単にデプロイできます。

EE Times Europe：AutoHearsが「ハードウェアに依存している」と言うのはなぜですか？

Abdelsabour： センサーおよびセンシングアルゴリズムとしてのAutoHearsには、お客様が希望する機能とお客様が使用する処理コントローラーに応じて、汎用コンポーネントとハードウェア固有のコンポーネントがあります。したがって、たとえば、顧客がサウンドイベントの方向のみ（サウンドを放出するオブジェクトまでの距離なし）が必要な場合は、1つのセンサーを使用するだけで済みます。ただし、顧客がオブジェクトの距離も検出したい場合は、複数のセンサーを使用してオブジェクトの距離を三角測量する必要があります。これは、たとえばハードウェアに依存する機能です。

ハードウェアの依存関係に関するもう1つの側面は、センシング機能の処理に使用されているドメインコントローラーです。機能のパフォーマンスは、それらを実行するプロセッサとその機能によって異なります。ハードウェアのパフォーマンス要件と処理要件の間にはトレードオフがあります。したがって、たとえば、AutoHearsで1度の解像度で検出する場合は、より多くの処理リソースが必要になります。必要なパフォーマンスを低下させると、処理要件も低下します。さらに、新しいハードウェアごとに、お客様の基本的なソフトウェア環境に実装されるAutoHearsセンサードライバーなど、マイクロコントローラー抽象化レイヤー用のハードウェア固有のカスタマイズがいくつか付属します。

EE Times Europe：開発に関してどこにいますか？公道でAutoHearsをテストする予定はいつですか？ AutoHearsはいつ生産されると思いますか？

Abdelsabour： AutoHearsは、製品開発フェーズで検討できます。私たちはすでに技術的および財政的観点からコンセプトを証明し、実現可能性を証明するためにデモンストレーションとテストを実行し、現在、開発の「製品化」に取り組んでいます。これには、公道の検証と自動車認証の取得が含まれます。これらは、製品開発から商品化に至るまでの2つのステップです。これらは、本番環境に対応する前に実行する必要のある手順です。

EE Times Europe：初期の顧客がソリューションをテストしていますか？

Abdelsabour： 今年9月にAutoSensで製品の発表を開始しましたが、ソリューションのテストについてはすでにお客様と話し合っています。自動車市場に新製品を投入しようとしているので、市場の期待と要件について詳しく知るために顧客とパートナーに頼り、トレーニング用のデータを収集するためにセンサーをデータ収集車両群に統合したいと考えています。および検証の目的。

---

>

関連コンテンツ：

• リアルタイムの音響処理を成功させるには、慎重な計画が必要です
• より良いオーディオのためのハードウェアとソフトウェアのブレンド
• 低電力デバイスはシリコン蝸牛で聞くことができます
• アダプティブANCソリューションは強化されたオーディオ機能をもたらします

Embeddedの詳細については、Embeddedの週刊メールニュースレターを購読してください。