TUMのAIシステムが自動運転車の故障を最大7秒前に予測

自動運転車の新しいモデルが、過去の失敗から学び、それらを事前に発見します——時には最大7秒前まで。

自律走行車では、未知または複雑な運転状況（混雑した交差点など）が、自動安全対策または人間の介入により、自動運転システムの脱離を引き起こす可能性があります。

ミュンヘン工科大学（TUM）の人工知能モデルは、数千の実交通状況——具体的にはテスト走行からの記録された脱離シーケンス——を訓練データとして使用し、将来の故障を予測します。

故障をできるだけ早期に予測するため、機械学習アプローチはセンサーデータのシーケンスを故障または成功として分類します。

システムが、制御システムが以前に処理できなかった新しい運転状況を発見した場合、例えば、ドライバーに起こり得るクリティカルな状況を事前に警告します。

TUM開発の安全技術は、センサーとカメラを使用して、ステアリング角、路面状況、天候、視界、速度などの周囲条件を取得します。再帰的ニューラルネットワーク（RNN）ベースのAIシステムと数千の実交通状況を用いて、データからパターンを認識するよう学習します。

車自体はブラックボックスとして扱われ、データ入力とデータ出力のみに焦点を当てます。システムは独自の過去のミスから内省的に学習すると、ミュンヘンチームは述べています。

「我々の技術の大きな利点：車が何を考えているかを完全に無視します。代わりに、実際に起こることに基づくデータに限定し、パターンを探します」と、リード研究者のエッケハルト・シュタインバッハ教授（ミュンヘンロボティクス・機械知能スクール（MSRM）の取締役会メンバーでもある）は語ります。「このようにして、AIはモデルが認識できない、またはまだ発見していない潜在的にクリティカルな状況を発見します。」

システムは、車がいつどこで弱点を持つかを知る安全機能を提供すると、シュタインバッハ氏は述べています。

シュタインバッハ氏と彼のチームの手法は、2種類のセンサーを組み合わせます。画像ベースのモデルが一般的に困難な状況（混雑した市街地など）を検知するよう学習します。追加のデータベースモデルが、故障直前の急激な変化（急ブレーキや急ハンドルなど）を即座に検知します。個々のモデルの結果は、個々の故障確率を平均化することで融合されます。

BMWグループが、公道での14時間の自律走行で「内省的故障予測アプローチ」を評価し、ドライバーが介入しなければならなかった約2,500の状況を分析しました。

2020年12月に発表された研究によると、レイトフュージョンアプローチにより、故障を85%以上の精度で予測可能——最大7秒前まで、偽陽性率20%で。

Tech Briefsとの短いインタビューで、シュタインバッハ氏がブラックボックスアプローチの強みと、今日の車両安全対策の限界について語っています。

Tech Briefs: 「車が何を考えているかを完全に無視する。代わりに、実際に起こることに基づくデータに限定し、パターンを探す」というアイデアは面白いと思います。モデルが認識できないパターンの例をいくつか教えてください。

エッケハルト・シュタインバッハ教授: 我々の研究では、ブレーキとステアリングなどの車の状態、および車が取得するカメラ画像を見て、脱離につながるパターンを検知します。これにより、人間が引き継がなければならない状況の大部分を検知できますが、運転シーンに関するすべての情報がこのデータに取り込まれるわけではありません。

簡単な例として、繰り返しブレーキを踏むパターンは、暖かい天気では通常の運転かもしれませんが、路面が凍結して滑りやすい場合は差し迫った脱離を示唆するかもしれません。カメラ画像が環境に関するこの情報を取り込んでいない場合、そのパターンを通常運転と妨害運転の区別に使用できません。カメラ情報は通常、路面状況を評価するのに十分ですが、こうしたパターンは依然として認識しにくい場合があります。

自動運転車に関するその他の記事

Tech Briefs TVで視聴：ミシガン州がコネクテッド・自律走行車両用の初のコリドーを開発中。

ブログで：専門家調査が探る問い——自律システムは自然にどう影響するか？

Tech Briefs: 「車が何を考えているかを無視する」ことがなぜ有利なのですか？

エッケハルト・シュタインバッハ教授: 車が状況を完全に正しく評価していれば、ドライバーが介入する必要はありません。しかし、自律走行で使用される多くのモデルにとって、過信は重大な課題です。それらの状況を記録し、そこから学習することで、車がそれについて過信していても、新しい状況が問題であることを検知できるようになります。

さらに、車の状態と周囲に関するパターンシーケンスを観察することで、我々のモデルは将来へ効果的に外挿し、最大7秒前まで脱離を予測できます。これほど早期では、車のシーン評価はまだ完全に正しい可能性があり、つまり挑戦的シナリオを予測するために使用できません。一方、生の収集データには、以前に故障につながったパターンがすでに含まれている可能性があり、したがって事前に脱離を予測できます。

Tech Briefs: システムはどのようにして「クリティカル」なシナリオを7秒前に特定するのですか？ また、検知が起きたとき、次に何が起こりますか？ ドライバーは車内で何を見て、車は何をしますか？

エッケハルト・シュタインバッハ教授: 鍵はデータシーケンスを観察し、時間的パターンを探すことです。過去3秒間の記録データを考慮することで、我々のモデルは最終的に人間ドライバーが制御を引き継がなければならないシナリオへと進化するパターンを検知できます。何を探すべきかわかっていれば、挑戦的状況の最初の兆候を数秒前に発見できます。

我々の手法は、7秒前で約85%の確率でこれを達成します。残り15%の状況は、いくつかの挑戦的シナリオが非常に短時間で発展するため説明できます。例えば、駐車車両の間から歩行者が突然現れ、道路に近づく場合です。検知が発生すると、ドライバーに警告する必要があります。

Tech Briefs: ドライバーにはどのように警告しますか？

エッケハルト・シュタインバッハ教授: このアラートの実装は、特定のヒューマンマシンインターフェースの選択に依存しますが、ドライバーは今後7秒以内に車の制御が必要になることを知る必要があります。この時間は、人間ドライバーがプロンプトに反応しない場合に、車が安全な停止機動を計画することも可能にします。

Tech Briefs: テストドライブはどうでしたか？ 最も印象的だった検知は何でしたか？

エッケハルト・シュタインバッハ教授: テストドライブはBMWグループが実施したため、私は車内にはいませんでした。我々のグループは後でドライブの記録で作業しました。検知システムで最も印象的だったのは、予測がいかに早いかということです。検知時点では運転シナリオはまだ通常に見えるかもしれません——例えば、次の交差点の交通が数秒後に複雑で混雑した環境になり、安全確保のために人間が引き継ぐ、といった具合です。

Tech Briefs: 自動運転車にとって、まだ検知が難しいものは何ですか？

エッケハルト・シュタインバッハ教授: 自律走行における重要な課題の1つは、新規または分布外データです。車が訓練されていない状況に入り、知らない物体を見た場合、問題が生じる可能性があります。このような新規シーンは人間の介入を引き起こし、それが我々のアプローチの訓練データとして使用されます。我々の手法は、次に同じ挑戦的環境に遭遇したときにそれを検知するのに役立ちますが、完全に新しいシーンを最初に遭遇したときに正しく検知・管理することは、依然として困難なタスクです。

どう思いますか？以下に質問とコメントを共有してください。