NVIDIAはAIを使用してカメラがはっきりと見えるようにします

数十の企業が自動運転車の技術に取り組んでおり、それらはすべてさまざまな方法でエンジニアリングの課題に取り組んでいます。人間の見る能力を模倣するために、テクノロジーは主にレーダー、カメラ、ライダーの3つの基本要素に依存しています。

ただし、雨、雪、その他の種類の障害物などのいくつかの要因により、カメラの視界が低下する可能性があります。これは、周囲を理解し、センサーから入ってくるデータを検証する堅牢な知覚システムの機能を妨げます。

ダウンストリームモジュールに到達する前に、処理パイプラインでセンサーデータの無効性を可能な限り迅速に効果的に検出するために、NVIDIAの研究者は、カメラがはっきりと見える能力を評価するAIモデルを開発しました。

このモデルは、ClearSightNetという名前の深い神経ネットワークを使用して、閉塞、閉塞、および可視性の低下の根本原因を発見します。可能性があります

ネットワークは、カメラの写真を2つの異なる部分に分割します。それらの1つは閉塞に関連し、もう1つは視認性の低下に対応します。

出典：NVIDIA | YouTube

オクルージョンは、不透明なオブジェクト（雪、泥、ほこりなど）によってブロックされている、またはデータが含まれていない（たとえば、日光による飽和ピクセル）、カメラの視野の特定の部分を表します。これらの部分では、知覚が完全に損なわれています。

視界の低下は、霧、まぶしさ、または大雨のために部分的にブロックされている部分を表します。このような場合、アルゴリズムによって行われる決定には「信頼度が低い」というマークを付ける必要があります。

左側は入力画像を示し、右側はニューラルネットワーク出力マスクでオーバーレイされた画像です。画像ピクセルの84％近くが部分的および完全なオクルージョンの影響を受けます。

これらの部分を表示するために、ClearSightNetは入力ビデオ/画像にリアルタイムでマスクを配置します。視界の悪い領域は緑色でマークされ、完全に遮られた領域は赤色でマークされます。ネットワークは、入力ビデオのどの領域が可視性またはオクルージョンの低下によって影響を受けるかも表示します。

このデータはいくつかの方法で使用できます。たとえば、自動運転車は、視界が悪いときに自動機能を適用しないことを選択し、フロントガラスやカメラのレンズを掃除するようにドライバーに警告することができます。車両はこのネットワークを使用してカメラの知覚を知ることができます。

チームは、ClearSightNetをさらに改善して、エンドツーエンドの計算とカメラの可視性に関するより詳細な情報を提供し、自動運転車の実装プロセスをより細かく制御できるようにする予定です。

読む：NvidiaAIは30fpsのビデオを240fpsに変換できます

[現在のClearSightNetの]パフォーマンスを考慮する限り、ネットワークはXavierでフレームあたり約1.3ミリ秒（統合GPU）および0.7ミリ秒（ディスクリートGPU）で実行されます。 NVIDIA DRIVE9.0ですでに利用可能です。

産業技術