デューク大学のAIシステム、ロボットに人間のような感覚を与え安全なナビゲーションを実現

デューク大学、ダーラム、ノースカロライナ州

WildFusionは視覚、触覚、聴覚、平衡感覚を組み合わせ、四足ロボットが密林などの困難な地形をより良くナビゲートできるようにします。（画像：デューク大学）

私たちの脳が周囲の世界をナビゲートするのを可能にする感覚から提供される情報の豊かさは驚くべきものです。触覚、嗅覚、聴覚、強い平衡感覚は、週末の朝のリラックスしたハイキングのような、私たちにとって簡単な環境を乗り切るために不可欠です。

頭上の樹冠への生来の理解が道筋を知らせます。枝の鋭い折れる音や苔の柔らかいクッションが足場の安定性を知らせます。倒木の轟音や強風で舞う枝が、近くの潜在的危険を知らせます。

対照的に、ロボットは長らくカメラやLiDARなどの視覚情報のみに頼って世界を移動してきました。ハリウッドの外では、マルチセンサーナビゲーションは機械にとって長らく困難でした。密生した下草、倒木、常に変化する地形という美しいカオスを持つ森林は、従来のロボットにとって不確実性の迷宮です。

今、デューク大学の研究者たちが、視覚、振動、触覚を融合させ、ロボットが人間のように複雑な屋外環境を「感知」できる新しいフレームワーク「WildFusion」を開発しました。

「WildFusionはロボットナビゲーションと3Dマッピングの新たな章を開きます」と、デューク大学の機械工学・材料科学、電気・コンピュータ工学、コンピュータサイエンスのDickinson Family助教授、Boyuan Chen氏。「構造化されていない予測不可能な環境（森林、災害区域、オフロード地形など）でロボットがより自信を持って動作できるようにします。」

「典型的なロボットは視覚やLiDARのみに大きく依存しており、明確な道や予測可能なランドマークがないとしばしば機能不全に陥ります」と、筆頭著者でChen氏のGeneral Robotics Labの2年目博士課程学生、Yanbaihui Liu氏。「高度な3Dマッピング手法でも、センサデータが疎、ノイズが多い、不完全な場合（非構造化屋外環境では頻繁に発生）、連続したマップの再構築に苦労します。それがまさにWildFusionが解決しようとした課題です。」

四足ロボット上に構築されたWildFusionは、RGBカメラ、LiDAR、慣性センサ、そして特筆すべきはコンタクトマイクロフォンと触覚センサを含む複数のセンシングモダリティを統合します。従来のアプローチと同様に、カメラとLiDARが環境の幾何学、色、距離、その他の視覚詳細を取得。WildFusionを特別にしているのは、音響振動と触覚の使用です。

ロボットが歩くと、コンタクトマイクロフォンが各ステップで生成される独自の振動を記録し、乾いた葉のカサカサ音と泥の柔らかいぬかるみ音といった微妙な違いを捉えます。一方、触覚センサは各足にかかる力を測定し、ロボットがリアルタイムで安定性や滑りやすさを感知するのを助けます。これらの追加感覚は、ロボットが凹凸のある地面を移動する際の揺れ、ピッチ、ロールを評価する加速度データを収集する慣性センサによっても補完されます。

各タイプの感覚データは専用エンコーダで処理され、単一の豊かな表現に融合されます。WildFusionの核心には、暗黙的ニューラル表現のアイデアに基づくディープラーニングモデルがあります。環境を離散点の集合として扱う従来の手法とは異なり、このアプローチは複雑な表面と特徴を連続的にモデル化し、視覚が遮られたり曖昧だったりしても、ロボットがどこに足を置くかについてより賢く、より直感的な決定を可能にします。

「欠けているピースがあるパズルを解くようなものですが、完全な絵を直感的に想像できると考えてください」とChen氏は説明します。「WildFusionのマルチモーダルアプローチにより、センサデータが疎またはノイズが多いとき、ロボットは『空白を埋める』ことができます。人間がするのとよく似ています。」

WildFusionは、デューク大学キャンパス近くのノースカロライナ州Eno River State Parkでテストされ、ロボットが密林、草原、砂利道をナビゲートするのに成功しました。「ロボットが自信を持って地形をナビゲートするのを見るのは非常にやりがいがありました」とLiu氏。

「これらの実世界テストは、WildFusionの通行可能性予測の卓越した精度を証明し、困難な地形での安全な経路におけるロボットの意思決定を大幅に改善しました」とLiu氏。

今後、チームは熱検出器や湿度検出器などの追加センサを組み込み、ロボットの複雑な環境理解と適応能力をさらに高める計画です。柔軟なモジュラー設計により、WildFusionは森林トレイル以外にも、予測不可能な地形での災害対応、遠隔インフラの検査、自律探査など、広大な潜在的応用を持ちます。「今日のロボティクスの主要課題の1つは、実験室でうまく機能するだけでなく、実世界で確実に機能するシステムを開発することです」とChen氏。「つまり、適応し、意思決定し、前進し続けられるロボットです。」

詳細については、Boyuan Chenまでご連絡ください：This email address is being protected from spambots. You need JavaScript enabled to view it.。