デューク大学の AI システムによりロボットに人間のようなセンシングを提供し、より安全なナビゲーションを実現

デューク大学、ノースカロライナ州ダーラム

WildFusion は、視覚、触覚、聴覚、バランスを組み合わせて使用し、4 足ロボットが密林などの困難な地形をより適切に移動できるようにします。 （画像：デューク大学）

私たちの脳が私たちの周囲の世界をナビゲートできるようにするために、私たちの感覚によって提供される情報の豊富さは驚くべきものです。週末の朝のリラックスしたハイキングなど、私たちにとって簡単に見える環境を乗り切るには、触覚、嗅覚、聴覚、そして強いバランス感覚が不可欠です。

樹冠の頭上を生来理解することは、道がどこにつながっているかを理解するのに役立ちます。枝の鋭い音や苔の柔らかなクッションは足場の安定性を教えてくれます。木が倒れる音や、強風で揺れる枝は、近くにある潜在的な危険を知らせます。

対照的に、ロボットは長い間、カメラや LiDAR などの視覚情報のみに依存して世界を移動してきました。ハリウッド以外では、多感覚ナビゲーションは機械にとって長い間困難なままでした。うっそうとした下草、倒れた丸太、刻々と変化する地形が美しく混沌とした森は、従来のロボットにとっては不確実性の迷路です。

現在、デューク大学の研究者らは、視覚、振動、触覚を融合し、ロボットが人間と同じように複雑な屋外環境を「感知」できるようにする WildFusion という新しいフレームワークを開発しました。

「WildFusion はロボット ナビゲーションと 3D マッピングの新たな章を開きます」とデューク大学の機械工学および材料科学、電気およびコンピュータ工学、およびコンピュータ サイエンスのディキンソン ファミリー助教授であるボーユアン チェン氏は述べています。 「森林、災害地帯、オフロード地形など、構造化されていない予測不可能な環境でもロボットがより自信を持って動作できるようになります。」

「一般的なロボットは視覚やLiDARのみに大きく依存しており、明確な道や予測可能なランドマークがないとふらふらしてしまうことがよくあります」と学生筆頭著者で博士課程2年目のYanbaihui Liu氏は付け加えた。チェンの一般ロボット工学研究室の学生。 「高度な 3D マッピング手法でも、センサー データがまばらであったり、ノイズが多かったり、不完全だったりすると、連続したマップを再構築するのに苦労します。これは、構造化されていない屋外環境ではよくある問題です。まさに、WildFusion が解決するために設計された課題です。」

WildFusion は四足ロボット上に構築されており、RGB カメラ、LiDAR、慣性センサー、特に接触マイクや触覚センサーなどの複数のセンシング モダリティを統合しています。従来のアプローチと同様に、カメラと LiDAR は環境の形状、色、距離、その他の視覚的な詳細をキャプチャします。 WildFusion を特別なものにしているのは、音響振動とタッチを使用していることです。

ロボットが歩くと、コンタクトマイクが各ステップで生成される独特の振動を記録し、乾いた葉のザクザクとした音と泥の柔らかく潰れる音などの微妙な違いを捉えます。一方、触覚センサーは各足にかかる力を測定し、ロボットがリアルタイムで安定性や滑りやすさを感知するのに役立ちます。これらの追加された感覚は、加速度データを収集する慣性センサーによって補完され、ロボットが平坦でない地面を移動する際にどの程度ぐらついたり、縦揺れしたり、回転したりしているかを評価します。

次に、各タイプの感覚データが特殊なエンコーダーを通じて処理され、単一のリッチな表現に融合されます。 WildFusion の中心となるのは、暗黙的なニューラル表現のアイデアに基づいた深層学習モデルです。環境を離散点の集合として扱う従来の方法とは異なり、このアプローチは複雑な表面と特徴を継続的にモデル化するため、ロボットが視界が遮られたり曖昧な場合でも、どこに足を踏み入れるかについてより賢く直感的に決定できるようになります。

「いくつかのピースが欠けているパズルを解くようなものだと考えてください。それでも全体像を直感的に想像することができます」とチェン氏は説明しました。 「WildFusion のマルチモーダル アプローチにより、人間が行うのと同じように、センサー データがまばらな場合やノイズが多い場合にロボットが『空白を埋める』ことができます。」

WildFusion はデューク大学のキャンパス近くのノースカロライナ州イーノ川州立公園でテストされ、ロボットが密林、草原、砂利道を移動できるようにすることに成功しました。 「ロボットが自信を持って地形を移動するのを見るのは、信じられないほどやりがいがありました」と Liu 氏は語りました。

「これらの実世界でのテストは、通過可能性を正確に予測する WildFusion の優れた能力を証明し、困難な地形を通過する安全な経路に関するロボットの意思決定を大幅に改善しました」と Liu 氏は述べています。

今後を見据えて、チームは、複雑な環境を理解し、それに適応するロボットの能力をさらに強化するために、熱や湿度の検出器などの追加のセンサーを組み込んでシステムを拡張する予定です。 WildFusion は、柔軟なモジュール設計により、予測不可能な地形での災害対応、遠隔インフラの検査、自律探索など、林道を超えた広大な潜在的なアプリケーションを提供します。 「今日のロボット工学における重要な課題の 1 つは、研究室で適切に動作するだけでなく、現実世界の環境でも確実に機能するシステムを開発することです」とチェン氏は述べています。 「つまり、適応し、決定を下し、動き続けることができるロボットを意味します。」

詳細については、Boyuan Chen までお問い合わせください。このメール アドレスはスパムボットから保護されています。表示するには JavaScript を有効にする必要があります。