SonicSense：ロボットに人間のような聴覚を与え、より賢いインタラクションを実現

デューク大学の新研究で、SonicSenseと名付けられたシステムが詳細発表されました。これはロボットがこれまで人間に限られていた方法で周囲とインタラクションできるようにするものです。

視覚依存から多感覚へ

「現代ロボットは世界解釈に視覚を主に頼っています」と筆頭著者Jiaxun Liu氏（Boyuan Chen教授研究室、機械工学・材料科学、デューク大学博士1年）。「日常的な複雑多様な物体に対応し、ロボットにより豊かな『触覚』と理解能力を与えるソリューションを作りたかった」

SonicSenseの仕組み

4指ロボットハンド各指先にコンタクトマイクロフォン埋め込み。ロボットが物体をタップ、把持、振動させた際に生じる振動を検知・記録。マイクロフォンが物体と接触しているため、環境雑音を排除可能。

インタラクションと検知信号に基づき周波数特徴抽出、過去知識と最新AI進歩を組み合わせ、物体材質と3D形状を特定。未知物体なら20回程度インタラクションで結論、データベース登録済みなら最少4回で正確識別。

開発者インタビュー：Boyuan Chen教授

最大の技術的課題は？

「音響振動をロボット知覚に用いる広範研究がこれまでなかった。先行研究は単指または予備的。実ロボットハンドに搭載し多様物体とインタラクションさせるのは容易でない」

プロジェクト発端と触媒は？

「面白い経緯です。第1段階は『ブームボックス』プロジェクト、COVID中のこと。ロボットとビジョンで研究したかった。数年前から音響振動をセンシングに取り入れることに関心。神経科学で人間皮膚に振動ニューロン存在知り、ロボットへどう持ち込むか思案。COVIDでロボットアクセス不可、NYC小さな寮住まい。ある日閃き：『ロボットなしでこれが有用だと示すには？』

部屋に玩具箱。ランダムに物体投げ入れ、『取り出さねばだが何入れたか不明、どこにあるか不明』が完璧な研究課題に。異形状3木箱投入、投入物体形状と着地位置を音響のみで予測するAI訓練。箱壁面4箇所にコンタクトマイク（ギター用ピックアップマイク）貼付、4チャネル音響振動記録→3D操作予測システム訓練。これがSonicSense誕生の原点。」

シンプルにどう動作するか？

「統合ハードウェア/ソフトウェアシステム。ハード：4指ロボットグリッパー、各指先に埋め込みコンタクトマイク。このマイクは音声でなく物理接触振動を検知。ソフト：ロボットが自律的に環境探索、シンプルなタップ/把持/容器振動で物体とインタラクション。4コンタクトマイク信号とモーター信号収集。AIネットワーク訓練で『容器内ダイス個数』『ダイス边数』『水瓶内水量』『注ぎ移す水量』等予測。」

次のステップは？

「二方向探索中。第一：人間レベル巧緻操作達成に他何感覚モダリティ必要か。操作のみでなく移動、ナビゲーション等広義ロボティクスでも。人間/動物にない能力をロボットに与える新規モダリティ探索。第二：既存ロボットモダリティ（視覚等）とどう融合し、単一視点でなく世界の首尾一貫した理解得るか。多数感覚モダリティ統合・統一理解学習。第三：真の人間ベクトル操作能力へ。現設計はプロトタイプ。形態とセンシング能力両面で大規模化：より人間型ハンドに多数センサー搭載、巧緻操作能力実証。現状は物体知覚のみ、より高度操作能力目指す。」