ソフトロボットはカメラと影を使って人間のタッチを感知します

研究者は、触ることにまったく依存することなく、パットからパンチ、抱擁まで、さまざまな物理的相互作用を検出するための、柔らかく変形可能なロボットのための低コストの方法を作成しました。代わりに、ロボットの内部に配置されたUSBカメラが、ロボットの皮膚での手のジェスチャーの影の動きをキャプチャし、機械学習ソフトウェアで分類します。

タッチはほとんどの生物にとって重要なコミュニケーションモードですが、人間とロボットの相互作用には事実上存在していません。その理由の1つは、全身タッチには膨大な数のセンサーが必要であったため、実装するのが現実的ではなかったためです。

ShadowSenseテクノロジーは、緊急避難時に人々を安全に導くことができる膨張式ロボットを開発するための作業から生まれました。このようなロボットは、極端な条件や環境で人間と通信できる必要があります。人の手の圧力を検出することで、人を騒がしく煙が充満した廊下に物理的に誘導するロボットを想像してみてください。

チームは、ロボットに重量と複雑な配線を追加し、変形する皮膚に埋め込むのが難しい多数の接触センサーを設置するのではなく、直感に反するアプローチを取りました。タッチを測定するために、彼らは視界に目を向けました。ロボットの内部にカメラを配置することで、影の画像を見るだけで、人がロボットにどのように触れているか、人の意図が何であるかを推測できます。

プロトタイプのロボットは、可動ベースに取り付けられた、高さ約4フィートの円筒形の骨格の周りに引き伸ばされたナイロンスキンの柔らかく膨らませることができるブラダーで構成されています。ロボットの皮膚の下には、ラップトップに接続するUSB​​カメラがあります。研究者は、以前に記録されたトレーニングデータを使用して、手のひらで触れる、パンチする、両手で触れる、抱き締める、指す、まったく触れないなどの6つのタッチジェスチャを87.5の精度で区別するニューラルネットワークベースのアルゴリズムを開発しました。照明に応じて96％まで。

ロボットは、ロールアウェイやスピーカーからのメッセージの発行など、特定のタッチやジェスチャーに応答するようにプログラムできます。また、ロボットの皮膚はインタラクティブな画面に変わる可能性があります。十分なデータを収集することで、ロボットは、ロボットのタスクに合わせてカスタマイズされた、さらに幅広いインタラクションの語彙を認識するようにトレーニングできます。

ロボットはロボットである必要はありません。 ShadowSenseテクノロジーは、バルーンなどの他の素材に組み込んで、タッチセンシティブデバイスに変えることができます。将来的には、研究者はレンズやミラーなどの光学デバイスを使用して、追加のフォームファクタを有効にすることを試みます。

ShadowSenseはプライバシーも提供します。ロボットが人間を影の形でしか見ることができない場合、ロボットは人間の外観を忠実に画像化することなく、人間が何をしているかを検出できます。これは、物理的なフィルターと保護を提供し、心理的な快適さを提供します。

人の動きや気分を物理的に相互作用して理解する能力は、最終的にはロボットにとっても人にとっても同じくらい重要になる可能性があります。