ロボットが触覚で90種類以上の物体を識別、視覚・触覚融合のマルチモーダルAI
カリフォルニア大学バークレー校の研究チームが、視覚と触覚を融合し、同じ物体かどうかを判断するロボット知覚フレームワークを開発しました。GelSight触覚センサ(指先に搭載)とCNNを用い、33,000枚以上の画像で訓練。触覚のみでの物体インスタンス認識も可能で、未学習インスタンスでも人間ボランティアを上回る性能を示しました。
仕組み
- エラストマーゲル内蔵カメラで接触時の凹みを読み取り触覚データ化
- CNNが触覚データとカメラ画像を入力し、同一物体か判定
- NVIDIA GTX 1080 / TITAN X GPUで訓練・推論
今後の展開
現在は単一把持のみ。今後は複数回の触覚インタラクションでより完全な物体像を構築し、倉庫ロボットの棚からの商品取り出しや、家庭用ロボットの手の届かない場所からの物体取得へ応用予定です。
参考文献: arXiv:1903.03591 | UC Berkeley
産業技術
- AI駆動ロボティクス:最先端インテリジェントマシン
- 遺伝的アルゴリズムで物体とその充填材を同時に透明化する手法を開発
- AIがアルツハイマー病を6年前に100%精度で予測、PET画像深層学習で実現
- AIが線虫のレーザー刺激応答行動を予測、「アイザック・ニュートン」アルゴリズムで生物動力学をモデル化
- AIが世界海洋の93.7%を5つの動的領域に分類、支配的物理パラメータを特定
- 麻痺患者の脳信号から自然な音声を合成するAI、RNNで語彙無制限・自然話速実現
- AIが考案した世界初のスポーツ「スピードゲート」が誕生
- AIが量子優位性を予測:ニューラルネットワークでシステム挙動を予見
- AI、機械学習、ディープラーニングの違いを徹底解説
- 旅行業界を変革するAIアシスタント:明日のインテリジェントソリューションを受け入れる
- 小売におけるAI:一過性の流行ではなく実証済みのメリット