シミュレーションを活用したパイプラインにより、器用なロボット向けにトレーニング データを調整

モーション デザイン インサイダー

PhysicsGen は、ロボットのアームやハンドなどの機械的なコンパニオンについて、数十の仮想現実デモンストレーションをマシンごとに 3,000 近くのシミュレーションに増やすことができます。 (画像:研究者から提供された写真を使用して、Alex Shipps/MIT CSAIL によってデザインされました)

ChatGPT や Gemini があなたの熱い質問に対して専門家のように見える回答をするとき、その回答を提供するためにどれだけの情報に依存しているか理解していないかもしれません。他の一般的な生成人工知能 (AI) モデルと同様に、これらのチャットボットは、数十億、場合によっては数兆のデータ ポイントでトレーニングされる基盤モデルと呼ばれるバックボーン システムに依存しています。

同様に、エンジニアたちは、家庭や工場などの場所で物を持ち上げたり、動かしたり、置いたりするなどの新しいスキルをさまざまなロボットに訓練する基礎モデルを構築したいと考えています。問題は、ロボット システム間で指導データを収集して転送することが難しいことです。仮想現実 (VR) などのテクノロジーを使用してハードウェアを段階的に遠隔操作することでシステムに学習させることもできますが、それには時間がかかる可能性があります。インターネットのビデオでトレーニングする場合、クリップには特定のロボットの特殊なタスクを段階的に説明していないため、あまり有益ではありません。

MIT のコンピューター科学・人工知能研究所 (CSAIL) とロボット工学・AI 研究所による「PhysicsGen」と呼ばれるシミュレーション主導のアプローチは、ロボットがタスクに対して最も効率的な動きを見つけられるようにロボットのトレーニング データをカスタマイズします。このシステムは、マシンごとに数十の VR デモンストレーションを 3,000 近くのシミュレーションに増やすことができます。これらの高品質な命令は、ロボット アームやハンドなどの機械的なコンパニオンの正確な構成にマッピングされます。

PhysicsGen は、3 段階のプロセスを通じて特定のロボットと条件に一般化するデータを作成します。まず、VR ヘッドセットは、人間が手を使ってブロックなどのオブジェクトを操作する方法を追跡します。これらのインタラクションは 3D 物理シミュレーターで同時にマッピングされ、手のキーポイントがジェスチャーを反映する小さな球として視覚化されます。たとえば、おもちゃを裏返すと、手のさまざまな部分を表す 3D 形状がそのオブジェクトの仮想バージョンを回転させているのがわかります。

次に、パイプラインはこれらのポイントを特定のマシン (ロボット アームなど) のセットアップの 3D モデルに再マッピングし、システムがねじれたり回転したりする正確な「関節」にポイントを移動します。最後に、PhysicsGen は軌道の最適化 (基本的にタスクを完了するための最も効率的な動作をシミュレート) を使用するため、ロボットはボックスの位置変更などを行うための最適な方法を認識します。

各シミュレーションは、オブジェクトを処理する潜在的な方法をロボットに指示する詳細なトレーニング データ ポイントです。ポリシー (ロボットが従う行動計画) に実装すると、マシンはタスクに取り組むためのさまざまな方法を備え、うまくいかない場合には別の動作を試すことができます。

「人間が各マシンの特殊なデモンストレーションを再記録する必要がなく、ロボット固有のデータを作成しています」と MIT 博士の Lujie Yang 氏は述べています。電気工学とコンピュータ サイエンスの学生であり、CSAIL 加盟者であり、プロジェクトを紹介する新しい論文の筆頭著者です。 「私たちは自律的かつ効率的な方法でデータをスケールアップし、タスク指示をより広範囲のマシンに活用できるようにしています。」

ロボットの非常に多くの指示軌道を生成することは、最終的にエンジニアがロボット アームや器用な手のような機械をガイドするための大規模なデータセットを構築するのに役立つ可能性があります。たとえば、パイプラインは、2 つのロボット アームが協力して倉庫の商品をピックアップし、配送用の適切な箱に入れるのに役立つ可能性があります。このシステムは、2 台のロボットが家庭内でカップを片付けるなどの作業を一緒に行えるように誘導することもできます。

PhysicsGen の可能性は、古いロボットやさまざまな環境向けに設計されたデータを、新しいマシンに役立つ命令に変換することにも拡張されます。 「特定の種類のロボット用に収集されているにもかかわらず、これらの以前のデータセットを復活させて、より一般的に役立つようにすることができます」とヤン氏は述べています。 PhysicsGen は、わずか 24 人の人間によるデモンストレーションを数千のシミュレーション デモンストレーションに変換し、デジタル ロボットと現実世界のロボットの両方がオブジェクトの方向を再調整するのを支援しました。

ヤン氏と同僚はまず、仮想実験でパイプラインをテストしました。そこでは、浮遊ロボットハンドがブロックを目標位置まで回転させる必要がありました。デジタル ロボットは、PhysicsGen の大規模なデータセットでトレーニングすることにより、81% の精度でタスクを実行しました。これは、人間のデモンストレーションからのみ学習したベースラインに比べて 60% の改善です。

研究者らはまた、PhysicsGen が仮想ロボットアームが連携して物体を操作する方法を改善できる可能性があることも発見した。彼らのシステムは追加のトレーニング データを作成し、これにより 2 組のロボットが純粋に人間が教えたベースラインよりも 30% も高い頻度でタスクを正常に完了できるようになりました。

現実世界の一対のロボットアームを使った実験では、研究者らは機械が連携して大きな箱を指定の位置に反転させた際に同様の改善を観察した。ロボットが意図した軌道から逸脱したり、物体を誤って扱ったりした場合、ロボットは、指導データのライブラリから代替軌道を参照することで、タスクの途中で回復することができました。

マサチューセッツ工科大学の電気工学およびコンピューター サイエンス、航空宇宙学、機械工学のトヨタ教授である上級著者のラス テドレイク氏は、この模倣ガイドによるデータ生成技術は、人間によるデモンストレーションの強みとロボットの動作計画アルゴリズムの力を組み合わせたものであると述べています。

「人間が 1 回デモンストレーションするだけでも、動作計画の問題ははるかに簡単になります」と、トヨタ研究所の大規模動作モデル担当上級副社長であり、CSAIL 主任研究員でもあるテドレイク氏は述べています。 「将来的には、おそらく基礎モデルがこの情報を提供できるようになり、この種のデータ生成手法がそのモデルの一種のトレーニング後のレシピを提供するようになるでしょう。」

間もなく、PhysicsGen は、マシンが実行できるタスクを多様化するという新たな領域に拡張される可能性があります。 「私たちは PhysicsGen を使って、たとえば食器を片付けることしか訓練されていないロボットに水を注ぐように教えたいと考えています」とヤン氏は言います。 「私たちのパイプラインは、なじみのあるタスクに対して動的に実行可能なモーションを生成するだけでなく、人間が実証していないまったく新しいタスクを達成するための構成要素として機能すると考えられる、物理的インタラクションの多様なライブラリを作成する可能性もあります。」

広く適用可能なトレーニング データを大量に作成することは、最終的にはロボットの基礎モデルの構築に役立つ可能性がありますが、MIT の研究者は、これはやや遠い目標であると警告しています。 CSAIL 主導のチームは、PhysicsGen がインターネット ビデオなどの膨大な非構造化リソースをシミュレーションのシードとしてどのように利用できるかを調査しています。目標は、日常のビジュアル コンテンツを、誰も明示的に示していないタスクの実行を機械に学習できる、ロボット対応のリッチなデータに変換することです。

また、Yang 氏とその同僚は、将来的にはさまざまな形状や構成のロボットに対して PhysicsGen をさらに役立つものにすることも目指しています。それを実現するために、彼らは実際のロボットのデモンストレーションを含むデータセットを活用し、人間の関節の代わりにロボットの関節がどのように動くかを捉えることを計画しています。

研究者らはまた、AI システムが試行錯誤によって学習する強化学習を組み込んで、PhysicsGen が人間が提供した例を超えてデータセットを拡張できるようにすることも計画しています。パイプラインを高度な認識技術で強化して、ロボットが環境を視覚的に認識して解釈できるようにすることで、機械が物理世界の複雑さを分析して適応できるようにする可能性があります。

現時点では、PhysicsGen は、AI がさまざまなロボットに同じカテゴリ内のオブジェクト、特に剛体のオブジェクトを操作するよう教えるのにどのように役立つかを示しています。このパイプラインは、ロボットが柔らかいアイテム (果物など) や変形可能なアイテム (粘土など) を扱うための最適な方法を見つけるのに間もなく役立つかもしれませんが、それらの相互作用をシミュレートするのはまだ簡単ではありません。

ソース