犬のしつけ手法を応用し、ロボットが数日で新スキルを習得

強化学習（ポジティブ強化）でロボットの学習期間を1ヶ月から数日に短縮

犬に「座れ」「待て」を教えるのに一般的に使われる訓練手法を用いて、コンピュータ科学者たちがロボットにブロック積み上げなどいくつかの新しいトリックを自己学習させることに成功しました。この手法で、ロボット（Spotと名付けられた）は通常1ヶ月かかる学習をわずか数日で達成。ポジティブ強化──犬の行動を変えるのにおやつを使ったことがある人にはお馴染みのアプローチ──を用いることで、チームはロボットのスキルを劇的に向上させ、実世界の仕事向けロボット訓練をより現実的なものにしました。

犬のしつけ手法を応用し、ロボットが数日で新スキルを習得 — ポジティブ強化でブロック積み上げをマスターしたSpot

高度に直感的な脳を持って生まれてくる人間や動物とは異なり、コンピューターは白紙の状態で、すべてをゼロから学ばなければなりません。しかし、真の学習はしばしば試行錯誤で達成され、ロボティシストたちはロボットがいかに効率的に間違いから学べるかをまだ模索中です。チームは、犬におやつが効くように、ロボットに機能する報酬システムを考案することでこれを達成しました。犬がうまくやったらクッキーをもらえるように、ロボットは数値ポイントを獲得します。

ブロックを積み上げるために、Spotロボットは建設的なアクションに集中することを学ぶ必要がありました。ブロックを探索する中で、正しい積み上げ行動は高ポイント、間違った行動はポイントなしだとすぐに学習。4段積み上げの一番上に最後のブロックを置いた時に最大ポイントを獲得します。

この訓練戦術は機能しただけでなく、以前は数週間かかっていたロボットへの指導をわずか数日に短縮しました。チームはまずシミュレートされたロボット（ビデオゲームのようなもの）を訓練し、その後Spotでテストを実行することで練習時間を短縮できました。ロボットは最良の報酬を得るための正しい行動を素早く学習します。実際、ロボットが100%の精度を達成するのに以前は1ヶ月の練習が必要でしたが、わずか2日で完了しました。

ポジティブ強化は、ロボットがブロック積み上げを自己学習するのを助けただけでなく、ポイントシステムでいくつかの他のタスク──シミュレートされたナビゲーションゲームのプレイ方法さえ──を素早く学習させました。あらゆる種類の状況で間違いから学ぶ能力は、新しい環境に適応できるロボットを設計する上で極めて重要です。

チームはこれらの発見が、家事ロボットの洗濯や食器洗いといったタスクの訓練に役立ち、高齢者の自立生活を支援できる可能性があると想像しています。また、改良された自動運転車の設計や製品組立の実行にも役立つかもしれません。

詳細情報はJill Rosenまで（メールアドレスはスパムボットから保護されています。表示にはJavaScriptが必要です。電話：443-547-8805）。

NASA、完全自動化・高スループット積層造形：インシツー工具革新次世代高性能レーザーが深宇宙ナビゲーションを強化

自動制御システム