CMUの研究者は、クロスモーダルシミュレーションデータを使用して自律型ドローンを訓練します

自律的に飛行するには、ドローンは環境で何を認識しているかを理解し、その情報に基づいて決定を下す必要があります。 （下のビデオを参照してください。）

カーネギーメロン大学の研究者によって開発された新しい方法により、ドローンは知覚と行動を別々に学ぶことができます。

2段階のアプローチは、「シミュレーションと現実のギャップ」を克服し、シミュレーションデータで完全にトレーニングされたドローンを実際のコースナビゲーションに安全に展開する方法を作成します。

コンピュータサイエンス学部のロボティクス研究所の博士課程の学生であるRogerioBonattiは、次のように述べています。 P>

「私たちの知覚モジュールは、環境の変動に対する堅牢性を高めるために2つのモダリティでトレーニングされています。」

ドローンの知覚を訓練するのに役立つ最初のモダリティは画像です。研究者たちは、フォトリアリスティックシミュレーターを使用して、ドローン、サッカー場、地面から浮き上がってランダムに配置された赤い四角い門を含む環境を作成しました。

次に、ランダムに生成された何千ものドローンとゲートの構成からシミュレートされた画像の大規模なデータセットを構築しました。

知覚に必要な2番目のモダリティは、空間内のゲートの位置と向きを知ることです。これは、シミュレーション画像のデータセットを使用して研究者が達成したものです。

複数のモダリティを使用してモデルを教えることで、ドローンの経験をしっかりと表現できるようになります。つまり、シミュレーションから現実に変換する方法で、フィールドとゲートの本質を理解できます。

画像を圧縮してピクセル数を減らすと、このプロセスに役立ちます。低次元の表現から学習することで、モデルは実世界の視覚的なノイズを確認し、ゲートを特定できます。

知覚を学習すると、研究者はシミュレーション内にドローンを配備して、その制御ポリシー、または物理的に移動する方法を学習できるようにします。

この場合、コースをナビゲートして各ゲートに遭遇するときに、適用する速度を学習します。シミュレートされた環境であるため、プログラムは展開前にドローンの最適な軌道を計算できます。

この方法は、実際の学習は危険で、時間と費用がかかる可能性があるため、専門のオペレーターを使用して手動で教師あり学習するよりも優れています。

ドローンは、研究者によって指示されたトレーニング手順を実行することにより、コースをナビゲートすることを学びます。ボナッティ氏は、ドローンが現実の世界で必要とする特定の機敏性と方向性に挑戦すると述べました。

ボナッティ氏は次のように述べています。「私はドローンをさまざまなトラック形状で左右に回転させますが、ノイズを追加すると難しくなります。ロボットは、特定のトラックを通過して再現することを学習していません。

「むしろ、シミュレートされたドローンを戦略的に誘導することで、自律的にレースを行うためのすべての要素と動きのタイプを学習します。」

Bonattiは、現在のテクノロジーを推進して、環境の手がかりを解釈する人間の能力にアプローチしたいと考えています。

彼は次のように述べています。「これまでの自律型ドローンレースの作業のほとんどは、速度を唯一の目的として、追加のセンサーとソフトウェアで拡張されたシステムのエンジニアリングに重点を置いてきました。

「代わりに、人間の脳の機能に触発された計算ファブリックを作成して、視覚情報を潜在的な表現を通過する正しい制御アクションにマッピングすることを目指しました。」

しかし、ドローンレースは、この種の学習の1つの可能性にすぎません。知覚と制御を分離する方法は、運転や料理などの人工知能のさまざまなタスクに適用できます。

このモデルは知覚を教えるために画像と位置に依存していますが、音や形などの他のモダリティは、車、野生生物、物体の識別などの取り組みに使用できます

この作業に貢献している研究者には、カーネギーメロン大学のセバスチャンシェラー、マイクロソフトコーポレーションのラトネッシュマダーン、ビバブヴィネット、アシシュカプールが含まれます。

論文、クロスモーダル表現を使用した航空航法のための視覚運動ポリシーの学習 、インテリジェントロボットおよびシステム2020に関する国際会議に受け入れられました。

論文のコードはオープンソースであり、他の研究者が利用できます。