NVIDIAが実世界動画からインタラクティブな3D環境を生成するAIを発表

• 研究者たちが新しいタイプの動画間合成を実証
• 開発者が実世界の動画から完全インタラクティブな3D環境をレンダリング可能に
• 2K解像度で30秒間の動画を作成可能

約20年前、NVIDIAは世界初のGPUを発表し、3Dゲーム性能で大幅な飛躍をもたらしました。今、彼らは実世界の動画から完全合成のインタラクティブな三次元環境をレンダリングできる人工知能ツールを発表しました。

実世界のダイナミクスをモデル化し再現する能力は、インテリジェントエージェントの開発にとって不可欠です。連続した視覚体験の合成は、コンピュータグラフィックスとロボティクスにおいて多様な応用があります。照明、材質、シーンジオメトリを指定せずに開発者が現実的なシーンを作成するのに役立ちます。

この研究では、研究者たちが新しいタイプの動画間合成を実証しました。目的は、入力動画を出力動画に効率的に変換するマッピング関数を学習することです。ジェネレーターとディスクリミネーター、時空間敵対学習を用いて、高解像度で時間的に一貫した動画を合成しました。

ニューラルネットワークで高レベル記述をレンダリング

合成三次元世界をリアルタイムでレンダリングするため、条件付き生成ニューラルネットワークから始め、既存の動画で訓練しました。ネットワークは徐々に、車両、建物、木々のようなオブジェクトのレンダリングを学習しました。

既存技術では、開発者は各オブジェクトを個別にモデリングする必要があり、これは時間とコストがかかるプロセスです。一方、新ツールは実世界の動画から自動的に学習し、自動車、ゲーム、ロボティクス、建築、バーチャルリアリティ向けのバーチャルワールドを作成するモデルに基づいています。

参照: arXiv:1808.06601 | NVIDIA | GitHub

実在の場所に基づいたインタラクティブな環境を作成したり、お気に入りのロックスターのように踊る人々を表示したりできます。ネットワークは、オブジェクトの位置を記述するエッジマップや、画像の特定部分が建物か車かといった一般的属性など、3Dシーンの高レベル記述で動作します。それから、実世界のシーンを用いて詳細を埋めます。

ニューラルネットワークは実際の都市エリアの動画で訓練されました。研究者たちは、ネットワークによってレンダリングされたバーチャル都市世界をナビゲートできるデモを作成しました。シーンが合成的に作成されるため、バーチャルシーン内のオブジェクトを簡単に編集、追加、変更できます。

研究者提供

デモはNVIDIA Tensor Core GPU上で動作し、レポートによるとインタラクティブグラフィックスの全く新しい体験を提供します。ニューラルネットワークはDGX-1とCUDA Deep Neural Networkライブラリ、NVIDIA Tesla V100 GPUを用いて訓練されました。チームはCityscapesとApolloscapesデータセットから数千のクリップを選択してネットワークを訓練しました。

テスト

複数のテストを実施し、定量的および定性的な結果を取得しました。これらは、合成されたシーンが既存の最先端手法で生成されたものよりも現実的に見えることを示しています。

この新AIは、2K解像度で30秒間の動画を生成できます。また、出力に対する高レベル制御を提供します。たとえば、シーン内の木を建物に簡単に追加または置き換えできます。

このアプローチは完璧ではなく、地図データが不十分なため旋回車両のレンダリングなどいくつかのシナリオで失敗します。しかし、これは深度マップのような3D手がかりを統合することで修正可能です。

研究は初期段階ですが、この技術の応用により、さまざまなドメインのバーチャル環境開発がはるかに容易かつ安価になる可能性があります。