NVIDIAは、現実世界からインタラクティブなグラフィックスを作成するAIを開発しています

• 研究者は、新しいタイプのビデオからビデオへの合成を実演します。
• 開発者は、実際のビデオから完全にインタラクティブな3D環境をレンダリングできます。
• 2K解像度の30秒の長さのビデオを作成できます。

ほぼ20年前、NVIDIAは世界初のGPUを考案し、3Dゲームのパフォーマンスを大幅に向上させました。現在、彼らは、開発者が実世界のビデオから完全に合成されたインタラクティブな3次元環境をレンダリングできるようにする人工知能ツールを導入しました。

実世界のダイナミクスをモデル化して再現する機能は、インテリジェントエージェントを開発するために不可欠です。継続的な視覚体験の合成には、コンピュータグラフィックスやロボット工学でさまざまな用途があります。開発者は、照明、マテリアル、シーンジオメトリを指定せずに、リアルなシーンを作成するのに役立ちます。

この作品では、研究者は新しいタイプのビデオからビデオへの合成を実証しました。目的は、入力ビデオを出力ビデオに効率的に変換できるマッピング関数を学習することです。彼らは、ジェネレーターとディスクリミネーター、および時空間的敵対的学習を使用して、高解像度で時間的に一貫性のある動画を合成しました。

ニューラルネットワークを使用した高レベルの説明のレンダリング

合成3次元世界をリアルタイムでレンダリングするために、彼らは条件付き生成ニューラルネットワークから始めて、既存のビデオでそれをトレーニングしました。ネットワークは、車両、建物、樹木などのレンダリングオブジェクトを徐々に学習しました。

既存のテクノロジーでは、開発者は各オブジェクトを個別にモデル化する必要があり、これは時間と費用のかかるプロセスです。一方、新しいツールは、実際の動画から自動的に学習し、自動車、ゲーム、ロボット工学、建築、仮想現実の仮想世界を作成するモデルに基づいています。

参照：arXiv：1808.06601 | NVIDIA | GitHub

実際の場所に基づいてインタラクティブな環境を作成したり、お気に入りのロックスターのように踊っている人々を表示したりできます。ネットワークは、オブジェクトの位置を説明するエッジマップや、画像の特定の部分が建物であるか車であるかなどの一般的な属性など、3Dシーンの高レベルの説明で機能します。次に、実際のシーンを使用して詳細を入力します。

ニューラルネットワークは、実際の都市部のビデオでトレーニングされました。研究者は、人々がネットワークによってレンダリングされた仮想都市世界をナビゲートできるようにするデモを作成しました。シーンは合成的に作成されるため、仮想シーンのオブジェクトを簡単に編集、追加、または変更できます。

研究者の礼儀

デモはNVIDIATensor Core GPUで実行され、レポートにあるように、インタラクティブグラフィックスのまったく新しいエクスペリエンスを提供します。ニューラルネットワークは、NVIDIA Tesla V100 GPUを使用して、CUDA Deep NeuralNetworkライブラリとともにDGX-1でトレーニングされます。チームは、CityscapesおよびApolloscapesデータセットから数千のクリップを選択して、ネットワークをトレーニングしました。

テスト

彼らは複数のテストを実施し、定量的および定性的な結果の両方を取得しました。これは、システム化されたシーンが既存の最先端の方法によって生成されたものよりもリアルに見えることを示しています。

この新しいAIは、2K解像度の30秒の長さのビデオを生成できます。また、出力を高レベルで制御できます。たとえば、onを使用すると、シーン内の建物を簡単に追加したり、建物に置き換えたりできます。

このアプローチは完全ではなく、マップデータが不十分なために方向転換する車両をレンダリングするなど、いくつかのシナリオで失敗します。ただし、これは深度マップのような3Dキューを統合することで修正できます。

読む：GoogleAIは動画を色付けすることでオブジェクトを追跡できる

調査は初期段階ですが、この手法を適用すると、さまざまなドメインの仮想環境を開発するのがはるかに簡単かつ安価になる可能性があります。