Googleが始端と終端フレームから動画全体を生成するAIを発表

人工ニューラルネットワークアーキテクチャと生成敵対ネットワークの最近の進歩により、画像/動画合成手法の開発が促進されました。既存研究の多くは「無条件動画生成」と「動画予測」の2操作に焦点を当てています。両方とも限られた過去フレームを用いて新しい妥当な動画を生成/予測します。

Googleの研究チームは、開始フレームと終了フレームの2フレームのみが利用可能な場合に、多様で妥当な動画シーケンスを作成する問題に取り組みました。この「インビトウィーニング（中間補間）」は通常、ゲート付き再帰ユニットや長短期記憶を用いた再帰型ニューラルネットワークの訓練/実行で行われます。

しかし今回、3D畳み込みニューラルネットワークでこの問題に対処できることを示しました。大きな利点はシンプルさ。再帰要素を使わないため、勾配パスが短く、より深いネットワークと安定した訓練が可能です。

全畳み込みモデル

畳み込みネットワークでは、入力として提供される開始・終了フレームとの時間的一貫性を容易に強制できます。モデルは3つの主要コンポーネントで構成されます：

Reference: arXiv:1905.10240 | NVIDIA

チームは開始・終了フレームのエンコード表現から直接動画を作成しようとしましたが結果は芳しくありませんでした。そこで潜在表現生成器を設計し、キーフレーム表現を確率的に融合し、最終動画の時間解像度を着実に増加させました。

UCF101アクション認識、BAIR、KTHアクションデータベースなど公開データセットでテスト。各サンプル計16フレーム中14フレームを畳み込みニューラルネットワークで生成。各キーフレームペアで100回以上実行、全プロセスをモデルバリアントごとに10回繰り返しました。

新モデルで生成されたフレーム例 | Courtesy of researchers

全ケースで、キーフレーム間が約0.5秒以内なら現実的な動画シーケンスを生成可能。入力ノイズベクトルを変更するだけで多様なシーケンス作成も可能。この新手法は将来の動画生成研究に貴重な代替視点を提供します。

産業技術