リアルタイムAIが白黒動画を瞬時に高精度カラー化

新しい深層学習アルゴリズムで、エディターはシーン内の1フレームをカラー化するだけで動画全体を高速カラー化可能。
高精度、高効率、従来手法の最大50倍高速。

動画はフレーム間に大量の冗長データを含み、白黒フレームを手作業で1枚ずつカラー化するには膨大な時間がかかります。この種の冗長性は動画エンコーディングと圧縮で広く研究されてきましたが、動画カラー化のような高度な動画処理ではあまり探求されていません。

連続フレーム間の局所関係を処理してデータを伝播するアルゴリズム（bilateral CNNモデル、類似性ガイドフィルタリング、光学フロー基盤ワーピングなど）は多数存在します。これらは見かけの動きや事前設計されたピクセルレベル特徴を使用して、フレームとピクセル間の類似性をモデル化します。

しかし、これらのアルゴリズムにはいくつかの制限があります。例えば、フレーム間の高次関係を表現できず、画像構造を正確に反映できません。これらの制限を克服するため、NVIDIAの研究者たちは、エディターがシーン内の単一フレームをカラー化するだけでクリップ全体を高速カラー化できる深層学習ベースの新アルゴリズムを開発しました。

仕組み

連続フレーム間の高次類似性を明示的に学習するため、研究者たちは伝播コンポーネントで構成される時間伝播ネットワークを開発しました。これは、畳み込みニューラルネットワーク（CNN）によって駆動される線形変換行列を使用して、1フレームの特性（色など）を別フレームに転送します。

CNNは、カラー化されたフレームからどの色を転送し、残りの白黒フレームに埋め込むかを決定します。この技術が他とどう違うか？エディターが画像の一部にアノテーションを行うインタラクティブアプローチにより、より良いカラー化が得られ、完成品が生まれます。

時間領域での伝播学習のため、研究者たちは2つのルールを課しました。第一、フレーム間の伝播は逆変換可能でなければならない。第二、ターゲット要素はプロセス全体を通じて保持されなければならない。

提案技術が、既存の最先端手法と比較してまともな結果を達成するために、画像ベースセグメンテーション手法を必要としないことを示しました。

参照：arXiv:1804.08758 | NVIDIA

このネットワーク訓練にはNVIDIA Titan XP GPUを使用しました。高ダイナミックレンジ、色、マスク伝播のため、複数データセットから数百クリップで訓練されました。ネットワークは約60万フレームを含む7,260動画シーケンスのACTデータセットで設定されています。

提案技術の利点

高精度：新手法は前作と比較してはるかに優れた動画品質を達成。
高効率：リアルタイム実行で、前手法の最大50倍高速。全動画フレームを並列処理することでさらなる効率向上。

関連記事：Nvidia AIが30fps動画を240fpsに変換

現在の技術は、クリップ内での時間経過データ伝播のシンプルな方法を提供します。今後数年間で、トレーシング、セマンティック、セグメンテーションなどの高次ビジョン手がかりを時間伝播に組み込む方法を研究します。

先進位相差X線イメージング：古代ミイラの血管と神経を鮮明に可視化銅ナノ粒子と緑レーザー印刷：低コスト・低抵抗率プリント基板ソリューション

産業技術