AI がディープラーニング動作転移でアマチュアダンサーをプロに変える

トップダンサーの振付を任意の動画映像上で再現する画期的なディープラーニングシステム。
高価な 3D リグやモーションキャプチャスーツ不要。通常の動画入力のみでスタジオ品質の結果を生成。

人工知能は家電から宇宙探査まで産業を再構築していますが、この最新イノベーションは芸術分野での変革力を示しています。カリフォルニア大学の研究者たちが、ソースダンサーの動きをターゲットパフォーマーにマッピングするモーション転移アルゴリズムを開発。カジュアルな参加者でさえ、ベテランバレリーナやポップアイコンのように見せることができます。

核心アイデアはシンプルです：「私と同じように踊れ」。数分で、システムはプロのダンス動作をターゲット被写体にオーバーレイし、パフォーマー、教育者、コンテンツクリエイターに新たな創造的可能性を開きます。

技術の仕組み

プロセスは、ソースとターゲット両方の動画からキーポイントベースのポーズスケルトンを抽出することから始まります。これらのポーズスティックフィギュアは、身体位置の軽量で外観に依存しない表現を提供し、モデルが動きのみに集中できるようにします。

AI がディープラーニング動作転移でアマチュアダンサーをプロに変える

各フレームのポーズは教師ありポーズ推定アルゴリズムで生成され、正確なスティックフィギュアを生成。モーション転移モデルはこれらのスケルトンを取り込み、ターゲットの外観を保ちながらソースのポーズを模倣するターゲット画像を生成。最終出力は、ポーズ転移モジュールと生成的洗練ネットワークを融合することで、よりシャープで現実的なフレームに仕上げられます。

ワークフローは 3 段階に分かれます：

ポーズ検出 — ソースとターゲット映像から 2D キーポイントを抽出。
グローバルポーズ正規化 — 被写体間でスケルトンを整列。
ポーズマッピング — ソースポーズに一致するターゲットフレームを合成。

時間的滑らかさを確保するため、アルゴリズムは現在フレームのポーズと前回生成フレームをブレンドし、ジッターを大幅に低減。低フレームレート入力にはメディアンフィルター、高フレームレート動画 (最大 120 fps) にはキーポイントのガウシアン平滑化を適用。

高忠実度結果は、被写体ごとに 20 分以上の高フレームレートアマチュアダンス映像で訓練された条件付き生成的敵対ネットワーク (cGAN) の統合により達成されます。NVIDIA が開発した pix2pixHD アーキテクチャが画像変換パイプラインのバックボーンとして機能します。

参照： arXiv:1808.07371

トレーニングと推論は、NVIDIA GeForce GTX 1080 Ti と TITAN Xp GPU で PyTorch と CUDA 加速を用いて実行されました。

今後の方向性

現在のアルゴリズムは、専用ハードウェア不要で幅広い被写体間の動作転移をサポートします。しかし、トレーニング中に見られた範囲を超えるソース動作速度では、時折ジッターが残ることがあります。継続的な研究はポーズ推定手法の最適化と動作レパートリーの拡張により、これらのアーティファクトを軽減することに焦点を当てています。

関連ブレイクスルー： NVIDIA AI が 30fps 動画を 240fps に変換

音響印刷：音波があらゆる液体から精密な液滴を生成新 3D プリント「バイオインク」角膜、ドナー不足解消へ — 10 分で造形達成

産業技術