AIがリアルで多様なダンス振付を生成、振付け革命へ

研究者たちが、現実的で多様、スタイル一貫性のある新しいダンスステップを生成する深層学習モデルを訓練しました。リズム体操や演劇パフォーマンスなど、複数分野でのコンテンツ制作を支援・拡張できます。

AI振付師の核心

音楽からダンスを合成するため、分解・合成フレームワークを開発。第1段階（分解）で「どう動くか」を学習し、第2段階（合成）で「基本動作をどう配列するか」を学習します。

第1段階では、キネマティックビート検出器でダンスシーケンスから動きのビートを抽出。各シーケンスを時間正規化し、ダンスユニットの系列に変換。個々のユニットを初期ポーズと動きに分解。

第2段階では、入力音楽に合致する動作系列を生成する音楽-動作モデルを提案。実行時にはビートとスタイル情報を抽出し、音楽スタイルに従ってダンスユニット系列を順次生成。最後に抽出したオーディオビートでダンスユニットをワープ（時間調整）します。

訓練には36万本超、計71時間の動画クリップを使用。ヒップホップ、ズンバ、バレエの3カテゴリ。ポーズ処理にはOpenPose（リアルタイム多人数システムで身体・顔・手・足のキーポイント検出）を使用。スタイル一貫性、リアリズム、多様性、ビートマッチングの指標で評価。

生成されたポーズ系列をフォトリアルな動画に合成し、結果を可視化。大規模ペアデータセットとソースコードはGitHubで公開。生成的敵対ネットワークはPyTorchフレームワーク、NVIDIA V100 GPUで訓練。今後、パートナーダンス等のスタイル追加でシステム向上を図る予定です。

産業技術