AIがリアルで多様なダンスの動きを作成できるようになりました

• 研究者はディープラーニングモデルをトレーニングして、現実的で多様性があり、スタイルに一貫性のある新しいダンスステップを生成します。
• 新体操や演劇など、いくつかの分野でコンテンツの作成を支援および拡張できます。

科学者がコンピューターを徐々に人間のレベルの知性に近づけるにつれて、彼らはいくつかの非常に人間的な努力に取り組み始めました。私たちは確かに、人工知能が何千もの異なるスタイルを提案することで振付師が物事を混同するのを助けることができるようになりました。

最近、カリフォルニア大学の研究者は、現実的で多様性があり、スタイルに一貫性のある新しいダンスステップを生成するためのディープラーニングモデルを開発しました。これには、音楽からビートマッチングダンスを生成するための分析による合成学習フレームワークが含まれています。

このような音楽からダンスへのフレームワークを構築することは困難な作業ですが、フィギュアスケート、新体操、演劇など、いくつかの分野でコンテンツの作成を支援および拡張できます。

AI振付家のコア

音楽からダンスを合成するために、研究者は分解から構成へのフレームワークを開発しました。このフレームワークは、最初に移動する方法（分解フェーズ）、次に基本的な動きをシーケンスに配置する方法（構成フェーズ）を学習します。

最初のフェーズでは、キネマティックビート検出器を使用して、ダンスシーケンスから動きのビートを抽出しました。次に、各ダンスシーケンスは、一連のダンスユニットに時間的に正規化されます。個々のダンスユニットは、最初のポーズと動きに解き放たれました。

参照：arXiv：1911.02001 | GitHub

第2段階では、研究者は、入力された音楽に一致する一連の動きを作成するために、音楽から動きへのモデルを提案しました。実行時にビートとスタイルの情報を抽出し、音楽スタイルに合わせて一連のダンスユニットを順次制作しました。最後に、抽出されたオーディオビートによってダンスユニットをワープしました。

ネットワークをトレーニングするために、チームは合計71時間で360,000を超えるビデオクリップを収集しました。これらの動画には、ヒップホップ、ズンバ、バレエの3つのダンスカテゴリが含まれていました。

さまざまなポーズを処理するために、リアルタイムの複数人システムであるOpenPoseを使用して、単一の画像で人体、顔、手、足のキーポイントを共同で検出しました。また、パフォーマンス評価では、さまざまな指標を使用して、スタイルの一貫性、リアリズム、多様性、ビートマッチングを調べました。

生成されたダンスを写実的なビデオにマッピングする|研究者の礼儀

研究者はまた、結果をよりよく視覚化するために、ポーズシーケンスをフォトリアリスティックなビデオに合成しました。大規模なペアのダンスと音楽のデータセットとソースコードは、GitHubで入手できます。

読む：AIは、映画の予告編を分析することで視聴者の出席を予測できます

生成的敵対的ネットワークは、NVIDIA V100GPUでPyTorchディープラーニングフレームワークを使用してトレーニングされます。近い将来、研究者はシステムをさらに改善するために、より多くのダンススタイル（パートナーダンスなど）を追加する予定です。