新しいAIは静止画像を3Dアニメーションに変換できます

• 新しい深層学習法では、畳み込みニューラルネットワークを使用して、単一の静止画から3Dでキャラクターをアニメーション化します。
• 画像内のキャラクターを3Dで歩いたり、座ったり、走ったり、ジャンプしたりすることができます。
• アニメーション全体をモニターやVR / ARデバイスでインタラクティブに表示できます。

近年、ビデオからの一般的なアニメーションは、多くの創造的な効果をもたらしました。ビデオや一連の写真ではなく、単一の画像からアニメーション化することも、魅力的な効果をもたらしました。

Skinned Multi-Person Linear（SMPL）モデルと深層学習フレームワークは、単一の画像からの3Dポーズと形状の推定に非常に役立つことが証明されています。これまでのところ、単一画像の人物のアニメーション手法のほとんどは、主に2Dまたは疑似3Dアニメーションに焦点を合わせてきました。

最近、ワシントン大学とFacebookの研究チームは、静止画と画像を3Dアニメーションに変換できる新しい技術を開発しました。 「PhotoWake-Up」という名前のこの深層学習手法では、畳み込みニューラルネットワーク（CNN）を使用して、単一の静止画から3Dでキャラクターをアニメーション化します。

前景のキャラクターに命を吹き込む

特定の順序で移動する静止画像を使用してビデオを作成するシネマグラフとは異なり、新しいシステムは単一の画像を入力として受け取り、完全な3Dエクスペリエンスを提供します。画像内のキャラクターを3Dで歩いたり、座ったり、走ったり、ジャンプしたりできます。また、アニメーション全体をモニターやVR / ARデバイスでインタラクティブに表示できます。

さて、あなたはこの新しい方法がどのように機能するのか疑問に思っているに違いありません。ええと、それは5つのステップを含みます：

1. 画像をモーフィング可能なボディモデルに合わせる
2. ボディラベルマップを推定する
3. モーフィング可能なモデルに基づいて段階的にメッシュを作成します
4. メッシュをリグして、メッシュのスキニングウェイトを推定します
5. 最後に、テクスチャを再構築して、空白の背景画像に配置します。

CNNは、事前にトレーニングされたモデルSMPLに依存し、NVIDIA TITANGPUで実行されます。ポスターやアートからスポーツ写真まで、幅広い正面画像に対応しています。ユーザーは、写真に写っている人物を編集したり、再構築された体を3Dで表示したり、ARデバイスで探索したりすることもできます。たとえば、ユーザーはアートワークを壁に置いて、アニメーションの再生中に歩き回ることができます。

読む：arXiv：1812.02246 |ワシントン大学

チームは、漫画のキャラクター、落書き、スティーブンカリー（NBAプレーヤー）、ピカソの絵画の画像でアルゴリズムをデモンストレーションしました。これまでに、インターネットからダウンロードした70を超える画像でニューラルネットワークをテストしてきました。

比較と制限

研究者は、アルゴリズムを他の最先端の関連手法と比較し、人間の研究で結果を評価しました。 Photo Wake-Upを介して得られた結果は、他の方法よりもはるかに歪みが少なく、静止フレームでよりリアルに見えました。さらに、これらの結果は、従来の手法では不可能だった実際の3D体験を提供します。

読む：新しい人工知能は誰でもプロのダンサーに変えることができる

アルゴリズムはまだ完璧にはほど遠いものであり、まだまだ改善の余地があります。たとえば、反射と影はまだモデル化されておらず、体全体の形状が非現実的に見えるために、誤った3Dポーズが生成されることがあります。また、座っているときに足を組むなど、特定のオクルージョンを調整する必要があります。