静止画から3Dアニメーションを生成するAI「Photo Wake-Up」、VR/ARでインタラクティブ体験
ワシントン大学とFacebookの研究チームが、単一の静止画から人物を3Dでアニメーション化する「Photo Wake-Up」を開発しました。CNNと事前学習済みSMPLモデルを用い、画像内の人物を歩かせたり、座らせたり、ジャンプさせたりできます。生成された3DアニメーションはモニターやVR/ARデバイスでインタラクティブに鑑賞可能です。
5ステップの処理フロー
- 可変ボディモデルで画像をフィッティング
- ボディラベルマップを推定
- モーファブルモデルにガイドされメッシュを段階的に構築
- メッシュにリグを付け、スキニングウェイトを推定
- テクスチャを再構築し、白背景に配置
多様な画像に対応、編集も可能
ポスター、アート、スポーツ写真など正面向き画像全般で動作。ユーザーは写真内の人物を編集し、再構築された3DボディをARデバイスで鑑賞できます(例:壁に掛けた絵画の人物が動き、周囲を歩き回れる)。これまで70枚以上のネット画像でテスト済み。
限界と今後
既存手法より歪みが少なくリアルですが、反射・影のモデリング未対応、ポーズ推定エラーによる不自然な体型、脚組み等のオクルージョン処理に課題が残ります。
参考文献: arXiv:1812.02246 | University of Washington
産業技術
- Wittmann Battenfeld、ブラジル・ヴィニェードに9,000平方フィートの新施設で事業拡大
- 新OMPホワイトペーパー:モダン製造業におけるデータ駆動意思決定の活用
- AIツールがニュースソースの正確性と政治的バイアスを検出
- ユニバーサル光変調器:物質を精密制御するブレイクスルーレーザーアーキテクチャ
- レーザーベースシステムで材料の放射線損傷をリアルタイム監視
- 革命的スマホアルゴリズムで精密な疾病診断を実現
- フレキシブルなレクテナでWi-Fi電波を電力に変換、微小デバイス駆動へ道
- 歩行者の動きを45m先まで予測するAI、バイオメカニクス着想のRNNで自動運転を安全に
- AI負荷監視システムが電気機器の故障を事前検知、非接触センサで中規模工場・艦船に最適
- Googleが始端と終端フレームから動画全体を生成するAIを発表
- 革新的電子皮膚が人間並みの触覚感覚を実現