サムスンAI、単一写真からリアルな会話アバターを生成
- 新しいAIモデルが単一画像から会話アバターを生成可能に。
- レオナルド・ダ・ヴィンチやモナリザなどの名画にこのモデルを適用。
- 視覚的なグリッチはあるが、従来技術よりはるかに印象的な成果。
ディープフェイク（人間の画像合成のためのAIベース技術）生成ソフトウェアは、リアルな偽造を構築するために大量の画像セットを必要とします。ニューラルネットワークの最近の進歩により、幅広いデータセットでネットワークを訓練することで、いかに高度にリアルな人間の画像が得られるかが示されてきました。
しかし、モスクワのサムスン研究センターの開発者たちは、単一画像から会話アバターを作成できる新しい人工知能（AI）モデルを開発しました。1枚の画像から動画クリップを生成することは可能ですが、複数の画像で訓練することで、より良いアイデンティティ保存と高いリアリズムが得られます。
このモデルで生成される会話ヘッドは、ワーピングベースのシステムの能力を超えるポーズを含む、さまざまなポーズを処理できます。いくつかの視覚的グリッチは見られますが、従来技術と比較して成果ははるかに印象的です。このモデルは、最終的に本物の動画と区別が困難なマルチメディアの作成につながります。
関連する課題
リアルな会話アバターシーケンスの生成が困難なのは、主に2つの理由によるものです。
- 人間の頭部は高い運動学的、幾何学的、測光的複雑性を持っています。髪、目、口腔など多くの要素を正確にモデリングする必要があります。
- 人間の頭部の外観モデリングにおける微小なエラーに対する視覚システムの敏感さ。
これらの問題に対処するため、新しいAIモデルは学習プロセス中に3つのニューラルネットワークを作成します。顔のランドマークフレームをベクトルと接続する埋め込みネットワークを構築し、次にランドマークを合成クリップにマッピングするジェネレータネットワークを構築します。最終ステップでは、識別器ネットワークがフレームのポーズとリアリズムを評価します。
参考: arXiv:1905.08233 | YouTube
顔のランドマークと動きをよりよく理解するために、研究者たちは人間が話している数千本のYouTube動画でネットワークを訓練しました。その結果（会話ヘッド）は、定量的測定により代替ニューラルネットワークと比較されました。
結果
チームはこのモデルを、モナリザ、レオナルド・ダ・ヴィンチ、アルベルト・アインシュタインなど多くの著名人の画像に適用しました。AIは単一画像から会話動画を生成し、古典的な肖像画に命を吹き込むことができました。1枚の写真だけで動画を作成できますが、32枚の画像で訓練されたモデルは、より良いパーソナライゼーションスコアと完全なリアリズムを達成できます。
このタイプのAIは、マルチプレイヤーゲーム、ビデオ会議、特殊効果産業など、テレプレゼンスにおいていくつかの実用的な応用を持つ可能性があります。
関連記事: IBM、動画内のシーンを検出するAIを開発
一方で、このような技術の急速な発展は、誤情報、なりすまし、詐欺、選挙改ざんのリスクを高める可能性があります。
産業技術
- 5Gが製造業の効率をどう変革するか：生産現場のアンロック
- AIが新たな製造業ジョブを創出し、労働力ギャップを埋める理由
- 麻痺患者の脳信号から自然な音声を合成するAI、RNNで語彙無制限・自然話速実現
- Googleが始端と終端フレームから動画全体を生成するAIを発表
- サプライチェーンが危機時に軍事計画手法を応用する方法
- サプライチェーン安定化：セールスオーダー自動化がパンデミック時に真価を発揮する理由
- 病院がポストCOVID-19で適用すべきサプライチェーン5つの教訓
- アメリカのサプライチェーンを守る：サイバー脅威を緩和する戦略
- IoTで物流を変革：効率と資産管理の向上
- クラウドコンピューティングエキスパートがリモートワークで活躍する理由
- IIoTが製品から成果ベースサービスへの転換を加速