マイクロソフトがAttnGANを発表：テキスト説明からフォトリアルな画像を生成するAI

• マイクロソフトのAttnGANは、平文のテキストとキャプションから高忠実度の画像を生成可能
• 画像を作成する「生成器」と現実味を評価する「識別器」の2モデル構成を採用
• プロンプトを超えた文脈に即したディテールを追加し、内部的な「想像力」層を示唆
• 将来的にはスクリプトに基づく完全自動アニメーション制作への応用も期待

これまでのテキスト・ツー・イメージ合成の取り組みをさらに発展させ、マイクロソフトのAttnGANは、簡潔なテキストプロンプトからフォトリアルな画像を生成し、大規模なラベル付き画像ライブラリを活用することで、この分野を前進させています。

マイクロソフトリサーチで開発されたAttnGANは、プロンプト内の個々の単語を解析して画像構築をガイドします。開発チームによれば、このアプローチは従来の最先端モデルと比較して、画質を約3倍向上させるとのことです。

ボットの創造プロセス

「青い鳥で、赤い翼と短いくちばしを持つもの」を描くよう依頼されたと想像してください。まず大まかな輪郭を描き、次に色とディテールを埋めていくでしょう。AttnGANも同じ論理に従い、各単語を分析して詳細で整合性のある画像を構築します。

このボットはガジェットから野生動物まであらゆる主題を描画でき、明示的に言及されていない文脈に適した背景要素をしばしば追加します。これは「想像された」ディテールを生み出す能力を示しています。

画像はスクラッチからピクセル単位で合成されるため、現実には存在しないシーンの創造も可能です。この生成タスクは、既存の写真にラベルを付けるだけよりも本質的に複雑です。

AttnGANが画像を生成する仕組み

1. 生成器（Generator）： テキスト説明に基づいて画像を作成
2. 識別器（Discriminator）： 生成された画像の真正性を説明文と照らし合わせて評価

両モデルは共同で訓練され、生成器が識別器のフィードバックから学習し、徐々に高い忠実度を達成できるようになっています。

訓練には数千組の写真・キャプションデータセットが用いられ、AttnGANに特定の単語を視覚パターンにマッピングすることを教え込みました。例えば「ゾウ」という単語は、典型的なゾウの外観に一致する画像を生成するトリガーとなります。

システムは複雑な文を個々の単語に分解し、各単語を画像の領域と整合させます。訓練中には「人工的な常識」も学習し、欠落しているディテールを補完して現実的な構図を確保します。

この例では、プロンプトには鳥のみが言及されていました。AttnGANは訓練データから学んだ現実世界の文脈として、鳥を枝の上に知的に配置しました。これはモデルが文脈知識を適用する能力を示しています。

arXiv:1711.10485 — AttnGANを詳細に解説したマイクロソフトの研究論文。

二階建てバスが湖に浮かぶよう指示された場合、モデルはぼやけたものの、プロンプトの矛盾する要素を調和させようとした認識可能な混合シーンを生成しました。これは相反する要素の調和に苦心する様子を示しています。

性能とユースケース

AttnGANは従来のベンチマークを上回り、COCOデータセットのInception Scoreで170.25%の改善、CUBデータセットで14.14%の向上を達成しました。

将来的な応用として、インテリアデザイナー向けスケッチアシスタント、音声起動型写真修正、さらなる発展によりスクリプトからの完全自動アニメーション制作などが期待されています。

その他のAIアートジェネレーター

アートとAIの融合に取り組んでいるのはマイクロソフトだけではありません。グーグルのDeepDreamは2016年にサイケデリックな画像を披露し、Tacotron 2のような音楽や音声合成も生み出しました。フェイスブックとNVIDIAも、自動車、船舶、動物、さらには合成セレブリティアバターのための生成モデルをリリースしています。

グーグルの人間のような音声AI Tacotron 2 について読む。