マイクロソフトが会話AIでブレークスルー：高度マルチタスクニューラルネットワークを発表

マイクロソフトが会話人工知能分野で新記録を樹立しました。様々な自然言語理解タスクでテキスト表現を学習するための、拡張版マルチタスク深層ニューラルネットワーク（Multi-Task DNN）を開発しました。

堅牢で汎用的な言語表現は、様々な自然言語処理（NLP）タスクで優れた結果を得るために重要です。アンサンブル学習はモデル汎化を高める最も効率的なアプローチの一つ。これまで機械読解から質問応答まで様々な自然言語理解（NLU）タスクで最先端成果を得るために用いられてきました。

しかし、こうしたアンサンブルモデルは数百の深層ニューラルネットワーク（DNN）モデルを含み、実装コストが非常に高いです。GPTやBERTなどの事前学習モデルも展開コストが高いです。GPTは48層トランスフォーマー・15億パラメータ、BERTは24層・3億4400万パラメータで構成されます。

2019年、マイクロソフト独自のNLPアルゴリズム「Multi-Task DNN」を発表し、今回これを更新して印象的な成果を得ました。

知識蒸留の拡張

研究チームは知識蒸留を用いて、複数のアンサンブルモデルを単一のMulti-Task DNNに圧縮しました。アンサンブルモデルを「オフライン方式」で使用し、訓練データセットの全タスクについてソフトターゲットを生成。ハードターゲットより、訓練サンプルあたりより有用なデータを提供します。

例：「昨夜ジョンと楽しく話した」という文の感情はネガティブになりにくい。しかし「昨夜興味深い会話をした」は文脈次第でネガティブにもポジティブにもなり得ます。

Reference: arXiv:1904.09482 | Microsoft Research Blog

正解ターゲットとソフトターゲットの両方を様々なタスクで使用し、単一のMT-DNNを訓練。cuDNN加速PyTorch深層学習フレームワークでNVIDIA Tesla V100 GPU上で訓練・テストしました。

蒸留MT-DNNを通常MT-DNNとBERTと比較。一般言語理解評価（GLUE）ベンチマークの総合スコアで、蒸留MT-DNNが両モデルを有意に上回りました。GLUEは幅広い言語現象でのシステム性能テスト用ベンチマークです。

GLUEベンチマークスコア

ベンチマークはテキスト類似性、テキスト含意、感情分析、質問応答など9つのNLUタスクで構成。データは学術・百科事典テキスト、ニュース、ソーシャルメディアなど様々なソースからの数百文ペアを含みます。

全実験で、蒸留MT-DNNで学習された言語表現が通常MT-DNNとBERTより汎用的で堅牢であることが明確に示されました。

今後、ハード正解ターゲットとソフトターゲットのマルチタスク学習でのより良い結合方法を探求。複雑モデルを単純モデルに圧縮するのではなく、モデル複雑性に関わらず性能向上のための知識蒸留のより良い活用法を探ります。

産業技術