マイクロソフトが170億パラメータ言語モデル「Turing-NLG」発表、過去最大規模

マイクロソフトがTuring Natural Language Generation（T-NLG）を発表。170億パラメータを持つ世界最大言語モデルです。テキスト文書の抽象的要約、質問への直接回答、文完成用単語生成が可能。人間と同等に正確・直接・流暢に多様な状況で応答します。

大規模言語モデルのトレンド

GPT-2、BERT等、インターネット上の全テキストで訓練された数十億パラメータ級大規模深層学習言語モデルが、文書理解、会話エージェント、質問応答等NLP（自然言語処理）タスクを大幅改善。より大規模で多様・包括的な事前学習データを持つモデルほど、少ない学習サンプルでも高性能発揮することが観察されています。したがって、タスクごとに新モデル訓練するより、巨大集中モデル訓練し機能共有する方が効率的。

このトレンドに従い、マイクロソフト研究者たちがT-NLGを発表。各種言語モデリングベンチマークで既存最先端モデル上回る性能。

T-NLGは未完成文完成、入力文書要約、質問直接回答生成可能。文書から内容抽出して要約・回答する他NLPシステムと異なり、新生成モデルは人間のように正確・直接・流暢に多様状況で応答。

T-NLG訓練：巨大モデルの分散学習

1GPU（32GBメモリでも）では数十億パラメータ処理不能。モデル自体並列化、またはスライス分割し複数GPU跨ぎ訓練必要。本研究ではNVIDIA DGX-2ハードウェア（GPU間高速通信）とテンソルスライシング（4基NVIDIA V100 GPUへモデル分割）活用。DeepSpeedライブラリとZeroオプティマイザで、少ないGPUで効率的訓練達成。

標準タスク性能

事前学習済みT-NLGを他強力トランスフォーマー言語モデルと2標準タスク比較：LAMBADA次単語予測精度（高いほど良い）、Wikitext-103パープレキシティ（低いほど良い）。両方でT-NLG優位。

質問応答性能

文法的正確性・事実正確性等品質評価のため人手アノテーター協力。LSTMモデル（CopyNet類似）と比較。

要約性能

T-NLGはWord文書、ブログ、メール、PowerPoint、Excelシート等多様文書に人間らしい抽象的要約生成可能。他既存NLPモデル比較でどうか？

全種テキスト要約対応のため、公開要約データセットで追加訓練。大規模トランスフォーマー言語モデルPEGASUSとその前版と比較。ROUGEスコア（NLP自動要約評価指標セット）報告。

応用展望

マイクロソフトが会話AIでブレークスルー。今後数年でT-NLGをMicrosoft Officeスイート統合予定。メール・文書要約でユーザー時間節約、ライティング支援、読者がコンテンツについて持つ疑問への回答提供。

さらに、発見はより正確・流暢なデジタルアシスタント・チャットボットへの道開く。セールス・顧客関係管理でビジネス支援。

MITが低コストスマートおむつ開発、湿気検知で介護者に通知 AIが量子優位性を予測：ニューラルネットワークでシステム挙動を予見

産業技術