GLTR：AI生成テキストを統計的に検出する信頼性ツール

過去10年間、自然言語処理コミュニティはますます大規模・高度な言語モデルの成長を目撃してきました。

AIと人間自然言語を備えた深層ニューラルネットワークの時代に、ハーバード大学とIBMリサーチの研究者たちが、コンピュータ生成テキストを検出する統計的手法を開発しました。

自然人間言語と機械生成テキストを区別するインタラクティブツール（公開済み）を構築。人々により多くの情報を提供し、何が偽で何が本物か判断できるようにすることが目的です。

AIモデルは通常、世界中のウェブから数百万テキストで訓練されます。互いに最も頻繁に続く単語を予測し人間言語を模倣。例：「You」の後には統計的に「were」「have」「are」が続きやすい。

この方法論で、テキストのエラーをフラグするのではなく、「予測しやすすぎる」テキストを検出するツールを構築。AIと人間が協力して機械生成言語を特定可能にします。

仕組み

新手法「Giant Language model Test Room（GLTR）」は、ウェブから約4,500万テキストで訓練されたモデルベース。最大級公開モデルGPT-2にアクセス可能。

したがって、任意テキスト入力の各位置でGPT-2が何を予測したか観察でき、GPT-2や他多くのモデルに対して効率的に機能します。

GLTRは自動生成テキスト特定の視覚的フォレンジックツール。全文にわたる情報を集約した3つの異なるヒストグラムを表示。

Reference: The Harvard Gazette | GitHub

段落をツールボックスに入力すると、全単語が4色でハイライトされ、各色は文脈での単語予測性を示します。紫＝予測困難、赤＝やや予測可能、黄＝中程度予測可能、緑＝高度予測可能。

機械生成段落の様子：

第1ヒストグラム：各カテゴリー単語数。第2ヒストグラム：最高予測単語と次の単語の確率比。第3ヒストグラム：予測エントロピー分布。

当然、人間書きテキスト（特に研究論文・学術文書）では不確実性が高くなります。研究論文アブストラクト（EAGLE銀河について）の様子：

研究チームはコンピュータサイエンス卒業生グループで新ツールテスト。学生のみで機械生成段落50%検出、ツール併用で72%検出。システムとの少しの訓練でさらに向上可能。

産業技術