単語埋め込みによる新規熱電材料の発見：AIが材料科学を加速する

今日誰に話しかけても、「人工知能は次のビッグシングだ──誰もが一口欲しがるホットポテトだが、誰も噛み砕けない」と答えるでしょう。

彼らの大半はまた、「AIとして語られるものの大半は単なるハイプだ──パワーポイントで着飾った古き良き機械学習と数学に過ぎない」とも言うでしょう。そして大部分において、彼らは正しいです。

しかし、ディープラーニングなどのAIツールの応用が革命的と言える領域が一つあります。それが自然言語処理です。

分かりやすい例は、ウェブサイトを担当するチャットボットです。これらはLong Short Term Memory（LSTM）ニューラルネットワークと呼ばれる比較的複雑なディープラーニング・アーキテクチャによって動いています。これらのアルゴリズムは私たちの言葉を「理解し」、応答として読みやすく首尾一貫した文章を組み立てられます。もちろんこのボットはソクラテスではありませんが、ランダムな単語の寄せ集めを吐き出すわけではありません。そこには否定できない、何らかの低レベルな知性の示唆があります。

単語埋め込み

言語処理におけるディープラーニングの現代的時代は、2013年にTomas Mikolovのword2vec論文が発表されたことで幕を開けました。彼らの快挙は、ニューラルネットワークを用いて単語埋め込みまたは単語ベクトルを生成する計算上実行可能な方法を開発したことです。

man（男）、woman（女）、king（王）、queen（女王）という単語を考えてみてください。これらをグループ分けしろと言われれば、常識的な選択肢がいくつかあります。私は[man, woman]と[king, queen]を見ます。あなたは[man, king]と[woman, queen]を見るかもしれません。

単語埋め込みはテキスト内の単語間の意味的関係を捉える. From https://samyzaf.com/ML/nlp/nlp.html

私はまた、kingとmanの関係が、womanとqueenの関係と全く同じであることも知っています。

man : king = woman : queen

これらの単語を一度も聞いたことがなくても、出会った文を観察することでこれらの関係を学習できます。「This man is a king」「The queen was a godly woman」「She reigned as the queen of the silver screen」「His kingdom will come」。これらの文は、単語の近接性だけから、kingはほぼmanであり、queenは最もおそらくwomanであることを示唆しています。

単語埋め込みは同じことを、数千の文書から数百万の単語で行います。鍵は、単語が文脈から学習されることです。この数学的アナロジー・ゲームを可能にするのは、現代計算の力とディープラーニングの魔法です。

ディープラーニング単語埋め込み

ハリー・ポッターのすべての単語の埋め込みを見つけたいとしましょう。

まず、一種の数学的な金庫・図書館・チャンバーを作ります。必要なすべての単語を保持できるほど巨大な多次元の巨獣です。これがベクトル空間です。

目標はハリー・ポッターを単語ごとに読み進め、各単語をチャンバー内の金庫に配置することです。DressとCloakのような類似単語は同じ金庫に入ります。QuidditchとSnitchは隣接する金庫にあります。CarとCentaurは、BananaとVoldemortと同じくらい離れています。

単語の埋め込みとは、それが見つかる金庫のアドレスです。数学的に言えば、これはベクトル空間内のベクトルとなります。

人間がこの仕事をしたがらない理由がわかります。単語が多すぎ、動き回る要素が多すぎます。

しかしニューラルネットならこの仕事を見事にこなします。それは、まあ、魔法のようなもので。

ディープニューラルネットは、数百万の歯車とレバーを持つ巨大な機械のようなものです。最初はカオスで、何も何もフィットしません。でもゆっくりと歯車の一部が噛み合い始めます。レバーが所定の位置に落ち──カオスから秩序が生まれます。機械が動き出す。フランケンシュタインが生き返ったのです！

ここでの言語は意図的に曖昧です。単語埋め込みがどう導出されるかではなく、その応用へあなたを導きたいのです。とはいえ、根本的なレベルではニューラルネットワークがなぜうまく機能するのか、私たちはまだ完全には理解していません。したがって実験では、層の数、活性化関数、各層のニューロン数などをあれこれ調整してから本題に取り組むことになります。しかしそれは別の機会の話題です。

熱電材料

2019年に発表された論文で、ローレンス・バークレー国立研究所の研究チームは、1000誌にわたって発表された約330万本の論文のアブストラクトすべての単語埋め込みを生成しました。このリストは显然巨大で、過去数十年にわたる材料科学のほぼすべてのトピックを網羅しています。

科学文献においては、化学式と記号も「単語」です。したがってLiCoO2（一般的な電池正極材）の単語ベクトルが存在します。すると、「LiCoO2に最も近い単語ベクトルは何か？」と問うことができます。

LiCoO2がベクトル空間内のベクトルであることはわかっています。なので、近くにあるベクトルを見つければよいだけです。

答えはLiMn2O4、LiNi0.5Mn1.5O4、LiNi0.8Co0.2O2、LiNi0.8Co0.15Al0.05O2、LiNiO2──これらはすべてリチウムイオン電池正極材でもあります。

選択された化学化合物と「熱電」という単語の関係経路. Li2CuSbは「熱電」と直接関係していないが、「間接バンド」や「オプトエレクトロニクス」など、この特性の指標となる単語の近くにある. From [2]

ここで何をしたかおわかりでしょうか？

私たちは実際には、お気に入りの正極材に類似した他の材料を探索しようとしていました。千本の論文を読み、メモを取り、リチウム化合物のリストを作る代わりに、単語埋め込みが数秒でこのタスクを解決しました。

これが単語埋め込みの力です。意味的な問い合わせを数学的なベクトル演算に変換することで、このアプローチは大規模テキストデータベースをより良く、より効率的にクエリし、理解することを可能にします。

さらなる例として、研究者たちは化学化合物が「熱電」のベクトルの近くでどれくらいの頻度で見つかるかを調べました。（これらは電気エネルギーを熱に、またはその逆に変換する材料です）。

これはドット積と呼ばれる単純なベクトル演算で実行できます。類似したベクトルはドット積が1に近づきます。異なるベクトルはドット積がほぼゼロです。

データベース内の化学化合物と「熱電」という単語に対して同じ演算を行うことで、著者らは熱電材料である可能性が高いすべての化学物質を見つけ出しました。

アブストラクトデータベースからの単語埋め込みは、「Zrが六方晶なら、クロムは…？（体心立方）」のような質問に答えられる. From [2]

著者らはさらに、結晶構造や強誘電性など、いくつかの材料特性についても類似の関係を実証できると示しています。さらに、この技術を用いれば、既存文献から数年前に現在知られている熱電材料のいくつかを予測できたであろうことも示しています。

この分析は、「人類が研究してきたすべての材料の中で、どれが熱電材料になりうるか？」という問いを、非常に美しく、エレガントで、かつ欺瞞的にシンプルに表現したものです。

材料データベースが今まさに必要とされている

すでにそのリストがあると想像するでしょう──明らかに誰かがこれまでのすべての成果を記録してきたはず？ 材料ハンドブックや電子データベースを編纂しているはず？

答えは驚くべきことに「ノー」です。我々が長年蓄積してきた膨大な知識の大部分は、書籍、ジャーナル、論文といったテキストの中に閉じ込められています。それらがあまりに多すぎて、手作業でスキャンすることは不可能です。

これがまさに、単語埋め込みとこの論文で実証された技術が革命的と言える理由です。
これらは我々がテキストと対話する方法を変え、材料データベースを急速に拡充することを約束します。

圧電性について研究された材料にはどんなものがあるか？ 文献で見逃している超伝導体はないか？ アルツハイマー病を治す新薬はないか？
単語埋め込みに問いかけてみてください。それらは知っています。