単語の埋め込みが新しい熱電素子を発見する方法

今日誰かと話すと、人工知能が次の大きなものであると言われます。誰もが欲しがるホットポテトですが、誰も噛むことはできません。

彼らの大多数はまた、AIが実際には単なる誇大宣伝であり、Powerpointに身を包んだ古き良き機械学習と数学の栄光であるために起こっていることの多くを教えてくれます。そして、ほとんどの場合、それらは正しいでしょう。

ただし、ディープラーニングなどのAIツールのアプリケーションが革新的である分野の1つは、自然言語処理です。

簡単な例は、Webサイトを操作するチャットボットです。これらは、長短期記憶（LSTM）ニューラルネットワークと呼ばれる比較的複雑な深層学習アーキテクチャによって実行されます。これらのアルゴリズムは、私たちが伝えていることを「理解」し、それに応じて読みやすい一貫性のある文をつなぎ合わせることができます。確かに、このボットはソクラテスではありませんが、ランダムな言葉の寄せ集めを吐き出すことはありません。いくつかの低レベルのインテリジェンスの否定できない提案があります。

単語の埋め込み

言語処理キックにおけるディープラーニングの現代は、2013年にTomasMikolovのword2vec論文が発表されたことから始まりました。彼らの勝利は、単語の埋め込みを生成するための計算上実行可能な方法の開発にありました。 または単語ベクトル ニューラルネットワークを使用します。

男性、女性、王という言葉を考えてみましょう。 およびクイーン 。これらの単語をグループ化するように求められた場合は、多くの常識的な選択肢があります。私は[男性、女性 ]と[王、女王 ]。あなたは[男、王 ]と[女性、女王 ]。

<図>

単語の埋め込みは、テキスト内の単語間の意味関係をキャプチャします。 https://samyzaf.com/ML/nlp/nlp.htmlから

王という言葉も知っています と男 「女性」とまったく同じように関連付けられています 」と「クイーン ’。

man：king =woman：queen

これらの言葉を聞いたことがなくても、出会った文章を観察することで、これらの関係を学ぶことができます。 「この男は王様です 」、「女王は敬虔な女性でした 」、「彼女はシルバースクリーンの女王として君臨しました 」、「彼の王国が来る ’。これらの文は、単語の近接性だけで、王様 ほとんどが男です そしてその女王 ほとんどの場合、女性 。

単語の埋め込みは同じことを行いますが、何千ものドキュメントからの何百万もの単語に対してです。ここで重要なのは、単語がコンテキストから学習されることです。 。この数学的アナロジーゲームを可能にするのは、現代の計算の力と深層学習の魔法です。

ディープラーニングの単語埋め込み

Harry Potterのすべての単語の埋め込みを検索するとします。 。

まず、一種の数学的なVault-library-chamberを作成します。必要なすべての単語を保持するのに十分な大きさの巨大な多次元の巨獣。これはベクトル空間です 。

目標は、ハリーポッターを通過することです 単語ごとに、各単語を部屋の金庫室に入れます。 ドレスのような類似の単語 およびマント 同じ金庫に行きます。 クィディッチ およびSnitch 隣接する金庫室にあります。 車 およびCentaur バナナと同じくらい遠くにあります およびヴォルデモート 。

単語の埋め込みという単語は、それが検出されるボールトのアドレスです。数学的には、これはになります ベクトル 内 ベクトル空間 。

なぜ人間がこの仕事を望んでいないのかがわかります。言葉が多すぎて、動き回るのが多すぎます。

ただし、ニューラルネットはこれを非常にうまく行います。これは、まあ、魔法によって行われます。

Aディープニューラルネットは、何百万ものギアとレバーを備えた一種の巨大な機械です。最初はすべてが混乱していて、周りにシャッフルがあったとしても、何も適合しません。その後、ゆっくりといくつかのギアがロックを開始します。レバーは所定の位置に落ちます–そして秩序は混沌から現れます。機械が動き始めます。フランケンシュタインは生きています！

ここでの言葉は意図的に曖昧です。単語の埋め込みの派生方法ではなく、単語の埋め込みのアプリケーションについて説明します。そうは言っても、基本的なレベルでは、ニューラルネットワークがどのように機能するのかはよくわかりません。したがって、私たちの実験では、タスクに着手する前に、層の数、活性化関数、各層のニューロンの数などを試してみる必要があります。しかし、それは別の日のトピックです。

熱電

2019年に発表された論文では、ローレンスバークレーラボの研究者チームが、1000のジャーナルで発表された約330万の論文に、すべての要約の単語の埋め込みを生成しました。このリストは明らかに膨大であり、過去20年間に材料科学で発表されたほぼすべてのトピックを網羅しています。

科学的なテキストになると、化学式や記号も「言葉」です。したがって、 LiCoOの単語ベクトルがあります。 2 –これは一般的なバッテリーカソードです。次に、次のような質問をすることができます： LiCoO2に最も近い単語ベクトルは何ですか？

LiCoO2はベクトル空間のベクトルであることがわかっています。したがって、必要なのは、近くにあるベクトルを見つけることだけです。

答えはLiMnとして出てきます 2 O 4 、LiNi 0.5 Mn 1.5 O 4 、LiNi 0.8 Co 0.2 O 2 、LiNi 0.8 Co 0.15 Al 0.05 O 2 とLiNiO 2 —これらはすべてリチウムイオンカソード材料でもあります。

<図>

選択した化合物と「熱電」という言葉との関係経路。 Li2CuSbは「熱電」とは直接関係ありませんが、「間接帯域」や「オプトエレクトロニクス」など、この特性の指標となる言葉の近くにあります。 [2]から

ここで何をしたかわかりますか？

私たちは本当に、お気に入りのカソードに似た他の材料を探求しようとしていました。千の論文を読んだり、メモをとったり、リチウム化合物のリストを作成したりする代わりに、単語の埋め込みは数秒で課題を解決しました。

これが単語の埋め込みの力です。このアプローチでは、セマンティッククエリを数学的ベクトル演算に変換することで、大規模なテキストデータベースをより適切かつ効率的にクエリおよび理解できます。

さらなる例として、研究者は、「熱電」のベクトルの近くで化合物が検出される頻度を調査しました。 ’。 （これらは、電気エネルギーを熱に、またはその逆に変換する材料です。）

これは、内積と呼ばれる単純なベクトル演算によって実行できます。類似したベクトルでは、内積が1に近づいています。異なるベクトルの内積はほぼゼロです。

データベース内の化合物と「thermoelectric」という単語に対して同じ操作を実行することにより、 ’、著者は、熱電である可能性が高いすべての化学物質を発見しました。 。

<図>

抽象データベースからの単語の埋め込みは、次のような質問に答えることができます。Zrが六角形の場合、クロムは…？ （体中心）[2]から

著者らはさらに、結晶構造や強誘電性などのいくつかの材料特性について、同様の関係を示すことができることを示しています。さらに、彼らは、この技術を使用すると、現在の熱電素子のいくつかが既存の文献から数年前に予測された可能性があることを示しています。

分析は非常に美しく、エレガントでありながら、「 人間が研究したすべての資料のうち、熱電である可能性が高い」という質問の単純な表現です。 。

材料データベースは時間の必要性です

あなたは私たちがすでにこのリストを持っていると思います-明らかに誰かが私たちが行っているすべての仕事を書き留めていますか？資料ハンドブックと電子データベースを編集していますか？

答えは驚くべきことではありません。私たちが長年にわたって蓄積してきた膨大な量の知識は、本、雑誌、論文などのテキストに閉じ込められています。これらは非常に多く、手動でスキャンすることは不可能です。

これがまさに、この論文で示されている単語の埋め込みと手法が革新的なものである理由です。
これらは、テキストの操作方法を変更し、資料のデータベースを迅速に高速化することを約束します。

圧電性について研究されている材料にはどのようなものがありますか？私たちが文献で見逃している超伝導体はありますか？アルツハイマー病を治すことができる新薬はありますか？
埋め込みという言葉を聞いてください。彼らは知っているでしょう。