スプリットリング共振器メタマテリアル設計のための深層学習ベース予測ネットワーク

概要

「メタマテリアル」の導入は、電磁気学を含むいくつかの分野に大きな影響を与えてきました。しかし、オンデマンドでのメタマテリアル構造設計は、依然として極めて時間のかかるプロセスです。効率的な機械学習手法として、深層学習は近年データ分類と回帰に広く用いられ、優れた汎化性能を示しています。本研究では、オンデマンド設計のための深層ニューラルネットワークを構築しました。必要な反射率を入力として構造パラメータを自動的に計算・出力し、オンデマンド設計を実現します。本ネットワークは、訓練セットとテストセットの両方で平均二乗誤差（MSE）0.005という低い値を達成しました。結果は、深層学習でデータを訓練することで、訓練済みモデルが構造設計をより正確にガイドでき、設計プロセスを高速化できることを示しています。従来の設計プロセスと比較して、深層学習を用いたメタマテリアル設計ガイドは、より高速、より正確、より便利な目的を達成できます。

はじめに

ナノ光学は、ナノテクノロジーと光学の学際的分野です。近年、サブ波長サイズの異なる構造を繰り返し設計して入射光との特殊な相互作用を実現することで、科学者たちは光の特定の透過特性を操作することに成功しています[1-3]。メタマテリアルが提案されて以来、この分野の多くの研究者の注目を集め、関連する理論研究[4, 5]、プロセス[6, 7]、応用研究[8]が同時に急速に進展しています。ホログラフィックイメージング、完全吸収[9]、フレンズレンズ[10]など、多くの特異な機能が実現されています。テラヘルツ技術の急速な発展とその独自の特性により、近年メタマテリアル分野で人気の研究トピックにもなっています[11-13]。

メタマテリアルの応用は非常に広範ですが、従来の設計法では設計者が設計対象構造について繰り返し複雑な数値計算を行う必要があり、膨大な時間と計算リソースを消費します。したがって、従来の設計法を簡素化または置き換える新しい方法を見つけることが急務です。

学際的分野として、機械学習は生命科学、計算機科学、心理学など多くの分野をカバーし、コンピュータを用いて人間の学習プロセスを模倣・実装し、新しい知識やスキルを習得することを目指してきました。機械学習の基本原理は、コンピュータアルゴリズムを用いて大量のデータ間の相関を取得するか、類似データ間の規則を予測し、最終的に分類や回帰の目的を達成することと簡単に説明できます。これまでに、遺伝的アルゴリズム[14]、線形回帰アルゴリズム[15]、浅層ニューラルネットワークなど、多くの機械学習アルゴリズムがメタマテリアル設計に適用され、顕著な成果を上げています。構造がより複雑になり、構造変化がより多様になるにつれて、問題解決により多くの時間を要するようになります。同時に、問題の高度な非線形性により、単純な機械学習アルゴリズムでは正確な予測が困難になります。さらに、特定の電磁気効果に適合するメタマテリアル構造を設計するには、設計者が構造について試行錯誤し複雑な数値計算を行う必要があり、これらのプロセスは膨大な時間と計算リソースを消費します。

機械学習分野で最も優れたアルゴリズムの一つである深層学習は、コンピュータビジョン[16]、特徴抽出[17]、自然言語処理[18]など様々な関連分野で世界的に有名な成果を上げています。同時に、生命科学、化学[19]、物理学[20, 21]など多くの基礎分野でも成功例が多数あります。したがって、深層学習をメタマテリアル設計に適用することは現在もホットな研究方向であり、多くの優れた成果が出ています[22-24]。

深層学習に触発され、本論文ではスプリットリング共振器（SRR）の構造を予測し、オンデマンド設計を実現するため、深層ニューラルネットワークベースの機械学習アルゴリズムを用いた研究を報告します。さらに、順方向ネットワークと逆方向ネットワークを別々に訓練することで革新的に、ネットワーク精度の向上だけでなく、柔軟な組み合わせで異なる機能を実現できるようにしました。結果として、訓練セットと検証セットでそれぞれMSE 0.0058と0.0055を達成し、良好なロバスト性と汎化性を示しました。訓練済みモデルでメタマテリアル構造設計をガイドすることで、設計サイクルを数日、さらには数時間に短縮でき、効率改善は明らかです。さらに、この方法は優れた拡張性を持ち、訓練セットデータを変更するだけで、異なる入力や異なる構造のオンデマンド設計が可能です。

理論と方法

COMSOLモデル構築

深層学習がメタマテリアル構造の逆設計に適用可能であることを示すため、金リング、シリカ底層、金底層からなる3層SRR構造をモデル化し、入射光作用下での電磁応答を観察しました。図1に示すように、金リングの開口角θ、リング内径r、リング線幅dを本構造の独立変数として選択しました。線偏光ビームがメタマテリアルに垂直入射する際、構造変数を変更することで波長-反射率曲線を取得しました。Auリング厚30 nm、SiO₂底層厚100 nm、Au底層厚50 nm、メタアトムサイズ200 nm×200 nmとしました。

深層学習ニューラルネットワークモデル構築

メタマテリアル構造のために、逆ネットワークと順方向ネットワークを構築しました。逆ネットワークは、異なる偏光方向の2組の波長-反射率曲線からSRR構造パラメータを予測します。順方向ネットワークは、与えられた構造パラメータから2偏光方向の波長-反射率曲線を予測します。逆ネットワークの機能が予測機能の主体です。順方向ネットワークの役割は、逆ネットワークの予測結果を検証し、予測結果が必要な電磁応答を満たすか観察することです。

開発プラットフォームにEclipse 2019、プログラミング言語にPython 3.7、開発フレームワークにTensorFlow 1.12.0を使用しました。

2つのネットワークを別々に訓練することで、各ネットワークの訓練結果が他方の誤差の影響を受けず、それぞれの精度を確保できます。

図2に示すように、2つのネットワークを別々に訓練するもう一つの利点は、異なる接続順序で異なる目的で使用できることです：（a）逆ネットワーク＋順方向ネットワーク：与えられた波長-反射率曲線から構造パラメータを計算し、予測と検証を行い、予測結果が必要を満たすか確認。（b）順方向ネットワーク単独：数値計算法の計算プロセスを簡素化し、計算時間を短縮。

深層学習法で訓練済みモデルに入力し結果を得るプロセスは極めて短時間で完了します。また、シミュレーションや実験で新しいデータが得られれば、モデルをさらに訓練できます。研究によると、訓練データの継続的増加に伴い、モデル精度はますます高くなり、汎化性能も向上します[26]。

構造パラメータは複数組の連続固有値であり、回帰問題に属します。近年、全結合ネットワークは回帰問題における深層学習ネットワークの焦点であり、高信頼性、大容量データスループット、低遅延の特徴を示しています。全結合ネットワークにいくつかの調整を加えることで、構造予測に適したネットワークにできます。

図3bに示すように、順方向ネットワークは全結合ネットワークで、隣接2層のすべてのノードが相互接続されています。入力データは構造パラメータ、出力は2偏光方向の波長-反射率曲線です。図3aに示すように、逆ネットワークは特徴抽出層（FE層）と全結合層（FC層）で構成されます。FE層は、互いに接続されていない2組の全結合ネットワークを含み、2方向の線偏光の波長-反射率曲線を処理して入力データの特徴を抽出します。FC層は抽出された特徴を学習し、構造パラメータを出力します。異なる偏光状態の波長-反射率曲線間の高い凝集性と低い結合性の特性により、異なる方向の2組の偏光データ入力を分離することで、データ抽出プロセス中のデータ標準化によるネットワーク攪乱を防止できます。順方向ネットワークは複数組の入力を扱わず、データ間の相互干渉を考慮する必要がないため、特徴抽出層を持ちません。

最適ネットワーク構造を決定するため、同一データセットで異なる構造のネットワークを訓練しました。図4に、データが50エポック（全データが完全な訓練を1回経験することを1エポックと呼ぶ）経験した後の、異なる構造の順方向ネットワークが達成したMSEを示します。図4左図から、順方向ネットワークが5隠れ層、各層100ノードのとき、最低MSE約0.0174を達成し、この構造の順方向ネットワークを選択しました。

同様に、逆ネットワークの異なるネットワークを訓練し、訓練量は50エポックに設定しました。結果を図4右図に示します。FC層数7、FE層数3のとき、ネットワークは最低MSE約0.1756に達しました。

ネットワーク層数が多すぎると勾配爆発現象が発生し、ネットワークが発散して損失が無限大になるため、図には記載していません。

データ前処理

より信頼性の高い順方向ネットワークを訓練するため、反射率データを再分割し、各周波数に対応するAuとSiO₂の屈折率と結合しました。整理したデータを正規化して順方向ネットワークに入力することで、順方向ネットワークの精度を大幅に向上できます。

値の大きいデータが値の小さいデータよりネットワークに大きな影響を与えないよう、入力データを正規化し、各列のデータが標準正規分布（平均0、分散1）に従うようにしました。処理後のデータxは以下のように表されます：

x = (x₀ - μ) / σ

ここで、x₀はサンプルの元データ、μはサンプルの平均、σはサンプルの標準偏差です。入力データを再分割しないと、正規化後に反射率が歪み、ネットワーク精度が低下します。再分割データは正規化によって分布が影響を受けません。

ニューラルネットワーク手法

ニューラルネットワークの原理は、人間の脳の働きと学習を模倣して多数のニューロン（ノード）を構築することです[27]。ニューロンは互いに接続され、接続重みを調整することで出力を調整します。層のj番目のノードの出力は以下のように表されます：

y_j = Σ(i=1 to n) f(w_i x_i + b_j) / n

ここで、fは活性化関数、w_iは前層のi番目ノードからj番目ノードへの接続重み、x_iは前層のi番目ノードの出力、b_jはこのノードのバイアス項、nはj番目ノードに接続している前層ノード数です。

活性化関数の選択

逆問題の高い非線形性を満たすため、ELU関数[28]を各層ニューロンの活性化関数として使用しました[28]。ELU関数の出力f(x)は以下の区分形式で表されます：

f(x) = { x (x ≥ 0), α(eˣ - 1) (x < 0) }

ここで、xは元の入力、パラメータαの値は0-1の範囲です。

活性化関数を使用する理由は、各層の非線形表現能力を変化させ、ネットワーク全体の非線形フィッティング能力を向上させるためです。図5に示すように、ELU関数はシグモイド関数とReLU活性化関数の利点を組み合わせています。x < 0ではより良いソフト飽和性を持ち、ネットワークを入力変化とノイズに対してよりロバストにします。x > 0では飽和がなく、ネットワークの勾配消失緩和に役立ちます。ELUの平均値が1に近い特徴は、ネットワークのフィッティングを容易にします。結果は、ELUを深層学習ニューラルネットワークの活性化関数として使用することで、ネットワークのロバスト性が大幅に向上することを証明しています。

重み初期化スキーム

各層のネットワーク重み初期化方法は、ネットワークフィッティングの速度を決定し、ネットワークがフィットできるかどうかさえ決定します。分散スケーリング初期化は、各層の入力データ量に基づき、0を中心とする切断正規分布から重みを抽出し、分散を一定範囲に縮小することで、データをネットワークのより深い層まで伝播させます[29]。このネットワーク構造では、分散スケーリング初期化を使用することでネットワークの収束速度が大幅に速くなります。

過学習対策

データ不足によりネットワークは過学習を生じます。過学習を抑制することで、ネットワークは訓練セット外のデータに対して良好な汎化性能を発揮できます。L2正則化（回帰問題ではウェイトディケイとも呼ばれる）を重みwの処理に用いました。正則化後の出力Lは以下のように表されます：

L = L₀ + (λ/2n) Σ w²

式(4)において、L₀は元の損失関数で、これに正則化項(λ/2n)Σw²が加えられます。λは正則化係数、nはデータスループット、wは重みです。正則化項追加後、重みwの値は全体的に減少傾向になり、過大な値の発生を防止できるため、wはウェイト減衰とも呼ばれます。L2正則化は重みを減らしてフィット曲線の大きな傾きを防ぎ、ネットワークの過学習現象を効果的に緩和し、収束を助けます。

これに加えて、ドロップアウト法も使用しました。この方法は、各訓練でネットワークノードの一定割合を視覚的に「隠蔽」し、訓練ごとに異なるノードを隠蔽することで、複数の「部分ネットワーク」を訓練する目標を達成できると見なせます。訓練を通じて、ほとんどの「部分ネットワーク」がターゲットを正確に表現でき、すべての「部分ネットワーク」の結果をソートしてターゲットの解を得られます。

上記のL2正則化とドロップアウト法を用いることで、データ不足による低汎化性を効果的に緩和できるだけでなく、データセット内の少量の誤データが訓練結果に与える影響も低減できます。

このネットワーク構造とデータセットでは、ドロップアウト=0.2、L2正則化係数λ=0.0001で、訓練セットとテストセットで同様の精度が得られ、高い汎化性能を達成できました。

結果と考察

訓練後、順方向ネットワークはMSE 0.0015で高いフィッティング度を達成し、出力がシミュレーション結果と非常に類似していることを示しました（図6）。これは、逆ネットワーク訓練時に逆ネットワークの結果を信頼性高く検証できることも保証します。

最終的に、学習済みネットワークから2つのモデルを生成し、それらを接続して予測機能を実現しました。

予測機能では、図2aの組み合わせを選択できます。逆ネットワークが必要な波長-反射率曲線に対応する構造を予測し、順方向ネットワークがその構造の光学応答を検証します。図7に示すように、検証された反射率と入力反射率を比較すると、入射光の2偏光方向の反射率特性は基本的に一致しています。特定波長値でわずかな反射率ミスマッチが観察されますが、誤差は許容範囲内に収まっており、全体的な一致傾向は明らかに反駁できません。

結論

本稿では、ネットワーク構成の柔軟な組み合わせにより様々な効果を生み出せる設計済み深層学習ネットワークを提示しました。設計した逆ネットワークは、入力波長-屈折率曲線を用いて必要な構造を予測でき、逆問題解決に要する時間を大幅に短縮し、柔軟な組み合わせ活用により多様なニーズに対応できます。結果は、ネットワークが予測においてより高い精度を達成したことを示し、これがオンデマンド設計が本手法で解決可能であることをさらに示唆しています。深層学習を用いてメタマテリアル設計をガイドすることで、従来の設計法では不可能な、より正確なメタマテリアル構造を自動的に取得できます。