AIがディープニューラルネットワークで完全な暗闇の中の不可視物体を可視化

• MIT研究者たちがディープニューラルネットワークを用いて、完全な暗闇の中の不可視物体を可視化
• 生物学的細胞と組織を有害な光線と強い光にさらさずにイメージング可能

ほとんどのイメージングシステムは、撮像対象物体について歪んだまたは部分的なデータしか生成しません。これは主に位相情報の欠如、空間周波数の損失、照明ノイズ、光学系内の未知の散乱体が原因です。

過去数年間、ディープニューラルネットワークと呼ばれる機械学習技術が計算イメージング分野で多くの注目を集めています。ゴーストイメージング、適応光学、適応照明顕微鏡、位相回復、光学トモグラフィー、アンダーサンプリングイメージングなど、多様な応用で効率的なソルバーであることが証明されています。

初めて、MITの研究者チームがディープニューラルネットワークを用いて、異なるレベルの高ノイズに影響されるコヒーレント位相回復問題を解決しました。簡単な言葉で言えば、完全な暗闇の中の不可視物体を可視化する方法を発見しました。

これは、Google Pixel 3スマートフォンに搭載されている既存のAIベース「ナイトモード」技術とは大きく異なります。それは複数のノイズ画像を撮影してクリアな写真を生成できますが、ある程度の光を必要とします。一方、MITの技術は完全に暗い部屋で動作します。ピクセルあたりわずか1光子しか必要としません。

どのように実現したか？

研究者たちはまず、ほぼ真っ暗な条件下でターゲットオブジェクトの写真を撮影しました。その後、これらの写真から透明なオブジェクトを再構成しました。これを実現するため、人間の目には見えない暗く粒状の画像から10,000以上の透明なガラスのようなエッチングを認識するよう訓練されたディープニューラルネットワークを使用しました。

参照: Physical Review Letters | doi:10.1103/PhysRevLett.121.243902 | MIT

暗い部屋で撮影された写真自体は、テレビで見られる静止ノイズのように見えました。ニューラルネットワークは、視覚ノイズの下にある対応するパターンとともにこれらの画像で訓練されました。

徐々に、ネットワークは視覚ノイズから意味を理解するよう学習しました。最終的にぼやけた画像を生成しました。これらの画像をより鮮明にするため、チームは出力を焦点化するレイヤーを追加しました。

研究者提供

上記画像では、暗い画像（左上）が透明エッチング（右端）から生成されているのがわかります。研究者たちは光の振る舞いに基づく物理アルゴリズムを用いてオブジェクトを再構成しました（右上）。機械学習技術はかなりぼやけた画像を生成しました（左下）。物理アルゴリズムと機械学習技術の両方を組み合わせて、実際のオブジェクト/シーンの最も正確な画像（右下）を再構成しました。

どのように有用か？

このAIは、非常に弱い光で撮影された画像で、生物学的細胞や組織のような透明な特徴を照らすために使用できます。強い光にさらされると細胞は簡単に焼損または損傷し、イメージングするものが何もなくなります。また、患者がX線にさらされると、がん発症のリスクがあります。

この研究はこのようなケースで役立つ可能性があります：研究者たちが細胞と組織をより少ない光子にさらして同じ画像質を得ることを可能にしました。これにより、サンプリング時の生物学的標本へのダメージが大幅に減少します。さらに、この技術は天文学的イメージング分野で潜在的に有用な多様な応用を提供する可能性があります。