AI はクリーンなトレーニング データを使用せずにノイズの多い画像のノイズを除去します

• ニューラル ネットワークは、ノイズのない写真がどのようなものであるかをトレーニングしなくても、自動的に写真を補正できます。
• 低照度写真、磁気共鳴イメージング、物理ベースの画像合成に使用できます。 

Photoshop を使用せずに、低光量でピクセル化された写真や粒子の粗い写真を撮影し、アーティファクトやノイズを除去できたら素晴らしいと思いませんか。新しい機械学習モデルは、破損した画像のサンプルを観察するだけで同じことを行うことができます。

破損した測定値からの信号の再構築は、統計データ分析の重要な部分です。最近では、機械学習技術の進歩により、信号破損の従来の統計モデリングを回避することに大きな関心が集まっています。

MIT、NVIDIA、アアルト大学の研究者は、ニューラル ネットワークを使用した信号の再構築に基本的な統計的推論を適用しました。きれいな信号を見ずに信号を復元する方法を学習します。

これは、他の最先端の手法や、最近開発された画像補正 AI とは異なります。この分野の他の機械学習手法は、ノイズのある写真ときれいな写真の両方を表示することで写真を復元するニューラル ネットワークのトレーニングに重点を置いていますが、この方法では粒子状またはノイズのある入力画像のペアのみが必要です。

この人工知能システムは、ノイズのない写真がどのようなものであるかについてトレーニングを受けることなく、自動的に写真を補正します。

従来の機械学習手法では、破損した入力 (ノイズのある画像) とクリーンなターゲット (固定画像) のペアを含む大規模なデータセットを使用して畳み込みニューラル ネットワークのような回帰モデルをトレーニングし、経験的リスクを軽減します。

一方、この方法では、ネットワークが各ソース画像を 2 回観察できる限り、クリーンなターゲットを完全に破棄できます。重大な (50%) 外れ値コンテンツを含む画像を修正するようにトレーニングできます。場合によっては、クリーンなサンプルを使用したモデルよりも優れたパフォーマンスを発揮します。 さらに、クリーンなターゲットを取得するよりも低コストの作業です。 

参照:arXiv:1803.04189 |エヌビディア

50,000 枚の画像でネットワークをトレーニングするために、研究者らは、CUDA ディープ ニューラル ネットワーク ライブラリを利用した TensorFlow フレームワークを備えた NVIDIA Tesla P100 GPU を使用しました。

アプリケーション

現実世界には、天体写真、磁気共鳴イメージング、物理ベースの画像合成などの低照度イメージングなど、クリーンなトレーニング データの取得が困難なシナリオが数多くあります。

明らかに、ネットワークは入力画像に存在しない特徴を検出することを学習できませんが、クリーンなターゲットを使用したトレーニングにも同じことが当てはまります。

MRI再構成例 |研究者提供

読む:NVIDIA AI は 30fps ビデオを 240fps に変換できます

この研究では、研究者らは標準的なノイズ分布 (加法的ガウス ノイズを含む) から開始し、画像合成におけるより困難で分析が困難なモンテカルロ ノイズに続けました。彼らはまた、MRI (磁気共鳴画像法) におけるサブナイキスト スペクトル サンプリングからの画像再構成は、ノイズの多い画像からのみ学習できることも観察しました。