データの回復：NISTのニューラルネットワークモデルは、高密度の画像から小さなオブジェクトを検出します

科学論文から重要なデータを自動的に取得するために、米国国立標準技術研究所（NIST）のコンピューター科学者は、画像データに含まれる高密度で低品質のプロット内の三角形などの小さな幾何学的オブジェクトを正確に検出する方法を開発しました。パターンを検出するように設計されたニューラルネットワークアプローチを採用しているNISTモデルには、現代の生活で多くの可能性のあるアプリケーションがあります。

NISTのニューラルネットワークモデルは、定義された一連のテスト画像内のオブジェクトの97％をキャプチャし、オブジェクトの中心を手動で選択した場所から数ピクセル以内に配置しました。研究者たちは、1900年代初頭にさかのぼるジャーナル記事から、NISTの熱力学研究センター（TRC）の金属特性のデータベースにあるデータを取得しました。多くの場合、結果はグラフィック形式でのみ表示され、手作業で描画され、スキャンやコピーによって劣化することもありました。研究者たちは、データポイントの場所を抽出して、追加の分析のために元の生データを復元したいと考えていました。これまで、このようなデータは手動で抽出されていました。

画像は、さまざまなサイズと明快さの、塗りつぶされた状態と開いた状態の両方の、主に円、三角形、正方形などのさまざまなマーカーを持つデータポイントを示しています。このような幾何学的マーカーは、科学的なグラフのデータにラベルを付けるためによく使用されます。誤ってデータポイントのように見える可能性のあるテキスト、数字、およびその他の記号は、ニューラルネットワークをトレーニングする前に、グラフィック編集ソフトウェアを使用して図のサブセットから手動で削除されました。

データマーカーを正確に検出してローカライズすることは、いくつかの理由で課題でした。マーカーは、明瞭さと正確な形状に一貫性がありません。それらは開いているか塗りつぶされている可能性があり、時々ぼやけたり歪んだりします。たとえば、一部の円は非常に円形に見えますが、他の円には、その形状を完全に定義するのに十分なピクセルがありません。さらに、多くの画像には、重なり合う円、正方形、三角形の非常に密度の高いパッチが含まれています。

研究者たちは、少なくとも手動検出と同じくらい正確にプロットポイントを特定するネットワークモデルを作成しようとしました。プロット上の実際の位置から5ピクセル以内で、1辺あたり数千ピクセルのサイズです。

NISTの研究者は、U-Netと呼ばれる、生物医学画像を分析するためにドイツの研究者によって最初に開発されたネットワークアーキテクチャを採用しました。最初に画像の寸法を縮小して空間情報を減らし、次に特徴とコンテキスト情報のレイヤーを追加して、正確で高解像度の結果を構築します。

マーカーの形状を分類して中心を特定するようにネットワークをトレーニングするために、研究者は、幾何学的オブジェクトごとに異なるサイズの中心のマーキングとアウトラインを使用して、トレーニングデータをマスクでマーキングする4つの方法を実験しました。

研究者は、より太い輪郭などの情報をマスクに追加すると、オブジェクトの形状を分類する精度は向上しますが、プロット上の位置を正確に特定する精度は低下することを発見しました。最終的に、研究者はいくつかのモデルの最良の側面を組み合わせて、最良の分類と最小の位置誤差を取得しました。マスクを変更することは、ネットワークパフォーマンスを改善するための最良の方法であり、ネットワークの最後での小さな変更などの他のアプローチよりも効果的であることが判明しました。

ネットワークの最高のパフォーマンス（オブジェクトの中心を特定する際の精度97％）は、プロットポイントが元々非常に明確な円、三角形、および正方形で表されていた画像のサブセットに対してのみ可能でした。パフォーマンスは、TRCがニューラルネットワークを使用して新しいジャーナル論文のプロットからデータを回復するのに十分です。