NISTのニューラルネットワーク、密集画像内の微小幾何学形状を97%精度で検出

科学論文からのデータ自動抽出への挑戦

科学論文から重要データを自動的に取得する取り組みの一環として、国立標準技術研究所（NIST）のコンピュータ科学者たちは、密集した低品質のプロット画像データ内にある三角形などの小さな幾何学的オブジェクトを正確に検出する手法を開発しました。パターン検出向けに設計されたニューラルネットワークアプローチを採用し、NISTモデルは現代生活における多くの応用可能性を持っています。

97%の検出精度と数ピクセルの位置精度

NISTのニューラルネットワークモデルは、定義されたテスト画像セット内のオブジェクトの97%を取得し、オブジェクトの中心を手動選択位置から数ピクセル以内で特定しました。研究者たちは、NIST熱力学研究センター（TRC）の金属特性データベースにある1900年代初頭まで遡るジャーナル論文からデータを取得しました。多くの場合、結果はグラフィカル形式でのみ提示され、時には手描きで、スキャンや複写によって劣化していました。研究者たちは、更なる分析のために元の生データを回復するため、データポイントの位置を抽出したかったのです。これまでこのようなデータは手動で抽出されてきました。

マーカー検出の課題

画像には、主に円、三角形、正方形の様々なマーカーでデータポイントが示されており、塗りつぶし・非塗りつぶし、様々なサイズと鮮明度があります。このような幾何学的マーカーは科学グラフでのデータラベルによく使用されます。テキスト、数字、その他のシンボルはデータポイントに見えることがあり、ニューラルネットワーク訓練前にグラフィック編集ソフトで図のサブセットから手動で除去されました。

データマーカーを正確に検出・局在化することは、いくつかの理由で困難でした。マーカーは鮮明度と正確な形状に一貫性がなく、開放・塗りつぶしがあり、時にぼやけたり歪んだりしています。一部の円は極めて円形ですが、他は形状を完全に定義するのに十分なピクセルを持っていません。さらに、多くの画像には重なり合う円、正方形、三角形の非常に密集したパッチが含まれています。

U-Netアーキテクチャの採用とマスク工夫

研究者たちは、プロットポイントを手動検出レベル以上（数千ピクセル四方のプロットで実際の位置から5ピクセル以内）で特定するネットワークモデルの作成を目指しました。

NIST研究者たちは、ドイツの研究者たちが生物医学画像解析のために開発した、U-Netと呼ばれるネットワークアーキテクチャを採用しました。まず画像次元を縮小して空間情報を減らし、次に特徴と文脈情報のレイヤーを追加して精密な高解像度結果を構築します。

ネットワークがマーカー形状を分類し中心を特定するよう訓練するため、研究者たちは4通りの方法でトレーニングデータにマスクを付け、各幾何学オブジェクトに異なるサイズの中心マークと輪郭を使用しました。

研究者たちは、マスクにより多くの情報（より太い輪郭など）を追加すると、オブジェクト形状の分類精度は向上するが、プロット上の位置特定精度は低下することを発見しました。最終的に、いくつかのモデルの最良の側面を組み合わせて、最良の分類と最小の位置エラーを得ました。マスクの変更が、ネットワーク末端での小さな変更など他のアプローチよりもネットワーク性能向上に最も効果的であることが判明しました。

実用レベルの性能達成

ネットワークの最高性能（オブジェクト中心位置特定で97%の精度）は、プロットポイントが元々非常に鮮明な円、三角形、正方形で表現されていた画像のサブセットでのみ可能でした。この性能は、TRCがニューラルネットワークを用いて新しいジャーナル論文のプロットからデータを回復するのに十分です。