光速で価値を視覚化する

世界の食品検査業界は、厳しい政府規制を満たすために、より新しく、より正確なツールを必要としています。特殊作物からシーフード、肉、鶏肉まで、食品安全性試験市場だけでも2021年には195億ドルと評価され、2026年までに286億ドルに達すると予測されています ¹ 。これは、ハイパースペクトルイメージング（HSI）が、面倒で労働集約的なタスクを軽減し、歴史的に主観的な評価アプリケーションに新しいレベルの一貫性をもたらすことができるツールを表す1つの例です。

もともと航空機や衛星からの画像を含むリモートセンシングアプリケーション用に開発されたHSIは、その後、高度なマシンビジョンアプリケーションで商業的に実行可能な技術になりました。 HSIセンサーは、数千または数百万の分光計のように機能し、画像の各ピクセルでの反射光からの化学的特徴を提供します。ヘッドウォールのセンサーは、紫外線と可視（UVおよびVIS）から近赤外線（VNIR、NIR、およびSWIR）の波長範囲まで、人間の目で識別できない波長範囲に調整できます。

ハイパースペクトルイメージングセンサーは、人間の目と従来のカラーイメージングを回避するスペクトルの特徴を区別できます。これらの機能は、潜在的に有害な異物を検出し、食品などの材料を分類および等級付けする手段を提供します。その価値は、疲労や毎日のコーヒーの量を変えるのと同じくらい単純なものの効果2。

HSIを利用するシステムは、比較的大量の生データを処理し、スペクトル分類モデル開発の相対的な複雑さに対処する必要があるため、産業展開において重大なハードルに直面しています。ただし、HeadwallのHyperspec®MV.Xイメージングシステムなどの新しいHSIプラットフォームは、高性能イメージングスペクトロメータと強力な組み込みコンピューティングおよびソフトウェアを組み合わせて、スペクトル分類モデルを迅速に作成し、実用的な結果をリアルタイムで抽出し、ローカルネットワークを介してアクションを実行するか、監視および制御データを収集します。

物事の別の見方

人間の目は、それなりに能力がありますが、400 nm〜700nmの可視光スペクトルに該当する画像しか検出できません。この範囲内で、広いRGB（赤、緑、または青）領域に該当する色は3つだけであり、各人の色の感度と知覚は大きく異なります。それにもかかわらず、食品検査業界は、何世紀にもわたって問題を検出し、製品を等級分けするために人間とRGBセンサーに依存してきました。これらには、収穫プロセスの早い段階で見落とされた異物や、これらの従来の方法のいずれにもほとんど見えない可能性のある検出が難しい病状さえ含まれます。消費者の好み、新しい政府規制に対応する能力、企業の株主価値はすべて、食品業界のあらゆる側面で検査を実施する方法の精度と有効性にかかっている可能性があります。

「スペクトルイメージング」センサーは、2つのカテゴリに分類できます。マルチスペクトルセンサーは、4〜数十の少数のスペクトルバンドで構成されますが、ハイパースペクトルセンサーは、文字通り一度に数百のスペクトルバンドをキャプチャできるため、はるかにきめ細かい（つまり、高いスペクトル分解能）外観を提供します。どちらも、一般的かつ伝統的に使用されている単純なRGBパラダイムをはるかに超えているため、検査中の食品のより完全な全体像を提供します。

人間は、電磁スペクトルの非常に小さな領域で、色を赤（1）、緑（2）、および青（3）の組み合わせと見なします。バンド4と5の追加は、スペクトルの3つ以上の領域がキャプチャされ、分析されるマルチスペクトルの例を表しています。ハイパースペクトルイメージングは​​、ほんの数個ではなく、数百のスペクトル帯域を利用します。これにより、ポイント測定分光計の高性能が可能になりますが、画像の各ピクセルで数百万のピクセルで構成される可能性があります。

この議論の目的のための「高度な」マシンビジョンシステムは、1つまたは複数のスペクトル画像センサー、適切な照明源、および下流のロボット工学と通信しながら画像データを収集するコンピューターで構成されている場合があります。センサーは画像データをリアルタイムでコンピューターに提示し、その画像データはロボットシステムに送信されます。ロボットシステムは画像を解釈し、アルゴリズムと指示に基づいて何をすべきかを即座に理解します。場合によっては、異物をつかんで削除するだけの場合もあります（合格/不合格）。その他の場合は、製品の特定の色を別のラインに転送して、さらに処理します（製品の「グレーディング」）。リサイクル用途の場合、高速ラインに沿って、異なるが類似した外観のプラスチックを分類できます。

ハイパースペクトルセンサーはスタンドアロンデバイスではなく、高度なマシンビジョンシステム全体の重要で非常に正確な部分です。 1つの見積もりで ³ 、マシンビジョンは、それが潜在的に有用であるアプリケーションの20％未満で採用されています。したがって、この強力な画像技術が検査プロセスをより良く、経済的に効率的にする方法を議論することは賢明です。

HSIセンサーは、検査ラインを監視する見張り役として機能する「新しい目」と考えることができますが、通常の生産サイクルは長く続きます。システムの他の要素と「通信」する能力は、ハイパースペクトルセンシングが、RGBユニットをはるかに超える能力を備えた業界の新しいツールとして支持されている重要な理由です。

「プッシュブルーム」ハイパースペクトルセンサーは、スリット（左）をラインごとにスキャンすることで画像をキャプチャします。各ラインには、被写体のスペクトル特性を保存するピクセルが含まれています（中央）。センサーがスキャンされている領域またはオブジェクトに対して移動すると、データセットが構築されます（右）。結果のデータセットは、各レイヤーが特定の「バンド」（波長の狭い範囲）を表すスタックと考えることができます。ピクセルをつなぎ合わせて画像を形成します。各ピクセルには、従来のRGB値だけでなく、センサーの波長範囲に沿った数百の値が含まれています。

ハイパースペクトルセンサーの基本的な機能は、「プッシュブルーム」設計の場合、物理的なスリットを通して入ってくるシーンの個々のスライスをキャプチャし、各スライスを個別の波長成分に分割して、焦点面アレイ（FPA）に提示することです。 。回折格子は、画像スライスを個別の波長成分に分散させるタスクを管理します。グレーティングは、1次元（画像スリットの長さ）で空間コヒーレンスを維持し、空間情報（ミクロン単位のスリットの幅）を回折させるために、正確な溝プロファイルで設計されています。この回折（分散）プロセスにより、スペクトルコンテンツがセンサー上の既知の波長チャネルを横切ることができます。

ヘッドウォールで使用されている全反射型プッシュブルームスペクトル線スキャン技術は、各「フレーム」のスペクトル線（X空間およびZスペクトル）をキャプチャします。シーケンシャルフレームは、Y空間次元を構築します。プッシュブルームの設計は、非常に高い空間およびスペクトル分解能で低歪みを提供する能力のために好まれます。スループットが高いということは、信号対雑音比が高く、迷光が非常に少ないことを意味します。全反射設計であるため、波長分散の問題が解消されます。

ハイパースペクトルセンサーのスリットを通して見ると、スリットが通過する空間ストリップだけが見えます。これは、1列のピクセルに相当します。画像には引き続き空間の詳細が表示されますが、一度に1つのストリップしか表示されません。すべてのスリットには、多くの色があります。 HSIシステムは、各空間ピクセルの光をそのピクセルの異なる色に分離します。カメラがスリットの写真を撮るたびに、各ピクセルのスペクトルデータのフルフレームを取得します。シーンを横切るときにスリットの各スペクトル画像を積み上げて、ハイパースペクトルデータキューブを構築します。センサーがシーン上を左から右に移動すると、高度なハイパースペクトル処理ソフトウェアが一連の写真を撮影し、それらをつなぎ合わせて完全な「データキューブ」を取得できます。

高度なマシンビジョンアプリケーションに最適なスペクトルイメージングの特徴の1つは、動きです。センサーはフレームごとに画像データをキャプチャするため、自然に発生するモーションに依存します。センサーは、視野上を移動する必要があります（リモートセンシングアプリケーションでドローンや航空機に取り付けられている場合のように）、または視野はセンサーの下を移動する必要があります（高度なマシンビジョン展開の場合のように）。 。

精密農業コミュニティは、農地の上空を飛行するドローンや航空機のペイロードとして、ハイパースペクトルセンサーとマルチスペクトルセンサーの両方を採用しています。 NDVI、PRI、WBI、レッドエッジ比などの指標に関して、これらのセンサーによって豊富な重要な農業データが収集されます。作物の活力、施肥と灌漑の有効性、侵入種や病気の初期の兆候はすべて、400nmから1000nmの間で「見える」可視近赤外線（VNIR）センサーの数百の帯域内で見ることができます。

>

ハイパースペクトルセンサーは、生産ラインに沿って配置し、センサーシステム自体の組み込みプロセッサで実行されるリアルタイム分析に基づいて適切なアクションを実行するロボットに接続できます。

高速コンベヤーに沿って、同じレベルの意味のあるデータを収集して、検査プロセスにプラスの影響を与えることができます。フレームレートと視野特性は、センサーが高速で動作する幅の広いラインを監視できる以上のものです。 HSIによって提供される高レベルの識別は、区別が難しい異常でさえも見られ、管理されることを意味します。イチゴ畑のブルーベリーは簡単に見つけることができますが、同じ作物内または同じように見えるリサイクル材料内の微細な色や化学的違いはどうでしょうか。これらの見えない違いを区別できるのはハイパースペクトルだけです。

HSIセンサーの設計

プッシュブルームハイパースペクトルセンサーのスリットに入る光線は、虹のように色のスペクトルに分離されます。この場合は、非常に細い溝のホログラフィック回折格子によって行われます。スペクトルは2D光センサーに分類されます。ソフトウェアは、センサーがスキャン対象のオブジェクトに対して移動するときに、各感光性ピクセルの信号レベルを画像の各ピクセルのスペクトル曲線に変換します。

HSIセンサーは「カメラ」と呼ばれることもありますが、実際には分光計とカメラの組み合わせです。ヘッドウォールのセンサーは、可動部品や不快感を与える可能性のある透過型光学系を持たない全反射設計に基づいています。これは、画像スリットを通過する入射光を管理するホログラフィック回折格子を使用することによって実現されます。グレーティングは非常に正確であるだけでなく、小さくて軽いです。これにより、機器自体を小型かつ軽量にして、どこにでも簡単に展開できるようになります。

ヘッドウォールは、独自の回折格子も製造している唯一のスペクトルセンサーメーカーです。各グレーティングは「マスター品質」です。これは、特定のアプリケーションで1つのグレーティングから次のグレーティングまで同一のグルーブプロファイルを意味します。センサーの基本的な光学性能はグレーティングの関数であるため、この機能は真の差別化を表しています。ハイパースペクトルセンサーは、特定のスペクトル範囲に合わせて設計および「調整」されています。各範囲内で、文字通り何百ものスペクトルバンドが収集され、スペクトルと空間の両方で検査ラインに沿って移動するすべてのものの非常に正確で高解像度のビューを提供します。

可視近赤外範囲（VNIR）は400nmから1000nmをカバーし、拡張VNIR範囲は550nmから1700nmをカバーします。近赤外線範囲（NIR）は900nmから1700nmまでの画像データを収集し、短波赤外線範囲（SWIR）は900nmから2500nmまでをカバーします。マテリアルはこれらの範囲内の特定のポイントで「光を反射」するため、最初に署名自体を定義することが重要です。次に、アルゴリズムを介して、センサーは材料を特徴付けたり、異物に関してだけでなく、あるベリーから別のベリーへ、またはあるナッツから別。これは、従来のRGBセンサーをはるかに超えるレベルの特異性を備えているため、ハイパースペクトルイメージングの非常に価値のある特性です。

軽い問題

HSIセンサーは反射光を測定および分析するため、照明は重要な考慮事項です。全体的な目的は、センサーの視野に、堅牢で経済的であると同時に、非常に均一で一貫性のある照明を提供することです。

VNIRスペクトル範囲では、石英タングステンハロゲン（QTH）がそのような照明技術の1つであり、新しいLED光源は、成熟度は低いものの、別の照明技術と見なされる場合があります。束ねられた光ファイバーはまた均一な光源を提供します。食品検査業界が関心を持っていることの多くは、700nm付近で切り取られる可視範囲を超えた範囲で「反射」します。したがって、この点の両側を光源で覆うことが重要です。

光源は、可能な限りクールで堅牢、かつ均一であるだけでなく、検査ラインの幅を完全に横切る必要があります。この端から端までの機能は、センサーの広い視野を利用して、検査された製品をセンサー自体の真下だけでなく、端まで見ることができるようにします。製品はどこにでもある可能性があるため、高速食品検査ラインには管理がありません...端に沿って、またはコンベヤーベルト上で一緒に束ねられます。多くの食品検査ラインが24時間稼働しているため、光源の寿命も重要です。

センサーは一度に1スライスずつ画像データの「立方体」を構築し、照明自体は非常に薄いストリップであるため、関心領域（「スリット画像」）を照明する必要があります。白い反射率ターゲットは、実際の操作の前にセンサーを校正するために使用されます。センサーは、下流のロボットシステム（真空、エアナイフ、ピッキングクローなど）が「良い」と「悪い」を区別するために使用する画像データを収集しているため、これは重要なステップです。目的は常に正しい種類の画像を提示することです。必要な場所に適切な強度で光を当てます。また、投影フィールド全体の光の波長と強度、光の均一性、および標準距離全体の劣化を提供するドキュメントが存在することが重要です。このようにして、ラインのアーキテクチャを調整する必要がある場合に、ラインに対するセンサーの正確な位置を決定できます。

ロボット工学

ロボットサブシステムは、多くの高度なマシンビジョン処理ラインアプリケーションの自然な要素です。識別して排除する能力は、センサーとロボットシステムがリアルタイムで迅速かつ忠実に通信する能力に依存します。 Hyperspec®センサーは、毎秒数百フレームを実行できます。つまり、高速回線とそれに組み込まれたロボットシステムで動作するために、運用と経済の両方の観点から最適です。

マシンビジョン業界は、さまざまなサブシステムをシームレスで継続的に稼働する回線に統合するには、通信プロトコルが業界標準で高速である必要があることを理解しています。ギガビットイーサネットは、データフローの観点からすべてを結び付けるためによく使用されます。着信データを管理するHSIシステムとコンピューターはすべてギガビットイーサネットで動作しますが、CameraLinkなどの他の非常に高速な通信リンクでも動作します。

データの収集と処理

ナッツやベリーなどの特殊作物を検査するには、ばらつきが小さい非常によく似たアイテムを調べる必要があります。したがって、信号または画像を数百のハイパースペクトル「チャネル」に分割することは、業界にとってメリットがあります。

使いやすさが最優先事項であり、急勾配でありながら迅速な学習曲線が必要なため、Headwallのソフトウェアは直感的であり、ユーザーがセンサーの表示内容に基づいて検査プロセスを変更および適応できる機能を備えています。アルゴリズムベースのプロセスは、ユーザーが遭遇する可能性のあるスペクトル特性を正確に特定します。たとえば、昆虫による損傷のあるアーモンドは、RGB分析では「良い」アーモンドとほとんど区別できません。しかし、HSIを使用して分類された同じシーンは、損傷したシーンに注意を喚起します。これは、下流のロボットシステムによって排除できます。

革新的なセンサー、ソフトウェア、ワークフローの組み合わせにより、ますます多くのユーザーが、スペクトルデータを使用して汚染を検出するだけでなく、製品を「グレード」する真のソリューションを備えたHSIにアクセスできるため、無駄が少なくなり、収益に変換されます。ハイパースペクトルイメージングは​​、マシンビジョン業界内でその可能性を解き放ちます。

リソース

1. 「ターゲットテスト（病原体、農薬、GMO、マイコトキシン、およびアレルゲン）、テクノロジー（従来型および迅速）、食品テスト（肉、家禽、シーフード、乳製品、加工食品、および果物）による食品安全性テスト市場＆Vegetables）、andRegion-2026年までの予測 」、Markets and Markets、食品安全性試験市場、2021年5月発行
2. 「ボランティアの網膜の色識別機能に対するカフェインの効果 」、OvanesovKB。 Vliianie。 Eksp Klin Farmakol 1998年11月-12月; 61（6）：17-9。 PMID：9929810
3. 「マルチスペクトル画像とハイパースペクトル画像の説明 」、GISGeography、2018年2月16日
4. 「マシンビジョンハンドブック 」、Alexander Hornberg、Wiley-VCH。 p。 694、2006年。ISBN978-3-527-40584-8

この記事は、Headwall PhotonicsEMEAのディレクターであるChristianFelsheimと、Headwall Photonics（マサチューセッツ州ボルトン）のシニアアプリケーションエンジニアであるDr.WillRockによって執筆されました。詳細については、をご覧ください。 ここ 。