マシンビジョンの革命:イベントセンサーがどのようにしてより高速かつスマートな画像処理を実現するか

消費者部門と産業部門にわたってカメラによって生成されるコンテンツが急増しているため、実用的かつ効率的な方法で視覚データを効果的に取得、処理、利用するマシンの能力に負担がかかっています。現在の課題には、収集される膨大な量のデータ (その多くはマシンには無関係です) が含まれます。不十分な処理能力 (特にサイズと電力に制約のあるアプリケーション):およびリアルタイム処理の需要。そのため、スマートフォン、ウェアラブル、スマート ホーム、IoT、システム、自動車技術から産業用オートメーション機器に至るまで、ビジョン対応システムの開発者は、ビジョン センシングとデータ収集に対する従来のアプローチを変革する方法を模索しています。

人間が消費する画像を提供することから始まったカメラ技術は、その歴史を通じて主にフレームベースの手法に依存して進歩しましたが、現代のマシンビジョンの要件を満たすには不十分であることが判明しています。長年にわたり、マシン ビジョンは、人間が解釈できるように取得および構造化された視覚情報、つまりイメージ センサーでキャプチャされた連続画像で構成されるビデオ ストリームに依存してきました。各画像は、動的な情報が欠けている特定の瞬間の静的なスナップショットを表します。視覚データを収集するこの方法は、動的環境内の変化や動きを監視するために設計されたほとんどのマシン ビジョン システムで普及しています。

人間の視覚システムからインスピレーションを得たニューロモーフィック技術を利用したイベントベースのビジョンアプローチは、消費者、産業、自動車、その他の分野にわたるさまざまなビジョン対応システムの効率とパフォーマンスを向上させ、安全性、生産性、ユーザーエクスペリエンスを向上させることを目指しています。 （画像：預言者）

最も大きな課題は、シーンに動きや変化がある場合に発生します。これは、ほとんどのマシン ビジョン アプリケーションで一般的であり、ビジュアル フレーム取得の固有の制限が明らかになります。設定されたフレーム レートに関係なく、カメラが動きのあるシーンをキャプチャしようとすると、常に不正確になります。通常、シーンのさまざまな部分が同時に変化するダイナミクスを示すため、単一のサンプリング レートを使用してイメージング アレイ全体のピクセル露光を調整すると、必然的に、同時に発生するこれらの多様なシーンのダイナミクスが不適切にキャプチャされることになります。

イベントを感知するときは少ない方が良い

この課題をさらに悪化させるのが、従来のイメージ センサーの問題です。速度が遅く、エネルギーを大量に消費する一方、過剰な冗長データを生成し、ダイナミック レンジが限られているため、マシン ビジョン タスク、特に要求の厳しい動作環境でのタスクには不向きです。その結果、生物学にインスピレーションを得た「ニューロモーフィック」イベントベースのビジョン システムが、速度の向上、遅延の最小化、電力効率の向上、さまざまなマシン ビジョン アプリケーションに適したより広いダイナミック レンジを提供する代替手段として現在登場しています。

イベントベースのビジョンは、最新のマシン ビジョン用途で視覚情報を取得および処理する方法にパラダイム シフトをもたらします。このアプローチは、人間の視覚システムからインスピレーションを得たニューロモーフィック技術を利用して、消費者、産業、自動車、その他の分野にわたるさまざまな視覚対応システムの効率とパフォーマンスを向上させ、安全性、生産性、ユーザー エクスペリエンスを向上させることを目指しています。

イベントベースのビジョンは、すべてのピクセルの均一な取得レートから脱却しているため、従来のカメラとは動作が異なります。代わりに、ピクセルごとの専用インテリジェンスのおかげで、各ピクセルは入射光の変化に基づいてサンプリング タイミングを個別に決定します。コントラスト検出情報は、ピクセルの X、Y 座標と正確なイベント生成時間で構成される「イベント」にカプセル化されます。たとえば、Prophesee の特許取得済みのイベントベース センサーを使用すると、コントラストの変化 (動き) を検出するとピクセルがインテリジェントにアクティブになり、重要な動きの詳細をピクセル レベルで継続的にキャプチャすることが容易になります。

固定フレーム レートからの移行の違いは、各ピクセルが視覚入力に応じてサンプリング レートをどのように調整できるかです。このパーソナライズされたアプローチにより、各ピクセルは入射光レベルの変化に反応してサンプリング ポイントを決定できます。その結果、サンプリング プロセスは人工的なタイミング ソースによって決定されるのではなく、むしろ信号自体、特に時間的な信号振幅の変動によって決定されます。このようなカメラによって生成される結果は、画像シーケンスから、シーンのダイナミクスに基づいて条件付きで生成される個々のピクセル データの継続的なストリームに進化します。

イベント センサーには、高速動作 (10,000 fps に相当)、高効率の電力消費 (マイクロワット範囲まで)、応答時間の短縮のための低遅延、データ処理の必要性の軽減 (フレームベースのシステムの 10 ～ 10,000 分の 1)、最大 120dB の高ダイナミック レンジなど、いくつかの利点があります。これらの機能により、イベント センサーはさまざまなアプリケーションや製品に適したものになります。

イベントベースのビジョンの適用

ニューロモーフィック対応イベント センサーは、さまざまな産業オートメーション タスクに使用でき、生産性、品質、安全性、セキュリティ、予防保守の向上に役立ちます。 （画像：預言者）

当初、神経形態イベントセンサーは、視覚障害者の視力回復のために、機械ではなく人間に商用利用されることがわかりました。これにより、産業オートメーションやプロセス監視におけるユースケースが生まれました。これらの使用法は、多数の視覚タスク、特に高速で移動および変化する要素、予測不可能な周囲照明条件、および限られたリソースを伴うタスクに対するイベント センサーの利点を実証しました。その後の世代のイベントベース システムは、高速計数、予防保守（振動モニタリングなど）、ロボットの効率と安全性の向上、AR/VR の視線追跡やジェスチャー追跡、さらにはさまざまな物流や安全/セキュリティ アプリケーションなどのタスクに産業環境で適用されてきました。

これらの固有の利点により、イベント センサーは IoT アプリケーションに最適です。消費電力は、IoT デバイス、特にバッテリーに依存するデバイスにおいて重要な役割を果たします。イベントベースのビジョンは、フレームベースのカメラ システムと比較して大幅に低い電力レベルで動作するため、このようなシナリオに適しています。さらに、イベントベースのカメラは、光に依存しない情報処理により、多くの IoT アプリケーションで一般的な厳しい照明条件でも優れています。高いダイナミック レンジにより、単一フレーム内で幅広い光強度をキャプチャできるため、明るい日光が当たる屋外シーンや夜間設定など、照明条件が変化する環境に最適です。

120dBを超えるダイナミックレンジを備えたイベントベースのカメラは、従来のカメラがさまざまな照明条件に苦戦する環境でも効果的に機能できます。日中の公共スペースや車両などの非常に明るい環境でも、夜間作業や暗い工場環境などの薄暗い環境でも、イベントセンサーを予防メンテナンスや安全監視タスクに使用できます。 （画像：預言者）

120dBを超えるダイナミックレンジを備えたイベントベースのカメラは、日中の公共スペースや車両などの非常に明るい環境でも、夜間の操作や暗い工場環境などの薄暗い環境でも、従来のカメラがさまざまな照明条件に苦労する環境でも効果的に機能します。さらに、これらのカメラは、シーン内の明るさが変化した場合にのみ情報を送信することで、遅延を最小限に抑えます。リアルタイム応答は、明るい状態から暗い状態への突然の変化など、照明状況が急速に変化する場合に有利であることが証明されています。イベントベースのカメラは、光の強さの個々の変化を検出するため、従来のフレームベースのカメラに比べてモーション ブラーが発生しにくくなります。

この機能は、素早い動きを伴うシナリオで特に価値があり、鮮明な画質を保証します。この利点を活用した新しい用途がスマートフォンのカメラ向けに開発されています。たとえば、Prophesee と Qualcomm の提携により、イベントベースのテクノロジーと人気の Snapdragon プラットフォームが統合されています。

IoT 用イベント センサーのさらなる開発には、まばらなデータを取得するためにオンボード コンピューティング機能が制限されているエッジ ビジョン タスクにイベント センサーを適応させることが含まれます。しかし、型破りなデータ形式、可変データレート、非標準インターフェイスなどの課題により、広範な採用が妨げられています。この問題に対処するために、Prophesee の GenX320 に代表される最新世代のイベント センサーは、イベント データの前処理とフォーマット、互換性のあるデータ インターフェイス、エネルギー効率の高いニューロモーフィック プロセッサを含むさまざまな処理プラットフォームとの低遅延接続などの機能を組み込むことで、組み込みエッジ ビジョン システムの統合と使いやすさを強化することを目指しています。たとえば、GenX320 は、電力に敏感なビジョン アプリケーションに効率的に対応するための、複数の前処理機能、適応性のあるインターフェイス、電力管理オプションを提供します。

運用効率にもかかわらず、イベント センサーを IoT セットアップに適した低電力使用に最適化することは依然として重要です。さまざまな電力モードとアプリケーション固有の動作モードを実装すると、「常時オン」アプリケーションのエネルギー効率を大幅に向上させることができます。オンチップのインテリジェントな電源管理メカニズムと戦略を利用することで、センサーの柔軟性と使いやすさをさらに向上させることができます。 Prophesee のソリューションは、スマート ウェイクオン イベント機能を有効にすると、消費電力が 36uW まで削減されることが実証されています。さらに、ディープ スリープ モードとスタンバイ モードをサポートすると有益です。

IoT アプリケーションを対象としたイベント センサーの具体的な考慮事項には、統合されたイベント データ前処理機能による標準 SoC とのシームレスなインターフェイス機能とともに、最小限の遅延でイベントのマイクロ秒分解能のタイムスタンプを実現することが含まれます。 MIPI または CPI 出力インターフェイスを活用することで、低電力マイクロコントローラーや最新のニューロモーフィック プロセッサ アーキテクチャなどの組み込み処理プラットフォームとの迅速な接続が保証されます。センサー レベルのプライバシーは、イベント センサーのまばらなフレームレス イベント データによって確保され、静的なシーンの削除が含まれます。

イベントベースのセンサーは、より幅広いアプリケーションのニーズを満たすために進化し続けています。 Prophesee の最新センサーである Genx320 は、低電力および小型フォーム ファクターのシステムで動作する必要がある多くの IoT ユースケースの要求に適しています。 （画像：預言者）

イベントベースのセンサーは現在、より幅広いアプリケーションで利用されています。これらのセンサーを IoT プラットフォームと統合することで、製品開発者は消費電力とサイズに関する特定の市場ニーズに対応できます。ユースケースには、拡張 AR/VR エクスペリエンスのための中心窩レンダリング、ヒューマン マシン インターフェイスのための視線追跡、ドライバー監視システムや感情検出などの安全アプリケーションが含まれます。また、落下検出カメラやイマーシブ インターフェイス用のジェスチャ/ハンド トラッキングなどのセキュリティ目的のための常時オン機能もサポートしています。 AR/VR ドメインでは、インサイドアウト トラッキングや、ちらつき LCD に基づく星座トラッキングなどのアプリケーションにより、オブジェクトやコントローラーの正確なトラッキングが可能になります。

産業用アプリケーション向けにキロヘルツの繰り返しレートでの点群生成を可能にする高速構造化光 3D テクノロジーなど、シリコンテクノロジーの強化によって可能になるさらなる新しいユースケースが開発中です。また、ビジョン テクノロジーが画像のキャプチャや送信を行わないことでプライバシーの問題に対処するため、転倒検知ユニットなどのプライバシーを重視したスマート ホーム システムもより広範囲に普及しています。

イベントベースのビジョンは、機械の認識方法の効率性を必要とする多くの市場で新しい標準を生み出すパラダイムとしての地位を確立しつつあります。過去数年間で、より幅広い用途に対応できるよう進化することに成功しました。そして、多くのアプリケーションの要件に適応して対処し続けることで、私たちの周りにはさらに多くのイベントベースのカメラが登場することになるでしょう。

この記事は、Prophesee (フランス、パリ) の CEO 兼共同創設者である Luca Verre によって書かれました。詳細については、 ここをご覧ください。