機械視覚に革命を：イベントセンサが実現する高速・スマートな画像処理

カメラデータの爆発的増加がもたらす課題

コンシューマーから産業分野まで、カメラが生成するコンテンツの急増により、機械が視覚データを効果的に取得、処理、活用する能力に大きな負担がかかっています。現在の課題には、収集されるデータ量が膨大（その多くは機械にとって無関係）、処理能力の不足（特にサイズと電力が制約されるアプリケーション）、リアルタイム処理への要求があります。その結果、スマートフォン、ウェアラブル、スマートホーム、IoT、自動車技術、産業オートメーション機器など、視覚機能を持つシステムの開発者たちは、従来の視覚センシングとデータ取得のアプローチを変革する方法を模索しています。

人間向けに進化したカメラ技術が機械視覚には不十分

人間の視覚用に画像を提供することから始まったカメラ技術の歴史的進歩（主にフレームベース手法に依存）は、現代の機械視覚の要件を満たすには不十分であることが分かってきています。長年にわたり、機械視覚は人間の解釈のために取得・構造化された視覚情報、すなわちイメージセンサで撮影された連続画像で構成されるビデオストリームに依存してきました。各画像は特定の瞬間の静的スナップショットであり、動的情報を欠いています。この視覚データ収集手法は、動的環境での変化と動きを監視するよう設計されたほとんどの機械視覚システムで普及しています。

神経形態技術を用いたイベントベースビジョンアプローチは、人間の視覚システムに着想を得て、コンシューマー、産業、自動車、その他分野の様々な視覚対応システムで効率と性能を向上させ、安全性、生産性、ユーザー体験を高めようとしています。（画像：プロフェシー）

動きのあるシーンでのフレームベース手法の限界

シーンに動きや変化があるとき（ほとんどの機械視覚アプリケーションで一般的）、視覚フレーム取得の固有の限界が明らかになります。設定フレームレートに関わらず、カメラが動くシーンを撮影しようとすると、常に不正確になります。シーンの異なる部分は通常、同時に異なるダイナミクスを示すため、イメージングアレイ全体のピクセル露出を単一のサンプリングレートで制御すると、同時に発生するこれら多様なシーンダイナミクスを不十分にしか捉えられません。

「少ないデータでより多くを」：イベントセンシングの利点

従来のイメージセンサは遅く、エネルギー集約的で、大量の冗長データを生成し、ダイナミックレンジが限られるという問題が重なり、要求の厳しい運用環境における機械視覚タスク、特にそれらには不向きです。その結果、人間の視覚システムに着想を得た生物学的インスパイアード「神経形態」イベントベースビジョンシステムが、高速化、最小レイテンシ、優れた電力効率、広いダイナミックレンジを提供する代替手段として登場し、様々な機械視覚アプリケーションに適しています。

イベントベースビジョン：パラダイムシフト

イベントベースビジョンは、現代の機械視覚用途向けに視覚情報を取得・処理する方法におけるパラダイムシフトを意味します。人間の視覚システムに着想を得た神経形態技術を用い、コンシューマー、産業、自動車、その他分野の様々な視覚対応システムで効率と性能を向上させ、安全性、生産性、ユーザー体験を高めようとしています。

イベントベースビジョンは、全ピクセルに一様な取得レートを適用する従来のカメラとは異なり、専用のピクセル単位インテリジェンスにより、入射光の変化に基づいて各ピクセルが独立してサンプリングタイミングを決定します。コントラスト検出情報は、「イベント」にカプセル化され、ピクセルのx,y座標と正確なイベント発生時刻で構成されます。例えばプロフェシーの特許取得済みイベントベースセンサでは、ピクセルがコントラスト変化（動き）を検知すると知的に作動し、ピクセルレベルで本質的な動きの詳細を連続的に取得します。

固定フレームレートからの移行による違いは、各ピクセルが視覚入力に応じてサンプリングレートを調整できることです。この個別化アプローチにより、各ピクセルは入射光レベルの変化に反応してサンプリングポイントを決定します。その結果、サンプリングプロセスは人工的なタイミング源ではなく、信号そのもの、具体的には時間的信号振幅変動によって制御されるようになります。このようなカメラが生成する出力は、画像シーケンスから、シーンダイナミクスに基づいて条件付きで生成される個々のピクセルデータの連続ストリームへと進化します。

イベントセンサの主な利点

イベントセンサには、高速動作（10,000fps相当）、高効率電力消費（マイクロワットレベルまで）、低レイテンシによる迅速な応答、データ処理量の削減（フレームベースシステムの10〜10,000分の1）、最大120dBの高ダイナミックレンジなど、いくつかの利点があります。これらの特徴により、イベントセンサは様々なアプリケーションと製品に適しています。

イベントベースビジョンの応用

神経形態イベントセンサは、産業オートメーションの多様なタスクに使用でき、生産性、品質、安全性、セキュリティ、予知保全の向上に役立ちます。（画像：プロフェシー）

最初に、神経形態イベントセンサが商業利用されたのは機械向けではなく、視覚障害者の視覚回復という人間向けでした。これが産業オートメーションとプロセス監視でのユースケースにつながりました。これらの用途は、高速で変化する要素、予測不可能な周囲光条件、限られたリソースを伴う多くの視覚タスクにおけるイベントセンサの利点を実証しました。その後の世代のイベントベースシステムは、高速カウント、予知保全（振動監視など）、ロボットの効率と安全性向上、AR/VR用の視線・ジェスチャー追跡、様々な物流および安全/セキュリティアプリケーションなど、産業現場で応用されています。

IoTアプリケーションへの適合性

これら固有の利点により、イベントセンサはIoTアプリケーションに最適です。電力消費は、特にバッテリー駆動のIoTデバイスで重要な役割を果たします。イベントベースビジョンは、フレームベースカメラシステムと比較して大幅に低い電力レベルで動作するため、こうしたシナリオに適しています。さらに、イベントベースカメラは、多くのIoTアプリケーションで一般的な厳しい照明条件でも優れています。光に依存しない情報処理により、高ダイナミックレンジで単一フレーム内に幅広い光強度を捉え、屋外の強い日光や夜間設定など、照明条件が変化する環境に最適です。

120dBを超えるダイナミックレンジにより、イベントベースカメラは、従来のカメラが苦手とする多様な照明条件下でも効果的に機能します。公共スペースや日中の車両のような極めて明るい環境から、夜間作業や暗い工場環境のような薄暗いシナリオまで、イベントセンサは予知保全と安全監視タスクに使用できます。（画像：プロフェシー）

120dBを超えるダイナミックレンジにより、イベントベースカメラは、従来のカメラが苦手とする多様な照明条件下でも効果的に機能します。公共スペースや日中の車両のような極めて明るい環境から、夜間作業や暗い工場環境のような薄暗いシナリオまで。さらに、これらのカメラは、シーン内の輝度変化があるときのみ情報を送信することで最小レイテンシを実現します。急激な明暗変化のような、急速に変化する照明状況ではリアルタイム応答が有利です。個々の光強度変化を検出するイベントベースカメラは、従来のフレームベースカメラよりもモーションブラーの影響を受けにくいです。

この特徴は、高速な動きを伴うシナリオで特に価値があり、シャープな画像品質を保証します。この利点を活かした新しい用途がスマートフォンカメラ向けに開発されており、例えばプロフェシーとクアルコムのパートナーシップにより、人気のSnapdragonプラットフォームにイベントベース技術を統合しています。

エッジビジョン向けの更なる発展

IoT向けイベントセンサの更なる開発では、取得データがスパースであるためオンボードコンピューティング能力が限られるエッジビジョンタスクへの適応が進められています。しかし、非定型データフォーマット、可変データレート、非標準インターフェースといった課題が、より広範な採用を妨げてきました。この問題に対処するため、プロフェシーのGenX320で例示される最新世代のイベントセンサは、イベントデータの前処理とフォーマット、互換性のあるデータインターフェース、省電力神経形態プロセッサを含む様々な処理プラットフォームとの低レイテンシ接続などの機能を組み込むことで、組み込みエッジビジョンシステムへの統合と使いやすさを向上させることを目指しています。例えばGenX320は、複数の前処理機能、適応可能なインターフェース、電力管理オプションを提供し、電力に敏感なビジョンアプリケーションに効率的に対応します。

動作効率が高いにもかかわらず、IoTセットアップに適した低電力使用にイベントセンサを最適化することは依然として重要です。多様な電力モードとアプリケーション固有の動作モードを実装することで、「常時オン」アプリケーションのエネルギー効率を大幅に向上できます。オンチップのインテリジェントな電力管理メカニズムと戦略を活用することで、センサの柔軟性と使いやすさをさらに改善できます。プロフェシーのソリューションは、スマートなウェイクオンイベント機能を有効にすることで、消費電力を36µWまで削減することを実証しています。また、ディープスリープとスタンバイモードのサポートも有益です。

IoT向けイベントセンサの具体的考慮事項

IoTアプリケーションをターゲットとするイベントセンサの具体的考慮事項には、最小レイテンシでマイクロ秒分解能のイベントタイムスタンピングを実現し、統合イベントデータ前処理機能を通じて標準SoCとのシームレスなインターフェース能力を備えることが含まれます。MIPIまたはCPI出力インターフェースを活用することで、低電力マイクロコントローラや最新の神経形態プロセッサアーキテクチャなどの組み込み処理プラットフォームとの迅速な接続を確保します。センサレベルのプライバシーは、イベントセンサのスパースなフレームレスイベントデータにより確保され、静的シーン除去が含まれます。

イベントベースセンサは、より幅広いアプリケーションのニーズに応えるために進化し続けています。プロフェシーの最新センサGenX320は、低電力・小型フォームファクタシステムで動作しなければならない多くのIoTユースケースの要求に適しています。（画像：プロフェシー）

広がるユースケース

イベントベースセンサは今、より広範なアプリケーションで利用されています。これらのセンサをIoTプラットフォームと統合することで、製品開発者は電力消費とサイズに関連する特定の市場ニーズを満たしています。ユースケースには、AR/VR体験向上のためのフォビエイテッドレンダリング、ヒューマンマシンインターフェース用の視線追跡、ドライバー監視システムや感情検出などの安全アプリケーション、転倒検出カメラやジェスチャー/ハンド追跡による没入型インターフェースなどのセキュリティ目的での常時オン機能が含まれます。AR/VR分野では、チラつきLCDベースのインサイドアウトトラッキングとコンステレーショントラッキングにより、物体やコントローラの精密な追跡が可能になります。

シリコン技術の向上により可能になった更なる新ユースケースが開発中です。キロヘルツ反復率でのポイントクラウド生成を可能にする高速構造化光3D技術（産業用途向け）、画像を取得・送信しないことでプライバシー懸念に対応する転倒検出ユニットなどのプライバシー配慮型スマートホームシステムもより広く普及しつつあります。

新たな標準へ向けて

イベントベースビジョンは、機械が「見る」効率性を必要とする多くの市場で新たな標準を創出するパラダイムとして、確立されつつあります。過去数年間で、より幅広い用途に対応するよう成功裏に進化してきました。そして、多くのアプリケーションの要件に適応し対応し続けることで、私たちの周りにもっと多くのイベントベースカメラが見られるようになるでしょう。

本記事は、プロフェシー（フランス、パリ）CEO兼共同創業者のルカ・ヴェレ氏によって執筆されました。詳細については、こちらをご覧ください。