メリーランド大学、人眼着想の先進カメラでロボットビジョンを強化

メリーランド大学、カレッジパーク、メリーランド州

新規AMI-EVカメラシステムを描いた図。（画像：UMIACSコンピュータビジョン研究所提供）

マイクロサッケード模倣で動きブレを解消

メリーランド大学のコンピュータサイエンティストたちが率いるチームは、ロボットが周囲の世界をどのように見て反応するかを改善するカメラ機構を発明しました。人間の目がどのように機能するかに着想を得た彼らの革新的カメラシステムは、時間の経過とともに明確で安定した視覚を維持するために目が使用する微小な不随意運動を模倣します。チームによるカメラ（人工マイクロサッケード強化イベントカメラ：AMI-EVと呼ばれる）のプロトタイピングとテストは、2024年5月に学術誌『Science Robotics』に掲載された論文で詳述されています。

「イベントカメラは従来カメラより動く物体の追跡が得意な比較的新しい技術ですが、今日のイベントカメラは動きが多いときにシャープでブレのない画像を撮影するのに苦労します」と、論文の筆頭著者でメリーランド大学コンピュータサイエンス博士課程のBotao He氏。「これは大きな問題です。ロボットや自動運転車など多くの技術が、変化する環境に正しく反応するために正確でタイムリーな画像に依存しているからです。そこで自問しました：人間と動物は、動く物体に視覚を焦点合わせ続けるためにどうしているのか？」

He氏のチームにとっての答えはマイクロサッケードでした。人が視界を集中させようとするときに不随意に発生する、小さく速い眼球運動です。これらの微小かつ継続的な動きを通じて、人間の目は物体とその視覚テクスチャ（色、深度、影など）を時間の経過とともに正確に焦点合わせし続けられます。

「私たちの目が焦点を維持するためにあの微小な動きを必要とするのと同様に、カメラも同様の原理を使って動きによるブラーなしで明確で正確な画像を撮影できるのではないかと考えました」とHe氏。

チームは、AMI-EV内部に回転プリズムを挿入し、レンズで捕捉された光ビームをリダイレクトすることで、マイクロサッケードを再現することに成功しました。プリズムの連続回転運動が人間の目で自然に起こる動きをシミュレートし、カメラが記録物体のテクスチャを人間と同様に安定化させることを可能にします。チームはその後、AMI-EV内のプリズム動きを補償してシフトする光から安定した画像を統合するソフトウェアを開発しました。

共著者のYiannis Aloimonos氏（メリーランド大学コンピュータサイエンス教授）は、チームの発明をロボットビジョンの領域における大きな前進と見ています。

「私たちの目は周囲の世界の写真を撮り、それらの画像は脳に送られ、そこで分析されます。知覚はそのプロセスを通じて起こり、それが世界を理解する仕組みです」と、メリーランド大学高等コンピュータ研究所（UMIACS）コンピュータビジョン研究所所長も務めるAloimonos氏。「ロボットで作業するとき、目をカメラに、脳をコンピュータに置き換えます。より良いカメラは、ロボットにとってより良い知覚と反応を意味します。」

研究者たちはまた、この革新がロボティクスと国防を超えて、正確な画像取得と形状検出に依存する産業で働く科学者たちにとって重要な意味を持つと信じています。彼らは常にカメラ改善の方法を模索しており、AMI-EVは彼らが直面する多くの問題の鍵となる解決策になり得ます。

「独自の特徴により、イベントセンサーとAMI-EVはスマートウェアラブルの領域で中心的な役割を果たす準備ができています」と、論文の上級著者である研究科学者Cornelia Fermüller氏。「従来カメラに対する明確な利点があります。極端な照明条件での優れた性能、低レイテンシ、低消費電力。これらは、シームレスな体験と頭部・身体動作の高速計算が必要なバーチャルリアリティアプリケーションに理想的です。」

初期テストでは、AMI-EVは人間の脈拍検出や高速移動形状識別など、様々な文脈で動きを正確に捕捉・表示できました。研究者たちはまた、AMI-EVが毎秒数万フレームで動きを捕捉でき、平均30〜1000フレーム/秒の一般的な市販カメラを上回ることも発見しました。このより滑らかで現実的な動きの描写は、より没入感のある拡張現実体験の創出や、より良いセキュリティ監視、天文学者の宇宙撮像改善など、あらゆる分野で極めて重要になる可能性があります。

「我々の新しいカメラシステムは、自動運転車が道路上の何が人間で何が人間でないかを判断するのを助けるなど、多くの具体的な問題を解決できます」とAloimonos氏。「その結果、自律運転システムやスマートフォンカメラなど、一般大衆がすでに日常的に触れている多くのアプリケーションがあります。我々の新しいカメラシステムが、より先進的で能力の高いシステムへの道を開くと信じています。」

詳細については、Georgia Jiang氏までお問い合わせください。メール：保護されたアドレス。