メリーランド大学のエンジニアがロボットの視覚を強化する、目にインスピレーションを得た高度なカメラを開発

メリーランド大学、メリーランド州カレッジパーク

新しい AMI-EV カメラ システムを示す図。 （画像：UMIACSコンピュータビジョン研究室提供）

メリーランド大学のコンピューター科学者が率いるチームは、ロボットが周囲の世界を見て反応する方法を改善するカメラ機構を発明しました。人間の目の仕組みにインスピレーションを得た革新的なカメラ システムは、目が使用する小さな不随意の動きを模倣し、長時間にわたって鮮明で安定した視界を維持します。このチームによるカメラのプロトタイピングとテスト（人工マイクロサッケード強化イベント カメラ (AMI-EV) と呼ばれる）の詳細は、 Science Robotics 誌に掲載された論文で詳しく説明されています。 2024 年 5 月に。

「イベントカメラは、従来のカメラよりも動く物体を追跡するのに優れた比較的新しいテクノロジーですが、今日のイベントカメラは、動きが激しい場合に鮮明でブレのない画像を撮影するのに苦労しています」と論文の筆頭著者でコンピュータサイエンス博士のボタオ・ヘ氏は述べた。メリーランド大学の学生。 「これは大きな問題です。ロボットや、自動運転車などの他の多くのテクノロジーは、変化する環境に正しく反応するために、正確でタイムリーな画像に依存しているからです。そこで私たちは自問しました。人間や動物は、移動する物体に視覚の焦点を合わせ続けるにはどうすればよいでしょうか。」

ヘ氏のチームにとっての答えは、人が視界の焦点を合わせようとしたときに無意識に起こる小さくて素早い眼球運動であるマイクロサッケードでした。このような微細かつ継続的な動きを通じて、人間の目は、時間の経過とともに、オブジェクトとその視覚的なテクスチャ (色、深さ、影など) に正確に焦点を合わせ続けることができます。

「私たちの目が焦点を合わせ続けるために小さな動きを必要とするのと同じように、カメラも同様の原理を使用して、動きによるブレを発生させずに鮮明で正確な画像を撮影できると考えました。」

研究チームは、AMI-EV内に回転プリズムを挿入し、レンズで捉えた光線の向きを変えることで、マイクロサッケードの複製に成功した。プリズムの連続的な回転運動は、人間の目の中で自然に起こる動きをシミュレートし、カメラが人間と同じように記録されたオブジェクトのテクスチャを安定させることを可能にします。次にチームは、AMI-EV 内のプリズムの動きを補正して、変化する光からの安定した画像を統合するソフトウェアを開発しました。

研究の共著者であるメリーランド大学コンピューター サイエンス教授のヤニス アロイモノス氏は、チームの発明がロボット ビジョンの分野における大きな前進であると見ています。

「私たちの目は周囲の世界の写真を撮り、それらの写真は私たちの脳に送られ、そこで画像が分析されます。知覚はそのプロセスを通じて起こり、それが私たちが世界を理解する方法です」とメリーランド大学先端コンピューター研究所 (UMIACS) のコンピュータービジョン研究所の所長でもあるアロイモノス氏は説明しました。 「ロボットを扱うときは、目をカメラに置き換え、脳をコンピュータに置き換えてください。より良いカメラは、ロボットのより良い認識と反応を意味します。」

研究者らはまた、彼らのイノベーションがロボット工学や国防を超えて重大な影響を与える可能性があると信じている。正確な画像キャプチャと形状検出に依存する業界で働く科学者は、カメラを改善する方法を常に模索しており、AMI-EV は彼らが直面している問題の多くに対する重要な解決策となる可能性があります。

「イベントセンサーとAMI-EVは、そのユニークな機能により、スマートウェアラブルの分野で中心的な舞台に立つ準備ができています」と論文の主著者である研究科学者のコルネリア・フェルミュラー氏は述べた。 「極端な照明条件下での優れたパフォーマンス、低遅延、低消費電力など、従来のカメラに比べて明確な利点があります。これらの機能は、たとえば、シームレスなエクスペリエンスや頭と体の動きの迅速な計算が必要な仮想現実アプリケーションに最適です。」

初期のテストでは、AMI-EV は人間の脈拍の検出や急速に移動する形状の識別など、さまざまな状況で動きを正確に捕捉して表示することができました。研究者らはまた、AMI-EV が 1 秒あたり数万フレームで動きをキャプチャでき、平均 1 秒あたり 30 ～ 1000 フレームをキャプチャする一般的に入手可能な商用カメラを上回るパフォーマンスを発揮できることも発見しました。このよりスムーズでリアルな動きの描写は、より没入型の拡張現実エクスペリエンスやより優れたセキュリティ監視の作成から、天文学者が宇宙で画像を撮影する方法の改善に至るまで、あらゆる点で極めて重要であることが証明される可能性があります。

「私たちの斬新なカメラシステムは、自動運転車が路上の何が人間で何がそうでないかを判断するのを助けるなど、多くの具体的な問題を解決できる」とアロイモノス氏は語った。 「その結果、自動運転システムやスマートフォンのカメラなど、多くの一般の人々がすでに利用している多くのアプリケーションが搭載されています。私たちは、当社の新しいカメラ システムが、今後のより高度で高機能なシステムへの道を切り開くと信じています。」

詳細については、Georgia Jiang までお問い合わせください。このメール アドレスはスパムボットから保護されています。表示するには JavaScript を有効にする必要があります。