3Dビジョン技術が現代オートメーションをどう変革するか

3Dビジョンは、産業プロセスを無数の面で改善し、私たちの生活をより楽にする現代オートメーションの中核です。製品の仕分け、品質管理での物体検査と欠陥検出、人間では到底不可能な速さと効率での多様なタスク完了を支援します。ビジョン誘導ロボットは危険な作業や重量物ハンドリングに常用され、安全性を高め、怪我のリスクを排除します。

3Dセンシング技術は、今日享受できるこれらすべてのメリットを提供するために長い道のりを歩んできました──そしてまだ前進し続けています。最初の写真からデジタルイメージングへ、2Dから3Dへ、静止物体の3Dスキャンから動的シーンの撮像へ。次に来るのは何か？

Photoneoグループ共同創業者兼CTOのトマシュ・コバチョフスキー氏とともに、3Dマシンビジョンの歴史を、Industry 4.0など今日のトレンドを支配する最新の進歩まで振り返ります。簡単に見ていきましょう。

写真術と最初の画像撮像技術

写真術の黎明期から、人々は出来事を撮像・記録する可能性に魅了されてきました。世界最初の写真は、フランスの発明家ジョセフ・ニセフォール・ニエプスによって、1826〜1827年の間に撮影されました。彼の写真プロセスには、カメラ内で最低8時間、場合によっては数日の露光が必要でした。彼の協力者ルイ・ダゲールは、露光をわずか数分に短縮した最初の実用的写真プロセス（ダゲレオタイプ）を開発しました。この発明は1839年に公表され──一般に実用写真術の誕生と見なされる年です。

長らく写真は、出来事を記録する媒体としてのみ機能しました。画像処理に時間がかかるため、アナログ技術はマシンビジョンや意思決定タスクには不向きでした。

1969年、ウィリアム・ボイルとジョージ・E・スミス（米国ベル研究所）がCCD（電荷結合素子）イメージセンサーを発明し、デジタルイメージングの発展における重要なマイルストーンとなりました。CCDセンサーは光子を電子に変換して画像を撮像します──つまり光を取り込み、デジタルデータに変換します。当時は標準フィルムに画質で勝てませんでしたが、特定用途で使われ始め、歯車が回り始めました。

2Dから3Dへ

2Dセンシングがオートメーション時代を切り開き、長らく産業分野のオートメーションにおける主流アプローチでした。2Dビジョンは今日でも一部のシンプルな用途で使われています：

• 光学文字認識（OCR）──活字・手書き・印刷テキストの読み取り、バーコード読み取り
• 品質管理──特殊照明と組み合わせ、スキャン対象の光学的特性を一定に保つためによく使われる
• カウント
• 明確に定義された条件下でのアイテムピッキング

しかし、2D技術の最大の制約は、物体形状を認識できず、Z方向（奥行き）の距離を測れないことです。

2Dアプリケーションは、追加照明による明確に定義された良好な条件を必要とします。これもビンピッキングのような用途を制限します。このロボットタスクは2Dビジョンシステムでも可能ですが、ビン内の物体位置がランダムで、シーン内の大量情報を2Dビジョンシステムが処理できないため、一般的に問題があります。

人々はより複雑なタスクを自動化するには3D情報が必要だと認識しました。人間が周囲を3Dで認識し、物体距離を把握できるのは、2つの目──立体視──を持っているからだと理解されました。

1960年代、ラリー・ロバーツ（コンピュータビジョンの父とされる）は、2D線画写真から3D幾何情報を導出する方法と、コンピュータが単一2D写真から3Dモデルを作る方法を記述しました。

1970年代、MIT人工知能研究所で「マシンビジョン」講座が始まり、低レベルマシンビジョンタスクに取り組みました。ここでデビッド・マーは、ビジョンを情報処理システムとして捉える独自のシーン理解アプローチを開発しました。彼のアプローチは2Dスケッチから始まり、コンピュータがそれを積み上げて最終的な3D画像を得るものでした。

1980年代にマシンビジョン研究が加速し、新理論・概念が生まれました。これらが、産業・製造環境で広範なプロセスを自動化するために徐々に採用されてきた、複数の異なる3Dマシンビジョン技術を生み出しました。

初期の3Dビジョン技術

人間の立体視を模倣しようとする努力から、最初の3Dセンシング技術の一つであるパッシブステレオが生まれました。この三角測量法は、2つの視点からシーンを観測し、カメラ─スキャン対象物─カメラの三角形を計算し、2画像間の相関を探します。画像間の視差に基づき、スキャン対象物からの距離（深度）を計算します。しかし、この手法は画像内で同一ディテールを見つけることに依存するため、白い壁やパターンのないシーンでは機能しません。パッシブステレオの信頼性は低く、3D出力は通常ハイノイズで、大量の計算リソースを要します。

この欠点を補うため、研究者たちはシーンに光パターンを投影し、表面に人工テクスチャを作って対応点をより容易に特定する実験を始めました。この手法をアクティブステレオと呼びます。パッシブステレオより信頼性は高いものの、処理時間への厳格な要件により再構築品質が損なわれ、多くの用途で不十分でした。

最も初期かつ依然として人気の高い3D情報取得手法の一つがレーザープロフィロメトリです。この技術は、狭い光帯（または点）を3D表面に投影し、投影角度以外から見ると歪んで見える照明ラインを生成します。このずれが深度情報をエンコードします。ラインスキャナは1回に1つの深度プロファイルを高速で連続取得するため、スキャン対象物またはカメラの常時移動が必要です。レーザープロフィロメトリは、産業用途で採用された初期の3Dスキャン手法の一つで、計測用途などで今も広く使われています。

構造化光パターンをシーンに投影することで発明されたもう一つの手法が構造化光です。バイナリコードを用いた構造化光のデジタル復元への利用について最も引用される論文の一つは、マーク・レボイ氏とスタンフォード大学チームが主導したThe Digital Michelangelo Projectです。プロジェクトは1998年に開始され、プロジェクターとカメラセンサーを用いてミケランジェロの彫像をデジタル化しました。ミケランジェロの「ダビデ像」のレーザースキャンデータは、2002年に始まった像の修復に使用されました。このプロジェクトで用いられた手法はリアルタイム用途には十分高速ではありませんでしたが、各種遺物・物体のデジタル化に必要な非常に高い精度を提供しました。これにより、この技術は計測用途や高精度スキャンを要するロボティクス・マシンビジョンタスクでニッチを確立しました。

次第に構造化光技術は計測分野を超え、ビジョン誘導ロボットを用いたあらゆる種類のオンラインアプリケーションに浸透しました。構造化光3Dスキャナーの利点は、移動を必要としないことです。スキャン領域全体のスナップショットを撮れるため、スキャナーを物体の周りを回す必要がなく、レーザープロフィロメトリベースのデバイスより高速で、データ後処理もそれほど必要としません。

静止シーンから動的シーンへ

動きの撮像は、静止シーンの3Dスキャンより遥かに困難で、長い取得時間を要する手法を排除します。

パッシブステレオは追加照明を使わない受動的手法なので、一定条件下なら動的シーンの撮像に使えます。それでも結果は良くありません。

レーザープロフィロメトリも、この点ではパッシブステレオと大差ありません。1プロファイルずつ撮像するため、シーン全体のスナップショットを得るにはカメラまたはシーンを動かす必要があります。しかし、動的イベントを撮像することはできません。単一プロファイルの深度再構築には狭領域スキャン画像の取得が必要で、そのサイズがフレームレートを制限し、結果としてスキャン速度も制限されるからです。

構造化光システムは、複数の光パターンをシーケンシャルにシーンに投影します。このため、シーンは静止している必要があります。スキャン対象物やカメラが動けば、コードが破綻し、3Dポイントクラウドが歪みます。

動的物体の3D再構築ニーズが、Time-of-Flight（ToF：飛行時間法）システムの開発を導きました。構造化光技術と同様、ToFは光信号をシーンに送信し、カメラとソフトウェアで解釈する能動的手法です。構造化光が空間で光を構造化するのに対し、ToFは時間で光を構造化します。光源から放出された光信号がスキャン対象物に当たり、センサーに戻るまでの時間を測定する原理で動作します。

初期のToFシステムは品質が低かったです。この分野の大手にはCanesta、3DV Systems、Microsoft（後に両社を買収）などがありました。初期の有名プロジェクトの一つはZCam──3DVが開発したToFカメラで、後にMicrosoftが買収し、Xboxゲーム機での3D情報取得とバーチャルオブジェクトとのインタラクションに使用しました。

2010年、MicrosoftはXbox向けKinectセンサーシステムをリリースしました。PrimeSense技術ベースのモーションセンシングカメラです。PrimeSense技術は構造化パターンを用いて特定ピクセル（全ピクセルではない）をエンコードし、3D情報を得ました。スキャン対象物エッジの高解像度・詳細輪郭は出せませんでしたが、処理速度が速く、技術も安価だったため広く採用されました。主に学術分野で使われましたが、ロボットピッキングなどで産業環境でもわずかに見られます。

Kinect 1と異なり、Kinect 2はToF技術ベースでした。ToFの進歩により、この手法はますます普及・採用されるようになりました──PrimeSense技術より高品質でしたが、動的シーンの3Dスキャン解像度は依然として不十分でした。

今日のToFシステムは、高速スキャンとほぼリアルタイム取得のおかげで3Dビジョン用途でかなり普及しています。しかし、解像度は依然として課題で、ハイノイズにも悩まされています。

2013年、Photoneoは高速移動物体を高解像度・サブミリ精度で3D撮像する画期的なアイデアを打ち出しました。

特許技術のParallel Structured Light（並列構造化光）は、モザイク画素パターンを持つマルチタップシャッターを搭載した特殊・専用CMOSセンサーに基づき、画像の撮り方を根本から変えます。

この斬新なスナップショットアプローチは構造化光を利用しますが、カメラとプロジェクターの役割を入れ替えます：構造化光システムがプロジェクターから複数パターンをシーケンシャルに放出するのに対し、Parallel Structured Light技術はパターンなしの非常にシンプルなレーザースイープをシーンに走査し、パターンを「反対側」──CMOSセンサー側で構築します。すべてが単一の露光ウィンドウ内で起こり、1回の露光で複数の仮想画像を構築できます。結果は、モーションアーティファクトのない高解像度・高精度3D画像です。

Parallel Structured Light技術で撮像された動的シーン。

Parallel Structured Light技術は、Photoneoの3Dカメラ「MotionCam-3D」に実装されています。このカメラの開発と市場投入は、ビジョン誘導ロボティクスを再定義し、オートメーションの可能性を前例のないレベルまで拡張した、マシンビジョン史のマイルストーンとなりました。この革新的アプローチは、Vision Award 2018、Vision Systems Design Innovators Platinum Award 2019、inVision Top Innovations 2019、IERA Award 2020、Robotics Business Review's RBR50 Robotics Innovation Awards 2021、inVision Top Innovations 2021、SupplyTech Breakthrough Award 2022など多数の賞で認められています。

モーションとカラーでの3Dスキャン

2022年、PhotoneoはMotionCam-3Dにカラーユニットを搭載し、カラーデータ取得を可能にしました。 MotionCam-3D Colorは、マシンビジョンにおける次の「銀の弾丸」と見なされています。ついに、動的シーンのリアルタイム・カラー3Dポイントクラウド作成が完全な品質で可能になったからです。3D幾何、モーション、カラーのユニークな組み合わせにより、深度情報だけでなくカラーデータにも依存する要求の厳しいAIアプリケーションとロボットタスクへの扉が開かれます。

MotionCam-3D Colorを用いた移動シーンのリアルタイム・カラー3Dポイントクラウド作成。

マシンビジョン革新が可能にする応用領域

3Dマシンビジョンの最新イノベーションが提供する可能性により、最近まで非現実的だったタスクを自動化できるようになりました。これらのアプリケーションは、製造、物流、自動車、食品、農業、医療、その他の分野で見られ、以下を含みます：

• 定常またはランダムな動きをする物体のロボットハンドリング
• コンベアベルトおよびオーバーヘッドコンベアからのピッキング
• ハンドアイマニピュレーション
• 検査・品質管理用3Dモデル作成
• 大型物体の洗浄と塗装
• VR/ARでのメンテナンス作業
• 農業での仕分けと収穫
• その他多数

次に来るのは？

マシンビジョンは、新たな可能性をもたらす新たな進歩とともに発展し続けています。イノベーションの方向性は、市場ニーズ、顧客期待、競争、その他の要因によって常に影響を受けます。

マシンビジョンのあらゆる分野へのAI導入トレンドは、オーダーメイドアルゴリズム開発を排除する方向で確実に継続すると予想されます。人工知能（AI）とParallel Structured Light技術の融合に、巨大な潜在力を見ています。 一方、AIは良質なデータに依存します。他方、新しいマシンビジョン技術は大量の高品質リアル3Dデータを提供できます。この2つのアプローチを組み合わせることで、インテリジェントロボティクスを変革し、新たな可能性の領域を切り開けます。

もう一つ有望な未来の方向性はエッジコンピューティングです。メーカーは、AIをセンサーに直接統合し、特定目的（例：人数カウント、寸法測定、特定物体特徴の自動検出）に特化させる努力を続けるでしょう。これによりインテグレーターの導入が容易になり、追加コンポーネントの必要性が最小化されます。動的シーン撮像可能な新ハードウェアソリューションと高度AIアルゴリズムの組み合わせは、協働ロボティクスや完全物流オートメーションのような、より困難な分野でも応用領域をさらに拡大し続けるでしょう。