主要3Dセンシング技術を解説

前回の記事「3Dビジョンシステム — どれがあなたに適しているか？」では、3Dビジョンシステムの最も重要なパラメータと、一部のパラメータが高い場合のトレードオフを取り上げました。議論されたパラメータには、スキャンボリューム、データ取得・処理時間、解像度、精度、堅牢性、設計・接続性、価格/性能比が含まれます。

これらのパラメータはそれぞれ特定のアプリケーションで役割を果たします。あるパラメータが鍵となる場面では、他は二次的になり、その逆もまた然りです。

これらのパラメータを参照し、3Dビジョンシステムの背後にある個々の技術とそれらが提供する可能性をより良く比較します。

3Dセンシング技術

3Dビジョンシステムを支える技術は2つの主要グループに分けられます。一つは飛行時間（Time-of-Flight：ToF）の原理を使用し、もう一つは三角測量の原理を使用します：

A. 飛行時間（Time-of-Flight）

• エリアスキャン
• LiDAR

B. 三角測量ベースの手法

• レーザー三角測量（またはプロフィロメトリ）
• 写真測量
• ステレオビジョン（パッシブとアクティブ）
• 構造化光（ワンフレーム、マルチフレーム）
• 新しい「パラレル構造化光」技術

この記事では、これらの技術の基本的な違いについて説明します。その後、すべての技術が満足に対応できていない一つの主要な側面に焦点を当てます。ただし、一つだけ例外があります。この側面は、動いているシーンの高品質データ取得です。高速移動物体のスナップショットエリアスキャンを高品質で実現し、品質と速度の妥協を不要にする、たった一つの新しい技術があります。この手法は記事の最後で取り上げます。順を追って説明しましょう。

飛行時間（ToF）

ToFシステムは、光源から放出された光信号がスキャン対象物体に当たり、センサーに戻るまでの時間を測定することに基づいています。スキャン速度は比較的高速ですが、制限は光の速度そのものです。光入射の瞬間の計算でわずかな誤差があるだけで、ミリメートルからセンチメートル単位の測定誤差につながります。もう一つの制限は、これらのセンサーが比較的低解像度しか提供しないことです。

ToFアプローチを使用する2つの異なる技術があります — LiDARとエリアセンシング。

LiDAR

LiDARシステムは一度に1つ（または数個）の3Dポイントをサンプリングします。スキャン中、センサーの位置や向きを変えて動作ボリューム全体をスキャンします。

ToFエリアセンシング

エリアセンシングベースのToFシステムは、特殊なイメージセンサーを使用して、2Dスナップショットで複数の測定の時間を測定します。LiDARシステムほど高いデータ品質は得られませんが、低解像度で十分な動的アプリケーションに適しています。この手法の特定の欠点は、シーンのパーツ間の相互反射が誤測定を引き起こすことです。

ToFシステムは、主にヒューマンコンピュータインタラクション向けに設計されたコンシューマーデバイスの魅力的な価格のため、かなり普及しています。

三角測量ベースの手法

三角測量ベースのシステムは、シーンを2つの視点から観察し、ベースラインを形成します。ベースラインと検査点が三角形を形成し、この三角形の角度を測定することで正確な3D座標を計算できます。ベースラインの長さと角度取得の精度が、システムの精度に強く影響します。

レーザー三角測量＝プロフィロメトリ

レーザー三角測量は最も人気のある3Dセンシング手法の一つです。狭い光帯（または点）を3D表面に投影し、プロジェクタとは異なる角度から見ると歪んで見える照明ラインを生成します。この偏差が深度情報をエンコードします。

一度に1プロファイルのみを取得するため、センサーまたは物体を動かすか、レーザープロファイルをシーン全体に走査させて、完全なスナップショットを作成する必要があります。

単一プロファイルの深度を再構築するには、狭いエリアスキャン画像の取得が必要で、そのサイズがフレームレートを制限し、結果としてスキャン速度も制限されます。さらに、取得した2D画像で強度最大値を見つけることに依存する深度計算は、それ自体が複雑な問題であるため、かなり複雑になることがあります。

写真測量

写真測量は、多数の非登録2D画像から物体の3D再構築を計算する技術です。ステレオビジョンと同様に物体のテクスチャに依存しますが、同じ点の複数サンプルを大きなベースラインで得られるメリットがあります。写真測量はLiDARシステムの代替として使用できます。

ステレオビジョン

ステレオビジョンは、カメラ—スキャン対象物体—カメラの三角形計算に基づき、人間の深度知覚を模倣します。

標準的なステレオは、2つの画像間の相関を探し（テクスチャ/同一ディテールが必要）、視差に基づいて物体からの距離（深度）を特定します。物体の素材に依存するため、パッシブ3Dステレオは、人数カウントなど何も測定しないアプリケーションで使用されます。

この欠点を補うため、アクティブステレオビジョンシステムが開発されました。この手法は、光パターンを表面に投影して人工的なテクスチャを作り、シーンに対応点を生成します。しかし、対応点の特定と単一深度点の測定に複数の隣接ピクセルが必要なため、一般的に低い堅牢性で測定点数が少なくなります。

深度計算はステレオ画像ペア間の対応関係の分析に基づき、マッチングウィンドウのサイズと深度範囲とともに複雑さが増します。厳しい処理時間要件を満たすため、再構築品質が妥協されることが多く、特定のアプリケーションには不十分な手法となります。

構造化光

三角測量アプローチに属するもう一つの手法は、いわゆる構造化光でスキャン対象物体を照明します。三角形はプロジェクタ、スキャン対象物体、カメラの間に広がります。この手法はシーンの3Dスナップショット全体を可動部なしで取得できるため、構造化光技術は高い性能と柔軟性を提供します。

高度な投影技術を使用してコード化された構造化パターンを作成し、3D情報をシーンに直接エンコードします。この情報はカメラと内部アルゴリズムによって分析され、高い精度と解像度を提供します。

市場で入手可能な高解像度構造化光システムは、異なる投影構造化パターンを持つ複数フレームを使用します。これによりピクセル単位の高精度3D情報が確保されますが、取得瞬間に静止シーンが必要です。

最大の欠点の一つは、投影ベースアプローチの被写界深度（または深度範囲）です。プロジェクタを焦点合わせしたままにするには、絞りを狭くする必要があります。これは光学的に効率的ではなく、遮られた光が投影システム内で追加の熱と内部反射を生み出します。これにより、この技術のより深い深度範囲での使用が制限されます。

Photoneoは構造化パターンを作るレーザーでこの問題を解決しました。Photoneoシステムはほぼ無制限の深度範囲を提供し、狭帯域フィルターを使用して環境光を遮断することも可能です。

動的アプリケーションにはワンフレームアプローチが必要です。従来の技術では、マルチフレームシステムの特徴を一つの構造化パターンにエンコードしますが、XYとZ解像度に大きな影響を与えます。ToFシステムと同様、このカテゴリにもコンシューマーベース製品があります。

パラレル構造化光

動いているシーンのスキャンという制約を克服できる手法は、たった一つしかありません。

Photoneoによって開発された新しい特許技術「Parallel Structured Light」は、動いている物体を高品質で撮影することを可能にします. この手法は構造化光と独自のモザイクシャッターCMOSイメージセンサーを組み合わせています。

構造化光手法がプロジェクタでエンコードされたパターンを順次取得するのに対し、Parallel Structured Light技術は構造化光の複数画像を並列に取得します。これがゲームチェンジャーとなる要因です。3D表面の画像取得には複数フレームが必要なため、構造化光手法で動く物体をスキャンすると出力が歪みます。Parallel Structured Light技術は、動的シーンの3D画像をセンサーのワンショットから再構築します。

特殊なセンサーは、さらにサブピクセルに分割されたスーパーピクセルブロックで構成されています。構造化光プロジェクタからのレーザーは常時点灯し、個々のピクセルの露光がエンコードされた方法でオン/オフされます。これにより、1回の投影と1回の撮影で済みますが、この画像には複数のサブ画像が含まれ、それぞれが異なる光パターンで仮想的に照明されています。

結果は時間経過に伴う複数画像と非常に似ていますが、この新手法ではそれらを同時に取得するという違いがあります。それが「Parallel Structured Light」と呼ばれる所以です。この技術のもう一つの利点は、センサーを順次モードに切り替えて、フル2MP解像度の計測グレード品質を得られることです。

Parallel Structured Light技術は、マルチフレーム構造化光システムの高解像度と、ToFシステムの高速ワンフレーム取得の両方を提供します。

Photoneoはこの技術を3DカメラMotionCam-3Dに実装し、動いている物体を撮影できる最高解像度・最高精度のエリアスキャン3Dカメラを開発しました。