飛行時間システムの設計：システムの概要
連続波（CW飛行時間（ToF）カメラは、高品質の3D情報を必要とするアプリケーションに高深度の精度を提供する強力なソリューションですが、開発者は最高レベルのパフォーマンスを達成するために複数の要因を考慮する必要があります。
これは、連続波（CW）CMOS ToFカメラシステムテクノロジーの概要と、マシンビジョンアプリケーション向けの従来の3Dイメージングソリューションに対するその利点を提供する、飛行時間（ToF）シリーズの最初の記事です。以降の記事では、照明サブシステム、光学系、電力管理、深度処理など、この記事で紹介したシステムレベルのコンポーネントのいくつかについて詳しく説明します。
はじめに
現在、多くのマシンビジョンアプリケーションでは、標準の2Dイメージングを置き換えたり、拡張したりするために、高解像度の3D深度画像が必要です。これらのソリューションは、特に機械が人間の近くで動作している場合に、安全性を保証するために信頼できる深度情報を提供するために3Dカメラに依存しています。また、カメラは、反射率の高い表面のある広いスペースや他の移動物体の存在など、困難な環境で動作しているときに、信頼できる深度情報を提供する必要があります。
これまでの多くの製品は、低解像度の距離計タイプのソリューションを使用して、2Dイメージングを強化するための深度情報を提供してきました。ただし、このアプローチには多くの制限があります。高解像度の3D深度情報の恩恵を受けるアプリケーションの場合、CW CMOSToFカメラは市場で最高のパフォーマンスのソリューションを提供します。高解像度CWToFセンサーテクノロジーによって実現されるシステム機能の一部を表1に詳しく説明します。これらのシステム機能は、ビデオボケ、顔認証、測定アプリケーションなどの消費者向けユースケースや、自動車向けユースケースにも当てはまります。ドライバーの警戒監視および自動化された車内構成として。
表1.連続波飛行時間システムの機能
システム機能 イネーブラー 深さの精度と精度•変調周波数•変調方式と深度処理ダイナミックレンジ•読み出しノイズ
•生のフレームレート使いやすさ•キャリブレーション手順
•温度補償
•目の安全性の監視屋外操作•940nmでの感度
•照明パワーと効率2D / 3Dフュージョン•ピクセルサイズ
•深度および2DIR画像マルチシステム操作•干渉光のピクセル内キャンセル
•カメラの同期
デプスカメラは、各ピクセルがカメラとシーンの間の距離を出力するカメラです。深度を測定する1つの手法は、光がカメラの光源から反射面に移動してカメラに戻るまでにかかる時間を計算することです。この移動時間は、一般に飛行時間（ToF）と呼ばれます。
クリックしてフルサイズの画像を表示
図1.連続波飛行時間センサー技術の概要。 （出典：Analog Devices）
ToFカメラは、次のようないくつかの要素で構成されています（図1を参照）。
- 近赤外領域で光を放射する光源（垂直共振器面発光レーザー（VCSEL）やエッジ発光レーザーダイオードなど）。最も一般的に使用される波長は850nmと940nmです。光源は通常、カメラの前のシーンを照らすために特定の発散（別名、照明フィールドまたはFOI）で光線を放射する拡散光源（フラッドイルミネーション）です。
- 光源から放出される光の強度を変調するレーザードライバー。
- シーンからの戻り光を収集し、各ピクセルの値を出力するピクセル配列を備えたセンサー。
- 戻り光をセンサーアレイに集束させるレンズ。
- レンズと同じ場所に配置されたバンドパスフィルターで、光源の波長付近の狭い帯域幅の外側の光をフィルターで除去します。
- センサーからの出力RAWフレームを深度画像または点群に変換する処理アルゴリズム。
複数のアプローチを使用して、ToFカメラの光を変調できます。簡単なアプローチは、連続波変調を使用することです。たとえば、デューティサイクルが50％の方形波変調です。実際には、レーザー波形が完全な方形波になることはめったになく、正弦波に近く見える場合があります。正方形のレーザー波形は、特定の光パワーに対してより優れた信号対雑音比をもたらしますが、高周波高調波の存在による深度非線形性エラーももたらします。
CWToFカメラは時間差t d を測定します 位相オフセットϕ =2πft d を推定することにより、放出信号と戻り信号の間 これらの2つの信号の基本の間。深さは、次を使用して、位相オフセット（ϕ）と光速（c）から推定できます。
ここで、f mod は変調周波数です。
センサーのクロック生成回路は、2つの電荷蓄積要素（タップAとタップB）での光電荷の蓄積と、レーザードライバーへのレーザー変調信号をそれぞれ制御する相補的なピクセルクロックを制御します。戻ってくる変調光の位相は、ピクセルクロックの位相に対して測定できます（図1の右側を参照）。ピクセル内のタップAとタップBの間の差電荷は、戻ってくる変調光の強度と、ピクセルクロックに対する戻ってくる変調光の位相に比例します。
ホモダイン検出の原理を使用して、ピクセルクロックとレーザー変調信号の間の複数の相対位相で測定が行われます。これらの測定値を組み合わせて、戻ってくる変調光信号の基本波の位相を決定します。このフェーズを知ることで、光が光源から観察対象のオブジェクトに移動し、センサーピクセルに戻るまでにかかる時間を計算できます。
高変調周波数の利点
実際には、フォトンショットノイズ、読み出し回路ノイズ、マルチパス干渉など、位相測定でエラーを引き起こす可能性のある非理想性があります。変調周波数を高くすると、深度推定に対するこれらのエラーの影響が軽減されます。
これは、位相エラーϵ ϕ がある簡単な例をとることで簡単に理解できます。 -つまり、センサーによって測定される位相は、ϕ =ϕ + ϵ ϕ 。その場合、深度エラーは次のようになります。
したがって、深度誤差は変調周波数f mod に反比例します。 。これを図2にグラフで示します。
クリックしてフルサイズの画像を表示
図2.距離推定に対する位相誤差の影響。 （出典：Analog Devices）
この簡単な式は、変調周波数の高いToFカメラが変調周波数の低いToFカメラよりも深度ノイズが低く、深度誤差が小さい理由の大部分を説明しています。
高い変調周波数を使用することの1つの欠点は、位相のラップアラウンドが速くなることです。つまり、明確に測定できる範囲が短くなります。この制限を回避する一般的な方法は、さまざまなレートでラップアラウンドする複数の変調周波数を使用することです。最も低い変調周波数は、あいまいさのない広い範囲を提供しますが、より大きな深度エラー（ノイズ、マルチパス干渉など）を提供し、より高い変調周波数は、深度エラーを減らすためにタンデムで使用されます。 3つの異なる変調周波数を使用したこのスキームの例を図3に示します。最終的な深度推定は、異なる変調周波数のラップされていない位相推定に重みを付け、より高い変調周波数に高い重みを割り当てて計算されます。
クリックしてフルサイズの画像を表示
図3.多周波数位相アンラッピング。 （出典：Analog Devices）
各周波数の重みが最適に選択されている場合、深度ノイズは、システムで選択された変調周波数の二乗平均平方根（rms）に反比例します。一定の深度ノイズバジェットの場合、変調周波数を上げると、積分時間または照明パワーを減らすことができます。
パフォーマンスに重要なその他のシステムの側面
高性能ToFカメラを開発する際に考慮すべきシステム機能は多数ありますが、その一部をここで簡単に説明します。
イメージセンサー
イメージセンサーは、ToFカメラの重要なコンポーネントです。システムの平均変調周波数が高くなると、ほとんどの深度推定の非理想性（バイアス、深度ノイズ、マルチパスアーティファクトなど）の影響が軽減されます。したがって、センサーが高い変調周波数（数百MHz）で高い復調コントラスト（タップAとタップBの間で光電子を分離する能力）を備えていることが重要です。センサーはまた、近赤外波長（たとえば、850nmおよび940nm）で高い量子効率（QE）を備えている必要があるため、ピクセル内で光電子を生成するために必要な光パワーは少なくなります。最後に、低い読み出しノイズは、低リターン信号（遠方または低反射率のオブジェクト）を検出できるようにすることで、カメラのダイナミックレンジに役立ちます。
照明
レーザードライバは、高い変調周波数で光源（VCSELなど）を変調します。与えられた光パワーに対してピクセルで有用な信号の量を最大化するために、光波形はクリーンなエッジで速い立ち上がり時間と立ち下がり時間を持っている必要があります。これを実現するには、照明サブシステムでのレーザー、レーザードライバー、PCBレイアウトの組み合わせがすべて重要です。変調波形のフーリエ変換で基本波の振幅を最大化するために最適な光パワーとデューティサイクルの設定を見つけるために必要ないくつかの特性評価もあります。最後に、クラス1の目の安全限界が常に尊重されるように、レーザードライバーおよびシステムレベルで組み込まれたいくつかの安全メカニズムを使用して、光パワーを安全な方法で供給する必要があります。
光学
光学はToFカメラで重要な役割を果たします。 ToFカメラには、特別な光学要件を推進する特定の特徴があります。第一に、光源の照明の視野は、最適な効率のためにレンズの視野と一致する必要があります。また、集光効率を高めるために、レンズ自体の口径を高くする（f /＃を低くする）ことも重要です。絞りが大きいと、ケラレ、被写界深度が浅くなる、レンズ設計が複雑になるなど、他のトレードオフが発生する可能性があります。低主光線角度レンズの設計は、バンドパスフィルターの帯域幅を減らすのにも役立ちます。これにより、周囲光の除去が改善され、屋外のパフォーマンスが向上します。光学サブシステムは、スループット効率を最大化し、迷光を最小化するために、動作の目的の波長（たとえば、反射防止コーティング、バンドパスフィルターの設計、レンズの設計）に合わせて最適化する必要もあります。光学的位置合わせが最終用途に望ましい許容範囲内にあることを保証するための多くの機械的要件もあります。
電力管理
電力管理は、高性能3DToFカメラモジュールの設計においても非常に重要です。レーザー変調とピクセル変調は、高いピーク電流の短いバーストを生成します。これにより、電力管理ソリューションにいくつかの制約が課せられます。センサー集積回路（IC）レベルには、イメージャのピーク消費電力を削減するのに役立ついくつかの機能があります。システムレベルで適用できる電源管理技術もあり、電源（バッテリーやUSBなど）の要件を緩和するのに役立ちます。 ToFイメージャの主なアナログ電源には、通常、優れた過渡応答と低ノイズのレギュレータが必要です。
クリックしてフルサイズの画像を表示
図4.光学システムアーキテクチャ。 （出典：Analog Devices）
深度処理アルゴリズム
最後に、システムレベルの設計のもう1つの大きな部分は、深度処理アルゴリズムです。 ToFイメージセンサーは、位相情報を抽出する必要のある生のピクセルデータを出力します。この操作には、ノイズフィルタリングや位相アンラッピングなどのさまざまな手順が必要です。位相アンラッピングブロックの出力は、光がレーザーからシーンに到達し、ピクセルに戻るまでの距離の測定値であり、距離または半径距離と呼ばれることがよくあります。
半径距離は通常、点群情報に変換されます。点群情報は、特定のピクセルの情報を実際の座標（X、Y、Z）で表します。多くの場合、エンドアプリケーションは、フルポイントクラウドではなく、Zイメージマップ（深度マップ）のみを使用します。半径距離を点群に変換するには、レンズの組み込み関数と歪みパラメータを知る必要があります。これらのパラメータは、カメラモジュールの幾何学的キャリブレーション中に推定されます。深度処理アルゴリズムは、アクティブな輝度画像（戻りレーザー信号の振幅）、パッシブな2D IR画像、信頼水準などの他の情報も出力できます。これらはすべて、エンドアプリケーションで使用できます。深度処理は、カメラモジュール自体、またはシステム内の別の場所にあるホストプロセッサで実行できます。
この記事で取り上げるさまざまなシステムレベルのコンポーネントの概要を表2に示します。これらのトピックについては、今後の記事で詳しく説明します。
表2.3D飛行時間型カメラのシステムレベルのコンポーネント
システムレベルのコンポーネント 主な機能 ToF ImagerResolution、高い復調コントラスト、高い量子効率、高い変調周波数、低い読み出しノイズ照明源高い光パワー、高い変調周波数、
目の安全機能光学系高い集光効率、最小限の迷光、狭い帯域幅電力管理低ノイズ、良好な過渡応答、
高効率、高いピーク電力を提供深さ処理低電力、さまざまなタイプの出力をサポート
詳細情報
連続波飛行時間型カメラは、高品質の3D情報を必要とするアプリケーションに高深度の精度を提供する強力なソリューションです。最高レベルのパフォーマンスを確実に達成するために考慮すべき多くの要因があります。変調周波数、復調コントラスト、量子効率、読み出しノイズなどの要因が、イメージセンサーレベルでのパフォーマンスを決定します。その他の要因は、照明サブシステム、光学設計、電力管理、深度処理アルゴリズムなどのシステムレベルの考慮事項です。これらのシステムレベルのコンポーネントはすべて、最高精度の3DToFカメラシステムを実現するために重要です。これらのシステムレベルのトピックについては、以降の記事で詳しく説明します。 ADIのToF製品の詳細については、analog.com / tofにアクセスしてください。
>
Paul O’Sullivan は、カリフォルニア州サンタクララにあるアナログデバイセズのシステムエンジニアです。彼は2004年にアイルランドのアナログデバイセズに入社し、さまざまなテスト開発とアプリケーションエンジニアリングの役割を果たした後、2016年にカリフォルニアに移り、消費者向けアプリケーションの高度なテクノロジープロジェクトに取り組みました。彼は2019年から3DToFカメラモジュールの開発とキャリブレーションに取り組んでいます。彼はB.E.を保持しています。ユニバーシティカレッジコークおよびM.Engで学位を取得。アイルランドのリムリック大学から。彼の連絡先は[email protected]です。 
ニコラスルドルツ アナログ・デバイセズのタイムオブフライト（ToF）テクノロジーグループのシステムエンジニアリングマネージャーです。この役職では、ADIのToFテクノロジー製品の開発を監督し、ToFカメラシステムの提供に関与する部門の枠を超えたチームを橋渡しし、アナログ・デバイセズの顧客に卓越したパフォーマンスをもたらします。彼はMSを受け取りました2010年にフランスのエコールポリテクニークで電気工学の博士号を取得しました。 2012年にスウェーデンのKTHでマイクロエレクトロニクスの博士号を取得し、博士号を取得しました。 2015年にフランスのEcoleCentrale-Supelecで電気工学の博士号を取得し、2013年から2014年までカリフォルニア大学バークレー校の客員研究員を務めました。信号処理、集積回路設計、ソフトウェア開発、および光学設計。彼の連絡先は[email protected]です。 >
関連コンテンツ：
- ツールはバリューチェーンを上に移動して、ミステリーをビジョンAIから外します
- tinyMLと自動機械学習を使用して効果的なIoTアプリケーションを構築する
- 飛行時間型テクノロジーは精度の向上を約束します
- 近赤外線飛行時間センサーは太陽光の干渉を低減します
- Lidarプラットフォームは、占有検出、社会的距離をサポートします
- ToFセンサーは高速3D検出を提供します
- 超音波飛行時間センサーは1メートルの範囲を提供します
Embeddedの詳細については、Embeddedの週刊メールニュースレターを購読してください。
センサー