Time-of-Flightセンサーの理解：ToF 3Dカメラが距離を測定する仕組み

Time-of-Flightセンサーはどのように距離を決定するのか？ 例として3Dカメラを用いてToFカメラについて学びます。

Time-of-Flightセンサーはどのように距離を決定するのか？ 例として3Dカメラを用いてToFカメラについて学びます。

あなたの携帯電話や自動車のスペースを争う3大3Dイメージング技術があります。それらはステレオ撮像、構造化光投影、Time-of-Flight（ToF）カメラです。これらのデバイスが生成するデータは、歩行者検出、顔認証、手の動き検出、SLAM（同時定位とマッピング）アルゴリズムへの入力を提供できます。

この分野の2大プレイヤーはamsとInfineonです。執筆時点で、amsは各タイプのセンサーを1つずつ保有し、InfineonはTime-of-Flightセンサーに特化しています。

この記事では、pmdtechnologiesの3Dカメラ開発キット「pico flexx」に焦点を当て、Time-of-Flightセンサーの背後にある技術を説明します（なお、「pico flexx」も「pmdtechnologies」もウェブサイトではすべて小文字で表記されています）。

pico flexxは、Infineonとpmdが共同開発した3DイメージセンサーREAL3を中心に構築されています。

2019年4月29日、pmdtec.comから取得した手の擬似カラー3D画像。色はセンサーから手までの距離に基づいて個々のピクセルにマッピング（赤は近、青は遠）

なお、pmdからこの記事用にデバイスが提供されました。

Time-of-Flightセンサーとは？

Time-of-Flightセンサーは、何らかのものが媒質を通じて距離を移動するのにかかる時間を測定します。通常、これは波パルスの放出、物体での反射、ToFセンサーへの帰還の間の経過時間の測定です。Time-of-Flightカメラは、ToF測定を利用してカメラと物体または環境間の距離を決定し、個別に測定された点によって生成される画像を作成するデバイスです。

ToFカメラの応用には、レーザーベースのスキャナーレスLiDARイメージングシステム、モーション検出と追跡、機械視覚と自律走行のための物体検出、地形マッピングなどがあります。

しかし、これらの測定はどのように達成されるのでしょうか？

以下に、移動時間を用いて距離を決定する3つの方法を示します。

移動時間を用いて距離を決定する方法

画像の上部に、パルスを送信し、反射して戻るまでの時間間隔を測定する第1の方法が見えます。

画像の中央には、光源の振幅を変調し、反射波の位相シフトを記録する第2の方法が示されています。

画像の下部は、50%デューティサイクルの矩形波を送信し、特定の区間に到達した帰還光量を記録する第3の方法を表しています。

ミリメートル級精度のToFカメラ

光と電波は約300,000,000,000 mm/sで移動し、波が1mm進むのに約3.3ps（戻りもさらに3.3ps）かかります。つまり、あなたがいる部屋のすべての物体をイメージし、約1mmの分解能を望むなら、タイミングエレクトロニクスにはピコ秒分解能が必要です。これは数百GHzのクロック速度に相当します。

そのような周波数で動作する電子回路を設計するのは容易でも経済的でもありません。そのため設計者は、コンシューマー向けに手頃な価格でデバイスを提供するため、より低い周波数で動作する方法を考案する必要がありました。

ミリメートル級精度をサブGHzの現実的な周波数で達成するための一般的な2つの方法があります：

• 正弦波変調波の位相シフトを距離に関連付ける
• 50%デューティサイクル矩形波の位相シフトと差動電圧を用いて距離を決定する

以下のセクションでこれら2つの方法をより詳細に見ていきます。

振幅変調波の位相シフトによる距離決定

最大長さ15mの小さなオフィスまたは大きなリビングルームをマッピングしたいとします。その長さに適した動作周波数を決定するには、$$c=\lambda \cdot f$$ を使用します。ここでcは光速（c=3×10⁸ m/s）、λは1波長（λ=15m）、fは周波数です。この例ではf=20MHzとなり、比較的扱いやすい周波数です。

すべては、明るい光の出力を20MHz正弦波信号で変調することから始まります。光波は最終的に物体や壁に到達し、反射して方向を逆転させます。元の変調光の減衰版が受信機に戻ります。物体がちょうど15mの整数倍の距離にない限り、位相は何らかの量だけシフトします。

この位相シフトを用いて、波が移動した距離を計算できます。

位相角を正確に測定できれば、反射物体がセンサー/受信機からどの距離にあるかを正確に決定できます。

正弦波の位相角の測定方法

では、正弦波の位相角をどのように速やかに測定するのでしょうか？ それは、等間隔（90°または1/4λの分離）の4点で受信信号の振幅を測定することを含みます。

$$\varphi=ArcTan \left ( \frac{A_1-A_3}{A_2-A_4} \right )$$

測定値と位相角の関係を以下に示します。A₁とA₃の差、A₂とA₄の差の比は位相角のタンジェントに等しい。ArcTanは実際には2引数のアークタンジェント関数で、適切な象限をマッピングし、A₂=A₄かつA₁>A₃またはA₃>A₁の場合をそれぞれ0°または180°として定義します。

図をクリックすると、変数A₁、A₂、A₃、A₄の差が単位円上にどうフィットするかを示すより複雑な画像が見られます。

上記の図では、左端に2本の垂直数直線があり、A₁とA₃の減算結果（濃い黄色で表示）とA₂とA₄の減算結果（青で表示）が示されています。測定値は中央の正弦波グラフの垂直線として示されています。

このグラフィックは反射を考慮していません（反射を考慮すると実質的にすべてが180°シフトします）。

所与の距離に対する動作周波数の決定

例に戻ると、ターゲットまでの距離は以下の式で決定されます：

$$d=\frac{c \cdot \varphi}{4 \pi \cdot f}$$

ここでcは光速、φ（ファイ）は位相角（ラジアン）、fは変調周波数です。

光子の実際の飛行時間を測定するには333GHzのエレクトロニクスが必要です。この方法では最大で変調周波数の4倍、この場合4×20MHz=80MHzで済みます。これはリソースの驚異的な削減です。しかし、さらに最大周波数を下げる方法を発見した賢明なエンジニアもいます。

充電コンデンサの差動電圧測定による位相シフト決定

次の測定状況は、ストロボスコピック光源と、ピクセルあたり2つのコンデンサを持つCMOSイメージングセンサーを含みます。

クロックソースが50%デューティサイクルの矩形波を生成し、その矩形波が明るいストロボ光源を制御するとともに、各ピクセル内の蓄電コンデンサへの接続を制御します。

このようなシステムの例は以下の画像で表されています：

「A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS」より。これは、交互に接続されて入射光を記録する2つの蓄電コンデンサを持つCMOSピクセルを示しています。

光は光源から出て物体で反射し、ピクセルに到達して上図のコンデンサC_AまたはC_Bに電荷として記録されます。コンデンサは照明源と同じ周波数で、同じクロックソースを使用してピクセルに交互に接続されます。

この巧妙な配置により、コンデンサの差動電荷が位相オフセットに直接関連付けられます。そして位相は波長とターゲットまでの往復距離によって決定されます。

「A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS」より

対象物はコンデンサを満たすために必要なだけのサイクルで照明されます。距離が一定なら、電荷比率は同じままです。

Time-of-Flightセンサーの実力

この方法はどれほどうまく機能するのでしょうか？ 予想以上にうまくいきます。

AACに提供されたセンサーは付属ソフトウェアと合わせて、最大45fpsで記録する能力を持っています。低リフレッシュレートでは、シャツのシワまで容易にイメージできます。

上記の画像は、pmdのpico flexxカメラで取得した各ピクセルの(x,y,z)頂点位置をプロットしています。

深度のみのデータは単独では視覚化が困難です。そのため深度画像は写真と組み合わせたり、擬似着色で表示したりして、シーンの視覚化を容易にします。

低解像度画像への擬似カラー深度オーバーレイでシーンを解釈しやすくしています。pmdのRoyal ViewerソフトウェアとCamBoard pico flexx 3D開発キットで撮影した著者の画像。

---

Time-of-Flightセンサーは、巧みな物理とエンジニアリングを組み合わせることで、環境の3Dマップ作成など多様な応用に利用できます。

あなたの仕事で3Dカメラを使用したことがありますか？ Time-of-Flightセンサーの使用における設計制約について何が言えますか？ コメントで経験を共有してください。