ToFシステムの設計【Part 2】深度検出カメラの光学設計

概要

ToF（Time of Flight）技術を利用した深度（depth）検出カメラでは、光学系のシステムが重要な役割を果たします。光学設計に依存して、最終的なシステムの複雑さや実現可能性、性能が決まるとも言えます。3D ToFカメラには、特別な光学的要件を満たすことが求められる固有の性質があります¹。本稿では、深度検出に向けた光学系のアーキテクチャについて説明します。そのアーキテクチャは、イメージング用の光学系アセンブリ、レシーバー側のToFセンサー、トランスミッタ側の照明モジュールで構成されます。また、センサーとシステムの性能を向上させるために、各サブモジュールを最適化する方法についても解説します。

はじめに

ToFは、3Dのセンシングとイメージングに利用可能な新たな技術です。この技術は、自律走行車、仮想現実（VR）や拡張現実（AR）、特徴同定、物体の寸法測定といった広範なアプリケーションに適用することができます。ToFカメラでは、光源から放射された光がシーンの範囲内にある物体まで進み、ピクセル（画素）のアレイに戻ってくるまでの時間を測定します。それによって深度の画像を取得します。アナログ・デバイセズはこの分野に向けて、裏面照射型（BSI：Backside Illuminated）のCMOSセンサー「ADSD3100」を提供しています。同製品には、連続波（CW：Continuous Wave）変調と呼ばれる技術が導入されています。これは、間接ToFと呼ばれる方式の1つです。CW変調を使用するCMOSベースのToFカメラでは、光源からの光を振幅変調します。変調後の光がカメラの視野（FOV：Field of View）内の物体（対象物）によって後方散乱した際の放射波形と反射波形の間の位相のずれを測定します。複数の変調周波数に対する位相のずれを測定することで、ピクセルごとの深度の値を算出することが可能になります。その際、位相のずれの値は、ピクセル内光子混合復調（In-pixel Photon Mixing Demodulation）²を使用し、様々な相対遅延における放射波形と受信波形の相関をとることによって取得します。図1に、この種のToFカメラの概念図を示しました。

深度検出向けの光学系アーキテクチャ

図2に示したのが、本稿で取り上げる光学系のアーキテクチャです。この光学系は、2つの主要なサブモジュールに分けることができます。1つはイメージング・モジュール（レシーバーまたはRx）、もう1つは照明モジュール（トランスミッタまたはTx）です。以下では、各コンポーネントの機能、ToFシステムに固有の要件、設計例などについて説明します。

照明モジュール

照明モジュールは、図2に示すように、光源、光源を高い変調周波数で駆動するドライバ、設計した照明野（FOI：Field of Illumination）に光源からの光ビームを投影する拡散板で構成されています。

光源とドライバ

通常、ToFシステムでは、VCSEL（Vertical Cavity Surface Emitting Laser：垂直共振器型面発光レーザー）や端面発光レーザー（EEL：Edge Emitting Laser）など、波長の温度依存性が低く帯域の狭い光源を使用します。一般的に使われる光源の例としてはLEDが挙げられますが、ToFシステムにおける変調の要件を満たすには応答が遅すぎます。VCSELには、低コストで信頼性が高く小型であり、ToFモジュールに組み込みやすいという特徴があります。そのため、ここ数年、人気が高まっています。EEL（側面から発光）やLED（側面および上面から発光）とは異なり、VCSELではその表面に向けて垂直にビームを放射します。そのため、製造歩留まりが高まり、コストを削減することができます。また、発散角と光学プロファイルが設計どおりになるように加工した1枚の拡散板を使用することで、所望のFOIを実現することが可能です。光源とプリント基板の電気的設計やレイアウトと同様に、レーザー用のドライバの最適化は、高い変調コントラストと高い光パワーを得る上で非常に重要な要素になります。

850nm vs. 940nm――照明の波長

ToFの動作原理は波長には依存しません（むしろ光速に依存します）。つまり、波長は精度に影響を与えないはずです。しかし、ユース・ケースによっては、波長の選択がシステム・レベルの性能に影響を及ぼす可能性があります。以下、波長を選択する際に考慮すべき事柄をいくつか挙げます。

センサーの量子効率と感度

量子効率（QE：Quantum Efficiency）と感度（R： Responsivity）は、依存関係にあります。

QEは、光検出器が光子を電子に変換する能力を表します。

Rは、光検出器が光パワーを電流に変換する能力を表します。

ここで、qは電子の電荷、hはプランク定数、cは光速、λは波長です。

通常、シリコン・ベースのセンサーのQEは、波長が850nmの場合、同940nmの場合と比べて2倍ほどになります。例えば、アナログ・デバイセズが提供するCWベースのToFセンサーのQEは、850nmの場合に44%、940nmの場合に27%となります。照明の光パワーが同一であるとすると、特に光があまりセンサーに戻ってこない場合（物体が遠方にある場合や物体の反射率が低い場合）には、QEとRが高いほど、S/N比は高くなります。

人間の視覚

人間の眼は、近赤外（NIR：Near Infrared）の波長範囲に対しては感度を持ちませんが、850nmの光は感じることができます。一方、940nmの光は人間の眼には見えません。

太陽光

太陽光の放射は、スペクトルの可視領域で最大になります。ただ、NIR領域でもまだ大きなエネルギーを持っていると言えます。太陽光（および周辺光）は深度に対するノイズを増加させるので、ToFカメラの測定範囲が狭くなる可能性があります。幸い、太陽光はいくらか大気に吸収されるので、その放射照度は920nm～960nmの領域で低下します。この領域において、太陽の放射照度は850nmの領域に比べて1/2未満になります（図3）。屋外用のアプリケーションでは、ToFシステムを940nmで動作させることにより、周辺光に対する耐性を高められます。その結果、深度検出の性能が向上します。

図3. NIR領域における太陽の分光放射照度3 — 図3. NIR領域における太陽の分光放射照度³

放射強度――立体角あたりの光パワー

FOIは、拡散光学系によって生成されます。光源は、その範囲内の3D空間に分布する一定の光パワーを生成します。FOIが増加すると、ステラジアン（sr）あたりに保持されるエネルギーは減少します。このエネルギーが放射強度（単位はW/sr）です。FOIと放射強度の間には、トレードオフが存在します。それについて理解することは重要です。そうしたトレードオフにより、ToFシステムのS/N比、ひいては深度範囲に影響が及ぶからです。

表1に、FOIの値とそれに対応する放射強度についてまとめました。ここでは、FOIが60°×45°の場合の値で放射強度を正規化しています。なお、放射強度は、矩形の立体角あたりの光パワーとして計算します。

表1. FOIと放射強度（正規化済み）の関係
条件	水平FOI	垂直FOI	放射強度
1	60°	45°	100%
2	52°	52°	100%
3	60°	60°	76%
4	72°	58°	67%
5	78°	65°	56%

照明プロファイルの仕様

照明プロファイルを完全に定義するためには、いくつかの特性について明確にする必要があります。例えば、プロファイルの形状、プロファイルの幅、光学効率（特定のFOV内に含まれるエネルギー）、FOI外の光パワーの低下などの特性についてです。通常、照明プロファイルの仕様は、角度空間における放射強度によって定義します。数学的には次式によって表すことができます。

ここで、dΦは立体角dΩの中に放射されるパワーです。FOIは、イメージ・センサーのアスペクト比と一致している必要があります。そのため、その形状は通常は正方形または長方形となります。

FOI 内の照明プロファイルの形状

ToFの投光照明で最も一般的な放射強度プロファイルの形状は、バットウィング型（コウモリの翼のような形状）です（図5）。このプロファイルの形状は、撮像レンズの周辺における光量の低下（つまり相対照度）を補償するために、cos^-n(θ)で変化します。イメージ・センサーのピクセル・アレイに対する平坦な対象物からの放射照度を一定にしたい場合には、対象物の中央と端部の間の放射照度E（W/m²）においてcos³(θ)が低下する要因について考慮する必要があります。これは、次式によって定義されます。

ここで、Eは放射照度、dAは光パワーdΦの照射の対象となる表面積、R(θ)は光源からdAまでの距離（図4）、dΩ = dAcos(θ)/R(θ)²です。

プロファイルの幅

照明プロファイルのFOIは、プロファイルの幅によって決まります。この幅は、半値全幅または最大強度の1/e²として定義することができます。撮像レンズとイメージ・センサーの間の位置ずれと拡散板の公差に対応するために、通常、FOIは暗くなるピクセルが発生するのを防げるよう、レンズのFOVよりも少し大きめに設計します。

プロファイルの幅の値は、コリメートされたビームに対する拡散板の応答に対して、光源の強度プロファイルの畳み込み（コンボリューション）を実行することで得られます。拡散板への入力の発散角が広くなるほど幅が広くなり、遷移の傾きが緩やかになります。そうすると、FOIの外側に放出されるエネルギーが多くなり、光パワーの損失が発生します。このような損失の許容レベルは、以下に説明する2つの要件を用いて規定することができます。

光学効率――撮像レンズの FOV 内に含まれるエネルギー

光学効率は、イメージング・モジュールがどの程度のエネルギーを受け取るかを定義するものです。その値は、次式によって表されます。

図5（c）は、FOV内における照明プロファイルの2次元積分の概念図です。

FOI 外の光パワーの低下

FOI外の光パワーの低下は、以下の式によって表されます。

一般に、光学効率は、光源と拡散板の間にコリメータ・レンズを配置して拡散板への入射角を小さくしたり、発散角の小さい光源を選択したりすることによって高めることができます。

イメージング・モジュール

イメージング・モジュールは、撮像レンズのアセンブリ、バンドパス・フィルタ（BPF）、イメージ・センサー上のマイクロレンズ・アレイで構成されます（図6）。イメージ・センサーの裏面光学スタックの厚さと材料は、後方への反射が小さくなるように最適化する必要があります。

撮像レンズの設計時に考慮すべき事柄

ToFカメラでは、アクティブな照明によって生成した光を集めます。ピクセルのアレイ上に光を集める際の効率と均一性によって、全体の性能が大きく変化します。レンズは、集光力が高く、透過率が高く、迷光が少なくなければなりません。以下、ToF向けの撮像レンズを設計する際に考慮すべき事柄を示します。従来のRGB（Red Green Blue）カメラ用のレンズとは様々な点で異なることに注意してください。

集光効率

集光効率は、1/［F値］²に比例します。ここで、F値とは開口サイズに対する焦点距離の比のことです。F値が小さいほど、集光効率は高くなります。但し、F値が小さい光学系にはいくつかのトレードオフが存在します。例えば、開口サイズが大きくなるにつれ、口径食と収差は増加する傾向があります。その結果、光学系の設計の難易度が高まります。また、F値が小さい光学系では、被写界深度が浅くなる傾向があります。

相対照度と主光線角

相対照度（RI：Relative Illumination）と主光線角（CRA：Chief Ray Angle）も、考慮すべき重要な事柄です。まず、RIは次式で定義されます。

センサーの照度は、歪曲収差や口径食のないレンズ系では、(cos q)⁴の法則に基づいて減少します。ここで、qはセンサー面への主光線の入射角です。その結果、センサーの外縁に向かって画像は相対的に暗くなります。放射強度の低下は、レンズ系に負の歪曲収差を導入することによって抑制することができます。

センサーの端部におけるCRAの最大値は、イメージ・センサーのマイクロレンズ・アレイの仕様に基づいて最適化する必要があります。CRAを小さくするとBPFの帯域幅を狭めることができ、周辺光に対する耐性が向上します。

以下の例では、視野全体のCRAと集束光円錐の大きさ（有効F値）が、RIにどのような影響を与えるのかということを示します。図7で例1として示したレンズ系では、画角が大きくなるにつれてCRAが大きくなり、画像の光円錐が徐々に小さくなります（つまり、F値が大きくなります）。対応するプロットに示すように、RIは画角に伴って大幅に低下します。図7の例2は、CRAを最小限に抑えて視野全体でF値を均一に保つことにより、RIを良好に維持できるということを表しています。

迷光

迷光とは、光学系内で意図せずセンサーで検出される可能性がある光のことです。迷光は、視野内外の光源から到達する可能性があります。また、偶数回の反射によってゴースト像（レンズ・フレアなど）が発生することもあります。あるいは、光学機械的な構造や散乱面から発生するケースもあります。ToFは、特に迷光の影響を受けやすいシステムです。迷光にはマルチパスという性質があるので、ピクセルまでの光路長が様々になります。そのことが深度測定の誤差につながります。迷光を低減するためには、設計プロセスにおいていくつかの方策を講じる必要があります。例えば、反射防止（AR：Anti-reflection）コーティング、機械的開口の最適化、レンズ端部やマウント構造の黒化処理、カスタム設計のBPFによる波長とCRAの最適化などです。

以下、システムの迷光に影響を与える可能性があるいくつかの項目について説明します。

口径食

理想的には、ToFレンズ系には口径食は存在するべきではありません。ただ、口径食は画像の光線を遮断するので、視野周辺部の明るさを犠牲にして画質を向上させる手法として利用されることがあります。とはいえ、多くの場合、遮断された光線はレンズ系の内部で反射を起こすので、迷光の問題が生じる傾向があります。

ARコーティング

光学素子にARコーティングを施すことによって、表面の反射率を低減することができます。それにより、レンズの反射が深度の算出に及ぼす影響を効果的に低減することが可能になります。ARコーティングは、光源の波長の範囲とレンズ表面への入射角の範囲に応じて、慎重に適用する必要があります。

レンズの素子数

レンズの素子を追加すれば、設計上の仕様を達成するための自由度が増し、解像度の面で画質が向上します。しかし、素子の追加による後方反射の増加は避けられないので、複雑さとコストも増します。

ToFシステムでは、周辺光の影響を回避するためにBPFを使用します。BPFは、ToFシステムには不可欠な要素です。最高の性能を得るためには、以下のパラメータに応じてBPFの設計を調整する必要があります。

(a) F値や視野全体におけるCRAといったレンズの　パラメータ

(b) 帯域幅、波長公差、熱的シフトといった光源のパラメータ

マイクロレンズ・アレイ

通常、ToF向けのBSIセンサーは、マイクロレンズ・アレイの層を備えています。それによって、イメージ・センサーに入射する光線を集束させ、ピクセルの変調領域に到達する光子の数を最大化します。マイクロレンズの形状は、光子を電子に変換するピクセルの領域において最高の吸収が得られるように最適化します。

多くの場合、レンズの設計においては、センサーの端部に向かって像高が増加するにつれてCRAが大きくなります（図8）。CRAが大きすぎると、この斜めの入射は、ピクセルにおける吸収損失や隣接ピクセル間のクロストークにつながります。撮像レンズの設計／選択は、マイクロレンズ・アレイの仕様にレンズのCRAが適合するように行うことが重要です。例えば、アナログ・デバイセズのADSD3100に最適なCRAは、センサーの水平端／垂直端で12°程度です。

まとめ

ToFシステムの性能を最適化するためには、光学系に固有の要件を満たす必要があります。本稿では、まず3D ToFカメラの光学系アーキテクチャの概要を説明しました。その上で、光学系の設計やサブコンポーネントの選択に役立つ、照明モジュールとイメージング・モジュールに関する設計上の指針を紹介しました。照明モジュールにおいては、電力効率、信頼性、高い変調周波数において高い変調コントラストで光源を駆動する能力が重要なポイントになります。また、850nmと940nmの波長を選択する上で考慮すべき事柄や、照明プロファイルの仕様の決定方法についても詳細に解説しました。一方、イメージング・モジュールについては、レンズを設計する際、F値、マイクロレンズの仕様に適合するCRA、迷光の制御などについて考慮する必要があります。これらは、システム・レベルの性能を高める上で非常に重要な要素です。

参考資料

¹Paul O'Sullivan、Nicolas Le Dortz「Time of Flight System Design－－Part 1: System Overview（ToFシステムの設計　【Part 1】システムの概要）」Analog Dialogue、Vol. 55、No. 3、2021年7月

²Cyrus S. Bamji、Swati Mehta、Barry Thompson、Tamer Elkhatib、Stefan Wurster、Onur Akkaya、Andrew Payne、John Godbaz、Mike Fenton、Vijay Rajasekaran、Larry Prather、Satya Nagaraja、Vishali Mogallapu、Dane Snow、Rich McCauley、Mustansir Mukadam、Iskender Agi、Shaun McCarthy、Zhanping Xu、Travis Perry、William Qian、Vei-Han Chan、Prabhu Adepu、Gazi Ali、Muneeb Ahmed、Aditya Mukherjee、Sheethal Nayak、Dave Gampell、Sunil Acharya、Lou Kordus、Pat O'Connor「1Mpixel 65nm BSI 320MHz demodulated TOF Image sensor with 3μm global shutter pixels and analog binning（3μmのグローバル・シャッタ・ピクセルとアナログ・ビニングを用いた1Mピクセル／65nm／裏面照射型／320MHz復調のToFイメージ・センサー）」2018 IEEE International Solid-State Circuits Conference (ISSCC)、2018年2月

³「Reference Air Mass 1.5 Spectra（エア・マス1.5の基準スペクトル）」National Renewable Energy Laboratory