アナログ・デバイセズが提供するToFベースの深度センシング:産業/車載向けの新たなアプリケーションを実現可能

ToF(Time-of-Flight)カメラは、フォーム・ファクタが小さく、ダイナミック・レンジが広いことに加えて、様々な環境で使用できるという特徴を持ちます。そうした理由から、深度(デプス)センシングを実現するための有効な手段として注目を集めています。ToF技術は、科学分野や防衛分野では何年も前から利用されてきました。2000年代に入って画像センシング技術が大きな進化を遂げたことから、ToF技術はより一般的なものになりました。アナログ・デバイセズをはじめとする企業が提供するToF技術は、性能の面で進化を続けています。それに伴い、ToFを含む画像センシング技術は、より普遍的に使われるようになるはずです。実際、画像センシング技術は、スマートフォンやゲーム機をはじめとする民生機器でも利用されるようになっています。更に技術の成熟が進めば、製品の設計、製造、輸送の効率を高める手段として、ToFをベースとする深度センシングが有効に活用されるようになるでしょう。

図1. ToF技術の役割。この技術を利用すれば、対象物までの距離を検出することができます。
図1. ToF技術の役割。この技術を利用すれば、対象物までの距離を検出することができます。

ToF技術をベースとする3Dの深度センシングを利用すれば、従来の2D技術が抱える多くの課題を解決できます(図1)。そうした課題を抱えるアプリケーション分野としては、ロジスティクス、品質検査、ナビゲーション、ロボティクス、顔認証、セキュリティ、監視、危険の防止、ヘルスケア、運転支援などが挙げられます。また、解像度の高い深度データ、強力な分類アルゴリズム、AI(人工知能)を組み合わせることにより、新たなアプリケーションを生み出すことができます。

本稿では、まず、ToF技術をベースとする深度センシングの基本的な原理を説明します。次に、ToF技術の代表的な利用方法を2つ取り上げ、他の一般的な深度センシング技術と比較します。続いて、アナログ・デバイセズの「ADDI9036」を使用するToFベースの3D深度センシング技術を紹介します。ADDI9036は、ToFに必要なあらゆる機能を内蔵するシグナル・プロセッサです。VGA(Video Graphics Array)に対応するCCDセンサーからの未処理の画像データを処理し、深度データ/ピクセル・データを生成する深度プロセッサを搭載しています。最後に、アナログ・デバイセズとパートナー企業の協業について触れます。多様な市場のお客様に対してこの技術を提供できる体制を構築するために、パートナー企業とどのように連携しているのか説明します。.

ToFの基本原理

図2. ToFによる測距の概念図
図2. ToFによる測距の概念図

ToFカメラでは、まず変調光源(レーザーやLEDなど)によって能動的に対象物に光を照射します(図2)。続いて、そのレーザーの波長に対する感度を備えたセンサーによって反射光を捕捉します。このセンサーは、光が照射されてから反射光がカメラに戻ってくるまでの遅延時間ΔTを計測します。遅延時間は、カメラと対象物の間の距離の2倍(往復)に比例するので、深度は次のように推定することができます。

式1

ここで、cは光の速度です。ToFカメラの役割は、放射信号と反射信号の間のΔTを推定することだと言えます。

このΔTは、様々な方法で測定することができます。なかでも、連続波(CW:Continuous-wave)を用いる方法とパルスを用いる方法の2つが一般的です。

連続波を用いる方法

図3. 連続波を利用するToFシステムの概念図
図3. 連続波を利用するToFシステムの概念図

連続波を用いる方法では、周期的な変調信号を能動的に照射します。そして、受信信号をホモダイン復調することによって、反射光の位相のずれを測定します(図3)。

例えば、正弦波変調を使用すると、放射信号は次のようになります。

式2

各変数の意味は以下のとおりです。

  • As:信号の振幅
  • Bs:信号のオフセット
  • fmod:変調周波数。fmod = 1/Tmod(Tmodは変調周期)

受信信号r(t)は、放射信号に対して遅延と減衰が加わったものになります(以下参照)。

式3

各変数の意味は以下のとおりです。

  • α:距離と表面の反射率に依存する減衰係数(0≦α < 1)
  • ΔT:反射信号の遅延

連続波を利用するToFセンサーでは、受信信号r(t)と復調信号g(t)の間の相関関数を、放射信号s(t)と同じ周波数でサンプリングすることにより、各ピクセルにおける距離を測定します。理想的な条件下では、復調信号も以下のように正弦波となります。

式4

ピクセルごとに実行される処理は、以下のような相関処理です。

式5

放射信号と復調信号の両方が正弦波である場合、復調信号に適用される遅延τの関数としての相関値は、次のようになります。

式6

ここでA = AgAsα、B = αBgBsです。

続いて、1周期の1/4の間隔で(90°ずつ照射位相をずらすことにより)、相関関数c(τ)のサンプルを取得します(図4)。放射信号と復調信号の間の位相オフセットΦ = 2πfmodΔTは、式(7)のように推定されます。

式7

そして、深度は位相シフトに比例して以下のようになります。

式8
図4. 相関関数のサンプリング処理
図4. 相関関数のサンプリング処理

パルスを用いる方法

パルスを用いる方法では、光源からN個の短い光パルス列を照射します。反射パルスを捉えるセンサーには電子シャッターを設け、一連の短い時間ウィンドウ内で光を捉えられるようにします。図5は、シャッターにおいて3つのウィンドウ(パルス)を使用し、反射した光パルスを捉える様子を示したものです。周辺光はBGウィンドウによって捉え、他の測定値からその値を減算します。

図5. シャッターによる反射光の測定。ウィンドウを使用して反射光を捕捉します。
図5. シャッターによる反射光の測定。ウィンドウを使用して反射光を捕捉します。

ToFシステムのΔTは、各シャッターのウィンドウに対応する測定値から、以下の式に基づいて推定します。

式9

式(1)のΔTに式(9)を代入すると、式(10)が得られます。

式10

これにより、距離を計算することができます。

これらの式は、パルスが完璧な矩形をなしているという仮定に基づいたものです。この仮定は、現実のハードウェアで生じる制約を考えると、あり得ないものであることには注意が必要です。また、現実の環境で測定を行う際に十分なS/N比を得るには、数百個から数千個もの照射パルスを使用する必要があります。

連続波とパルス、それぞれのメリット/デメリット

上述したように、ToFの実現手段としては、連続波を使用する方法とパルスを使用する方法があります。いずれの方法にも、アプリケーションの種類に応じたメリットとデメリットが存在します。検討すべき事柄としては、測定する距離、システムを使用する環境、精度に関する要件、熱や消費電力に関する制約、フォーム・ファクタ、電源の問題などが挙げられます。実用化されているToFシステムのうち、連続波を使うものの大半はCMOSセンサーを使用しています。それに対し、パルスを使用するToFシステムの多くは、CMOS以外のセンサー(主にCCD)を採用しています。そのような前提に基づいて、以下、メリットとデメリットを列挙します。

連続波を使用するシステムのメリット

  • 高い精度を必要としないアプリケーションの場合、連続波を使用する方法の方がパルスを使用する方法よりも容易に実装できる可能性があります。光源のパルス幅を極端に短くする必要がなく、立上がり/立下がりエッジを高速にする必要もないからです。但し、完璧な正弦波を生成するのが現実的には難しいという問題があります。一方、高い精度が求められる場合には、より高い周波数の変調信号が必要になることから、連続波を使用する方法を実装するのは困難になる可能性があります。
  • 照射信号の周期性に基づき、連続波を使用するシステムによる位相の測定は、2πごとにリセットされます。そのため、エイリアシング距離というものが存在することになります。1つの変調周波数しか使用しないシステムの場合、エイリアシング距離は測定可能な最長の距離でもあります。この制約を排除するためには、複数の変調周波数を使用して位相のアンラッピングを実施します。その場合、異なる変調周波数を使用して得られた2つ(またはそれ以上)の位相の測定値によって同一の推定結果が得られれば、対象物の実際の距離を特定できます。複数の変調周波数を使用する方法は、マルチパス誤差を低減する上でも効力を発揮します。マルチパス誤差は、対象物からの反射光がセンサーに返ってくる前に他の物体に当たる(あるいは、レンズの内部で反射する)場合に生じます。この誤差は、最終的な測定誤差につながります。
  • 任意のCMOSイメージング・システムと同様に、標準的な電源電圧(5V、3.3V、1.2V)を使用できます。一方、CCDセンサーを使用するシステムでは、より低い負の電源電圧(-9V)と、より高い正の電源電圧(14V)が必要になることがあります。
  • 構成にもよりますが、CMOSセンサーを使用するToFシステムでは、高い柔軟性と高速な読み出しが実現される傾向にあります。そのため、関心領域(RoI:Region-of-Interest)出力などの機能を実現可能です。
  • 連続波を使用するToFシステムでは、パルスを使用する場合よりも、温度に対するキャリブレーションを容易に実施できる可能性があります。システムの温度が上昇するのに伴い、復調信号と照射信号には、温度差に起因するずれが生じます。このずれが距離の測定結果に及ぼす影響は、測定範囲全体にわたり一定のオフセット誤差として現れます。そのため、深度の直線性は基本的に安定して維持されます。

連続波を使用するシステムのデメリット

  • CMOSセンサーでは、他のセンサーよりも高い出力データ・レートが得られます。しかし、連続波を使用するセンサーで深度を計算するには、複数の変調周波数における相関関数の4つのサンプルに加え、マルチフレーム処理が必要になります。また、露光時間が長いので、システムの全体的なフレーム・レートが制限を受ける可能性があります。あるいは、被写体のブレが生じて一部のアプリケーションには適用できない可能性もあります。加えて、処理が複雑であることから、外付けのアプリケーション・プロセッサが必要になるケースもあります。それが原因となって、アプリケーションの要件を満たせなくなるかもしれません。
  • 長い距離を測定する場合や、周辺光が強い環境で測定を行う場合には、(パルスを使用するToFシステムよりも)高い出力で連続光を照射する必要があります。レーザーから高出力の光を連続的に照射すると、熱の問題や信頼性の問題が生じる可能性があります。

パルスを使用するシステムのメリット

  • 通常、パルスを使用するToFシステムでは、短い積分ウィンドウの間に非常に短くエネルギーの大きいバースト状の光パルスを照射します。このことから、以下のようなメリットが得られます。
    • 周辺光に対して堅牢で、屋外での利用に適したシステムを容易に設計できます。
    • 露光時間が短くなり、被写体のブレの影響を最小限に抑えることができます。
  • 一般に、パルスを使用するToFシステムでは、照射する光のデューティ・サイクルが、連続波を使用するシステムよりもはるかに小さくなります。このことから、以下のようなメリットが得られます。
    • 長い距離を測定する場合でも、システムの全体的な消費電力を抑えることができます。
    • フレーム内において、他のシステムとは異なる場所からバースト状のパルスを照射することにより、パルスを使用する他のToFシステムからの干渉を防ぐことができます。これは、複数のシステムのフレームにおいて、パルスの照射場所を調整することで実現可能です。あるいは、外付けの光検出器を使用し、他のシステムがパルスを照射する位置を検出することでも対応できます。それ以外に、バースト状のパルスの照射位置を動的かつランダムに変化させる方法もあります。この方法では、複数のシステム間でタイミングを調整する必要はなくなりますが、干渉を完全に排除することはできません。
  • パルスのタイミングと幅が均一である必要はありません。そのため、異なるタイミングを使用することで、ダイナミック・レンジを広げたり、自動露光などの機能を実現したりすることができます。

パルスを使用するシステムのデメリット

  • 照射光とシャッターのパルス幅は同一でなければならないので、システムでは高精度のタイミング制御を行う必要があります。アプリケーションによっては、ピコ秒レベルの精度が求められることもあります。
  • 最大限の効率を得るためには、照射するパルスの幅を非常に短くしつつ、出力はできるだけ高めなければなりません。したがって、レーザーのドライバは、非常に高速な立上がり/立下がりエッジ(1ナノ秒未満)を実現する必要があります。
  • 温度に対するキャリブレーションは、連続波を使用するシステムよりも複雑になる可能性があります。温度の違いが個々のパルス幅に影響を及ぼし、オフセットとゲインだけでなく、直線性にも影響が及ぶからです。
  • 先述したように、パルスを使用するシステムの大半は、CMOSセンサーを採用していません。そのため、以下のようなデメリットが生じます。
    • 通常、パルスを使用するToFシステムでは、深度のデータをデジタル化して出力するために、外付けのアナログ・フロント・エンドが必要になります(但し、バックエンドの処理の複雑さによっては、連続波を使用するシステムにも外付けのプロセッサが必要になることがあります)。
    • システムの構成(特にToFセンサーの電源に関する要件)に依存し、より多くのコンポーネントと電源電圧が必要になります。

その他の深度センシング技術

ToF以外の深度マッピング技術に関する知識を得ておけば、トレードオフについて理解するのが容易になります。先述したとおり、あらゆる深度検出システムには、用途やアプリケーションの要件に応じたメリットとデメリットが存在します。

ステレオ・ビジョン

ステレオ・ビジョンによる深度のセンシングは、複数のカメラを互いに一定の距離だけ離して配置することで実現します(図6)。人間の目と同様に、空間内にある基準点は、各カメラにおいては異なる位置にあります。2台のカメラの間でその点に対する関係が明らかになれば、その点の空間位置を計算することができます。この対応点の探索には、膨大な計算を伴う複雑なアルゴリズムが必要になります。

図6. ステレオ・ビジョンによる3D深度センシング
図6. ステレオ・ビジョンによる3D深度センシング

メリット

  • 特別な照明を必要としません。
  • 2台のカメラだけでデータを取得できるので、一般的に低コストです(但し、対応点の探索と3D画像の作成には、高度なアプリケーション・プロセッサが必要になることがあります)。

デメリット

  • 2台のカメラの間で対応点が得られるだけのコントラストが存在しない場合、距離を計算することはできません。壁が白く、2台のカメラの視野の間にコントラストが存在しない場合や、周辺光が不十分な環境で測定を行いたい場合には、そうしたことが頻繁に起きる可能性があります。
  • 測定する距離が長くなるほど、2台のカメラの視点からそれぞれ異なる位置に対応点が存在するように、2台のカメラを遠く離して配置しなければならなくなります。したがって、長い距離を測定する必要のあるアプリケーションでは、間違いなくフォーム・ファクタの問題が発生します。

パターン照射

パターン照射(Structured Light)では、既知の基準ドット・パターンを対象物に投影します。3Dの物体に対して投影を行うと、基準パターンに歪みが生じます。その歪みを2Dカメラによって捕捉します。投影した元の基準パターンと歪みを比較することにより、歪み具合に基づく深度マップを計算することができます。

図7. パターン照射による深度マッピング
図7. パターン照射による深度マッピング

メリット

  • 近距離(2m未満)において、非常に高い空間分解能と非常に高い精度を得ることができます。

デメリット

  • 1つの情報フレームを抽出するのに複数回の投影が必要になります。そのため、フレーム・レートは低くなる可能性があります。結果として、動く物体から距離の情報を抽出するのは難しくなります。
  • 対象とする測定範囲が広くなると、カメラの照射源をレンズから遠く離れた位置に配置しなければならなくなります。照射源が近いと、パターンの歪みを認識できなくなる可能性があるからです。このような理由から、小さなフォーム・ファクタが求められるアプリケーションでは、パターン照射は実用的な手段にはならない可能性があります。実際、パターン照射を使用するシステムは、2mを超える深度測定アプリケーションではあまり使用されません。
  • 屋外の周辺光が、歪みパターンに干渉を及ぼす可能性があります。そのため、これは屋内で使用するアプリケーションに適した方式だと言えます。

アナログ・デバイセズのToF技術

アナログ・デバイセズは、ToF向けのソリューションとして、パルスとCCDセンサーを使用するシステムを提供しています(図8)。その中核にあるのがADDI9036です。同製品は、ToFに必要なあらゆる機能を内蔵したシグナル・プロセッサです。分解能が12ビットのA/Dコンバータ(ADC)や、深度プロセッサ、高精度のタイミング・ジェネレータなどを内蔵しています。これらのうち、深度プロセッサは、CCDセンサーから得た未処理の画像データを深度データ/ピクセル・データに変換する役割を果たします。タイミング・ジェネレータは、CCDセンサーとレーザー向けのタイミング信号を生成します。高精度のタイミング信号を生成可能なコア部により、45MHzのクロック周波数において、約174ピコ秒の精度でクロックとLD出力を生成することができます。

図8. アナログ・デバイセズのToFシステム
図8. アナログ・デバイセズのToFシステム

アナログ・デバイセズのToFシステムは、以下の点において他のソリューションとは一線を画します。

  • 640×480の解像度を備えるToFセンサーを使用します。この値は、競合するToFソリューションの解像度の4倍に相当します。
  • 波長が940nmの光に対して高い感度が得られるセンサーを使用します。先述したように、周辺光が非常に強い環境では、特に周辺光の影響によって、反射信号のS/N比が著しく低下します。940nmという波長は、太陽光スペクトルにおいて、光子束が比較的小さい波長域に属します(図9)。そのため、波長が940nmのレーザーは、広く採用されるようになっています。アナログ・デバイセズのToFシステムでは、波長が940nmの光に対して高い感度を発揮するCCDセンサーを使用します。そのため、屋外の環境や周辺光が強い場所においても、より多くのデータを取得することができます。
図9. 太陽光スペクトルにおける光子束と波長の関係
図9. 太陽光スペクトルにおける光子束と波長の関係

深度プロセッサが備える疑似ランダム化アルゴリズムと特殊画像処理を組み合わせることにより、干渉を排除することができます。その結果、複数のToFシステムを同一の環境で稼働させることが可能になります。

図10. 屋外で取得した深度マップの比較
図10. 屋外で取得した深度マップの比較

図10に示したのは、異なる深度測定システムを使用して屋外で画像を取得した例です。波長が850nmの光源とCMOSセンサーを使用するToFシステムでは、人物も三脚台も判別できない状態になっています。それに対し、CCDセンサーを採用したアナログ・デバイセズのToFシステムでは、両者をより明確に識別できています。

ToF技術が役立つアプリケーションの例

本稿の冒頭で触れたように、2Dの画像に深度の情報を追加すれば、有用な情報を読み取ったり、情報の質を大幅に高めたりすることができます。例えば、2Dで画像を取得しただけでは、実際の人間と写真を照合することはできません。それに対し、深度の情報も抽出すれば、顔と身体の両方の特徴をトラッキングし、人物の特定精度を高めることができます。ToFによる深度センシングをセキュリティ分野に適用すれば、顔認証の質と信頼性を高めることが可能になります(図11)。解像度と深度の精度が高いほど、分類アルゴリズムの精度は向上します。この技術は、モバイル機器や家庭空間へのアクセスを許可するといったシンプルな機能にも適用できます。あるいは、企業の機密情報を保管する空間に設置された、セキュリティ機能を備えるドアに対するアクセス制御といったハイエンドな用途にも活用できます。

図11. デジタル顔認証
図11. デジタル顔認証

深度センシング技術において解像度と深度の精度が高まれば、人物の特定(分類)やトラッキングはより容易になります。また、AIを適用することにより、非常に高い確度での分類が可能になります。そうした進歩は、新たなアプリケーション分野の開拓につながります。その一例が、商業施設におけるドアの自動開閉です。このアプリケーションの場合、特に強い直射日光を浴びる環境で深度センシングが威力を発揮します。他の物体ではなく、人が前に立ったときだけドアを開けることにより、ビルの管理効率が向上するだけでなく、セキュリティと安全性も高まります。

図12. ドアの自動開閉システム。深度センシングを活用すれば、人が前に立ったときだけ自動開閉を行うという機能を実現できます。
図12. ドアの自動開閉システム。深度センシングを活用すれば、人が前に立ったときだけ自動開閉を行うという機能を実現できます。

3Dアルゴリズムが更に成熟すれば、データの分析(アナリティクス)を活用することによって、人間の行動に関する多くの有用な情報を収集できるようになります。そうした機能が最初に活用されるのは、ビル管理のアプリケーションになりそうです。例えば、入退室管理システムにおいて、深度センシングを適用して人の数をカウントする機能を実現するといった具合です。垂直方向に取り付けられたセンサーで取得した深度の情報を追加することにより、非常に高い精度で人数をカウントすることができます。もう1つ想定できる用途としては、自動的にドアを解錠するシステムが挙げられます。人物を分類し、特定の人物を検出した場合だけドアを自動解錠するというものです。アナログ・デバイセズは、人数のカウントや分類の機能に向けたソフトウェア・アルゴリズムを開発しています(図13)。

深度の情報を活用することで、より厳しい条件下でも高い精度で人物を分類できるようになります。より厳しい条件の例としては、周辺光がほとんど(または全く)存在しない環境、多くの人間が密集した場所、(帽子やスカーフを着用していることから)人物と背景を区別しにくい状況などが挙げられます。最も重要な点は、人数のカウント機能が誤って起動するケースが事実上、生じなくなることです。入退室管理システムの中には、ステレオ・カメラを利用しているものがあります。ただ、ステレオ・カメラは機械的なサイズが大きく(センサーが2個必要)、高い処理能力を必要とすることから、コストとフォーム・ファクタが問題になりがちです。アナログ・デバイセズのToF技術では、センサーを1つしか使用しません。また、深度マップは直接出力できます。そのため、フォーム・ファクタの縮小と、処理能力に対する要件の緩和に大きく貢献できます。

図13. 深度センシングを利用して人物のトラッキングを行う例
図13. 深度センシングを利用して人物のトラッキングを行う例

深度センシングの応用分野としては、産業/製造/建設プロセスが重要になると考えられます。生産工程を通して、物体の寸法測定と分類をリアルタイムかつ正確に実施できるようにするのは重要なことです。高精度の深度センシングを活用すれば、倉庫の空間利用率を正確に把握することができます。製造ラインで製品が生み出されたら、搬送のために直ちにその寸法を測定する必要があります。その場合、高解像度の深度センシングによって対象物の縁や辺をリアルタイムに検出し、体積の計算を高速に実行します。そうした体積の推定は、ニューラル・ネットワークを用いたアプローチにより、既に実現されています(図14)。

図14. 3Dの寸法計測
図14. 3Dの寸法計測

製造現場では、製品の自動搬送がより一般的に活用されるようになりました。AGV(Autonomous Guided Vehicle:無人搬送車)などの自律型車両は、工場内や倉庫内を自律的かつ高速に移動する必要があります。そうした車両に高精度な深度センシングを適用すれば、センサーを使って周辺環境のマップをリアルタイムに作成し、そのマップ内の自らの位置を特定し、最も効率的な移動経路をプロットすることができます。このような技術をFA分野に導入する際の課題の1つは、同じエリアで稼働する他のセンサーからの干渉を回避することです。アナログ・デバイセズの干渉除去用IP(Intellectual Property)を活用すれば、多くのセンサーが互いの性能に悪影響を及ぼすことなく、互いの見通し範囲内で稼働することが可能になります(図15)。

図15. 製造分野への深度センシングの適用
図15. 製造分野への深度センシングの適用

ToF技術の評価、試作、設計方法

アナログ・デバイセズは、深度センシングに対応する光学センサー・ボード「AD-96TOF1-EBZ」(以下、96TOF)を開発しました。これは、Arrow Electronicsのアプリケーション・プロセッサ・プラットフォーム「Arrow 96」と共に使用できます。表1に、96TOFの光学的仕様をまとめました。

図16. アナログ・デバイセズの96TOF。深度センシングに対応する光学センサー・ボードです。
図16. アナログ・デバイセズの96TOF。深度センシングに対応する光学センサー・ボードです。
表1. 96TOFの仕様
距離 6m未満
視野 90° × 69.2°
波長 940 nm
フレーム・レート 30 fps maz
解像度 640×480ピクセル

96TOFは、Arrow Electronicsの「96Boards」に接続できます。96Boardsはプロセッサ向けのハードウェア・プラットフォーム製品ファミリです。ARM®ベースの最新プロセッサを開発者が手頃な価格で利用できるようにすることを目的としています。96Boardsの仕様に準拠して作成されたボードは、ラピッド・プロトタイピングに適しています。96Boardsは、Qualcomm®の「Snapdragon」、NXP SemiconductorsやNVIDIA®のプロセッサをサポートしています。

ToFをベースとする深度センシングは複雑な技術です。VGAセンサーの性能を最大限に引き出すには、かなりのレベルの光学的な専門知識が必要になります。光学的なキャリブレーション、高速パルスのタイミング・パターン、温度ドリフト、補償など、あらゆる事柄が深度の精度に影響を及ぼします。所望の性能を達成するためには、設計期間が長期化してしまうかもしれません。しかし、多くのお客様は、市場投入に向けた、より簡単で、迅速で、効率的なアプローチを求めています。そこで、アナログ・デバイセズは、お客様が機会を適切に捉えられるようにするためにチップダウン設計を支援しています。

多くのお客様は、実際のプロジェクトを先に進める前に採用候補となる技術を評価するためのシンプルなデモ用モジュールに関心を寄せています。アナログ・デバイセズは、ハードウェアを扱う様々なパートナー企業と提携し、様々なレベルのハードウェア製品/サービスを提供しています。そうしたパートナー企業の一例としては、Pico Technologyが挙げられます。同社は、USBを介して深度画像をPCに直接ストリーミングできるToFカメラ・モジュール「DCAM710」を提供しています(図17)。

図17. DCAM710の外観。VGAの深度センシング機能とRGBカメラの機能を備えています。
図17. DCAM710の外観。VGAの深度センシング機能とRGBカメラの機能を備えています。

DCAM710の仕様

DCAM710の主な仕様を以下にまとめます。

  • ベースは、アナログ・デバイセズのToF向けシグナル・チェーン製品/技術
  • 深度マップに加え、ToFとRGBの画像を出力できる(無効化も可能)
  • 視野:70×54
  • 深度カメラがサポートする画像サイズ:30fpsで最大640×480
  • RGBカメラがサポートする画像サイズ:30fpsで最大1920×1080
  • USB 2.0をサポート
  • サポートするOS:Android®、Linux®、Windows® 7/8/10
  • 深度センサー用SDK、サンプル・コード、ツール(「OpenNI SDK」との互換性を持つ)をPico Technologyが提供
  • Python®ベースのサンプル・アプリケーション・アルゴリズムをアナログ・デバイセズが提供

Pico TechnologyのSDKは、WindowsとLinuxに対応し、複数のソフトウェア機能をサポートします。このSDKにより、ポイント・クラウド(点群)を簡単に生成できます。対象物を囲む空間にデータ・ポイントの集合を生成できるポイント・クラウドは、3Dモデルの生成によく用いられます(図18)。

図18. 深度センシングのポイント・クラウド
図18. 深度センシングのポイント・クラウド

このデモ用プラットフォームを使えば、USBを介して未処理のデータをPCにストリーミングすることができます。そのため、シンプルなソフトウェア・アプリケーション・アルゴリズムを容易に開発できます。つまり、お客様はコードの開発を迅速に進められるようになります(図19)。

図19. DCAM710を利用した開発環境。VGAに対応する深度センシングのデータを、USBを介してPCにストリーミングすることができます。
図19. DCAM710を利用した開発環境。VGAに対応する深度センシングのデータを、USBを介してPCにストリーミングすることができます。

アナログ・デバイセズは、Pythonベースの簡単なサンプル・コードを提供することでお客様の評価作業を支援しています。図20に示したのは、Pythonベースのサンプルの一例です。人物を検出/分類し、深度の測定を行って、センサーに対する人物の相対位置をリアルタイムに特定する機能を実装しています。他にも、エッジの検出、物体の追跡、3Dのセーフティ・カーテンといった機能を実現するアルゴリズムを提供しています。

図20. 人物の分類と距離の検出
図20. 人物の分類と距離の検出

ToFを使用する製品の実現方法

アナログ・デバイセズの96TOFは、チップダウン設計に役立つリファレンス・デザインとして利用できます。またDCAM710は、高いコスト効率で技術を評価するための手段となります。ただ、お客様が実際に製品を開発する際には、異なるソリューションや、よりカスタマイズされたソリューションが必要になるケースが少なくありません。例えば、AGVのシステムでは、エッジ・ノードのセンシング・モジュールからの出力はギガビット・イーサネット(GigE)/イーサネットで取得できることが望ましいケースがよくあります。それが可能であれば、エッジ・ノードのセンシング・モジュールから中央のコントローラ(CPU/GPU)まで、未処理の深度データを高速かつ高い信頼性で送信することができます。

エッジ・ノードである程度の処理を実施し、メタデータだけをコントローラに送信したいというケースもあります。その場合、エッジ・ノードでは、深度を測定する小さなフォーム・ファクタのモジュールに、ARMまたはFPGAをサポートする集積型のプロセッサを組み合わせるのが望ましいでしょう。アナログ・デバイセズは、様々なエコシステムを構築しているパートナー企業と提携しているので、お客様のあらゆる要件に対応することができます。

図21. 産業用AGVにおける深度センシング。ナビゲーション、衝突の回避を実現します。
図21. 産業用AGVにおける深度センシング。ナビゲーション、衝突の回避を実現します。

各パートナー企業は、完全なカメラ製品だけでなく、外部筐体を持たず、より大きなシステムに搭載できる小型光学モジュールなど、様々な製品を提供しています。図21に示したのは、外部筐体を持たず、大きなシステムに簡単かつ機械的に実装できる小さなMIPI(Mobile Industry Processor Interface)モジュールを使用する例です。アナログ・デバイセズのパートナー企業は、必要に応じてハードウェア、光学部品、アプリケーション・プロセッサのカスタマイズも行います。各パートナーは、USB、イーサネット、Wi-Fi、MIPIなどに対応するモジュールを提供しています。また、エッジ・ノード用の集積型プロセッサなども提供します。

アナログ・デバイセズとハードウェア分野のパートナー企業は、ソフトウェア分野のパートナー企業とも連携しています。それらの企業は、深度処理のアルゴリズムに関する専門知識をアプリケーションのレベルで提供することができます。

まとめ

高解像度の深度イメージングを利用すれば、新しいアプリケーション分野の難易度が高く複雑な問題を解決できます。そのため、アナログ・デバイセズのお客様は、その技術の導入を迅速に進めることを迫られています。最も早く、低リスクかつ低コストで製品を市場に投入するための手段は、小さなフォーム・ファクタ、高い精度、手頃な価格という条件を満たし、大きなシステムに搭載できるモジュールを利用することです。アナログ・デバイセズの96TOFは、あらゆる機能を備える評価用のプラットフォームです。これを利用することにより、お客様は直ちに技術の評価を行い、アプリケーション用のコード開発に着手することができます。ToF技術、ハードウェア、パートナー企業に関する情報を得たい方は、ぜひアナログ・デバイセズにお問い合わせください。

著者

Colm Slattery

Colm Slattery

Colm Slatteryは、アナログ・デバイセズのストラテジック・マーケティング・マネージャです。1998年の入社以来、テスト、製品、システム・アプリケーションの開発をはじめとする様々な職務を担当。3年間にわたる中国での業務経験も有しています。現在は産業事業部門で、新たなセンサー技術やビジネス・モデルに関連する業務に取り組んでいます。アイルランドのリムリック大学で電子工学の学士号を取得しました。

Yuzo Shida

Yuzo Shida

Yuzo Shidaは、アナログ・デバイセズのヘルスケア/民生/産業グループでToF製品を担当するプロダクト・マーケティング・マネージャです。1990年にイリノイ大学アーバナ・シャンペーン校で電気工学の学士号を取得。その後、アナログ・デバイセズに入社し、民生/車載/産業の各分野に向けた様々な製品/事業の開発に携わってきました。