LIDARによる検出距離を伸ばすトラッキング技術

はじめに

これまで、技術は、私たちを最も退屈な作業から解放するための手段として活用されてきました。現代社会に生きる私たちにとって、朝の通勤時に交通渋滞に巻き込まれたり、週末の高速道路で眠気と闘いながら長い渋滞の中を何時間も運転し続けたりするのは、非常に避けたい状況です。このような背景から、自動運転車(AV:Autonomous Vehicle)に対する期待は高まり続けています。しかし、重さが2トンにも達する金属製の物体が、人間に操られることなく自律的に走行するというのは、安全性の確保という面で非常に難易度が高いことは明らかです。そのため、安全性の確保に貢献する技術に対し、改めて注目が集まっています。

一般に、自動運転車において極めて高い安全性を達成するには1、様々な移動体(他の車両、歩行者、自転車など)の詳細な3Dマップが不可欠であると考えられています。そうした詳細なマップは、LIDAR(Laser Imaging Detection and Ranging)センサーを使用することで生成できます(図1)。そのため、システムにLIDARを搭載するのは、非常に有効な手法だと考えられています。

図1. LIDARを使用して生成したマップ

図1. LIDARを使用して生成したマップ

自動運転車が、より遠くにある路上の物体を確実に検出できるようになるほど、その物体を避けるための操作は容易になります。そこで、Analog Garage(アナログ・デバイセズの技術センター)の研究者らは、LIDARシステムによる物体の検出距離を伸ばす方法を研究しています。その成果として、物体の動きに関する物理的な制約条件を利用することにより、検出距離を伸ばす方法を開発しました。本稿では、その方法について解説します。

LIDARの動作原理

最初に、LIDARの動作原理から説明することにします。図2に、LIDARシステムの概念図を示しました。LIDARでは物体に対してレーザ・パルスを照射し、物体からの反射光がセンサーに返ってくるまでの時間を測定します。水平方向と垂直方向にレーザ光を走査することにより、LIDARシステムの前方にある光景の完全な3Dマップが生成されます。生成された個々のマップはフレームと呼ばれます。一般に、現状のLIDARシステムは10~30fps(フレーム/秒)程度のフレーム・レートに対応します。

図2. LIDARシステムの概念図

図2. LIDARシステムの概念図

レーザ光が特定の方向に放出されると、センサーはその方向から返ってくる光を取得し、電気信号(以下、帰還信号)に変換します。その上で、整合フィルタ(matched filter)という手法を適用することで帰還信号を探し出し、レーザ・パルス波形の位置を求めます。整合フィルタの出力(帰還信号)は閾値と比較され、その振幅が閾値を超えている場合には、物体を検出したという判定が下されます。

検出の限界

当然のことながら、現実の世界はすべてにおいて理想的な状態とは異なります。LIDARによる物体の検出中には、レシーバー上の様々なコンポーネントからの電気的ノイズや検出器そのものからの光学的ノイズが発生します。したがって、物体を検出できるのは、整合フィルタにおいてノイズと区別できるだけの光(帰還信号)が物体から返ってきた場合に限られます。

光の強度は、光源からの距離の2乗に比例して低下します。例えば、200m離れた場所にある物体で反射してLIDARシステムに返ってくるレーザ光の量は、同じ物体が100m離れた場所にある場合に返ってくる光の量の1/4になります。

したがって、物体が遠くにあるほど整合フィルタによる検出は難しくなります。簡単に言えば、LIDARシステムは遠くにある物体は検出できないということです。図3に示すように、イメージング(検出)の対象となる車両からの帰還信号の振幅は、距離が離れるにつれて急激に低下します。220m離れると、帰還信号とノイズを区別するのは基本的に不可能になります。つまり、帰還信号の振幅が、設定された閾値を上回ることはありません。

図3. LIDARシステムにおける帰還信号と距離の関係

図3. LIDARシステムにおける帰還信号と距離の関係

図3の例において、220mの距離にある車両を検出できるレベルまで閾値を非常に低く設定すれば、上記の問題を回避することができます。しかし、S/N比のことを考えれば、多くのノイズがあたかも帰還信号であるかのように検出されてしまうことは明らかです。その結果、3Dマップのフレームには、多数の検出点(閾値を超えた点)が含まれるようになります。それらの一部は実際に物体に対応して得られたものですが、それ以外はただのノイズです。図4にその一例を示しました。LIDARシステムで取得した1つのフレームのわずか1つの垂直スライス(ある固定の垂直角度に対応)に含まれるすべての検出点が表示されています。ほとんどの検出点はノイズを取得してしまったため表示されているのですが、いくつかは実際の物体に対応しています。このような状態で、どれがノイズに対応し、どれが物体に対応するのか、どのようにして判別すればよいのでしょうか。1つのフレームだけを使ってそのような判別を行うのは困難です。しかし、数フレーム分のデータを使用すれば、判別処理を実施することができます。

図4. LIDARシステムで取得したフレームの垂直スライス

図4. LIDARシステムで取得したフレームの垂直スライス

ファイアフライ・プロセス

数フレーム分のデータを使用すると、なぜ上述した判別が可能になるのでしょうか。それについて説明するために、検出点を次のようにモデル化することにします。例として、ホタル(ファイアフライ)が箱の周りを飛び回っており、その光が一定の時間おきに見える状況を考えます。残念ながら、周辺の環境からも光がランダムに到るところで発生する可能性があるとしましょう。更に都合の悪いことに、ホタルの光を時々見落としてしまうことがあり、その位置を完璧に特定することはできないとします。

ここで1つの基本的な疑問が生じます。それは「一連の光があり、それぞれが1つのフレームからの光である場合に、それらすべてがホタルの光であるか否かを把握することはできるか」というものです。このような疑問のことを、専門的には仮説検定(Hypothesis Testing)と呼びます。判断材料となる情報としては、フレームは毎秒10回(フレーム・レートが10fps)のペースで取得されるということが挙げられます。そして、もう1つの重要な事実は、ホタルはその時間内に物理的に妥当な距離しか移動できないということです。ここでは、ホタルが1フレームに相当する時間内に移動できる距離は、箱の全長よりも短いと仮定します。つまり、ホタルがその時間内に箱の全長以上の距離を移動できているとしたら、物理的に非現実的な速度で飛んでいることになります。また、2つのフレームにおいて、それぞれ逆の向きに1匹のホタルが移動することもないとします。したがって、それを実現できているとしたら、そのホタルは物理的に非現実的な加速度を達成しているということになります。

まとめると、ホタルがたどる軌跡は、現実のホタルが実際にたどり得る軌跡でなければならないということです。この情報を、ホタルの光の検出に利用します。つまり、このような制約条件を適用することにより、ホタルの軌跡とノイズによる軌跡を区別することが可能になります(ファイアフライ・プロセスによるトラッキング)。仮説検定では、任意の長さの軌跡から数学的な制約条件を求めてそれを検出処理に適用します。連続する2つまたは3つのフレームが与えられる場合、単純に軌跡の速度と加速度の上限値が制約条件になります。軌跡が長い場合、制約条件はそこまで単純なものにはなりませんが、制約条件を適用すること自体はかなり簡単に行うことができます。

ファイアフライ・プロセスの適用結果

図5は、2つのシンプルな状況に対してファイアフライ・プロセスによるトラッキングを適用したものです。この結果を見れば、同手法の有用性を確認することができます。左側の図は、フレーム内に存在する物体の真のマップ(理想状態におけるマップ)です。わかりやすくするために、道路などの物体に関する情報は取り除いてあります。中央の図は、合理的な閾値を設定し、従来の手法/処理によって取得したマップです。それに対し、右側のマップは、ファイアフライ・プロセスを適用して取得しました。同プロセスを適用した結果、300mほど離れた位置にある物体も検出することができています。最先端のLIDARシステムを使用した場合でも検出距離は約150mなので、多大な効果が得られていることがわかります。

図5. ファイアフライ・プロセスの効果を示す深度マップ

図5. ファイアフライ・プロセスの効果を示す深度マップ

表1は、ファイアフライ・プロセスによって得られた結果と従来の手法によって得られた結果を比較したものです。それぞれについて、検出率(%単位)と(1フレームあたりの)誤検出の数を示しています。検出に使用する閾値は、事前に収集した統計的データに基づき、特定のピーク値が99.9%の信頼度で物体に対応するように設定してあります。このような設定を行った場合、従来の手法では検出率が非常に低くなります。それに対し、制約条件を適用するファイアフライ・プロセスによってトラッキングを行えば、かなり高い検出率が得られることがわかります。

表1. 数値情報の比較

クラスタのサイズ 長さ 検出率〔%〕 誤検出の数
ファイアフライ・プロセス
3
4
5
6
7
8
9
10
67.7
65.6
61.5
58.8
55.1
51.6
46.9
40.6
3.14
0.12
0.04
0.02
0.03
0.02
0.00
0.00
整合フィルタを使用し、ピーク値の信頼度を99.9%に設定 1
10
20
50

19.1
18.0
13.1
6.7
52.00
14.34
0.00
0.00

まとめ

ファイアフライ・プロセスでは、物体の移動に関する限界値を制約条件として使用します。つまり、検出器やシグナル・チェーンではなく、測定の対象となる物体そのものに付随する制約条件を検出処理に利用します。検出率を高めるその能力からは、重要な教訓が得られます。その教訓とは、システムの構成要素以外の事柄から得られる制約条件や概念を適用することで、従来の検出器やシグナル・チェーンが抱える課題を解消できる可能性があるということです。筆者らは、今後もこのような洞察を活用し、よりスマートで洗練されたシグナル・チェーンを設計していきます。従来の枠にとらわれることなく制約条件を活用し、できるだけ大きなメリットが得られるよう工夫を続けていきたいと考えています。

本稿の執筆を支援してくれたJennifer Tang氏、Sefa Demirtas氏、Christopher Barber氏、Miles Bennett氏に感謝します。

Note

1 While there’s no accepted standard for target safety, between 94% and 98% of accidents can be attributed, at least in part, to human error—see the white paper “Safety First for Automated Driving” (SaFAD) at daimler.com.

参考資料

Jennifer Tang、Atulya Yellepeddi、Sefa Demirtas、Christopher Barber「Tracking to Improve Detection Quality in LIDAR for Autonomous Driving(自動運転向けLIDARの検出能力を改善するためのトラッキング技術)」IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)、2020年5月

Atulya Yellepeddi

Atulya Yellepeddi

Atulya Yellepeddiは、Analog Garageに所属するリサーチ・サイエンティストです。アナログ・デバイセズでは、ToF(Time of Flight)、LIDAR、レーダー、オーディオなどを対象とする信号処理や推論チェーンの開発を担当していました。適応信号処理や、信号構造/推論/情報の活用による学習などの研究に関心を持っています。アナログ・デバイセズへの入社前/在籍中に複数の特許を出願し、審査済みの論文も執筆しました。マサチューセッツ工科大学とウッズホール海洋研究所で電気工学ならびに応用海洋科学/工学の博士号を取得しています。