ADI ToF深度感測技術 : 工業/汽車等市場嶄新與即將浮現的應用

作者: 行銷經理Colm Slattery / 產品行銷經理Yuzo Shida

飛行測距(ToF)攝影機廣獲各界關注，深度感測會成為各界首選，主要是因為其具備元件尺寸小、較大的感測動態範圍、以及能在各式各樣的環境中運作等特性。在科學與軍事領域中，很早之前就開始運用ToF技術，但一直到了公元2000年初期，隨著影像感測技術的演進其版圖才開始拓展。效能方面的進步意謂著包括如ADI旗下ToF 技術未來將被部署在消費市場以外的領域，目前主要設計應用圍繞在智慧型手機、消費性裝置、以及遊戲機等產品。隨著技術逐漸成熟，業界未來將進一步採用主流製程，針對包括設計、製造、以及貨物運輸等領域的系統提高產品的效率。

包括物流、品質檢測、導向、機器人、人臉辨識、門禁、監視、保全維安、醫療、以及駕駛監視等使用情境都會運用3D深度感測ToF技術，以解決傳統2D技術目前無法克服的許多問題。另外結合高解析深度資料、強效的分類演算法、以及人工智慧等技術，都使各界未來能發掘出許多嶄新應用。

本文將探討ToF深度感測的基本原理以及兩種主流方法，並透過其和其他較常用深度感測技術做比較。之後，我們將會詳細介紹ADI的3D深度感測ToF技術 – 運用ADDI9036類比前端，包含一個完整的ToF訊號處理元件，其內部整合深度處理器，負責把VGA CCD感測器的原始影像資料處理成深度/像素資料。之後我們將討論ADI如何藉由硬體夥伴廠商的產業體系，聯手將這項技術擴展到廣大市場客群。

運作的基本理論

Figure 2. Simple diagram of time-of-flight measurement. — 圖2. 飛行測距量測的簡圖

ToF攝影機量測距離的方法，是用一個經過調變的光源(像是雷射或LED光)主動照向物體，接著再用一個對雷射光波長敏感的感測器擷取反射回來的光線(如圖2所示)。感測器量測到光源射出後一直到攝影機收到反射光之間的時間延遲∆T。這個時間延遲會和攝影機與物體(往返)距離的兩倍成正比; 因為推估的深度就是:

這裡的c是光速。ToF攝影機的目標是估算發射訊號一直到訊號回傳之間的時間延遲。

量測∆T有多種不同方法，其中有兩種最常用: 連續波(CW)法以及脈衝法。

連續波法

Figure 3. Illustration of a continuous-wave ToF system. — 圖3. 連續波ToF系統示意圖

在連續波法中，會用一個週期性調變訊號進行主動照明(如圖3所示)，之後再透過接收訊號的零差(homodyne)解調程序量測出反射光線的相位移。

舉例來說，利用正弦調變的照射訊號為:

這裡的

A_s 是訊號的波幅
B_s 是訊號的偏移
f_mod 是調變頻率 f_mod – 1/T_mod 這裡的T_mod 是調變週期

接收訊號 r(t) 則是發送訊號經過延遲與衰減後的版本:

0 ≤ α < 1 是一個衰減係數，其大小取決於距離以及表面反射率，而∆T則是回傳訊號的延遲

連續波飛行測距感測器會透過採樣量測每個像素的距離，其標的是接收訊號r(t)以及解調訊號g(t)之間的相關函數，兩個訊號的頻率皆為s(t)。在理想狀況下，解調訊號也會是正弦波:

像素進行的運算是關聯(correlation)運算

當發射訊號與解調訊號都是正弦波時，關聯值為套用到解調訊號上延遲τ 的函數，其計算公式為:

這裡的 A = A_gA_sα 而 B = αB_gB_s.

關聯函數 c(τ) 在一個週期內的四個均分步進點進行採樣(以步進90度的幅度改變照明相位移)，如公式3所示。相位偏移Φ = 2πfmod∆T 發射訊號與解調訊號的延遲可利用公式7估算:

而深度則會和相位偏移成比例:

Figure 4. Illustration of the correlation function sampling process. — 圖4. 校正函式的採樣流程

脈衝式方法

在脈衝方法中，發光源射出一連串共N個短光脈衝，之後會反射回到感測器，感測器上配置一個電子快門，在短暫的暫時性窗口內擷取一連串的反射光。如圖5所示，共有三個快門窗口或脈衝用來擷取反射的光脈衝。其中BG窗口負責擷取環境光，其它量測數據則會減去這個測得的環境光才能得到較真實的數值。

Figure 5. Illustration of the shutter windows to capture reflected light. — 圖5. 用來擷取反射光的快門窗口之示意圖

ToF ∆T 的估算是根據以下公式，使用不同快門窗口對應的量測值 :

計算距離時，則是用公式1的∆T取代公式9裡的值，於是得到公式10:

這裡要注意的是，這些公式根據的假設是脈衝為完美的矩型脈衝，但考量到硬體的種種限制根本不可能出現這種脈衝。此外，在實際狀況中，需要累積數百到數千個照明脈衝才能達到量測所需的訊噪比(SNR)。

連續波與脈衝ToF技術系統的優缺點

兩種ToF方法相對於不同應用的使用情境都各有優缺點。當前面臨的問題包括量測的距離、系統使用環境、精準度要求、散熱/功率消耗的限制、尺吋規格、以及必須考量的電源問題。該注意到現今市面上大多數連續波ToF系統都採用CMOS感測器，而脈衝式ToF系統則採用非CMOS感測器(主要為CCD)。基於這個理由，以下我們列出根據這些假設引申的優點/缺點:

連續波系統的優點:

對於不需要高精準度的應用，連續波系統會比脈衝式系統更容易實作，脈衝式系統的光源不必要求極短，可以有快速的上升/下落邊緣，然而實務上很難重製出完美的正弦波。不過如果要求的精準度更高，就必須採用更高頻率的調變訊號，但在實務上很難辦到。
由於照明訊號的週期性，從連續波系統量測得到的相位值每2π就會返轉，量測到的數值會是一個混疊(aliasing)的距離值。對於只有一個調變頻率的系統，混疊距離也是最大量測距離。為了抵銷這項限制，可以使用多個調變頻率來執行相位展開(unwrapping)，倘若兩個(或更多)不同調變頻率的相位量測在推估距離上出現一致，即可判斷物體的真正距離。這種多重調變頻率法還可用來降低多重路徑誤差，這種誤差出現在從物體折回的反射光照到另一個物體(或在多個透鏡內部反射)，之後再照到感測器以致產生量測誤差。
在所有CMOS成像器系統中，會採用標準供電軌(+5 V、+3.3 V、以及+1.2 V)，不像CCD需要用到較高的負電(–9 V)與正電(+14 V)供電軌。
根據它們的組態，CMOS ToF 成像器通常具有較高的彈性以及更快的讀出(readout)速度，因此可以實現像是感興趣區域(RoI)輸出等功能
對連續波ToF系統進行溫度校正會比校正脈衝式ToF系統來得簡單。隨著系統溫度升高，解調訊號以及照明光會隨著溫度波動出現偏移，但這樣的偏移只會影響量測距離，在整個範圍上偏移誤差會維持固定，基本上深度的線性度會保持穩定。

連續波系統的缺點:

u 儘管CMOS感測器具備比其他感測器更高的輸出資料率，但連續波感測器在多重調變頻率中需要4個校正函式樣本，以及執行多訊框(multifram)處理，才能計算深度。曝光時間越長，可能會限制系統的整體畫面更新率，或是造成動態模糊，進而對某些用途形成限制。另外較高的處理複雜度，使得系統必須採用外部應用處理器，而這類元件有可能超出應用本身的需求。
u 在高環境光照的環境中進行長距離量測時，就需要更高的持續照射功率(相較於脈衝式ToF); 然而以雷射光源進行持續照射則會衍生高溫以及可靠性方面的問題。

脈衝式ToF技術系統的優點:

脈衝式ToF技術系統通常採用高能光脈衝，在極短瞬間發射脈衝，而且整合窗口相當短。這種方法提供以下優點:
- 更容易設計出理想系統，能應付環境光照狀況，因此適合在各種戶外應用中工作。
- 較短的曝光時間，使動態模糊的問題減至較低。
在脈衝式ToF系統中，照射的工作週期通常遠低於連續波系統，因此提供以下優點:
- 在較長距離的應用中，能降低系統整體功率消耗
- 能避免其他脈衝式ToF系統的干擾，將訊框中不同位置的脈衝猝發(burst)和其他系統的脈衝猝發隔離開來。作法是運用外部光偵測器(photodetector)決定其他系統脈衝猝發的位置，藉此協調訊框中不同系統脈衝猝發在訊框中的位置。另一種方法是持續隨機配置脈衝猝發的位置，不需協調各系統之間的時序，但這種方法不能完全消除干擾。
由於脈衝時序以及寬度並不需要統一，因此可以建置不同的時序機制，藉以執行像是寬動態範圍以及自動曝光等功能。

脈衝式ToF技術系統的缺點:

由於發送光脈衝的脈衝寬度無須和快門一致，時間系統的時序控制必須高度精準，依據實際應用種類，有可能必須達到皮秒等級。
為達到較高效率，照射脈衝寬度不僅要很短，還須達到極高功率。為此，雷射驅動器的曲線必須要有高速的上升/下落邊緣(小於1奈秒)
和連續波系統相比，溫度校正流程更加複雜，這是因為溫度的波動會影響個別脈衝寬度，這不僅會牽連到偏置與增益，還會影響到線性度
如先前所述，大多數脈衝式系統並不是採用CMOS感測器，因此:
- 脈衝式ToF系統一定需要外部類比前端元件，該元件不僅能執行數位化，還能輸出深度資料(連續波系統可能還需要一個外部處理器，實際狀況端視後端處理作業的複雜度而定)
- 系統組態-尤其是ToF感測器的供電需求 – 會需要更多元件以及供電軌

其他深度感測技術

這裡我們有必要認識其他深度測繪(mapping)技術以瞭解利弊得失; 如先前所述，所有深度偵測系統依據使用情境以及應用需求都各有其不同的優缺點。

立體視覺

深度感測的立體視覺其原理是使用超過一部攝影機，彼此之間會相互隔離一定距離(如圖6所示)。類似人類眼睛，分開的每個攝影機會設定一個參考點，若兩個攝影機的參考點能夠對應到，系統就能計算出該點在空間的位置。然而，要判斷這樣的對應狀態，過程涉及到密集的運算以及許多複雜演算法。

Figure 6. 3D depth sensing using stereo vision. — 圖6. 使用立體視覺執行3D深度感測

優點

不需要主動照明
成本較低廉，因為只須用兩個攝影機擷取資料(但仍需要精密的應用處理器來搜尋對應點以及繪製3D影像)

缺點

若影像缺乏對比性讓系統在兩個攝影機之間設定對應點，就無法計算距離。在白色牆壁環境尤其常見，此時兩個攝影機看到的影像沒有對比性，還有環境中沒有足夠的環境光照。
若是量測更長的距離，兩個攝影機必須隔得更遠才能讓兩個攝影機把對應點設在不同位置。這對於必須量測更長距離的應用，問題會更加顯著。

結構光

結構光(structured light)方法的原理是把一個已知的參考點圖案投射到物體上。這個參考圖案在會在物體表面產生三維變型，之後2D攝影機會擷取到變型結果。接著再把變型影像對比投射的參考圖案，然後根據變型程度推算出深度圖(depth map)

Figure 7. Illustration of depth mapping using the structured light method. — 圖7. 使用結構光方法執行深度圖測繪

優點

能達到極高的空間解析度，以及在短距離(低於2公尺)達到高精準度

缺點

需多次投射才能擷取到一個資訊訊框，導致較慢的畫面更新率，故難以從移動中物體擷取到距離資訊。
在較長的深度範圍，攝影機的照明光源必須遠離鏡頭，倘若光源離鏡頭太近，就無法分辨圖型畸變。但在要求小尺吋的應用中，根本無法辦到。因此結構化光源系統不常用到超過2公尺的深度量測。
戶外環境光線可能與畸變圖型相互干擾，因此這種方法較適合室內應用。

ADI 深度感測(ToF)技術

ADI的ToF技術是一種脈衝式ToF CCD系統(如圖8所示)，採用高效能ToF CCD元件以及ADDI9036，這款完整的ToF訊號處理裝置整合一個12位元ADC轉換器、深度處理器(將CCD的原始影像資料轉換成深度/像素資料)、以及高精準度時脈產生器，負責為CCD與雷射元件產生時序訊號。時脈產生器的的精準時序核心讓系統能調整時脈與LD輸出，在45 MHz的時脈頻率下能達到約174 ps的解析度。

Figure 8. Block diagram of the ADI ToF system. — 圖8. ADI旗下ToF系統的模塊圖

ADI的ToF系統相較其他廠商的解決方案的差異化特色包括:

採用解析度達640x480的ToF感測器，這樣的解析度比市面上大多數其他ToF解決方案高出4倍
採用的感測器對波長940奈米光線具有高靈敏度。如先前所述，環境光會大幅降低反射訊號的訊噪比，尤其是在環境光線較強的環境。940奈米雷射越來越風行，因為其波長佔據陽光的一部分頻譜，而其光子通量(photon flux)相對偏低(如圖9所示)。ADI的ToF系統採用一個對940奈米波長光線敏感的ToF CCD元件，讓它能在戶外環境或環境光線強照的環境中擷取更多資料。

Figure 9. Photon flux vs. wavelength of sunlight. — 圖9. 光子通量對比陽光的波長

偽隨機(pseudo-randomization)演算法加上整合在深度處理器中的空間影像功能，讓系統能消除干擾(如先前所述)。如此多個ToF系統就能在相同環境中運作。

Figure 10. Depth map comparison of an outdoor image. — 圖10. 戶外影像的深度圖比較

圖10的例子顯示三種不同深度量測系統在戶外環境量測距離。注意到CMOS ToF系統採用850奈米波長的光源，很難辨識出人體和三角架，而ToF CCD系統則能更清楚地分辨兩者。

哪些應用採用ToF技術?

在介紹中提到，在2D影像中加入深度資訊，讓我們能擷取出更有用的資訊，藉此大幅改進情境資訊的品質。舉例來說，2D感測無法分辨真人或是照片。擷取深度資訊讓系統能更有效對人員進行分類，以及追蹤其臉部與身體的特徵。ToF深度感測能針對門禁驗證提供高品質且可靠的臉部辨識功能。解析度和深度的準確度越高，分類演算法的效果就越好。這方面的技術在許多簡單功能特別實用，像是允許存取行動裝置/進入我們的個人住家空間，另外還能支援許多高階使用情境，像是商業機密場所的門禁。

Figure 11. Digital face recognition. — 圖11. 數位臉部辨識.

隨著深度感測技術達到更高的解析度以及深度準確度，人員的分類與追蹤就會更加容易。運用人工智慧除了提高分類的信心度，還能進一步開拓嶄新以及即將浮現的應用。其中一種使用情境就是商業建築的自動開門功能，特別是在陽光強烈的環境。這類系統必須只為人員開門，其他一切物體都不能放行，其效益除了增進建築管理的效率，還能協助對外維安與內控保全。

Figure 12. People classification for automatic door opening. — 圖12. 自動開門系統的人員分類

隨著各種3D演算法發展越趨成熟，各界開始運用資料分析來取得有意義的資訊，以進一步瞭解人們的行為。第一波出現的很可能是建築物控制應用，像是門禁入口/出口系統的人數計算。在垂直架設感測器加入深度資訊，意謂著計算人數功能可以達到極高的準確度。另一個使用情境則是智慧型自動開門(如圖13所示)，系統對人員進行分類後，只會為偵測到的真人開門。ADI正針對人員計算與分類領域開發多種軟體演算法。

深度資訊能在許多具挑戰性的狀況中在人員分類方面達到高準確率，像是低光照或是沒有環境光線的狀況、人員密集的區域，以及人員穿戴遮蔽衣物的狀況(像是帽子、圍巾等)。最重要的是，人員計算的誤觸發狀況幾乎完全消除。目前立體攝影機已開始運用在入口/出口偵測，但由於機械尺吋的限制(兩個攝影機)以及需要高階處理器，立體系統通常較為昂貴且體積較大。由於ADI的ToF技術能直接輸出深度圖，而且只用到一個感測器，因此尺寸以及處理需求都獲得大幅的精簡。

Figure 13. People tracking algorithm using depth sensing technology. — 圖13.採用深度感測技術的人員追蹤演算法

深度感測的重要應用將出現在工業、製造、以及營建等方面。想要在生產流程中即時精準量測物體尺吋並加以分類，過程絕非易事。精準的深度感測能判斷倉庫貨架上的空間使用狀況。系統必須能快速量測從生產線送出產品的三維尺寸才能進行後續的運輸。高精準的深度感測讓系統能即時量測物體的邊緣與輪廓，並快速計算體積。許多業者已經採用類神經網路技術來判斷體積。

Figure 14. 3D dimensioning. — 圖14. 三維尺吋標注(dimensioning)

越來越多工廠採用自主機具來運送貨物。例如無人搬運車這類自主運行的機具必須在工廠以及倉庫環境，以更快速度自主行駛。高精準度的深度感測技術讓感測器能即時測繪出所處環境地圖，並找到自己在地圖中所在位置，然後規劃出最有效率的行進路線。在工廠自動化環境中部署這類技術，面臨其中一項最大挑戰，就是可能和在相同區域中運行的其他感測器相互干擾。ADI的干擾消除IP方案讓多個這類感測器在其他裝置視線無阻礙的狀況下直接運行，而且不會影響工作效能。

Figure 15. Depth sensing use cases in manufacturing. — 圖15. 製造業採用深度感測的使用情境

如何運用ToF技術進行評估、開發原型、以及研發設計?

ADI 已開發出一款光學感測器機板 (AD-96TOF1-EBZ)，其能相容於Arrow 96應用處理器平台。表1所列為該款 96TOF1機板的光學規格。

表1. ADI的96TOF光學機板規格
範圍	小於6公尺
FOV視野	90度× 69.2度
波長	940 奈米
畫面更新率	30 fps maz
解析度	640 × 480 像素

這塊機板能直接連結Arrow旗下的96Boards系列產品。96Boards系列成員包含多個硬體處理器平台，讓開發業者用戶能以合理成本採用最新Arm®架構處理器。採用96Boards規格的機板適合用在快速原型開發，而包括Qualcomm® Snapdragon™、NXP、以及NVIDIA®等處理器全都在96Boards平台的支援範圍內。

ToF深度感測是一種複雜技術，必須擁有深厚的光學專業技術才能讓VGA感測器發揮最高效能。光學校正、高速脈衝時序模式、溫度漂移、以及補償等因素都會影響到深度的準確度。有可能要歷經冗長的設計週期才能達到想要的效能。ADI雖然已經支援許多精簡晶片數量的設計來因應客戶拓展商機的需求，但許多客戶仍舊在尋求更容易、更快速、更有效率的商品化途徑。/p>

許多客戶感興趣的標的是簡單的展示模組，讓他們能先評測技術的效能，滿意之後再展開實際專案。ADI和許多領域的硬體夥伴合作，聯手提供不同層級的硬體方案。其中一家硬體夥伴廠商(Pico) 推出的DCAM710展示模組，能透過USB介面將深度影像直接串流傳輸到PC。

Figure 17. 96TOF embedded reference platform. — 圖17. DCAM710 VGA 深度感測與RGB三原色攝影機

DCAM710 模組規格

ToF攝影機DCAM710模組的規格如下:

採用ADI的ToF訊號鏈產品與技術
能輸出深度圖以及(710版本)ToF + RGB三原色影像(可關閉此功能)
FOV視野範圍70 × 54
深度攝影機支援影像尺吋 : 30 FPS更新率下可達 640 × 480 X RGB 攝影機支援影像尺寸 : 30FPS更新率可達1920 × 1080 X USB 2.0 介面
支援作業系統: 支援 Android®、Linux®、以及Windows® 7/8/10
Pico 深度感測器SDK軟體開發套件，程式碼樣本，以及相關工具 (相容於OpenNI SDK)
ADI提供以Python® 語言撰寫的範例應用演算法

Pico SDK軟體平台除了支援Windows與Linux作業系統，還支援許多軟體功能。運用點雲掃瞄法，在物體週圍空間產生整片的資料點，這種方法經常用來產生3D模型，我們也可透過SDK輕易產生這種模型。

Figure 18. DCAM710 VGA depth sensing and RGB camera. — 圖18. 深度感測技術測繪出的點雲

由於這個展示平台能透過USB介面將原始資料傳送到電腦，因此很容易開發簡單的軟體程式演算法，協助客戶迅速編寫程式。

Figure 19. Depth sensing point cloud. — 圖19. VGA 深度感測元件透過USB介面將資料串流傳送到PC

ADI 提供以Python語言撰寫的簡單範例程式協助客戶進行評測。以下範例展示的截圖，是一段以Python語言撰寫的即時處理程式碼，其用來偵測與分類人員，之後再套用深度量測程序來判斷人員處在感測器的相對位置。現有的其他演算法包括邊緣偵測、物體追蹤、以及3D消防安全幕。

Figure 20. VGA depth sensing streaming to PC via USB. — 圖20. 人員分類與距離偵測

如何運用ToF技術開發實際產品?

ADI的96TOF參考設計方案相當實用，以協助客戶開發晶片數量精簡的設計，而DCAM710展示平台也提供低成本的技術評測途徑，在許多情況中，客戶可能需要不同或更加客製化的解決方案以展開生產。舉例來說，在AGV系統中，通常不會透過GigE或乙太網路從邊緣節點輸出資料。這種強固方法適合傳送高速原始深度資料，從邊緣節點傳送到感測器模組以及中央樞紐CPU/GPU控制器。

Figure 21. People classification and range detection. — 圖21. 工業自動導引車採用深度感測技術(導向/碰撞規避)

在其他應用中，客戶可能希望建置某些邊緣節點處理機制，以及僅把元資料傳回到控制器。在這類情況中，小尺寸深度節點模組結合內建式邊緣節點處理器，支援包括Arm與FPGA等元件，會是更具吸引力的方案。ADI已經發展出第三方廠商產業體系，這些業者的產品將能滿足所有客戶的各種需求。

這些第三方廠商提供各式各樣的功能，從完整攝影機產品，一直到沒有外殼且能輕易裝入較大系統的小型光學模組。若有需要，還可選用ADI的夥伴廠商網路提供的客製化硬體、光學元件、以及應用處理器。我們夥伴廠商目前的模組涵蓋USB、乙太網路、Wi-Fi、MIPI、以及各種整合式邊緣節點處理器等領域。

此外，ADI本身以及硬體夥伴廠商還與外部軟體夥伴合作，聯手將深度處理演算法方面的專才發揮至軟體層面。

總結

高解析深度成像技術的優點，包括能在許多嶄新以及即將浮現的應用領域中解決各種困難且複雜的任務，而這樣的狀況，也促使客戶必須加快採用的腳步。當前迅速、風險小、成本低的產品上市途徑就是透過平價、小尺寸、高精準度、以及能整合到更大系統的模組。ADI的96TOF參考設計平台提供完整的嵌入式評估平台，讓客戶能立即評估技術以及著手開發程式碼。歡迎聯繫ADI洽詢有關ADI ToF技術、硬體、或是我們硬體產品夥伴廠商的詳細資訊。