增强视觉传感器功能：3D图像拼接算法帮助扩大视场

摘要

得益于出色的深度计算和红外(IR)成像能力，飞行时间(TOF)摄像头在工业应用，尤其是机器人领域越来越受欢迎。尽管具有这些优势，但光学系统的固有复杂性往往会约束视场，从而限制独立功能。本文中讨论的3D图像拼接算法专为支持主机处理器而设计，无需云计算。该算法将来自多个TOF摄像头的红外和深度数据实时无缝结合，生成连续的高质量3D图像，该图像具有超越独立单元的扩大视场。借助拼接的3D数据，应用先进的深度学习网络能够彻底改变可视化及与3D环境的交互，深度学习网络在移动机器人应用中特别有价值。

简介

飞行时间(TOF)摄像头作为出色的测距成像系统脱颖而出，它利用TOF技术来确定摄像头与图像中每个点之间的距离。通过测量激光器或LED发射的人造光信号的往返时间，便可计算出距离。TOF摄像头提供精确的深度信息，因此在准确距离测量和3D 可视化至关重要的应用中，比如在机器人和工业技术应用中，该摄像头是极具价值的工具，例如能够在270°的视场(FOV)范围执行碰撞检测和人体检测，从而提高安全性。

ADTF3175 TOF传感器的校准FOV可达到75°。然而，当应用的FOV超出该区域时，挑战出现，此时就需要多个传感器。如果通过集成各个传感器的数据来为整个视场提供全面的分析，这可能会造成困难。一个潜在解决方案是让传感器对部分FOV执行算法，然后将输出传输至主机以进行整理。然而，该方法面临区域重叠、死区和通信延迟等问题，导致其成为很难有效解决的复杂问题。

另一种方法是将从所有传感器捕获的数据拼接成单个图像，随后在拼接的图像上应用检测算法。该过程可卸载至单独的主机处理器，从而减轻传感器单元的计算负荷，留出空间执行高级分析和其他处理选项。然而，值得注意的是，传统图像拼接算法本身非常复杂，会消耗主机处理器相当一部分的计算能力。此外，由于隐私原因，在许多应用中，数据无法发送到云端进行拼接。

ADI公司的算法解决方案可使用深度数据的点云投影，拼接来自不同传感器的深度和红外图像。这包括使用摄像头外部位置转换捕获到的数据并将其投影回到2D空间，从而生成单张连续显示的图像。

该方法能够大幅减少计算量，有助于在边缘达到实时运行的速度，并确保主机处理器的计算能力仍可用于其他高级分析。

解决方案描述

ADI的3D TOF解决方案分4个阶段运行（参见图1）：

预处理红外和深度数据：红外和深度数据的时间同步及预处理。
将深度数据投影到3D点云：利用摄像头内参将深度数据投影到3D点云。
转换和合并点：使用摄像头的外部位置对点云进行坐标转换，并合并重叠区域。
将点云投影到2D图像：采用圆柱投影将点云投影回到2D图像。

系统与算法的挑战及解决方案

主机接收深度和红外帧

主机通过USB等高速连接方式连接到多个TOF传感器。主机收集深度和红外帧，并将其存储在队列中。

同步深度和红外数据

主机接收到的来自每个传感器的深度和红外帧在不同时间实例被捕获。为了避免因物体移动而造成的时间不匹配，所有传感器的输入需要同步到同一时间实例。使用时间同步器模块，该模块根据来自队列的时间戳匹配传入的帧。

投影到点云

通过使用每个传感器的同步深度数据，在主机上生成点云。然后，每个点云根据其各自在真实场景中的摄像头位置（参见图2）进行转换（平移和旋转）。接着，这些转换后的点云合并形成单个连续点云，覆盖传感器的组合FOV（参见图3）。

3D到2D投影

通过使用圆柱投影算法，也称为前视图投影，FOV的组合点云投影到2D画布上（参见图4）。换言之，该算法将合并点云的每个点投影到2D平面的像素上，从而生成单一连续全景图，覆盖所有传感器的组合视场。这会产生两个2D拼接图像：一个用于拼接的红外图像，另一个用于投影到2D平面的拼接深度图像。

提高投影质量

将3D组合点云投影到2D图像仍无法生成高质量图像。图像存在失真和噪点。这不仅影响视觉质量，对投影上运行的任何算法也会产生不利影响。以下章节记录了3个关键问题（参见图5）及其解决方法。

投影无效深度区域

对于超出传感器工作范围(8000 mm)的点，ADTF3175的深度数据的无效深度值为0 mm。这会导致深度图像上出现大片空白区域，并形成不完整的点云。将深度值8000 mm（摄像头支持的最大深度）分配给深度图像上的所有无效点，并利用该值生成点云。这确保了点云没有间隙。

填充未映射的像素

将3D点云投影到2D平面时，2D图像中存在未映射/未填充的区域。许多点云(3D)像素映射至同一个2D像素，因此多个2D像素仍是空白。这就会产生如图6所示的拉伸图案。为解决该问题，我们使用3 × 3过滤器，用其相邻的8个具备有效值的像素的平均红外/深度值来填充未映射的像素。这样便可获得更完整的输出图像，并消除伪影（参见图6）。