作者：Philip Sharos，边缘AI首席工程师
2026年1月20日
在真实物理世界中训练机器人，不仅进展缓慢、成本高，而且难以规模化。机器人研究人员在开发AI策略时，十分依赖高质量数据，尤其是针对复杂任务，例如抓取柔性物体或在杂乱环境中自主移动。这些任务依托于机器人所用的传感器、电机和其他组件采集的数据。然而，在现实世界中生成这些数据既耗时，又需要大量硬件基础设施。
仿真提供了一种可规模化的替代方案。通过并行运行多个机器人运动场景，团队可以显著压缩数据采集时间。然而，大多数仿真环境都面临取舍：要么侧重运行性能，要么侧重物理精度。
高保真、贴近真实世界的仿真模型，往往需要庞大的计算资源和漫长的运行时间。这种仿真尽管精度极高，但速度缓慢，产生的数据有限，降低了其效用。为提升速度，许多开发者选择简化模型，但这会导致训练与部署之间脱节，即业内所称的“仿真到现实差距”。其结果是，仅在仿真环境中训练的机器人在现实场景下常常表现不佳。面对包含噪声、干扰和缺陷的真实传感器数据时，其行为策略容易失效。
为了应对这一挑战并加快仿真速度，ADI公司开发了一种基于机器学习的代理模型。在我们的测试中，该模型能够以近实时的性能模拟间接飞行时间(iToF)传感器的行为，同时保留真实传感器输出的关键特性。该模型为机器人策略的规模化、真实性场景训练带来了真正的突破性加速，同时为复杂仿真开辟了前进之路。
实现真实世界精度水平的传感器仿真
在机器人感知领域，iToF传感器（如ADI的ADTF3175）已是常见配置。此类传感器会发射规律性的光信号，然后通过计算光的反射数据来实现深度测量。在现实世界中，传感器会产生读出噪声，为了训练出可靠的机器人策略，必须将这种干扰考虑在内。然而，大多数仿真环境提供的是理想化的传感器数据。以NVIDIA的Isaac Sim™为例，其提供的深度图基于几何形状，而非基于现实世界传感器的带噪声输出。
针对这一不足，ADI此前开发了一种基于物理机制的仿真器，它能对iToF传感器的行为进行像素级建模。虽然该仿真器精度极高，但速度过于缓慢，不适合全帧实时使用。其帧率仅为0.008 FPS，远不足以支持需要每秒生成成千上万个场景的AI策略训练任务。
利用机器学习加速仿真
突破源于将机器学习用于模拟高保真仿真器的输出。我们训练了一个多层感知器(MLP)模型作为代理，以模拟精确白盒仿真器的行为。尤为重要的是，团队设计的这个替代模型不仅要学习平均输出，还要反映原始仿真器的变异性和噪声特性。
代理模型将任务分解为三个子任务：
- 预测理应得到的深度测量值。
- 考虑不确定性，估算标准偏差。
- 预测像素的深度测量值是否会无效或无法解析。
代理模型利用此概率输出捕捉原始仿真器的核心随机行为，同时大幅加快推理速度。最终得到的仿真运行速度为17 FPS。这样的速度足以满足实时使用需求，同时与高保真模型相比，误差可保持在约1%。
在Isaac Sim中进行现实世界验证
构建代理模型后，团队将该模型集成到NVIDIA的Isaac Sim环境中。针对机械臂执行插销装配任务的数字孪生测试表明，该模型与原始仿真器输出高度吻合。输出甚至包含了标准仿真中不存在的噪声。
真实iToF传感器对近红外(NIR)范围内的光学效应很敏感，而这一特性在标准仿真中常常被忽略。此外，iToF性能会因表面材料的不同而有所差异。为了确保代理模型能够刻画这两种行为，团队采用了快速替代推断方法，并调整了所仿真物体的NIR反射率，从而更准确地复现传感器在物理实验中的行为。
该技术有效降低了仿真数据与真实传感器数据之间的不一致性，尤其是在哑光表面场景中。这些改进尽管仍不完善，但在缩小仿真与现实之间的差距方面已取得了显著成效。团队正在积极探索其他改进措施，包括对底层物理模型和图形处理流程进行调整。
下一步：提高保真度和泛化能力
该代理模型为机器人训练工作流中的iToF传感器仿真提供了一个基础框架，使快速且逼真的仿真成为可能。但这只是探索的第一步。接下来的研究将借助物理信息神经算子(PINO)模型，在提高仿真精度的同时，减少对大量训练数据的依赖，并实现对多种场景和任务的有效泛化。
未来的目标是消除对中间白盒仿真器的需求。通过直接使用真实世界的传感器数据来训练模型，仿真器可以更容易适应各种环境，而无需手动调整或针对特定场景进行校准。
这些进展有望大幅缩短机器人系统落地所需的时间，并显著降低部署成本。理想情况下，这项工作将推动机器人在物流、制造、产品检测等领域，乃至更广泛行业中的应用。
