简单的传感器融合仅将两个数据流的潜在表示拼接在一起，往往收效甚微，甚至适得其反。常见的融合方法，如VTFSA、ConViTac 和 AdapTac ，尝试通过学习权重和注意力机制来解决这个问题。这些方法将任务视为纯粹的数据问题：让AI模型自行判断哪些数据重要。没有任何一种方法将抓握和插入的实际物理原理融入其中。

核心问题在于数据不匹配。腕部摄像头提供整个场景的64×64彩色图像。每个触觉传感器生成单个指尖的32×32力图。这些输入在尺度、单位和含义上各不相同。当模型必须从零开始学习两者之间的关系时，往往会失败，尤其是在训练初期，此时触觉信号噪声大且稀疏。

以往的研究使用门控或注意力机制重新加权每个数据流。这些方法有所帮助，但仍然依赖于模型找到合适的融合方式。更有效的解决方案是利用已知物理原理，告诉模型在触觉数据中应关注什么。

ADI公司在ICRA上发表 的一篇新论文正是这样做的。作者Wonju Lee、Matteo Grimaldi和Tao Yu提出了一个跨模态Transformer(CMT)框架，利用平衡抓握力（一个源自人类运动控制的概念）将物理约束直接嵌入到视触觉融合中。

在将插头插入插座时，需要保持手指两侧的力量大致相等，才能成功完成任务。Morasso和 Bizzi等人的研究表明，这种平衡是稳定抓握的关键。该团队将这一见解转化为模型架构设计元素，并引入辅助损失函数：该函数关注潜在空间中两根手指之间的触觉力图，并在训练过程中惩罚左手指和右手指力模式之间的差异。这促使机器人在整个插入过程中保持抓握平衡。

CMT模型架构包含两个组件：

1. 自注意力机制将左右触觉信号关联起来，使模型将其视为一对。
2. 交叉注意力机制允许摄像头数据流查询触觉数据流，以询问“我需要什么校正？”触觉数据流通过揭示错位情况的力模式进行响应。

整个系统采用近端策略优化(PPO)进行端到端训练，将任务奖励与力平衡惩罚相结合，这种方法源于更广泛的物理信息机器学习领域。

团队使用TacSL 基准进行评估，该基准在NVIDIA的GPU加速强化学习环境IsaacGymEnvs中运行。评估结果显示，采用力平衡惩罚的CMT插入成功率达到了96.59%。这一成功率比简单融合(92.97%)高出3.62个百分点，并且优于门控融合(94.53%)。CMT的表现还几乎追平了可以使用模拟器中真实接触力的基线(96.09%)。真实机器人无法获取这些力，因此弥合这一差距至关重要。

这些进步体现在行为上，而不仅仅是数字上。在简单融合的情况下，插入销钉时与插座壁的接触会导致抓握失去平衡。机器人摇晃、重新抓取，浪费步数。使用CMT时，受力均匀，插头笔直插入。平均而言，CMT每次插入所需的步数减少了2.83%。在螺丝任务的补充测试中，仅依靠触觉的策略达到了100%的成功率，甚至超过了真实力基线。这表明，当接触是任务的全部时，仅凭高分辨率触觉就能实现精确装配。

速度也表现出色。CMT的运行速度为每秒153帧，每次前向传播耗时6.52毫秒，远高于实时机器人控制所需的60Hz标准。

对于构建自动化装配系统的团队来说，有三点尤为突出。

• 对于紧配合任务，触觉传感并非可有可无，而是必不可少。
• 传感器数据的融合方式与传感器本身同样重要。仅仅购买优质的触觉传感器是不够的，还需要一个能够有效利用传感器的模型。
• 基于物理学的方法减少了针对特定任务进行调优的需求。平衡抓握力之所以有效，是因为大多数抓握任务遵循相同的物理原理。此外，CMT以153fps的速度运行，可在标准硬件上部署，无需任何专用硬件。

所有测试均在仿真环境中进行。目前尚无真实机器人实验结果。平衡抓握力方法仅在对称插头上进行了测试。论文描述了如何通过校准步骤将其扩展到非对称物体，但该方法尚未经过验证。仅在CMT中添加平衡抓握力带来的增益较小（从96.22%增加到96.59%），且某些方法之间的误差棒存在重叠。这项研究还未涉及近期出现的语言引导融合方法（例如VTLA），这些方法采用了不同的思路。