Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation

北京通用人工智能研究院、北京航空航天大学、上海科技大学、香港大学。

当前视觉-语言-动作模型主要依赖视觉模态，缺乏处理接触丰富任务所需的精确力调节和物理直觉。本文针对此“力盲”问题，提出了从“触觉-视觉对齐”到“触觉-力对齐”的范式转变。论文介绍了TaF-VLA框架，该框架通过显式地将高维触觉观测与物理相互作用力关联起来，以实现力感知操作。核心贡献包括一个自动化触觉-力数据采集设备及由此构建的大规模TaF数据集、一个名为TaF-Adapter的触觉-力对齐模块，以及将该模块集成到VLA主干网络中形成的TaF-VLA策略。实验表明，TaF-VLA在接触丰富的任务上显著优于现有的触觉-视觉对齐及纯视觉基线模型。

1. 设计并构建了一个低成本、自动化的触觉-力数据采集设备（TaF-Device）及相应的大规模数据集（TaF-Dataset），解决了触觉-力对齐数据稀缺问题。
2. 提出了触觉-力对齐器（TaF-Adapter），该模块通过对比学习，将时序触觉观测映射到一个与力信号对齐的共享潜在空间，捕获历史依赖的接触动力学，并具有抗噪和跨传感器鲁棒性。
3. 开发了TaF-VLA模型，将预训练并冻结的TaF-Adapter集成到预训练的VLA骨干网络中，形成了一个能够执行复杂力感知操作任务的策略。

1. 数据采集与数据集构建：设计了一个具有双平台、同步驱动结构的自动化设备。该设备能对安装在两个平台上的触觉传感器和力传感器施加相同大小和方向的力，从而同步采集视觉触觉图像、6轴力/力矩和矩阵力分布图。通过更换不同硬度、几何形状的压头以及不同的视觉触觉传感器，构建了包含超过1000万帧同步数据的大规模TaF-Dataset。
2. 触觉-力对齐（TaF-Adapter）：

- 力量化：使用两个向量量化变分自编码器，分别将时序的矩阵压力图和6轴力/力矩向量量化为离散的代码本，以此作为物理力的稳定锚点。

- 时序触觉编码：使用视觉变换器提取单帧触觉图像特征，然后通过一个因果变换器聚合时序窗口内的历史观测，生成一个综合的触觉表征。

- 跨模态对齐：通过对比学习（InfoNCE损失）在共享潜在空间中对齐触觉表征和对应的量化力代码，使触觉编码器能从视觉变形中推断力动态。

1. 策略集成（TaF-VLA）：将预训练并冻结的TaF-Adapter集成到基于流匹配的VLA骨干网络（π₀.₅）中。力对齐的触觉表征与全局视觉-语言特征、机器人本体感知信息一同作为条件，用于通过流匹配学习生成动作轨迹。

• 数据集：

- TaF-Dataset：使用自研设备采集，包含6种不同的视觉触觉传感器数据。总计超过1000万帧同步的触觉观测、6轴力/力矩和矩阵力图对。

- 策略训练数据集：包含超过10,000个力感知操作演示片段，涵盖20多种不同场景。

• 训练资源：未在提供的原文中明确指定具体的硬件配置，但提及在NVIDIA RTX 4090工作站上进行推理。

• 评估环境：在真实世界的机器人操作任务上进行评估。共定义了8个接触丰富的力感知操作任务，包括管件插入、镊子夹取重物、移动电源拔出、白板擦除、果冻切片、重物提起、巧克力抓取等。
• 评估指标：任务成功率。每个模型在每个任务上进行15次试验，成功率计算为成功尝试的比例。成功标准根据具体任务以二元完成条件定义（任务是否成功完成）。