FG-CLTP: Fine-Grained Contrastive Language Tactile Pretraining for Robotic Manipulation

• 中国科学院自动化研究所
• 北京智源人工智能研究院

• 论文提出 FG-CLTP 框架，旨在解决现有触觉-语言表征缺乏定量物理信息（如力的大小、接触几何、主轴方向）的问题，以支持机器人精细操作。
• 该框架通过将三维触觉点云与定量的接触状态语言描述进行对齐，实现了从定性语义到定量物理控制的提升。
• 论文构建了一个大规模数据集，并基于所学习的细粒度表征开发了一个用于接触丰富型操作任务的策略学习架构。

• 提出 FG-CLTP 对比预训练框架，引入离散数值标记化策略，弥合定性语言语义与定量物理接触状态之间的鸿沟，统一的3D点云表示实现了仅3.5%的仿真到现实差距。
• 引入 Contact3D 数据集，包含超过10万个标注样本，覆盖136个物体，独特地将3D变形点云与显式的接触状态标签配对。
• 开发 3D-TLA 下游策略架构，基于流匹配策略，将分词化的触觉表示无缝集成到端到端的接触丰富型操作任务中。

• 采用 统一的3D触觉表示，将触觉信号表示为具有固定拓扑结构的点云，显式捕捉变形场，实现跨传感器通用。
• 提出 离散数值标记化 机制，将连续的物理属性（如深度、力、方向）离散化为特定的语言标记（如 ），实现物理度量与语言语义空间的精确对齐。
• 采用 对比语言触觉预训练 方法，在预训练的CLIP架构上进行多模态对齐，并冻结原有词嵌入，仅优化新增数值标记的嵌入以防止灾难性遗忘。
• 引入 辅助物理回归 损失（MSE），在触觉编码器上添加轻量级回归头，直接监督数值物理属性的预测，增强特征表示的物理敏感性。

• Contact3D 数据集：包含超过 100,000 个同步的多模态样本，覆盖 136 种物体，包括3D变形点云、触觉图像、物理信号（力/力矩）及详细的接触状态标签。
• 模型基于 ULIP-2 架构，3D触觉输入采样 Np=529 个点，在Contact3D数据集上以9:1比例划分训练集和测试集进行训练评估。

• 离线基准评估：

- 在接触状态分类任务上，达到 95.9% 的平均准确率，显著优于基线方法。

- 在接触状态回归任务上，将宏平均MAE降低了 52.6%，宏平均R²达到 0.960，证明了对物理量的精确解码能力。

- 在跨传感器泛化测试中，在GelStereo 2.0真机测试上准确率为 92.4%，与仿真结果的差距仅 3.5%，并能在未见过的DM-Tac传感器上实现零样本泛化（平均准确率 86.5%）。

• 真实世界实验：

- 在管插入、擦板、书写三项具有挑战性的接触丰富型任务中进行了验证。

- 结果表明，集成该框架的 3D-TLA 策略生成的轨迹更平滑、更符合接触状态，在任务成功率上显著优于强基线方法。