Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation

• Kevin Yuchen Ma (1,2), Heng Zhang (1,3), Weisi Lin (3), Mike Zheng Shou (2), Yan Wu (1)
• 机构标注显示作者可能来自新加坡南洋理工大学或类似研究机构，论文具体机构名称未在提供的HTML片段中明确列出。

• 论文提出了一种名为Semantic-Contact Fields (SCFields)的统一3D表示，旨在解决类别级、可泛化的、依赖接触的机器人工具操作问题。
• 核心目标是弥合高层语义规划（知道“在哪里”使用工具）与高保真物理控制（知道“如何”调节接触力）之间的鸿沟，使策略能够泛化到未见过的工具变体。
• 主要挑战在于大规模获取真实世界触觉数据极其困难，而直接从模拟到现实进行零样本迁移又因软体传感器复杂的非线性变形动力学而极具挑战性。

• 提出了Semantic-Contact Fields (SCFields)，一个融合了预训练视觉模型语义特征与密集外部接触估计（接触概率和力矢量）的不变3D表示。
• 引入了一个包含两阶段的模拟到现实接触学习流程：首先在大规模模拟数据上预训练以学习通用接触物理；然后在少量通过几何启发式和力优化生成伪标签的真实数据上微调，以实现传感器特性对齐。
• 基于PointNet++的“触觉即点云”统一网络架构，将触觉信号与场景几何直接融合，无需独立的姿态编码器即可处理动态抓握适应。
• 将SCFields作为密集观察输入，用于训练一个3D扩散策略，在真实世界的刮擦、蜡笔画画和削皮任务上实现了鲁棒的类别级泛化，显著优于纯视觉和原始触觉基线。

• 方法分为两个主要阶段：接触场学习和策略学习。
• 接触场学习：使用统一的多模态感知模型，将原始观测（工具/环境点云、触觉传感器读数、本体感觉）映射到工具表面密集的外部接触场（每个点包含接触概率和3D力矢量）。采用两阶段训练：1) 在大规模合成数据集（300个工具实例，32万帧）上进行模拟预训练；2) 在少量使用启发式几何和凸优化（SOCP）生成伪标签的真实世界校准数据上进行微调（真实世界对齐）。
• 创新点与关键技术：使用“Tactile-as-PointCloud”架构进行触觉-视觉融合；通过焦点损失 (Focal Loss)处理类别不平衡；通过真实世界对齐策略有效弥合模拟-现实差距，无需高保真模拟或仪器化工具。

• 使用了大规模合成数据集，包含300个独特工具（刮刀、蜡笔、削皮器）和320,000帧数据，通过多模拟器流水线（IsaacGym, TacSL, Open3D, PyBullet）生成。
• 收集了少量真实世界校准数据（用于微调），通过结构化的刮擦任务和伪标签生成方法获得。
• 模型基于PointNet++架构。
• 训练资源：模拟训练使用GPU集群，具体型号和数量未在提供的片段中详细说明。

• 评估环境与基准：在配备两个GelSight Mini触觉传感器和三个RealSense D435摄像头的Franka Emika Panda机器人上进行真实世界实验。评估了三个任务：刮擦、蜡笔画十字、胡萝卜削皮。
• 主要评估指标：

- 接触场评估：F1分数（接触检测）、力向量均方误差 (MSE)。

- 策略评估：成功率(SR)、清洁效率(Eff)、归一化效率(Eff Norm)、绘画一致性(0-1分)、接触率、切入率、平均削皮长度。

• 关键实验结果：

- 接触场模型：与纯模拟(Sim-Only)和纯真实(Real-Only)模型相比，提出的对齐模型(Ours Aligned)在未见过的工具上（如蜡笔）取得了最高的F1分数（0.657）。

- 策略性能：SCFields在所有任务上均显著优于基线（Vision-Only, Raw Tactile）。例如，在刮擦任务中，对未见工具的归一化效率达到84.7%，而纯视觉基线仅为35.1%。在削皮任务中，平均削皮长度达到4.52厘米，是纯视觉基线（1.12厘米）的四倍。

- 消融实验证明了接触力向量估计的重要性（“No Force”模型性能下降），以及两阶段模拟-现实对齐策略的有效性。