UniVTAC: A Unified Simulation Platform for Visuo-Tactile Manipulation Data Generation, Learning, and Benchmarking

• ScaleLab, Shanghai Jiao Tong University
• D-Robotics
• ViTai Robotics
• The University of Hong Kong
• Nanjing University
• Shenzhen University
• Wuhan University
• Fudan University
• Tsinghua University

• 提出 UniVTAC，一个用于视触觉（visuo-tactile）操纵的统一仿真平台，旨在解决大规模、可靠的触觉数据获取困难和缺乏统一评估基准的问题。
• 该平台集成了数据生成、表征学习和系统评估三大模块，包含UniVTAC Encoder（预训练的视触觉编码器）和UniVTAC Benchmark（包含八个任务的仿真基准）。
• 核心目标是利用高保真仿真，生成可控的大规模触觉交互数据，以支持下游接触密集型操纵任务的学习与评估。

• 提出了基于仿真的视触觉数据合成平台UniVTAC，支持三种常用视触觉传感器，并能可控地生成丰富的接触交互数据。
• 设计了UniVTAC Encoder，这是一个通过大规模仿真合成数据和多任务监督（如重建、姿态估计）预训练的视触觉编码器，用于提取触觉中心化的表征。
• 提出了UniVTAC Benchmark，这是一个包含八个代表性视触觉操纵任务的仿真基准，支持自动化数据生成和统一策略评估，以进行系统化分析。
• 通过仿真和真实世界机器人实验，全面评估了所提方法的有效性，证明了UniVTAC Encoder能显著提升下游策略在接触密集型任务上的成功率。

• 平台构建：基于TacEx框架和NVIDIA Isaac Sim，支持GelSight Mini、ViTai GF225、Xense WS三种传感器，并集成了自动化的操纵API（Grasp, Move等）和接触感知的自适应控制机制以生成高质量数据。
• UniVTAC Encoder：采用ResNet-18作为共享编码器，通过多通路（形状感知、接触感知、姿态感知）监督进行预训练，学习从原始触觉图像中解耦出物体的几何形状、局部接触动力学和空间姿态信息。
• 关键技术：设计了多任务损失函数，包括形状重建损失、接触形变损失和姿态回归损失，以联合优化编码器，使其学习到具有物理意义的触觉表征，且部署时仅保留编码器，无额外推理开销。

• 使用的数据集：通过自动化流程生成了包含14种不同几何基元（如球体、星形）的合成视触觉数据，共205,826个样本。
• 模型规模：UniVTAC Encoder 以 ResNet-18 为骨干网络，参数量未明确给出。
• 训练资源：未在提供内容中明确指定具体的GPU/TPU等训练硬件资源。

• 评估环境：在UniVTAC Benchmark（八个任务）上进行仿真评估，并在真实的Tianji Robotics Marvin机械臂平台（配备ViTai GF225触觉传感器）上进行实物验证。
• 主要评估指标：任务成功率。
• 关键实验结果：

- 在仿真基准上，整合了UniVTAC Encoder的ACT策略，平均成功率从仅视觉输入的30.9%提升至48.0%，优于对比方法VITaL（40.5%）。

- 消融实验证明了形状、接触和姿态三个感知通路的组合对于实现最佳性能至关重要。

- 预训练数据规模实验表明，模型性能随着合成数据量的增加而单调提升。

- 在真实世界任务（插管、插USB、扶正瓶子）中，整合UniVTAC Encoder的策略比纯视觉策略的平均成功率提高了25%，从43.3%提升至68.3%。