TGM-VLA: Task-Guided Mixup for Sampling-Efficient and Robust Robotic Manipulation

• 清华大学深圳国际研究生院（Shenzhen International Graduate School, Tsinghua University）
• 人形机器人创新中心（The National and Local Co-Build Humanoid Robotics Innovation Center）

• 本文提出了一种名为 TGM-VLA 的整体框架，旨在解决机器人模仿学习中数据效率低、视觉感知鲁棒性差以及对干扰物敏感的挑战。
• 主要问题包括：现有关键帧采样策略导致的数据冗余与内存浪费、点云重投影到黑色背景时低对比度物体的识别困难，以及模型在含干扰物的多目标场景下性能下降。

• 提出了优化的关键帧采样策略，通过数据去重、异常清洗和采样优化，将重放缓冲区存储减少 85%，训练速度提升 5倍。
• 引入了颜色反转点云投影分支，通过生成标准视图和反色视图来增强低对比度物体的感知能力。
• 提出了任务引导的混合增强策略，包括跨任务混合以增强语言-动作对齐，以及任务内混合以捕捉多模态动作分布，提升模型对干扰物的鲁棒性和多目标决策能力。
• 该方法在 RLBench 和 COLOSSEUM 基准测试中取得了最先进的结果。

• 模型架构：一个从3D点云和语言指令到动作命令的映射模型。将多相机点云正交投影为多视图图像，并使用SAM2视觉编码器和CLIP文本编码器提取特征，通过多视图Transformer融合，最终通过上采样头输出2D动作热图以预测6-DoF位姿。
• 创新点：1）优化的数据层采样策略，诊断并修复了重复运动、逆运动学限制等故障模式；2）引入颜色反转分支以解决低对比度问题；3）提出任务引导的点云混合策略（跨任务与任务内），在2D热图空间进行对齐与融合，以增强泛化能力。

• 主要数据集：RLBench 机器人学习基准。
• 对比基准：COLOSSEUM 基准（包含14种干扰设置）。
• 训练资源：使用 2块 A6000 GPU 进行训练。
• 模型规模与参数量：基于SAM2和CLIP等预训练基础模型构建。

• 评估环境：在RLBench的18个任务和COLOSSEUM的14种干扰设置下进行评估。
• 主要指标：任务成功率。
• 关键结果：

- 在RLBench上，TGM-VLA 的平均成功率达到了 90.5%，超越了之前的最佳方法（如BridgeVLA的88.2%）。

- 在COLOSSEUM 干扰基准上，TGM-VLA 的平均成功率达到了 68.8%，同样取得了最佳性能，尤其在物体纹理和尺寸变化等干扰下表现出色。

- 消融实验证明了优化的关键帧采样、颜色反转分支以及任务引导混合策略各自的有效性。