一眼看懂
封面预览
论文提出一个高效的视觉-语言-动作（VLA）数据增强框架，旨在解决仿真数据因视觉域差距和缺乏环境多样性而导致真实世界泛化能力弱的问题。
- 论文提出一个高效的视觉-语言-动作（VLA）数据增强框架，旨在解决仿真数据因视觉域差距和缺乏环境多样性而导致真实世界泛化能力弱的问题。
- 该框架将仿真视频转换为逼真的训练视频，同时保留任务语义和动作轨迹，并引入生成加速和选择性采样策略以实现高效大规模增强。
- 核心目标是通过生成视觉多样化的数据来提升VLA模型在真实环境中的鲁棒性和泛化性能，缓解模型对固定动作序列的过度记忆。
Card 01
研究单位
研究单位
- 原文未明确列出作者所属的研究机构，仅提及研究获得中国国家自然科学基金支持。
Card 02
论文概述
论文概述
- 论文提出一个高效的视觉-语言-动作（VLA）数据增强框架，旨在解决仿真数据因视觉域差距和缺乏环境多样性而导致真实世界泛化能力弱的问题。
- 该框架将仿真视频转换为逼真的训练视频，同时保留任务语义和动作轨迹，并引入生成加速和选择性采样策略以实现高效大规模增强。
- 核心目标是通过生成视觉多样化的数据来提升VLA模型在真实环境中的鲁棒性和泛化性能，缓解模型对固定动作序列的过度记忆。
Card 03
核心贡献
核心贡献
- 提出了一个端到端的视频迁移框架，有效弥合了VLA数据增强中的仿真到真实差距。
- 设计了一种分段（三阶段）的速度缓存策略，通过重用扩散模型去噪过程中的速度预测，将视频生成时间减少了超过60%。
- 提出了一种轨迹级核心集采样方法，结合策略难度（通过策略损失衡量）和视觉多样性（通过嵌入表示衡量），用于选择高价值的轨迹进行增强。
- 在多个仿真基准（Robotwin 2.0, LIBERO, LIBERO-Plus）和真实机器人平台上进行了广泛实验，证明了方法的一致有效性。
Card 04
方法描述
方法描述
- 技术流程包括：从仿真视频中提取语义和结构条件（视频描述和深度图），使用LLM重写描述以引入环境多样性，然后利用条件视频扩散模型合成逼真视频。
- 引入速度缓存机制以加速视频生成：通过分析扩散去噪过程中速度预测的变化动态，将过程划分为初始、稳定和调整三个阶段，在稳定阶段重用缓存的速度值，大幅减少计算量。
- 采用核心集采样策略进行选择性增强：构建一个k近邻图来编码视觉多样性，通过前向消息传递聚合难度信息，并通过反向消息传递抑制冗余样本，从而选出既困难又多样的轨迹子集。
Card 05
数据集与资源
数据集与资源
- 使用的数据集包括 Robotwin 2.0、LIBERO 和更具挑战性的 LIBERO-Plus 基准，以及一个真实机器人实验平台。
- 涉及的VLA模型包括 RDT-1B、ACT、π₀ 和 π₀.₅。
- 训练资源使用了GPU（如 A100）进行模型训练和视频生成。
Card 06
评估与结果
评估与结果
- 评估环境包括上述仿真基准和真实世界的机器人操作任务（如堆叠胶带、插槽笔）。
- 主要评估指标为任务成功率。
- 关键实验结果：在Robotwin 2.0单任务学习中，方法使 RDT-1B 在“困难”场景的平均成功率提升 10%；在多任务学习中，仅增强10%数据即提升平均成功率 8%。
- 在 LIBERO-Plus 基准上，方法使 π₀ 模型的平均性能提升 5.1%。
- 真实机器人实验中，使用增强数据训练的 π₀.₅ 和 π₀ 模型的平均成功率分别从60%提升至 73% 和 75%，在分布偏移（位置和背景变化）下表现出更强的鲁棒性。