一眼看懂
封面预览
提出 RDGen，一种基于强化学习的机器人演示数据生成框架，旨在为 VLA 模型提供高质量训练数据。
- 提出 RDGen，一种基于强化学习的机器人演示数据生成框架，旨在为 VLA 模型提供高质量训练数据。
- 解决 VLA 模型训练中面临的数据瓶颈问题，即人类遥操作数据收集成本高、难以扩展且包含噪声。
- 利用训练好的 RL 策略作为结构化轨迹生成器，将成功的执行记录转化为高质量的演示数据。
Card 01
研究单位
研究单位
- Synthoid.ai
Card 02
论文概述
论文概述
- 提出 RDGen，一种基于强化学习的机器人演示数据生成框架，旨在为 VLA 模型提供高质量训练数据。
- 解决 VLA 模型训练中面临的数据瓶颈问题，即人类遥操作数据收集成本高、难以扩展且包含噪声。
- 利用训练好的 RL 策略作为结构化轨迹生成器，将成功的执行记录转化为高质量的演示数据。
Card 03
核心贡献
核心贡献
- 提出 RDGen，将强化学习从传统的部署控制器转变为数据生成引擎，为下游 VLA 训练提供高质量轨迹。
- 开发端到端的自动化流程，涵盖从 VLM 任务理解、语言引导物体定位到 sim-to-real RL 策略执行的全过程。
- 实验证实 RL 生成的轨迹比人类遥操作更平滑，且下游 VLA 模型在 RDGen 数据上训练效果更优。
Card 04
方法描述
方法描述
- 采用基于 Qwen3-VL 的 VLM Agent（包含 Planner 和 Verifier）解析语言指令并进行高层任务规划。
- 使用 Grounding DINO 进行语言引导的 2D 物体检测，结合深度信息实现 3D 空间定位。
- 在 Isaac Sim 仿真环境中使用 Soft Actor-Critic (SAC) 算法训练低层操作技能策略。
- 设计包含任务完成奖励、进度奖励、路径偏差惩罚等组合奖励函数，以优化轨迹平滑度与成功率。
- 通过双四元数表示和噪声注入策略解决 sim-to-real 迁移中的观测不一致性问题。
Card 05
数据集与资源
数据集与资源
- 生成的轨迹数据包含视觉观测、机器人本体感知、语言指令和可执行动作标签。
- 真机硬件包括 Marvin M6CCS 机械臂、Ruiyan RY-H2 灵巧手和 Gemini 435Le 相机。
- 训练资源使用 NVIDIA RTX PRO 6000 GPU，仿真环境为 Isaac Sim。
- RL 训练超参数设定为学习率 1e-4、Batch size 256、Temperature 0.2。
Card 06
评估与结果
评估与结果
- 评估任务为抓取灰块或可乐瓶放入纸箱的 pick-and-place 操作。
- 评估指标包括轨迹平滑度（Mean Jerk）和下游 VLA 模型（π0）的任务成功率。
- RL 策略在真机上实现 100% 任务成功率，生成的轨迹平均抖动显著低于人类遥操作（例如 Cube 任务: 0.47 vs 2.68）。
- 使用 RDGen 数据训练的 VLA 模型成功率显著高于遥操作数据（Cube: 80% vs 60%; Cola: 100% vs 70%）。