TwinRL-VLA: Digital Twin-Driven Reinforcement Learning for Real-World Robotic Manipulation

• 北京大学 多媒体信息处理国家重点实验室，计算机学院
• Simplexity Robotics
• 清华大学
• 香港科技大学

• 本文提出 TwinRL，一种数字孪生与真实世界协同的强化学习框架，旨在解决视觉-语言-动作（VLA） 模型在真实机器人操作任务中进行在线强化学习（RL）时探索效率低、探索空间受限的问题。
• 核心观察发现，VLA 模型的有效在线 RL 探索空间受其监督微调（SFT） 阶段数据分布的严重制约，导致其在未见过的场景（OOD）中学习困难且低效。
• 本文旨在利用高保真数字孪生（Digital Twin） 作为探索的“放大器”和“引导者”，来扩展探索范围并指导真实世界的在线 RL，从而大幅提升样本效率和最终性能。

• 提出了 TwinRL 框架，首次将高保真数字孪生系统性地作为探索放大器和引导者，用于提升真实世界 VLA 模型的在线 RL 效率。
• 提出探索空间扩展策略，在 SFT 预热阶段利用数字孪生生成多样化的合成轨迹，从而拓宽了模型初始的探索支持。
• 提出仿真到现实的引导探索策略，包含：1) 在数字孪生中进行高效并行在线 RL，为真实世界回放缓冲区提供 RL 风格的专家轨迹，弥合离线和在线训练的鸿沟；2) 利用数字孪生高效识别易失败但有信息量的配置，从而指导真实机器人上人在回路（HiL） 的有针对性探索。
• 在四个真实世界机器人操作任务上的系统性实验表明，TwinRL 在分布内（ID）和分布外（OOD）区域均能达到接近 100% 的成功率，收敛速度比现有方法快至少 30%，平均每个任务仅需约 20 分钟训练。

• 技术基础：构建高保真数字孪生环境（使用智能手机视频、3D 高斯泼溅（3DGS）、SAM3D、AnyGrasp 等技术快速重建），实现真实与仿真环境间的双向知识迁移。
• 创新点 1（探索放大器）：在 SFT 阶段，通过数字孪生合成多样化轨迹（改变物体初始/目标位姿、运动路径），扩展 SFT 数据分布，为后续 RL 提供更广的探索基础。
• 创新点 2（探索引导者）：在在线 RL 阶段，首先在数字孪生中进行并行 RL（采用结合模仿学习和 RL 的联合目标），生成的成功/失败轨迹用于初始化真实世界回放缓冲区，稳定训练并减少离线到在线的性能衰减。同时，利用孪生高效评估策略并识别失败率高（有学习价值）的初始状态，在真实世界 RL 中优先对这些状态进行 HiL 干预和探索。
• 关键技术：Real2Sim2Real 范式、基于物体中心位姿估计的轨迹生成、孪生与真实环境的视觉-状态对齐、以及用于指导 HiL 探索的失败感知机制。

• 使用的数据集/演示：每个任务使用 30 条真实世界示教轨迹（覆盖 ID 区域）。通过数字孪生额外生成合成轨迹（例如，60条ID + 30条OOD）用于 SFT 扩展。
• 模型规模和参数量：基于开源的通用机器人策略模型 Octo 进行构建和实验。
• 训练资源：未在提供的原文片段中明确指定 GPU/TPU 配置。

• 评估环境与基准：在真实世界的 Franka Emika Research 3 (FR3) 7-DoF 机械臂上，对四个操作任务进行评估：抓放（Pick-and-Place）、六边形块插入（Insert-Hexagon-Block）、三列块插入（Insert-Triple-Column-Block） 和 擦白板（Erase-Whiteboard）。基准方法包括 HiL-SERL 和 ConRFT。
• 主要评估指标：成功率（Success Rate， SR） 随真实世界训练时间/步数的变化。
• 关键实验结果：

- SFT 阶段：探索空间扩展策略将平均成功率提升了 42%（从仅用真实数据的 27% 提升至 67%）。

- 在线 RL 阶段：TwinRL 在 ID 和 OOD 区域均能达到接近 100% 的成功率。

- 效率：TwinRL 收敛速度比 ConRFT 和 HiL-SERL 快至少 30%，且训练更稳定，缓解了离线到在线的性能下降。

- 消融实验：验证了探索空间扩展、孪生回放缓冲区初始化、以及仿真到现实的 HiL 引导各自对性能提升的关键作用。

- 鲁棒性分析：经过 TwinRL 在线 RL 微调的策略，在背景杂乱、光照变化等未见干扰下表现出比纯 SFT 策略更强的鲁棒性。