一眼看懂
封面预览
论文提出了 AcceRL，一个面向大规模视觉-语言-动作（VLA）模型的分布式异步强化学习框架。
- 论文提出了 AcceRL，一个面向大规模视觉-语言-动作（VLA）模型的分布式异步强化学习框架。
- 旨在解决传统同步强化学习框架中存在的同步障碍、物理模拟器延迟以及大规模模型数据饥渴导致的计算效率低下问题。
- 核心目标是消除同步壁垒，通过集成世界模型生成虚拟经验，大幅提升样本效率和训练吞吐量。
Card 01
研究单位
研究单位
- Wolf 1069B, Sany Group（三一集团）
Card 02
论文概述
论文概述
- 论文提出了 AcceRL，一个面向大规模视觉-语言-动作（VLA）模型的分布式异步强化学习框架。
- 旨在解决传统同步强化学习框架中存在的同步障碍、物理模拟器延迟以及大规模模型数据饥渴导致的计算效率低下问题。
- 核心目标是消除同步壁垒，通过集成世界模型生成虚拟经验，大幅提升样本效率和训练吞吐量。
Card 03
核心贡献
核心贡献
- 提出了一种高吞吐量的异步强化学习架构，通过物理隔离训练、推理和环境交互，消除了同步障碍并实现了超线性扩展。
- 首次在分布式异步强化学习流程中集成了即插即用、可训练的世界模型，通过“想象中学习”将在线样本效率提升了 200 倍。
- 在 LIBERO 基准测试中取得了最先进（SOTA）的性能，证明了框架在复杂具身控制任务中的高效性和鲁棒性。
Card 04
方法描述
方法描述
- 设计了双层异步机制：宏观异步解耦训练与数据采集，微观异步解耦环境交互与模型推理。
- 集成了基于扩散模型（DIAMOND）的世界模型，包含观测模型和奖励模型，用于生成高保真的合成轨迹。
- 提出了应对策略滞后的技术，包括价值重计算、全局优势归一化以及高斯重要性采样策略优化（GIPO）。
- 针对 VLA 模型优化实现了词汇表精简和 Token 级别策略优化，以提高计算效率和数值稳定性。
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 基准测试集，涵盖 Spatial、Object、Long 和 Goal 四个任务子集。
- 策略模型基于 OpenVLA-OFT（Llama-2-7B 架构），世界模型基于 DIAMOND 架构。
- 实验硬件使用 H200 GPU，利用 DeepSpeed ZeRO-2 技术进行分布式训练优化。
Card 06
评估与结果
评估与结果
- 在 LIBERO 基准上与 OpenVLA-OFT、RLinf-VLA 和 SimpleVLA-RL 等模型进行对比。
- 系统吞吐量随 GPU 数量呈现超线性增长，在 7 张 GPU 配置下达到 104.22 SPS，GPU 利用率保持在 94% 以上。
- 任务性能方面，在 LIBERO-Long 任务中成功率达到 99.1%，显著优于基线模型的 90.7%；在 Object 任务中达到 100% 成功率。
- 消融实验证实了价值重计算机制对训练稳定性的关键作用，以及 GIPO 算法相比标准 PPO 具有更快的收敛速度。