一眼看懂
封面预览
针对大规模分布式环境下视觉-语言-动作（VLA）模型强化学习训练面临的系统性瓶颈问题，提出了 D-VLA 高并发、低延迟分布式强化学习框架。
- 针对大规模分布式环境下视觉-语言-动作（VLA）模型强化学习训练面临的系统性瓶颈问题，提出了 D-VLA 高并发、低延迟分布式强化学习框架。
- 解决了高保真物理模拟与深度学习模型高VRAM/带宽需求之间的资源冲突，该冲突常导致整体吞吐量受限于执行阶段的低效。
- 通过物理隔离高频训练数据与低频权重控制，设计异步流水线，显著提升了十亿至万亿参数级VLA模型的训练吞吐量和采样效率。
Card 01
研究单位
研究单位
- 清华大学
- 北京大学
- 天津大学
- 北航大学
- JDT AI Infra
Card 02
论文概述
论文概述
- 针对大规模分布式环境下视觉-语言-动作（VLA）模型强化学习训练面临的系统性瓶颈问题，提出了 D-VLA 高并发、低延迟分布式强化学习框架。
- 解决了高保真物理模拟与深度学习模型高VRAM/带宽需求之间的资源冲突，该冲突常导致整体吞吐量受限于执行阶段的低效。
- 通过物理隔离高频训练数据与低频权重控制，设计异步流水线，显著提升了十亿至万亿参数级VLA模型的训练吞吐量和采样效率。
Card 03
核心贡献
核心贡献
- 提出“平面解耦”设计与四线程异步流水线架构，物理隔离高频数据交互平面与低频权重控制平面，实现了数据采样、策略推理、梯度训练和参数分布的完全计算重叠。
- 引入分层内存管理与拓扑感知扩展策略，包含双池GPU内存管理模型和零拷贝数据交换机制，有效缓解内存碎片，并优化跨节点通信效率。
- 在复杂基准（如LIBERO）上验证了系统的优越稳定性和采样效率，证明其能处理长序列、大规模交互数据，显著超越现有主流分布式RL基线。
Card 04
方法描述
方法描述
- 采用“平面解耦”核心设计理念，将训练过程中的高频数据平面与低频权重控制平面物理隔离，从根本上消除模拟与训练任务间的干扰。
- 设计四线程异步“泳道”执行流水线，使数据收集、模型推理、梯度计算和参数分布并行重叠，实现了计算与通信的完全重叠。
- 引入双池内存管理模型，将内存显式划分为“模型计算池”和“环境辅助池”，防止物理引擎频繁分配/释放导致的内存碎片崩溃。
- 采用局部拓扑复制策略，将高频张量流限制在本地高速互联内，并结合FSDP技术进行全局梯度归约，优化通信计算比。
Card 05
数据集与资源
数据集与资源
- 评估基准：LIBERO 基准、ManiSkill 物理仿真框架。
- 模型架构：扩散模型 π0.5、自回归Transformer模型 OpenVLA-OFT。
- 硬件资源：16-GPU集群（用于主要对比实验）、多节点环境（用于扩展性测试）。
Card 06
评估与结果
评估与结果
- 评估环境：在 ManiSkill 仿真框架内，对比 RLinf-VLA 和 RL-VLA³ 等主流框架。
- 主要指标：系统吞吐量（steps/s）、单步处理时间、Rollout与Actor组件时间分布。
- 关键结果：在π0.5模型上，D-VLA (3:1配置)吞吐量达237.0 steps/s，比基线提升86.26%；在OpenVLA-OFT模型上，吞吐量达156.0 steps/s，比基线提升44.44%。多节点扩展测试中保持线性加速和稳定性。训练成功率曲线表明异步机制不影响策略质量与收敛性。