一眼看懂
封面预览
论文提出 Probabilistic Chunk Masking (PCM) 方法，旨在解决基于 GRPO 的视觉-语言-动作（VLA）模型强…
- 论文提出 Probabilistic Chunk Masking (PCM) 方法，旨在解决基于 GRPO 的视觉-语言-动作（VLA）模型强…
- 研究发现梯度计算占据了约 78% 的训练时间，而非通常认为的轨迹收集，且现有方法将计算均匀分配在对学习贡献较小的轨迹阶段
- PCM 通过选择性分配梯度计算资源，仅对包含有效学习信号的“结果分歧”阶段进行反向传播，从而显著提升效率
Card 01
研究单位
研究单位
- Indian Institute of Technology Madras
Card 02
论文概述
论文概述
- 论文提出 Probabilistic Chunk Masking (PCM) 方法，旨在解决基于 GRPO 的视觉-语言-动作（VLA）模型强化学习微调中计算成本高昂的问题
- 研究发现梯度计算占据了约 78% 的训练时间，而非通常认为的轨迹收集，且现有方法将计算均匀分配在对学习贡献较小的轨迹阶段
- PCM 通过选择性分配梯度计算资源，仅对包含有效学习信号的“结果分歧”阶段进行反向传播，从而显著提升效率
Card 03
核心贡献
核心贡献
- 发现并量化了 GRPO 训练中的主要瓶颈在于梯度计算而非轨迹收集，揭示了均匀计算分配的低效性
- 提出了 PCM 方法，利用成功-失败动作方差作为代理信号，将梯度计算集中到少数关键语义阶段
- 理论证明了成功-失败动作方差 $C_c$ 是真实梯度方差 $V_c$ 的有效代理，并推导出了最优预算分配策略（Neyman allocation）
- 在不需要奖励模型或额外 Critic 的情况下，实现了计算效率的大幅提升
Card 04
方法描述
方法描述
- 将轨迹划分为多个语义阶段，计算每个阶段的成功-失败动作方差 $C_c$ 作为衡量学习信号强度的指标
- 基于方差指标在线更新各阶段的保留概率，根据 Neyman 分配原则按概率采样固定预算 $B$ 的关键块
- 物理移除未被选中的块，仅对保留的块构建 Masked Objective 进行反向传播，从而减少激活内存和计算量
Card 05
数据集与资源
数据集与资源
- 基础模型：OpenVLA-OFT（7B 参数量的视觉-语言-动作模型）
- 评测基准：LIBERO-Object、LIBERO-Spatial、LIBERO-Goal
- 训练框架：基于 SimpleVLA-RL 的 verl 流水线
- 硬件资源：2 NVIDIA H100 GPUs
Card 06
评估与结果
评估与结果
- 评估指标包括壁钟时间、成功率、激活内存峰值及梯度更新时间
- PCM 在达到 98% 收敛成功率时实现了 2.38x 的壁钟时间加速
- 梯度更新速度提升 4.8x，激活内存峰值降低 60%（从 10.1GB降至4.1GB）
- 仅使用少于 20% 的轨迹块即可达到与全轨迹 GRPO 相同的最终成功率
- 消融实验证明方差感知的概率选择策略优于随机掩码和仅选最高方差阶段的策略