一眼看懂
封面预览
论文提出了 Adaptive Q-Chunking (AQC) 方法，旨在解决离线到在线强化学习中动作分块大小固定的问题
- 论文提出了 Adaptive Q-Chunking (AQC) 方法，旨在解决离线到在线强化学习中动作分块大小固定的问题
- 核心思想是根据当前状态自适应地选择分块大小，在自由空间运动时使用长序列以促进信用分配，在接触密集型操作时使用短序列以实现反应式控制
- 解决了直接比较不同尺度 Q 值时存在的“折扣尺度不匹配”和“状态依赖基线不匹配”两个关键失效模式
Card 01
研究单位
研究单位
- Peking University
- Galbot
- University of Toronto
Card 02
论文概述
论文概述
- 论文提出了 Adaptive Q-Chunking (AQC) 方法，旨在解决离线到在线强化学习中动作分块大小固定的问题
- 核心思想是根据当前状态自适应地选择分块大小，在自由空间运动时使用长序列以促进信用分配，在接触密集型操作时使用短序列以实现反应式控制
- 解决了直接比较不同尺度 Q 值时存在的“折扣尺度不匹配”和“状态依赖基线不匹配”两个关键失效模式
Card 03
核心贡献
核心贡献
- 提出了 AQC 方法，通过基于优势的原则性准则在每个状态自适应地调整分块大小
- 提供了理论分析，证明了优势选择器的噪声免疫特性以及自适应分块相对于固定分块策略的价值优势
- 在 OGBench 和 Robomimic 基准测试中实现了最先进的离线和在线成功率
- 展示了该方法能够增强大规模视觉-语言-动作（VLA）模型在 RoboCasa-GR1 任务上的性能
Card 04
方法描述
方法描述
- 训练一个长视界评论家 $Q^h$ 和长视界价值函数 $V^h$，并通过期望回归拟合部分评论家 $Q^k$ 和每尺度基线 $V^k$
- 部分评论家通过以 $V^h$ 为引导目标进行训练，仅拟合 $k$ 步残差，减少了多步 TD 误差的累积
- 推理时计算“折扣归一化优势”评分 $\frac{Q^k(s,a) - V^k(s)}{\gamma^k}$，并在每个尺度内进行 Z-score 归一化以选择最佳分块大小和动作
- 行为策略通过流匹配行为克隆进行训练
Card 05
数据集与资源
数据集与资源
- 使用了 OGBench 和 Robomimic 数据集进行基准评估
- 使用了 RoboCasa-GR1 数据集进行大规模 VLA 模型实验
- 集成了 GR00T N1.6 作为 VLA 模型的骨干网络
- （具体的计算资源如 GPU/TPU 信息见附录，文中截断部分未详细列出）
Card 06
评估与结果
评估与结果
- 评估环境包括 OGBench（如 puzzle-3x3, scene, cube-double 等任务）和 Robomimic
- 评估指标为任务的离线和在线成功率
- 实验结果表明，AQC 在多样化任务中优于现有的离线到在线 RL 方法（如 IQL, RLPD）和固定分块方法（如 QC, DQC）
- 在 RoboCasa-GR1 接触密集型操作任务中，该方法显著提升了 VLA 模型的性能，超过了先前的分块评论家方法