一眼看懂
封面预览
论文提出了 Learning While Deploying (LWD) 框架，这是一个车队规模的离线到在线强化学习框架，用于通用机器人策略的…
- 论文提出了 Learning While Deploying (LWD) 框架，这是一个车队规模的离线到在线强化学习框架，用于通用机器人策略的…
- 核心目标是解决离线预训练不足以应对现实部署中分布偏移、长尾失败和任务变化等问题，通过部署过程中收集的车队经验实现策略持续改进
- 论文要解决的关键问题是如何从异构、稀疏奖励的车队数据中稳定学习，并将价值改进转化为流式策略的有效更新
Card 01
研究单位
研究单位
- Shanghai Innovation Institute
- AGIBOT Finch
- Columbia University
Card 02
论文概述
论文概述
- 论文提出了 Learning While Deploying (LWD) 框架，这是一个车队规模的离线到在线强化学习框架，用于通用机器人策略的持续后训练
- 核心目标是解决离线预训练不足以应对现实部署中分布偏移、长尾失败和任务变化等问题，通过部署过程中收集的车队经验实现策略持续改进
- 论文要解决的关键问题是如何从异构、稀疏奖励的车队数据中稳定学习，并将价值改进转化为流式策略的有效更新
Card 03
核心贡献
核心贡献
- 提出了 Distributional Implicit Value Learning (DIVL) 用于鲁棒价值估计，学习多步回报分布并使用分位数作为自举目标，优于标量期望值回归
- 采用通过 伴随匹配的 Q-learning (QAM) 进行策略提取，将评论梯度转换为流模型的逐步监督，实现稳定且高效的政策更新
- 设计并实现了车队规模的离线到在线 RL 系统，形成数据飞轮：部署机器人收集经验，聚合经验更新策略，改进策略再部署
- 在真实机器人车队上验证了框架有效性，证明了单个通用策略可随车队经验积累而持续改进，尤其在长期任务上显著优于模仿学习方法
Card 04
方法描述
方法描述
- DIVL 方法学习状态条件下的价值分布，而非标量值函数，并通过 τ 分位数作为时序差分目标，保留高回报模式并避免标量评论的过度保守
- 引入自适应 τ 策略，利用价值分布的熵作为不确定性信号，动态调整 τ 值：分布扩散时降低 τ 以减少过高估计，分布集中时保持乐观目标
- QAM 方法将轨迹级策略优化转化为沿参考流的局部回归目标，避免直接通过多步去噪过程反向传播评论梯度的不稳定和高计算成本
- 系统采用统一的两阶段训练：离线预训练使用静态缓冲区初始化策略、评论和价值模型；在线微调混合离线与在线缓冲区数据，持续更新并周期性再部署
Card 05
数据集与资源
数据集与资源
- 使用人类收集的 离线演示数据集 作为初始策略的监督学习来源和离线训练缓冲区
- 模型为 Vision-Language-Action (VLA) 流模型，具体参数规模未在正文明确说明，采用基于视觉语言模型的架构
- 训练涉及分布式系统：车队机器人作为异步演员收集数据，集中式学习者更新模型，具体 GPU/TPU 等计算资源未详细描述
Card 06
评估与结果
评估与结果
- 评估环境为 16 台双臂机器人，执行八个现实世界操作任务，包括语义杂货补货、泡功夫茶、调制鸡尾酒和制作果汁等长期任务
- 主要评估指标为 任务成功率，关注策略在多样化任务和长期执行中的表现
- 关键实验结果：LWD 框架使单个通用策略的平均成功率达到 95%，相比预训练模型有大幅提升，尤其长期任务收益最大，并在几小时真实交互内完成改进