一眼看懂
封面预览
提出一个统一的框架，连接行为克隆（BC）预训练与强化学习（RL）微调，以解决探索不足的问题。
- 提出一个统一的框架，连接行为克隆（BC）预训练与强化学习（RL）微调，以解决探索不足的问题。
- 核心目标是解决标准BC预训练导致的动作分布狭窄、缺乏覆盖的问题，从而提升下游RL微调的样本效率。
- 该框架通过预训练阶段扩展动作支持，并在微调阶段动态控制探索与利用的平衡。
Card 01
研究单位
研究单位
- University of Washington
- Amazon FAR
Card 02
论文概述
论文概述
- 提出一个统一的框架，连接行为克隆（BC）预训练与强化学习（RL）微调，以解决探索不足的问题。
- 核心目标是解决标准BC预训练导致的动作分布狭窄、缺乏覆盖的问题，从而提升下游RL微调的样本效率。
- 该框架通过预训练阶段扩展动作支持，并在微调阶段动态控制探索与利用的平衡。
Card 03
核心贡献
核心贡献
- 提出了Context-Smoothed Pre-training (CSP) 方法，通过前向扩散噪声注入政策输入，创建精确模仿与广泛动作覆盖之间的连续体。
- 开发了Timestep-Modulated Reinforcement Learning (TMRL) 算法，使RL代理能在微调过程中动态调整扩散时间步，实现对探索程度的显式控制。
- 该框架无缝适配多种政策输入（如状态、3D点云、图像），并被证明在仿真与真实世界任务中均有效。
- 理论分析与实证实验表明，CSP相比标准BC及此前方法提供了更优的动作覆盖，从而赋能更高效的RL微调。
- 成功在真实机器人操作任务中，于一小时内实现了有效的RL微调。
Card 04
方法描述
方法描述
- CSP预训练：利用前向扩散过程对政策输入（context）进行噪声注入，训练一个能在任意噪声水平下查询的政策。低噪声模仿精确行为，高噪声则逼近边缘动作分布，实现覆盖与精度的插值。
- TMRL微调：将预训练的CSP政策作为可转向的基础政策，并引入一个高层RL政策，该政策不仅选择初始噪声，还选择应用于输入的噪声水平（即扩散时间步），以此动态调节探索强度。
- 关键创新在于将扩散时间步作为明确的控制变量，使策略能“学习”何时依赖精确模仿、何时拓宽动作支持以进行探索。
Card 05
数据集与资源
数据集与资源
- 使用了 OGBench 套件中的 pointmaze 等仿真基准。
- 在真实机器人上进行了操作任务验证。
- （注：原文片段未明确列出模型具体参数规模、参数量或训练所用GPU/TPU等详细资源信息。）
Card 06
评估与结果
评估与结果
- 评估环境包括仿真（如2D点迷宫、操作与导航任务）与真实世界机器人操作任务。
- 主要评估指标为RL微调的样本效率与任务成功率。
- 关键结果显示：CSP预训练显著提升了动作覆盖与未见任务的零样本性能。
- TMRL在仿真任务的RL微调样本效率上优于现有最先进方法，包括基于行动噪声或无引导的方法。
- 在真实世界任务中，TMRL在一小时内实现了成功的策略微调，而基线方法成功率接近零。