一眼看懂
封面预览
提出了 CRAFT 框架，用于解决自动驾驶策略从开环模仿学习到闭环部署时面临的分布偏移问题。
- 提出了 CRAFT 框架，用于解决自动驾驶策略从开环模仿学习到闭环部署时面临的分布偏移问题。
- 现有后训练方法存在权衡：闭环RL微调反馈真实但信号稀疏，反事实微调监督密集但估计有偏。CRAFT旨在结合两者优势。
- 核心思想是将闭环后训练问题分解为代理-残差优化，使用密集的反事实监督作为真实闭环优势的代理，并用闭环交互提供接地残差校正。
Card 01
研究单位
研究单位
- 清华大学 车辆与运载学院
- 理想汽车公司
Card 02
论文概述
论文概述
- 提出了 CRAFT 框架，用于解决自动驾驶策略从开环模仿学习到闭环部署时面临的分布偏移问题。
- 现有后训练方法存在权衡：闭环RL微调反馈真实但信号稀疏，反事实微调监督密集但估计有偏。CRAFT旨在结合两者优势。
- 核心思想是将闭环后训练问题分解为代理-残差优化，使用密集的反事实监督作为真实闭环优势的代理，并用闭环交互提供接地残差校正。
Card 03
核心贡献
核心贡献
- 提出了闭环后训练的代理-残差梯度分解公式，揭示了在相同访问状态分布下，密集但有偏的反事实监督与稀疏但真实的闭环交互之间的权衡。
- 提出了 CRAFT 框架，将反事实监督转化为密集代理，利用交互关键闭环事件作为接地残差校正，并通过来自预训练策略的自蒸馏稳定适应过程。
- 从理论和实验上验证了代理-残差设计。CRAFT在 Bench2Drive 基准上，跨越分层规划、视觉-语言-动作、词汇评分等多种策略架构，均实现了最一致的闭环增益提升。
Card 04
方法描述
方法描述
- 使用 密集反事实代理：在在线策略访问的每个状态，反事实世界评估一组候选轨迹，将其效率、安全性和合规性回报转化为组归一化的反事实优势，作为真实闭环优势的密集代理。
- 使用 接地残差校正：从执行闭环轨迹中观察到的交互关键交通事件（如碰撞、违章）推导校正奖励，通过双重裁剪的更新来对齐代理与真实闭环世界。
- 使用 在线策略自蒸馏：通过向一个从预训练策略初始化的EMA教师进行不对称KL正则化，限制策略偏离可靠的预训练行为，稳定适应过程。
Card 05
数据集与资源
数据集与资源
- 主要评估基准：Bench2Drive（基于CARLA的闭环自动驾驶评估基准）。
- 其他场景配置：LEAD 和 Longest6 V2。
- 验证的驾驶策略架构：HiP-AD（分层规划）、MindDrive（视觉-语言-动作）、SparseDriveV2（词汇评分）。
- RL基础设施：基于 RIFT 框架，支持异步轨迹收集和策略更新。
Card 06
评估与结果
评估与结果
- 评估环境：Bench2Drive 闭环仿真环境。
- 主要评估指标：Driving Score (DS)、Success Rate (SR) 和 Multi-Ability（衡量五种高级城市驾驶技能）。
- 关键实验结果：CRAFT在三种不同架构的驾驶策略上均取得了最高的DS和SR提升。例如，在 SparseDriveV2 上，CRAFT的DS达到71.10，显著优于预训练模型（66.43）和其他微调基线（PPO、GRPO等）。
- 消融实验和稳定性分析验证了密集反事实代理和接地残差校正的互补作用，并显示CRAFT具有更好的训练稳定性和缩放行为。