一眼看懂
封面预览
论文提出 DIAL（Driving-Intent-Amplified reinforcement Learning）框架，解决连续动作驾驶策略…
- 论文提出 DIAL（Driving-Intent-Amplified reinforcement Learning）框架，解决连续动作驾驶策略…
- 核心目标是扩展并保持策略的采样分布，从而突破偏好强化学习在最佳-of-N评估中的性能瓶颈
- 研究表明，基于演示训练的连续动作策略无法生成多样化的驾驶意图，限制了偏好优化的效果
Card 01
研究单位
研究单位
- Li Auto
- Tsinghua University
- CUHK MMLab
Card 02
论文概述
论文概述
- 论文提出 DIAL（Driving-Intent-Amplified reinforcement Learning）框架，解决连续动作驾驶策略在单轨迹监督微调（SFT）下存在的模式崩溃问题
- 核心目标是扩展并保持策略的采样分布，从而突破偏好强化学习在最佳-of-N评估中的性能瓶颈
- 研究表明，基于演示训练的连续动作策略无法生成多样化的驾驶意图，限制了偏好优化的效果
Card 03
核心贡献
核心贡献
- 识别单样本SFT导致的模式崩溃是偏好RL的关键瓶颈：即使最佳-of-128采样，基线模型的RFS分数仍低于人类演示（8.13）
- 提出意图条件分类器自由引导（CFG），通过8种驾驶意图将采样分布扩展至语义不同的机动模式，将最佳-of-128上限提升至 RFS 9.14
- 设计多意图GRPO训练框架，在偏好优化过程中保持意图多样性，将held-out RFS从 7.681 提升至 8.211
Card 04
方法描述
方法描述
- 采用两阶段训练流程：第一阶段使用意图条件CFG扩展流匹配动作头的采样分布；第二阶段通过多意图GRPO在偏好RL中保持多样性
- 定义8种规则驱动的驾驶意图：巡航、左右变道、左右转弯、掉头、加速、减速
- 提出抗奖励黑客的RFS奖励变体，使用标签-softmax聚合替代硬最大值，并密集化锚点时间戳（从{3s,5s}扩展至{1s,2s,3s,4s,5s})
Card 05
数据集与资源
数据集与资源
- 使用 WOD-E2E（Waymo Open Dataset for End-to-End Driving）数据集
- 基于模型 MindVLA-U1 进行实验
- RL训练使用438序列的RFS标注验证池，按338/100划分训练集和held-out集（split_seed=43）
Card 06
评估与结果
评估与结果
- 评估基准：WOD-E2E RFS协议，主要指标为Rater Feedback Score（RFS）
- 关键结果：
- 意图CFG采样将最佳-of-128上限提升至 RFS 9.14，首次超越之前最佳规划器RAP（8.5）和人类演示（8.13）
- DIAL框架将held-out RFS从7.681提升至 8.211（提升0.515），所有单意图基线均未达到8.00
- 相比基线模型，DIAL获得最高的held-out提升（+0.515）和信任域率增长（从54.7%至68.0%）