一眼看懂
封面预览
论文提出 Fast-dDrive，一种高效的块扩散视觉-语言-动作（VLA）模型，用于端到端自动驾驶，旨在解决现有AR VLAs的推理效率瓶颈…
- 论文提出 Fast-dDrive，一种高效的块扩散视觉-语言-动作（VLA）模型，用于端到端自动驾驶，旨在解决现有AR VLAs的推理效率瓶颈…
- 针对自动驾驶VLAs生成结构化JSON输出（包含感知、推理、元行为和轨迹四部分）的特性，设计结构感知的脚手架扩散训练方案和推测解码机制。
- 实现了高精度轨迹预测与高推理吞吐量的平衡，在WOD-E2E和nuScenes数据集上取得SOTA表现，并在单H100 GPU上实现最高 12×…
Card 01
研究单位
研究单位
- 北京大学 (Peking University)
- 香港大学 (The University of Hong Kong)
- NVIDIA
- 麻省理工学院 (MIT)
Card 02
论文概述
论文概述
- 论文提出 Fast-dDrive，一种高效的块扩散视觉-语言-动作（VLA）模型，用于端到端自动驾驶，旨在解决现有AR VLAs的推理效率瓶颈和全序列扩散模型的逻辑泄漏问题。
- 针对自动驾驶VLAs生成结构化JSON输出（包含感知、推理、元行为和轨迹四部分）的特性，设计结构感知的脚手架扩散训练方案和推测解码机制。
- 实现了高精度轨迹预测与高推理吞吐量的平衡，在WOD-E2E和nuScenes数据集上取得SOTA表现，并在单H100 GPU上实现最高 12× 的加速。
Card 03
核心贡献
核心贡献
- 结构感知结构扩散（SASD）：将结构化输出的结构token冻结为脚手架，仅对值token进行去噪；引入部分加权损失和部分自适应噪声调度，优先关注安全关键部分（如轨迹），零推理开销。
- 脚手架推测解码（SS）：利用脚手架自动接受结构token，使用MDM头并行起草值token，用AR头因果验证，实现与纯AR解码质量相当但延迟大幅降低的推理。
- 共享前缀多轨迹展开：确定性解码前三部分后，从共享KV缓存分支出N条轨迹展开并平均，以极低的额外计算成本换取显著的精度提升。
- 最优精度与高吞吐量：在WOD-E2E测试集上取得最佳ADE@3s/5s和最高RFS；单H100上达到 200+ tokens/秒，结合SGLang实现 12× 于AR基线的吞吐量。
Card 04
方法描述
方法描述
- 基于块因果掩码扩散，将输出序列按语义部分划分为块，块内双向注意力、块间因果注意力，恢复KV缓存兼容性。
- 将JSON输出的结构token（键、括号等）预填充为冻结脚手架，仅对值token进行迭代去噪，保证100%结构正确性，减少约30%去噪工作量。
- 训练时采用双流目标：结合部分加权MDM损失与因果LM损失，使单一模型支持纯扩散与推测解码两种推理模式。
- 推理时支持部分扩散（SD）和脚手架推测解码（SS）；SS模式自动接受脚手架token，并行起草值token后因果验证。
Card 05
数据集与资源
数据集与资源
- 使用 nuScenes 和 Waymo Open Dataset End-to-End (WOD-E2E) 两个自动驾驶基准数据集。
- 模型基于 Qwen2.5-VL-3B backbone，转换为块扩散架构。
- 训练使用 8× H100 GPU，在WOD-E2E训练集上微调3个epoch。
Card 06
评估与结果
评估与结果
- 评估环境为单 NVIDIA H100 GPU，Batch Size=1，对比AR基线与全序列扩散VLA。
- 主要指标：ADE@3s/5s、RFS（WOD-E2E）、L2误差（nuScenes）、TPS与Latency。
- WOD-E2E测试集：Fast-dDrive达到最佳ADE@3s（1.240）和ADE@5s（2.821），RFS为 7.827；吞吐量达 210.4 TPS（比AR基线快 4×，比全序列扩散快 6×）。
- nuScenes验证集：平均L2误差降至 0.32m（比基线提升 22%）。
- 结合SGLang时，Fast-dDrive实现 12× 于AR基线的端到端加速。