一眼看懂
封面预览
论文提出了 CLAP（Contrastive Latent-space Prompt Optimization）方法，旨在解决端到端自动驾驶中…
- 论文提出了 CLAP（Contrastive Latent-space Prompt Optimization）方法，旨在解决端到端自动驾驶中…
- 核心思想是采用位置感知的适应性框架，通过 V2X 通信检索并应用按路段优化的软提示，在不微调冻结骨干模型的情况下针对性提升特定路段的驾驶表现
- 论文解决了单纯优化困难场景会干扰正常场景性能的核心问题，实现了选择性改进
Card 01
研究单位
研究单位
- University of Michigan（主要研究单位）
- University of Arizona（合作单位）
Card 02
论文概述
论文概述
- 论文提出了 CLAP（Contrastive Latent-space Prompt Optimization）方法，旨在解决端到端自动驾驶中 VLA（Vision-Language-Action）模型在长尾安全关键场景（如施工区域、复杂路口）下的性能脆弱性问题
- 核心思想是采用位置感知的适应性框架，通过 V2X 通信检索并应用按路段优化的软提示，在不微调冻结骨干模型的情况下针对性提升特定路段的驾驶表现
- 论文解决了单纯优化困难场景会干扰正常场景性能的核心问题，实现了选择性改进
Card 03
核心贡献
核心贡献
- 提出了按路段而非全局进行优化的新视角，通过潜在空间分析发现同一路段场景聚类紧密，不同路段占据不同区域
- 设计了 CLAP 两阶段对比潜在空间提示优化框架，结合监督对比学习发现困难场景方向与带方向正则化的提示优化
- 在 NAVSIM 基准测试中，CLAP 在多种 SOTA VLA 模型上将挑战场景规划误差降低 24%，且未造成正常场景性能退化
- 通过生成式数据增强验证了方法在不同天气和光照条件下的泛化能力
Card 04
方法描述
方法描述
- 采用软提示调优，将可学习的连续嵌入序列注入冻结 VLA 模型的 LLM 输入层，位于视觉 token 和指令 token 之间
- Stage 1：通过监督对比学习优化辅助提示，将困难帧与正常帧在潜在空间分离，提取主方向作为“困难场景方向”
- Stage 2：优化性能提示，联合损失包含规划损失（针对困难帧）、方向正则化（沿方向优化）和正常帧保护损失（防止正常帧表示偏移）
- 创新点在于通过对比学习分离困难与正常场景表示，并利用方向正则化和保护损失实现选择性优化
Card 05
数据集与资源
数据集与资源
- 数据集：NAVSIM benchmark，选取了 42 个挑战性路段序列，包含 1,440 训练帧和 3,810 测试帧
- 模型规模：使用了 ReCogDrive、Alpamayo-R1.5 和 DriveVLA-W0 作为骨干 VLA 模型，提示长度为 50
- 训练资源：使用 2x NVIDIA A40 GPUs
Card 06
评估与结果
评估与结果
- 评估环境：NAVSIM 数据集的 challenging/normal splits，以及通过生成式图像编辑模拟的天气和光照条件偏移场景
- 主要指标：ADE@4s（4秒平均位移误差）
- 关键结果：CLAP 在三个 VLA 模型上平均减少 24% 的挑战场景 ADE，同时维持正常场景性能；整体 ADE 平均改善 14%
- 对比实验：显式文本提示方法在挑战场景中反而增加误差；无约束软提示虽能降低挑战场景误差但会造成正常场景性能退化；CLAP 在两者间取得了最佳平衡