From Representational Complementarity to Dual Systems: Synergizing VLM and Vision-Only Backbones for End-to-End Driving

• 论文作者来自多个机构，但根据署名顺序，核心单位应包含 北京理工大学、清华大学、中国科学院等。
• 具体人员包括 Sining Ang, Yuguang Yang, Chenxu Dang, Canyu Chen, Cheng Chi, Haiyan Liu, Xuanyao Mao, Jason Bao, Xuliang, Bingchuan Sun, Yan Wang。

• 论文系统研究了在端到端驾驶规划系统中，视觉语言模型（VLM） 主干与 纯视觉主干（如ViT、ResNet）之间的表征与行为互补性。
• 旨在解决如何将VLM与纯视觉主干进行协同，以在保证性能的同时提升系统效率的问题，核心目标是利用两者的行为互补性构建更高效的双系统。

• 贡献点 1：系统地提出了 三个研究问题（RQ1-RQ3）的分析框架，从表征分析、行为互补性到最终系统设计，将VLM与视觉主干的协同过程形成清晰的链路。
• 贡献点 2：通过表征分析（如CKA、CCA、共享-独有稀疏自编码器SAE）发现，策略层面的表征比主干层面更同构，但VLM仍引入了独特的子空间。
• 贡献点 3：通过行为分析发现VLM与ViT存在长尾场景的互补性，而非包含关系，这为轨迹级选择提供了关键依据。
• 贡献点 4：提出了 HybridDriveVLA 框架，通过构建跨模型风格轴候选轨迹并利用轨迹级打分器进行选择，显著提升了性能。
• 贡献点 5：提出了 DualDriveVLA 框架，作为实用的快-慢策略部署方案，在仅调用VLM于少量场景的情况下，同时提升了性能与吞吐量。

• 论文基于 RecogDrive 架构，实例化了两个独立策略分支：一个使用全VLM主干（InternVL-2B），另一个使用纯视觉主干（ViT/ResNet/EVA-CLIP），但共享相同的扩散Transformer规划器。
• 关键技术包括：用于表征分析的 线性CKA、PCA白化CCA 和 共享-独有稀疏自编码器（SAE）；用于行为分析的稳定性感知赢家计数和轨迹质量评分；用于系统构建的风格轴插值和轨迹级打分器（DrivoR-style scorer）。

• 使用的主要数据集是 NAVSIM（用于端到端驾驶规划评估）。
• VLM主干 为 InternVL-2B，视觉主干包括 ViT-Large、ResNet-101/50 和 EVA-CLIP。
• 训练资源未在提供的HTML片段中明确说明，通常此类工作需要大量 GPU 资源。

• 评估环境为 NAVSIM 测试集（navtest），使用两种评估指标：PDMS（v1） 和 EPDMS（v2）。
• 主要评估指标是 PDMS分数，用于衡量轨迹的整体质量。
• 关键实验结果：

- Oracle最佳选择：在VLM和ViT分支间进行理想选择，能达到 93.58 PDMS。

- HybridDriveVLA：将PDMS从VLM基线的 90.80 提升至 92.10。

- DualDriveVLA：仅在大约 15% 的场景中调用VLM，即可达到 91.00 PDMS，同时将端到端吞吐量提高 3.2倍。