一眼看懂
封面预览
论文旨在探究 Vision-Language-Action (VLA) 自动驾驶模型中，驾驶行为在多大程度上依赖于视觉信息。
- 论文旨在探究 Vision-Language-Action (VLA) 自动驾驶模型中，驾驶行为在多大程度上依赖于视觉信息。
- 针对现有评估协议缺乏对视觉-行为依赖进行结构化诊断的问题，论文提出了一个系统性的分析框架。
- 核心研究目标是量化并剖析视觉信息在不同抽象层级和评估设置下对模型驾驶决策的影响。
Card 01
研究单位
研究单位
- 香港科技大学（广州） 智能交通研究组
Card 02
论文概述
论文概述
- 论文旨在探究 Vision-Language-Action (VLA) 自动驾驶模型中，驾驶行为在多大程度上依赖于视觉信息。
- 针对现有评估协议缺乏对视觉-行为依赖进行结构化诊断的问题，论文提出了一个系统性的分析框架。
- 核心研究目标是量化并剖析视觉信息在不同抽象层级和评估设置下对模型驾驶决策的影响。
Card 03
核心贡献
核心贡献
- 提出了一个结构化的多层级视觉扰动框架，用于系统分析VLA自动驾驶模型中的视觉-行为依赖关系。
- 在开环轨迹预测和交互式闭环安全评估两种设置下，对模型的视觉依赖进行了系统性的评估。
- 实验揭示了视觉-行为依赖具有异质性，其模式随扰动层级和评估设置的不同而变化。
Card 04
方法描述
方法描述
- 提出的框架将视觉扰动分为三个互补层级：通道级（如噪声替换、图像移除）、信息级（如图像下采样、视觉Token剪枝）和结构级（如Token打乱、位置编码扰动）。
- 该框架与模型架构无关，通过对比正常视觉输入与受控扰动输入下的性能变化，量化视觉依赖程度。
- 关键创新在于按视觉处理的抽象层级组织扰动，从而实现对感知-行为通路中不同阶段的依赖剖析。
Card 05
数据集与资源
数据集与资源
- 使用了nuScenes数据集进行开环轨迹预测评估。
- 使用了NeuroNCAP仿真环境进行闭环交互式安全评估。
- 评估模型为开源的 Impromptu-VLA（3B参数版本），基于Qwen2.5-VL骨干网络。
Card 06
评估与结果
评估与结果
- 评估环境包括开环的轨迹预测任务和闭环的安全驾驶任务。
- 主要评估指标包括轨迹的平均L2误差（开环）、NCAP安全评分、碰撞率（CR）和出界率（OOB）（闭环）。
- 关键实验结果表明：开环轨迹预测对各类视觉扰动的敏感性较低；而闭环安全性能则对语义和结构层面的扰动反应强烈，显示出对高质量语义表示和空间组织的依赖。