一眼看懂
封面预览
本文首次对自动驾驶 Vision-Language-Action (VLA) 模型的推理忠实性进行了系统性研究。
- 本文首次对自动驾驶 Vision-Language-Action (VLA) 模型的推理忠实性进行了系统性研究。
- 研究旨在解决 VLA 模型生成的自然语言推理链可能与实际场景理解或行为执行不一致的问题，防止误导性的解释引发错误的安全信任。
- 论文分析了模型在复杂场景下的推理轨迹与现实场景的匹配程度，揭示了当前模型在安全关键场景下的盲点。
Card 01
研究单位
研究单位
- Central South University（中南大学，计算机科学与工程学院）
- University of Wollongong in Dubai（迪拜伍伦贡大学，计算机学院）
Card 02
论文概述
论文概述
- 本文首次对自动驾驶 Vision-Language-Action (VLA) 模型的推理忠实性进行了系统性研究。
- 研究旨在解决 VLA 模型生成的自然语言推理链可能与实际场景理解或行为执行不一致的问题，防止误导性的解释引发错误的安全信任。
- 论文分析了模型在复杂场景下的推理轨迹与现实场景的匹配程度，揭示了当前模型在安全关键场景下的盲点。
Card 03
核心贡献
核心贡献
- 提出了基于信息论和反事实推理的忠实性评估框架，形式化定义了实体保真度、动作保真度和扰动敏感性。
- 提供了生产级 VLA 模型推理不忠实的量化证据，包括低保真度率、幻觉现象、行人漏检以及推理与动作的不一致性。
- 基于 RSS (Responsibility-Sensitive Safety) 标准，设计了一种包含独立监控层的安全架构 SafeDriveX，以应对发现的故障模式。
Card 04
方法描述
方法描述
- 通过关键词匹配解析推理链中的实体和动作，利用自动标注的障碍物数据计算 Entity Fidelity（Jaccard 相似度）和 Action Fidelity（运动学一致性）。
- 采用反事实测试方法，对输入图像施加高斯模糊和遮挡等扰动，以此检测“静默故障”（行为改变但推理不变）。
- 从信息论视角定义忠实性，要求在给定场景输入下，推理与轨迹之间的互信息应接近于零，确保推理源于场景而非事后合理化。
Card 05
数据集与资源
数据集与资源
- 使用 PhysicalAI-AV 数据集的 100 个测试片段，包含多视角视频、自车运动和 3D 障碍物标注。
- 评估模型为 Alpamayo-R1-10B，包含 Qwen3-VL-8B 视觉语言骨干网络和扩散轨迹解码器。
- 总计进行 300 次推理推断（每个片段运行 3 次），涵盖行人、车辆、拖车等多种场景。
Card 06
评估与结果
评估与结果
- 基础评估显示，平均 minADE 为 1.992m，但在仅改变随机种子的情况下，88% 的场景产生了不同的解释，表明推理具有高熵和不稳定性。
- 整体推理保真度仅为 42.5%，实体保真度 35.3%，动作保真度 49.6%；在涉及行人的场景中漏检了 94 个行人。
- 推理与动作的一致性仅为 48.3%，存在严重的不对称性：横向控制一致性好，但纵向控制（如“停止”声明）失败率高（37.9% 的停止声明下车辆继续移动）。
- 在因果扰动测试中，97.7% 的轨迹发生了变化，其中 14.3% 属于危险的“静默故障”，且 78.5% 表现出高的认知不确定性。