一眼看懂
封面预览
论文研究Vision-Language-Action (VLA) 模型在自动驾驶场景下的传感器扰动鲁棒性，评估 Alpamayo R1（10B…
- 论文研究Vision-Language-Action (VLA) 模型在自动驾驶场景下的传感器扰动鲁棒性，评估 Alpamayo R1（10B…
- 核心问题：可解释的自动驾驶规划器依赖于生成解释，但这些解释在真实世界传感器降级情况下是否仍然可靠
- 关键发现：Chain-of-Causation (CoC) 推理一致性是轨迹可靠性的高保真指标，当扰动改变模型解释时，轨迹偏差激增5.3倍
Card 01
研究单位
研究单位
- NVIDIA Corporation, USA - Abhinaw Priyadershi
- NVIDIA GmbH, Germany - Jelena Frtunikj
Card 02
论文概述
论文概述
- 论文研究Vision-Language-Action (VLA) 模型在自动驾驶场景下的传感器扰动鲁棒性，评估 Alpamayo R1（10B参数）在1996个场景中面对8种传感器扰动时的表现
- 核心问题：可解释的自动驾驶规划器依赖于生成解释，但这些解释在真实世界传感器降级情况下是否仍然可靠
- 关键发现：Chain-of-Causation (CoC) 推理一致性是轨迹可靠性的高保真指标，当扰动改变模型解释时，轨迹偏差激增5.3倍
Card 03
核心贡献
核心贡献
- 贡献点1：发现CoC一致性可作为轨迹可靠性信号——当扰动改变模型解释时，轨迹偏差从4.1m跃升至21.8m（5.3倍），aggregate相关性r=0.99，per-sample相关性r_pb=0.53
- 贡献点2：建立剂量-响应曲线，ADE与噪声强度呈线性关系（R²=0.957），每10单位σ增加导致约0.05m ADE增长，为部署风险评估提供直接公式
- 贡献点3：通过控制消融实验证明启用CoC生成与轨迹精度提升相关——在所有测试条件下平均降低11.8% ADE（p<0.0001），复杂 maneuver 收益更大
- 贡献点4：验证标准输入预处理防御仅提供边际保护——6种现成方法经Bonferroni校正后无统计显著性，凸显VLA特定防御研究的必要性
Card 04
方法描述
方法描述
- 模型架构：Alpamayo R1，10B参数VLA，基于Qwen3-VL视觉编码器，处理多视图相机输入（164K-197K像素），预测64路点轨迹（10Hz，6.4秒）
- 扰动设计：三类8种扰动——（1）传感器噪声：高斯噪声σ∈{10,30,50,70}；（2）光度变化：亮度0.4×和1.6×；（3）体积散射：雾α=0.3和0.7
- 评估指标：ADE（平均位移误差）、ADE降解、CoC变化率（精确字符串匹配）、L2轨迹偏差（clean vs perturbed）
- 消融协议：相同模型checkpoint、相同解码超参数（temperature=0.6, top-p=0.98, seed=42），对比"with CoC"（512 tokens）和"without CoC"（1 token）模式
Card 05
数据集与资源
数据集与资源
- 数据集：PhysicalAI-Autonomous-Vehicles验证集，1996个驾驶序列
- 场景分布：Vehicle Following (n=475), Intersection Navigation (n=344), Signal Compliance (n=302), Lane Keeping (n=213), Passing (n=177), Turns (n=54), Other (n=418)
- 模型规模：10B参数
- 训练资源：NVIDIA A100-40GB GPU，单卡，样本延迟8-15秒，总计约60 GPU小时（主评估40小时+消融20小时）
Card 06
评估与结果
评估与结果
- 基线对比：干净条件下VLA达到2.00m ADE（σ=1.89），相比恒定速度基线6.32m（σ=4.87）提升68.3%（p<10^-257）
- 扰动影响：噪声σ=70最严重（ΔADE=+0.30m，52.7% CoC变化，70.6%样本>5m偏差），噪声σ=10基本不可见（ΔADE=+0.01m，p=0.637）
- CoC-轨迹相关性：CoC未变化时平均偏差4.13m（中位数2.16m），CoC变化时21.82m（中位数15.39m），Cohen's d=1.12
- 运行时监控潜力：作为二元 alarm（CoC flip→unsafe if L2>5m），轻度扰动下AUROC=0.873，recall=78.7%，FPR=4.1%；精度始终≥0.79
- 消融结果：启用CoC平均降低11.8% ADE（所有条件p<0.0001），Cohen's d_z=0.14
- 防御评估：6种输入处理方法（图像去噪、超分辨率等）仅提供边际、统计不显著的保护