Embodied Interpretability: Linking Causal Understanding to Generalization in Vision-Language-Action Models

• Hanxin Zhang, Mingshuo Xu, Abdulqader Dhafer, Shigang Yue, Hongbiao Dong, Zhou Daniel Hao

（注：HTML 原文中未明确列出具体所属机构名称）

• 论文旨在解决 Vision-Language-Action (VLA) 模型在分布偏移下失效的问题，探究其是否依赖虚假视觉相关性而非任务相关因果机制
• 提出 Interventional Significance Score (ISS) 用于估计视觉区域对动作预测的因果影响，并提出 Nuisance Mass Ratio (NMR) 量化模型对任务无关特征的依赖程度
• 研究表明，因果归因方法能有效诊断具身策略中的因果错位，并预测模型的泛化行为

• 将视觉-动作归因问题形式化为干预估计问题，提出了两个核心指标：ISS 和 NMR
• 提供了理论分析，证明 ISS 允许无偏估计，并确立了在特定条件下 Action MSE 作为分布差异有效代理的理论基础
• 通过实验证明 NMR 能预测分布外（OOD）泛化性能，且 ISS 比现有的可解释性方法（如注意力分数）提供更忠实、鲁棒的解释

• 定义了 Causal Spatial Partition，将观测空间划分为动作关键区域、环境支持区域和视觉干扰区域
• 使用 do-calculus 范式，通过伯努利掩码和高斯模糊扰动进行干预，利用蒙特卡洛估计计算 ISS
• 使用 KL 散度（实际计算中使用 Action MSE 作为代理）衡量干预后动作分布的变化，以此量化特定 Token 的因果显著性
• 基于 ISS 计算 NMR，即 Top-k 重要 Token 落入视觉干扰区域的比例，以此衡量因果错位程度

• 使用 AGNOSTOS benchmark 进行跨任务泛化评估
• 使用 RLBench simulator 进行任务成功率评估
• 采用的模型为 VLA 策略 $\pi_{0.5}$
• 训练数据包含 Seen tasks 的 3600 个 episodes，评估数据包含 Unseen tasks 的 575 个 episodes

• 评估指标包括 Pearson 相关系数（用于衡量 NMR 与任务成功率的关系）、余弦相似度和 Action MSE
• 实验结果显示 NMR@10 与任务成功率呈显著负相关，最大相关系数为 -0.77
• 在鲁棒性测试中，ISS 在最小化 Action MSE 和最大化显著性图相似度方面达到最优平衡
• 在保真度测试中，ISS 在几何、纹理和 Patch 扰动下的皮尔逊系数（分别为 0.78, 0.64, 0.72）显著高于注意力分数（ATT）和 Token Norm（NORM）基线