一眼看懂
封面预览
对 视觉-语言-动作（VLA）模型 进行了大规模、跨架构的机制可解释性研究，旨在理解其如何将多模态输入转化为动作。
- 对 视觉-语言-动作（VLA）模型 进行了大规模、跨架构的机制可解释性研究，旨在理解其如何将多模态输入转化为动作。
- 研究发现，VLA模型的行为生成严重依赖视觉路径，语言指令的敏感性取决于任务结构而非模型架构。
- 揭示了多路径架构中存在功能特化，专家路径编码运动程序，而VLM路径编码目标语义。
Card 01
研究单位
研究单位
- 凯斯西储大学
Card 02
论文概述
论文概述
- 对 视觉-语言-动作（VLA）模型 进行了大规模、跨架构的机制可解释性研究，旨在理解其如何将多模态输入转化为动作。
- 研究发现，VLA模型的行为生成严重依赖视觉路径，语言指令的敏感性取决于任务结构而非模型架构。
- 揭示了多路径架构中存在功能特化，专家路径编码运动程序，而VLM路径编码目标语义。
Card 03
核心贡献
核心贡献
- 首个系统性、跨架构（6个模型，80M–7B参数）的VLA模型机制分析研究，覆盖 394,000+ 个推演片段。
- 发现并验证了多路径架构（如 π0.5、SmolVLA、GR00T）中专家路径与VLM路径的功能特化与分离。
- 开发了适用于VLA的 Per-Token SAE处理方法，解决了传统平均池化破坏动作关键信息的问题。
- 开源了交互式可视化平台 Action Atlas，用于探索所有六个模型的VLA表征。
Card 04
方法描述
方法描述
- 采用四种核心技术进行综合分析：激活注入、反事实提示、稀疏自编码器 和 线性探针。
- 激活注入是核心因果干预手段，通过替换推演片段中的层激活来建立变量间的因果关系。
- 为VLA模型开发了专门的 Per-Token SAE处理流程，因为平均池化会导致灾难性的任务失败。
- 使用频率加权的对比选择方法来识别与特定概念相关的SAE特征。
Card 05
数据集与资源
数据集与资源
- 使用四个机器人操作基准进行评估：LIBERO、MetaWorld、SimplerEnv 和 ALOHA。
- 研究的六个模型参数规模从 80M（ACT） 到 7B（OpenVLA-OFT） 不等。
- 训练了总计 424个稀疏自编码器，并识别出 82+ 个独特的操作概念。
- 实验在 8×A100-SXM4-80GB集群、一个RTX 5090和两个RTX 4090上完成。
Card 06
评估与结果
评估与结果
- 在 394,000+ 个推演片段上评估，证实视觉路径主导行为生成（如在π0.5上，注入视觉激活可使任务成功率从0%恢复至73-77%）。
- 语言敏感性具有任务依赖性：当视觉上下文足以确定任务时，语言指令被忽略；当场景存在歧义时，语言变得至关重要。
- 跨任务激活注入会导致机器人执行空间绑定的运动程序，即指向源任务场景坐标的动作序列，而非抽象任务。
- 在所有多路径架构中，专家路径注入产生的行为位移是VLM路径的2倍，证实了其编码运动程序的功能。