一眼看懂
封面预览
论文提出了一种面向视觉-语言-动作（VLA）模型的事件锚定可解释性管线，旨在解决 VLA 模型输出为机器人动作而非文本、传统解释工具难以应用的…
- 论文提出了一种面向视觉-语言-动作（VLA）模型的事件锚定可解释性管线，旨在解决 VLA 模型输出为机器人动作而非文本、传统解释工具难以应用的…
- 该方法通过提取轨迹中的运动学关键帧并聚类为行为事件，将稀疏自编码器（SAE）特征分析与具体的闭环行为联系起来，从而实现因果验证
- 研究在模拟环境和真实机器人上验证了该方法，揭示了不同 VLA 架构（OpenVLA 和 π₀.₅）在干预行为上的显著差异
Card 01
研究单位
研究单位
- Purdue University (Department of Computer Science)
Card 02
论文概述
论文概述
- 论文提出了一种面向视觉-语言-动作（VLA）模型的事件锚定可解释性管线，旨在解决 VLA 模型输出为机器人动作而非文本、传统解释工具难以应用的问题
- 该方法通过提取轨迹中的运动学关键帧并聚类为行为事件，将稀疏自编码器（SAE）特征分析与具体的闭环行为联系起来，从而实现因果验证
- 研究在模拟环境和真实机器人上验证了该方法，揭示了不同 VLA 架构（OpenVLA 和 π₀.₅）在干预行为上的显著差异
Card 03
核心贡献
核心贡献
- 提出了一个自动化的、事件锚定的 SAE 分析管线，利用运动学关键帧和聚类事件自动评分 SAE 特征，无需人工逐一标注
- 揭示了架构依赖的干预行为：在 OpenVLA 中单个事件对齐特征能显著降低成功率；π₀.₅ 的 PaliGemma 主干对单特征编辑不敏感，而其动作专家模块则极易崩溃
- 设计了保残差潜空间编辑干预模式，在修改特定特征的同时保留重建误差，实现了比传统解码向量添加更精细的行为控制
- 在真实机器人平台上演示了该方法的安全性应用，证明了保守的 SAE 抑制能有效且安全地改变机器人行为
Card 04
方法描述
方法描述
- 使用 BatchTopK Sparse Autoencoders 在闭环轨迹的残差流激活上训练，将密集隐藏状态分解为稀疏特征基
- 采用自动航点提取（AWE）算法从末端执行器轨迹中提取关键帧，结合视觉、状态和时间线索聚类为任务局部事件
- 提出四种特征排序策略（事件对齐、窗口均值、任务均值、随机存活），根据特征激活与事件窗口的匹配程度筛选候选特征
- 通过保残差潜空间编辑干预推理过程，将目标特征的激活值按系数缩放（如置零），并在闭环仿真中评估因果效应
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 套件（Spatial, Object, Goal, 10）进行仿真评估，包含 50 次闭环测试
- 评估模型包括 OpenVLA（离散动作 token）和 π₀.₅（连续动作块，包含 PaliGemma 主干和 Action Expert）
- SAE 扩展规模：OpenVLA 为 4096 至 32768，PaliGemma 为 2048 至 2048，Action Expert 为 1024 至 1024
- 真实机器人实验基于 Mobile ALOHA 平台，使用 LoRA 微调的 π₀.₅ 模型执行接近薯片任务
Card 06
评估与结果
评估与结果
- 评估指标包括离线重建保真度（FVE）和闭环成功率（SR）变化量（ΔSR）
- 在 OpenVLA Layer 31 上，事件对齐排序的特征置零导致 SR 下降最大（-21.2%），显著优于随机基线
- π₀.₅ 的 PaliGemma 主干在单特征干预下 SR 几乎无变化，而其 Action Expert 在任意排序的特征置零下均导致 SR 接近 0%（崩溃）
- 真实机器人实验表明，在 Action Expert Layer 17 上进行保守的 SAE 抑制能有效改变机器人对目标颜色的响应行为，验证了方法的实用性