一眼看懂
封面预览
论文旨在通过稀疏自编码器 探究视觉-语言-行动模型 的内部工作机制，以解决其泛化能力不一致的问题。
- 论文旨在通过稀疏自编码器 探究视觉-语言-行动模型 的内部工作机制，以解决其泛化能力不一致的问题。
- 研究发现，VLA模型内部大部分SAE特征对应于特定训练演示的记忆化序列，但同时也存在少量可解释、泛化且可控制的运动原语和语义特征。
- 提出了一种泛化性量化指标来区分特征是代表泛化的可迁移原语，还是特定于情节的记忆，并通过在LIBERO基准上的引导实验进行了验证。
Card 01
研究单位
研究单位
- 斯坦福大学 机械工程系
- 斯坦福大学 计算机科学系
- 斯坦福大学 航空航天系
Card 02
论文概述
论文概述
- 论文旨在通过稀疏自编码器 探究视觉-语言-行动模型 的内部工作机制，以解决其泛化能力不一致的问题。
- 研究发现，VLA模型内部大部分SAE特征对应于特定训练演示的记忆化序列，但同时也存在少量可解释、泛化且可控制的运动原语和语义特征。
- 提出了一种泛化性量化指标来区分特征是代表泛化的可迁移原语，还是特定于情节的记忆，并通过在LIBERO基准上的引导实验进行了验证。
Card 03
核心贡献
核心贡献
- 提出了一种使用稀疏自编码器从VLA模型中提取可解释、泛化且可控制特征的技术。
- 提出了几个基于激活统计数据的泛化性量化指标，用于区分特征是泛化的还是记忆的，无需运行策略 rollout。
- 观察到所有案例中都存在显著的情节级记忆，但在DROID等更多样化的数据集上微调会产生相对更多的泛化特征。
- 提供了开源软件包Dr. VLA，用于VLA模型的激活收集、SAE训练和策略引导。
Card 04
方法描述
方法描述
- 采用 SAE AuxK 架构训练稀疏自编码器，该架构包含TopK激活函数和AuxK辅助损失，用于分解VLA模型残差流中的叠加特征。
- 定义了四种特征泛化性量化指标：情节覆盖率、平均起始计数、平均激活幅度和相对运行长度。
- 通过手动标注和逻辑回归分类器，将特征分类为泛化特征或记忆特征。
- 通过将单个特征的解码器权重向量添加到残差流中，实现特征引导，以因果地调控机器人行为。
Card 05
数据集与资源
数据集与资源
- 使用了 LIBERO 和 DROID 机器人操作数据集。
- 研究的VLA模型包括 π₀.₅ (及其PaliGemma骨干网络和动作专家网络) 和 OpenVLA。
- SAE在模型的多个层（如PaliGemma层0,5,11,17和动作专家层）上训练，使用1倍扩展比率。
Card 06
评估与结果
评估与结果
- 在 LIBERO 和 DROID 数据集上，对 π₀.₅ 和 OpenVLA 模型进行评估。
- 主要评估指标包括特征可解释性比例、泛化特征比例以及特征引导对行为的影响。
- 关键结果显示，大多数SAE特征是可解释的，但模型中存在高比例的记忆特征（如LIBERO上高达98.43%）。在DROID上微调的模型表现出相对更多的泛化特征。
- 特征引导实验成功验证了泛化特征的因果性影响，例如引导一个预抓取对齐特征会导致机器人悬停在目标物体上方。