一眼看懂
封面预览
提出了 VLA-Trace，一个渐进式诊断框架，通过从表示动态到因果控制归因和行为表现的统一证据链分析视觉-语言-动作（VLA）模型
- 提出了 VLA-Trace，一个渐进式诊断框架，通过从表示动态到因果控制归因和行为表现的统一证据链分析视觉-语言-动作（VLA）模型
- 结合跨模态和检查点漂移的核心核对齐（CKA）、注意力淘汰干预以及滚动行为探针，系统性地追踪模型内部机制
- 旨在解决VLA模型如何将多模odal知识转化为具身控制这一尚不清晰的关键问题
Card 01
研究单位
研究单位
- X-Humanoid
- University of Science and Technology of China
- University of Manchester
- Beihang University
- Fudan University
- University of New South Wales
Card 02
论文概述
论文概述
- 提出了 VLA-Trace，一个渐进式诊断框架，通过从表示动态到因果控制归因和行为表现的统一证据链分析视觉-语言-动作（VLA）模型
- 结合跨模态和检查点漂移的核心核对齐（CKA）、注意力淘汰干预以及滚动行为探针，系统性地追踪模型内部机制
- 旨在解决VLA模型如何将多模odal知识转化为具身控制这一尚不清晰的关键问题
Card 03
核心贡献
核心贡献
- 提出了统一的诊断框架 VLA-Trace，将表示几何分析、因果分析和输入干预整合为一个阶段式渐进管道
- 揭示了 π_{0.5} 和 OpenVLA 在VLA微调期间展现出不同的模态特定适应动态和跨模态融合模式
- 发现了两个模型在动作解码期间依赖不同的多模态路由策略和层级依赖关系
- 证明了VLA策略在视觉接地轨迹生成方面表现出色，但在细粒度语义跟随方面存在局限
- 为未来VLA模型的表示保持适配、因果电路设计和组合语义控制指明了研究方向
Card 04
方法描述
方法描述
- 采用三阶段渐进分析框架：首先用CKA分析表示演变，其次用注意力淘汰识别因果通路，最后用行为探针检查接地与捷径依赖
- 创新点在于构建了从表示动态到因果控制归因再到行为表现的完整证据链，而非将策略视为端到端系统
- 使用 Cross-Modal CKA 和 Checkpoint-Drift CKA 分析视觉-语言对齐和表示重组
- 通过 Attention Knockout 和 Layer-Wise Knockout 解耦表示形成和动作解码阶段的模态依赖
- 结合 Attention IoU、Visual Patch Masking 和 Input Editing 行为探针评估视觉接地、捷径依赖和语义控制能力
Card 05
数据集与资源
数据集与资源
- 使用 COCO 数据集作为生成域图像-文本参考
- 使用 LIBERO 系列基准（包括 LIBERO-10、LIBERO-Goal、LIBERO-Spatial、LIBERO-Object）作为机器人域评估基准
- 主要评估模型为 π_{0.5}（基于PaliGemma架构）和 OpenVLA（基于Llama架构）
- 评估涉及其他模型如 OpenVLA-OFT 和 X-VLA
- 评估使用200个回合（10个LIBERO-10任务，每个任务20次试验）的成功率作为主要指标
Card 06
评估与结果
评估与结果
- CKA分析显示 π_{0.5} 具有不稳定层间跨模态融合动态，而 OpenVLA 表现更平滑但较弱的中间层图像-文本对齐
- 注意力淘汰实验表明 π_{0.5} 主要依赖视觉到动作路径，OpenVLA 则依赖视觉和语言双模态，且控制信息分布更广
- 注意力IoU和模式分析显示模型动作注意力空间接地于机器人-物体交互区域，并随任务阶段临时演化
- 视觉补丁掩蔽实验证明目标对象是动作执行的关键视觉锚点，不同模型存在特定的视觉捷径依赖
- 输入编辑实验揭示文本对动作执行有非零但有限影响，策略常偏向原始视觉-任务配置，细粒度语义跟随能力有限