一眼看懂
封面预览
论文提出 AVP 模型，旨在解决现有 VLA 架构中 VLM 与动作专家之间责任划分模糊的问题，通过引入视觉基元作为显式的通信接口来解耦理解与…
- 论文提出 AVP 模型，旨在解决现有 VLA 架构中 VLM 与动作专家之间责任划分模糊的问题，通过引入视觉基元作为显式的通信接口来解耦理解与…
- 核心目标是通过视觉基元让 VLM 负责“做什么和在哪里”，而动作专家专注于“如何执行”，从而提升学习效率、数据效率及泛化能力。
- 针对现有 VLA 模型将感知、推理与控制耦合在单一学习目标中导致的泛化能力弱、在物体或布局变化时表现不佳的问题。
Card 01
研究单位
研究单位
- Anyverse Dynamics
- 清华大学
Card 02
论文概述
论文概述
- 论文提出 AVP 模型，旨在解决现有 VLA 架构中 VLM 与动作专家之间责任划分模糊的问题，通过引入视觉基元作为显式的通信接口来解耦理解与执行。
- 核心目标是通过视觉基元让 VLM 负责“做什么和在哪里”，而动作专家专注于“如何执行”，从而提升学习效率、数据效率及泛化能力。
- 针对现有 VLA 模型将感知、推理与控制耦合在单一学习目标中导致的泛化能力弱、在物体或布局变化时表现不佳的问题。
Card 03
核心贡献
核心贡献
- 提出“视觉基元”作为 VLM 与动作专家之间的显式通信媒介，替代现有 VLAs 中隐式、无结构的边界。
- 引入 AVP 架构，实现端到端训练：VLM 推断下一阶段目标并生成视觉基元令牌，用于驱动流匹配动作专家，监督信号来自末端执行器运动学。
- 在真实机器人抓取放置任务上，相比 π₀.₅ 基线平均成功率提升 27.61%，并在空间组合泛化和物体级泛化上取得显著增益。
Card 04
方法描述
方法描述
- AVP 由预训练 VLM、自回归解码器和动作专家三部分组成。VLM 解析当前子任务，预测下一阶段目标及视觉基元（如点、边界框）。
- 预测的基元被投影至视觉令牌空间，与原始多模态令牌融合，形成增强的多模态表示，作为动作专家生成机器人动作的条件。
- 创新点在于将视觉基元接口内生化为单一端到端架构，无需外部感知模块，实现了基元生成与动作预测的联合优化。
- 监督信号通过从末端执行器运动学中自动提取基元标签，实现了零额外标注成本的自动化训练流程。
Card 05
数据集与资源
数据集与资源
- 使用真实世界专家演示数据集，包括：11.2小时 中国象棋操作数据、1.7小时 多米诺骨牌放置数据、1.7小时 通用物体抓取放置数据。
- 模型基于 π₀.₅ 框架构建，采用流匹配动作专家，具体参数规模未在原文中明确说明。
- 实验在 AgileX Piper 双臂桌面机器人平台上进行，包含两个6-DoF机械臂和并行夹爪，动作空间为统一14维。
Card 06
评估与结果
评估与结果
- 在三个真实世界任务上进行评估：中国象棋操作、多米诺骨牌放置、通用物体抓取放置。
- 主要评估指标为成功率，细分为指令遵循、抓取成功、放置成功，多米诺任务额外评估姿态成功率。
- 关键结果：在中国象棋任务中，AVP 平均成功率达 90.28%，相比 π₀.₅ 的 62.67% 显著提升；推理延迟仅为 0.27秒，远快于基于外部LLM API的方案。
- 泛化实验表明，AVP 在未见过的直接棋盘移动任务上成功率达 83%，而基线完全失效；在未见物体零样本跨域测试中成功率稳定在 7/8 至 8/8。