一眼看懂
封面预览
论文提出 PrimitiveVLA 框架，旨在解决现有 Vision-Language-Action (VLA) 模型在微调过程中面临的 数据…
- 论文提出 PrimitiveVLA 框架，旨在解决现有 Vision-Language-Action (VLA) 模型在微调过程中面临的 数据…
- 论文指出现有的 直接指令到控制映射 范式迫使模型记忆完整的轨迹而非可复用的运动模式。
- 核心思想是引入 以原语为中心的分解与组装 范式，将任务轨迹分解为可复用的 运动原语 进行学习，并在推理时组装以解决复杂任务。
Card 01
研究单位
研究单位
- 中国科学院计算技术研究所 处理器国家重点实验室
- 中国科学院 人工智能产业研究所（江苏人工智能产业重点实验室）
- 中国科学院软件研究所 智能软件研究中心
- 中国科学院大学
- 中国科学技术大学
- 寒武纪科技 (Cambricon Technologies)
Card 02
论文概述
论文概述
- 论文提出 PrimitiveVLA 框架，旨在解决现有 Vision-Language-Action (VLA) 模型在微调过程中面临的 数据效率低下 和 泛化能力弱 的瓶颈问题。
- 论文指出现有的 直接指令到控制映射 范式迫使模型记忆完整的轨迹而非可复用的运动模式。
- 核心思想是引入 以原语为中心的分解与组装 范式，将任务轨迹分解为可复用的 运动原语 进行学习，并在推理时组装以解决复杂任务。
Card 03
核心贡献
核心贡献
- 提出了 以原语为中心的分解与组装 范式，将 VLA 学习从整体轨迹记忆转变为对可复用物理原语的学习。
- 构建了 PrimitiveVLA 模型无关框架，通过共享的 多模态规范表示 (MCR) 统一微调和推理阶段，包含自动分割管道和分层组装机制。
- 实验证明该方法显著提升了 数据效率（仅用 50% 数据即可达到全量基线性能）和 跨任务泛化能力（未见任务性能提升 6倍）。
- 在长视野任务上，将 SOTA 模型 ($\pi_{0.5}$) 的成功率从 30.50% 提升至 80.25%。
Card 04
方法描述
方法描述
- 微调阶段（分解）： 利用 VLM 进行原语序列推理，并利用 LLM 生成 Python 代码进行 基于状态的边界分割，自动将轨迹分解为原语片段。
- 推理阶段（组装）： 使用检索增强的 VLM 规划器 生成原语执行序列，并利用 LLM 生成的切换模块 监控历史窗口统计信息，实现闭环控制下的原语切换。
- 多模态规范表示 (MCR)： 包含 语义统一（使用规范的原语指令）和 视觉兼容（使用 SAM 和 Cutie 生成的对象中心掩码），以解耦运动模式与任务上下文。
Card 05
数据集与资源
数据集与资源
- 仿真基准：Libero 系列（包括 Libero-Spatial, Object, Goal, Libero-90, 自定义 Libero-90-Novel, Libero-Long）和 RLBench。
- 真实世界环境：使用 UR5e 机械臂、Robotiq 2F-85 夹爪和 RealSense L515 相机，评估了 11 个任务。
- 基础模型：在 OpenVLA、OpenVLA-OFT 和 $\pi_{0.5}$ 等多种 VLA 架构上进行了验证。
Card 06
评估与结果
评估与结果
- 数据效率： 在 Libero-90 上，使用 50% 训练数据的 PrimitiveVLA 性能超过了使用 100% 数据的 OpenVLA 基线（79.8% vs 70.6%）。
- 泛化能力： 在未见任务集 Libero-90-Novel 上，OpenVLA 结合本方法的准确率从 7.38% 提升至 45.50%，实现了 6倍 的性能飞跃。
- 长视野任务： 在 Libero-Long 任务中，将 $\pi_{0.5}$ 模型的成功率从 30.50% 显著提升至 80.25%。
- 真实世界测试： 在包含未见物体组合和组合泛化的任务中，展示了优秀的物理迁移性和鲁棒性。