一眼看懂
封面预览
提出了 Anticipation-VLA 框架,旨在解决视觉-语言-动作(VLA)模型在长周期具身任务中面临的累积误差问题
- 提出了 Anticipation-VLA 框架,旨在解决视觉-语言-动作(VLA)模型在长周期具身任务中面临的累积误差问题
- 核心创新在于引入 Anticipation Model,通过基于进度反馈的自适应和递归子目标生成机制,替代了固定粒度的任务分解方法
- 实现了高层规划与低层控制的分层集成,提升了复杂环境下策略执行的鲁棒性
Card 01
研究单位
研究单位
- 论文作者包括 Zhilong Zhang, Wenyu Luo, Haonan Wang, Yifei Sheng, Yidi Wang, Hanyuan Guo, Haoxiang Ren, Xinghao Du, Yuhan Che, Tongtong Cao, Lei Yuan, Yang Yu
- 注:提供的 HTML 文本中未显式列出作者所属的具体研究机构名称
Card 02
论文概述
论文概述
- 提出了 Anticipation-VLA 框架,旨在解决视觉-语言-动作(VLA)模型在长周期具身任务中面临的累积误差问题
- 核心创新在于引入 Anticipation Model,通过基于进度反馈的自适应和递归子目标生成机制,替代了固定粒度的任务分解方法
- 实现了高层规划与低层控制的分层集成,提升了复杂环境下策略执行的鲁棒性
Card 03
核心贡献
核心贡献
- 提出了 Anticipation Model,这是一种用于价值最优和政策感知的自适应规划模型,能够递归生成子目标
- 构建了 Anticipation-VLA 分层框架,将预测模型与目标条件的 VLA 策略相结合,实现长周期任务的规划与执行
- 在模拟环境和真实机器人任务中进行了广泛验证,证明了该方法在长周期推理和执行上的有效性
Card 04
方法描述
方法描述
- 高层规划器基于统一多模态模型 Bagel 实现,负责生成文本和视觉形式的子目标,并预测进度状态
- 低层控制器基于 π0.5 模型实现,接收子目标作为条件输入,执行具体的动作序列
- 将最优价值模型重构为三分类问题(目标达成、进度停滞、进度提升),以解决真实场景中稀疏奖励难以训练的问题
- 使用动态目标栈进行管理,当进度停滞时生成细化子目标,当子目标达成时弹出栈,支持回溯和修正
Card 05
数据集与资源
数据集与资源
- 模拟基准测试:Libero(包含 Goal, Spatial, Object, Long 四个任务套件)和 VLABench
- 真实世界任务:在 Arx-X5 移动操作平台上设计的 Rearrange Objects 和 Spell Words 任务
- 训练数据量:Libero 使用 40 条轨迹进行 One-shot SFT,VLABench 使用 100 条轨迹,真实任务收集了 100-200 条专家演示
- 核心模型:预测模型基于 Bagel,策略模型基于 π0.5
Card 06
评估与结果
评估与结果
- 评估基准:与 π0, UniVLA, DreamVLA, π0.5, π0.5+VLM 等先进模型进行对比
- 主要指标:任务成功率、过程奖励、阶段得分
- 模拟结果:在 Libero 平均成功率上达到 80.8%,在最具挑战性的 Libero-Long 任务上达到 63.2%;在 VLABench 的成功率上达到 4.2%,显著优于基线
- 真实世界结果:在未见过的任务配置中表现优异,特别是在 Spell Words 任务中,是唯一能实现非零成功率的模型