一眼看懂
封面预览
论文提出 Agentic-VLA，一个智能体训练框架，旨在解决现有 Vision-Language-Action（VLA） 模型在在线适应过程…
- 论文提出 Agentic-VLA，一个智能体训练框架，旨在解决现有 Vision-Language-Action（VLA） 模型在在线适应过程…
- 核心目标是使 VLA 模型能够高效地进行在线适应，通过智能化的学习过程管理实现更好的任务表现、更快的收敛速度和跨任务迁移能力。
- 该框架将奖励设计、探索策略和知识迁移等学习组件由固定流程转变为由学习智能体动态协调，实现真正的自适应学习系统。
Card 01
研究单位
研究单位
- 论文作者信息中未明确列出所属研究机构（仅提供作者姓名：Ruofan Jin 和 Zaixi Zhang）
Card 02
论文概述
论文概述
- 论文提出 Agentic-VLA，一个智能体训练框架，旨在解决现有 Vision-Language-Action（VLA） 模型在在线适应过程中存在的泛化能力差和训练效率低两大关键问题。
- 核心目标是使 VLA 模型能够高效地进行在线适应，通过智能化的学习过程管理实现更好的任务表现、更快的收敛速度和跨任务迁移能力。
- 该框架将奖励设计、探索策略和知识迁移等学习组件由固定流程转变为由学习智能体动态协调，实现真正的自适应学习系统。
Card 03
核心贡献
核心贡献
- 提出 Agentic-VLA，首个针对 VLA 在线适应的智能体框架，统一整合自适应奖励合成、语言引导探索和经验记忆三大机制。
- 引入 自适应奖励合成（ARS），能自动分解复杂任务并基于学习进度动态调整奖励粒度，形成细粒度的课程学习。
- 证明 语言引导探索（LGE） 显著提高样本效率，通过结构化、目标导向的探索替代随机试错。
- 展示 经验记忆（EM） 实现有效的跨任务迁移，在无任务特定演示的情况下达到非平凡的成功率。
- 在 LIBERO 和 RoboTwin 2.0 基准上实现全面领先性能，包括长期任务 +12.3%、单样本学习 +28.5%、跨任务迁移 0%→31.2%，收敛速度提升 2.4×。
Card 04
方法描述
方法描述
- 框架基于 OpenVLA-OFT 模型，采用 GRPO 算法进行策略优化，构建包含三大核心组件的在线适应闭环。
- 自适应奖励合成（ARS）：使用 Llama-3-8B 分解任务为子目标，通过指数移动平均追踪子目标能力，动态调整奖励权重，配合 VLAC 评论家提供密集进度奖励。
- 语言引导探索（LGE）：利用预训练 VLM（视觉语言模型）作为探索评论家，生成自然语言建议指导探索，通过提示增强融入动作生成，并自适应调整建议频率。
- 经验记忆（EM）：存储任务嵌入与对应策略权重的元数据，通过语义相似度检索最相关历史任务，采用加权插值进行热启动初始化，支持后续在线适应校正。
Card 05
数据集与资源
数据集与资源
- 主要使用 LIBERO 基准（包含 Spatial/Object/Goal/Long 四个任务套件），每个任务提供 50 条专家演示。
- 扩展评估于双臂 RoboTwin 2.0 基准，验证方法的广泛适用性。
- 基础模型为 OpenVLA-OFT，奖励模型使用预训练的 VLAC 基础评论家。
- 训练配置：学习率 1×10⁻⁵，批次大小 32，组大小 8；使用 4 个 NVIDIA A100 GPU 进行实验。
Card 06
评估与结果
评估与结果
- 在 LIBERO 基准上，Agentic-VLA 达到平均成功率 97.8%（5 次独立运行平均），相比 SFT 基线提升 +8.6%，相比 EVOLVE-VLA 提升 +2.0%。
- 在长期任务上表现最为显著，LIBERO-Long 成功率达 98.1%，相比 SFT 基线提升 +12.3%。
- 在单样本学习设定下，平均成功率 70.5%，相比 SFT 基线提升 +26.9%，相比 EVOLVE-VLA 提升 +9.2%。
- 在跨任务迁移（无目标任务演示）中，实现成功率从 0% 提升至 31.2%，任务进度达 68.7%。
- 训练效率方面，达到 90% 成功率的迭代次数仅 700 次（vs. EVOLVE-VLA 的 1680 次），所需轨迹数量减少至 22.4k（vs. 53.8k），收敛速度提升 2.4×。
- 消融实验证实三大组件的独立贡献：ARS +3.3% 成功率，LGE +1.6% 成功率并减少迭代，EM +1.9% 成功率并进一步减少迭代；各组件间存在协同效应。