一眼看懂
封面预览
提出 VLAs-as-Tools 策略，将视觉-语言-动作模型作为可调用的工具，以解决长期任务中VLA模型面临的扩展闭环规划与多样化物理操作的…
- 提出 VLAs-as-Tools 策略，将视觉-语言-动作模型作为可调用的工具，以解决长期任务中VLA模型面临的扩展闭环规划与多样化物理操作的…
- 该策略将负担分配给高层视觉语言模型代理进行时序推理，以及一系列专门的VLA工具执行局部物理操作，旨在结合端到端VLA的强执行能力与基于代理系统…
- 论文核心挑战在于如何使VLA成为可调用且可靠的物理工具，以及如何将其有效地集成到具身代理系统中。
Card 01
研究单位
研究单位
- 上海交通大学
- 中关村科学院
- 北京航空航天大学
Card 02
论文概述
论文概述
- 提出 VLAs-as-Tools 策略，将视觉-语言-动作模型作为可调用的工具，以解决长期任务中VLA模型面临的扩展闭环规划与多样化物理操作的负担。
- 该策略将负担分配给高层视觉语言模型代理进行时序推理，以及一系列专门的VLA工具执行局部物理操作，旨在结合端到端VLA的强执行能力与基于代理系统的强规划能力。
- 论文核心挑战在于如何使VLA成为可调用且可靠的物理工具，以及如何将其有效地集成到具身代理系统中。
Card 03
核心贡献
核心贡献
- 提出 VLAs-as-Tools 策略，形式化VLA作为有界可调用执行器在具身代理控制循环中的角色。
- 提出 工具对齐后训练 方法，通过构造调用对齐训练单元、采用工具族残差适配器，提升VLA工具的指令遵循能力与专业化。
- 设计 VLA工具族接口，定义代理到工具的调用消息与工具到代理的反馈消息，实现高效的、事件触发的代理重规划。
Card 04
方法描述
方法描述
- 构建双向代理-工具交互接口，调用消息包含工具族标签与场景对齐指令，反馈消息提供连续的进度信号。
- TAPT方法将模仿学习数据分段为有界调用窗口并标注，强化学习则在相同调用单元内进行初始化与奖励。
- 采用 工具族残差适配器（基于低秩适配LoRA）在共享骨干上为每个工具族创建参数高效的专用执行路径。
Card 05
数据集与资源
数据集与资源
- 主要评估基准：LIBERO-Long、RoboTwin、CALVIN。
- 中间后训练使用 DROID 数据集。
- VLA骨干模型包括 OpenVLA、OpenVLA-OFT 与 π0.5。
- 模型参数开销：添加工具族残差适配器后，OpenVLA-OFT参数量增加约9%，推理时间增加约7%。
Card 06
评估与结果
评估与结果
- 评估环境：模拟机器人操作基准。
- 主要指标：任务成功率、调用忠实度。
- 关键结果：在LIBERO-Long上，π0.5 成功率提升4.8个点；在RoboTwin上，OpenVLA-OFT 成功率提升35.5个点。
- 调用忠实度：非偏向率提升达15.0个点，表明VLA执行更忠实于代理调用。