一眼看懂
封面预览
论文提出 GTA-VLA（Guide, Think, Act）框架，一个交互式视觉-语言-动作模型，允许用户通过显式视觉线索（如点、框、轨迹）…
- 论文提出 GTA-VLA（Guide, Think, Act）框架，一个交互式视觉-语言-动作模型，允许用户通过显式视觉线索（如点、框、轨迹）…
- 核心目标是解决现有VLA模型在分布外（OOD）场景下表现脆弱且缺乏有效人工纠正接口的问题。
- 论文旨在将人类空间引导与具身思维链推理统一，实现可纠正且可解释的机器人控制。
Card 01
研究单位
研究单位
- Futian Laboratory
- Faculty of Computing, Harbin Institute of Technology
- International Digital Economy Academy (IDEA)
- School of Robotics, Hunan University
- South China University of Technology
- Visincept
- National Key Laboratory of Smart Farm Technologies and Systems
Card 02
论文概述
论文概述
- 论文提出 GTA-VLA（Guide, Think, Act）框架，一个交互式视觉-语言-动作模型，允许用户通过显式视觉线索（如点、框、轨迹）引导机器人策略。
- 核心目标是解决现有VLA模型在分布外（OOD）场景下表现脆弱且缺乏有效人工纠正接口的问题。
- 论文旨在将人类空间引导与具身思维链推理统一，实现可纠正且可解释的机器人控制。
Card 03
核心贡献
核心贡献
- 提出 GTA-VLA 交互式框架，统一显式人类空间引导与具身思维链推理。
- 开发自动化数据管道，从现有机器人数据集中合成大规模交互式监督，构建 Interact-306K 数据集。
- 引入 SimplerEnv-Plus 基准，用于评估OOD条件下交互式具身策略的性能。
- 提出异步流匹配设计，将慢速推理与快速控制解耦，以提升实际部署效率。
Card 04
方法描述
方法描述
- 框架分为三阶段：“Guide”阶段引入可选的空间先验（点、框、轨迹）；“Think”阶段生成受空间先验条件化的结构化空间-视觉思维链；“Act”阶段使用轻量级流匹配动作头执行连续动作。
- 关键创新在于将思维链推理过程显式条件化于人类提供的稀疏几何引导，而非完全自主生成。
- 采用异步慢快系统架构：慢速VLM模块进行高层推理，快速动作头进行低层闭环控制。
Card 05
数据集与资源
数据集与资源
- 使用 Interact-306K 多具身数据集，包含约306K真实世界操作轨迹，源自 OXE、DROID、RoboMind 等数据集。
- 模型骨干网络为 Qwen3-VL-2B，下游动作头采用 Flow-Matching 参数化。
- 训练分两阶段：第一阶段在 Interact-306K 上训练推理和动作模块；第二阶段在特定领域数据（如 BridgeData V2）上联合微调。
Card 06
评估与结果
评估与结果
- 在 LIBERO 和 SimplerEnv（WidowX）基准上评估模型性能，主要指标为任务成功率。
- 在 SimplerEnv WidowX 基准上达到 81.2% 的成功率，取得state-of-the-art结果。
- 在 SimplerEnv-Plus 的OOD评估中，模型在视觉、机器人状态、语言和物体偏移等条件下均表现出更强的鲁棒性，平均成功率 61.4%。
- 在空间模糊性场景下，单次视觉交互（点或框引导）能显著提高任务成功率，证明了交互式推理的价值。