一眼看懂
封面预览
论文提出了 Gaze2Act，一个新颖的视觉-语言-动作（VLA）框架，利用人类凝视作为动态、直观的意图信号，用于复杂的交互式机器人操控。
- 论文提出了 Gaze2Act，一个新颖的视觉-语言-动作（VLA）框架，利用人类凝视作为动态、直观的意图信号，用于复杂的交互式机器人操控。
- 该框架旨在解决仅使用语言指令时，难以精确描述目标对象、交互位置或动态变化意图的核心问题。
- 核心目标是将第一人称视角的凝视信号无缝、有效地集成到基于VLA的机器人操控中。
Card 01
研究单位
研究单位
- MARS Lab, Nanyang Technological University
Card 02
论文概述
论文概述
- 论文提出了 Gaze2Act，一个新颖的视觉-语言-动作（VLA）框架，利用人类凝视作为动态、直观的意图信号，用于复杂的交互式机器人操控。
- 该框架旨在解决仅使用语言指令时，难以精确描述目标对象、交互位置或动态变化意图的核心问题。
- 核心目标是将第一人称视角的凝视信号无缝、有效地集成到基于VLA的机器人操控中。
Card 03
核心贡献
核心贡献
- 提出了将 人类凝视作为VLA政策的连续、动态意图接口，实现了对象级、部件级及动态交互场景下的精确目标指定。
- 设计了 Gaze2Act框架，通过无标记的跨视图语义匹配将第一人称凝视映射到机器人视角，并通过感知级视觉提示和动作级接地进行集成。
- 在 Unitree G1 人形机器人 上进行了全面的真实世界评估，覆盖7个任务类别和16个任务，证明了在对象消歧、细粒度交互和动态意图转向方面的性能提升。
Card 04
方法描述
方法描述
- 框架包含三个关键技术阶段：跨视图凝视接地、感知级凝视提示 和 动作级凝视条件化。
- 跨视图凝视接地使用 DINOv3 进行无训练、免校准的语义匹配，结合 SAM3 分割目标对象和定位交互点。
- 感知级提示将对象轮廓和凝视热力图渲染为视觉提示；动作级条件化通过解耦交叉注意力将凝视令牌注入到 DiT 动作头中。
Card 05
数据集与资源
数据集与资源
- 使用了15个自定义的真实世界机器人操控任务，涵盖对象选择、部件级交互和动态意图转向等场景。
- 基于 GROOT N1.5 作为VLA骨干模型，引入的轻量级模块仅增加了4.95%的参数（约119.5M）。
- 训练在单块 NVIDIA RTX PRO 6000 GPU（96GB显存）上进行，每个任务组训练20,000步。
Card 06
评估与结果
评估与结果
- 评估在 Unitree G1 人形机器人 上进行，使用 意图准确率 和 任务成功率 作为主要指标。
- 在所有静态任务中，Gaze2Act 的总体平均意图准确率达到 88.8%，任务成功率达到 83.5%，显著优于基线方法。
- 在动态意图转向任务中，Gaze2Act达到14/30的成功率，远超基于语言条件掩码的基线方法（RoboGround 4/30, ControlVLA 5/30）。