一眼看懂
封面预览
论文针对现有视觉-语言-动作（VLA）模型仅依赖文本指令在复杂场景中难以精确定位目标物体的问题，提出引入手势作为并行指令模态。
- 论文针对现有视觉-语言-动作（VLA）模型仅依赖文本指令在复杂场景中难以精确定位目标物体的问题，提出引入手势作为并行指令模态。
- 提出了 GesVLA 模型，将手势特征编码进潜在空间，使其同时参与高层意图推理和底层动作生成，解决了空间歧义问题。
- 构建了可扩展的手势数据生成引擎和两阶段训练策略，实现了手势感知与动作策略的紧密耦合。
Card 01
研究单位
研究单位
- Tsinghua University
- Dexmal
Card 02
论文概述
论文概述
- 论文针对现有视觉-语言-动作（VLA）模型仅依赖文本指令在复杂场景中难以精确定位目标物体的问题，提出引入手势作为并行指令模态。
- 提出了 GesVLA 模型，将手势特征编码进潜在空间，使其同时参与高层意图推理和底层动作生成，解决了空间歧义问题。
- 构建了可扩展的手势数据生成引擎和两阶段训练策略，实现了手势感知与动作策略的紧密耦合。
Card 03
核心贡献
核心贡献
- 将手势引入 VLA 模型作为一级模态，系统性地研究了其在解决人机交互中空间歧义的作用。
- 设计了手势感知的双 VLM 架构，通过嵌入表示实现了手势特征与动作生成的紧密耦合。
- 构建了可扩展的半合成手势数据生成管道，提供了精确的空间标注，并提出了两阶段训练策略。
Card 04
方法描述
方法描述
- 提出了一种双 VLM 架构，包含意图推理模型 VLM_int、在线感知模型 VLM_per 和流匹配动作专家。
- 手势特征通过 MediaPipe 提取关键点，经由 MLP 投影到潜在空间，作为连续潜在 token 输入模型。
- 采用非对称注意力设计，VLM_int 的 Key-Value 状态在推理过程中仅计算一次并被复用，提高了计算效率。
- 动作生成采用 Flow Matching 目标函数，基于多模态上下文迭代去噪生成连续动作轨迹。
Card 05
数据集与资源
数据集与资源
- 构建了包含约 16k 样本 的半合成手势数据集，通过在真实 RGB-D 场景图像上渲染手部模型生成。
- 使用 PaliGemma-2B 作为 VLM backbone，动作专家基于 π0 初始化。
- 训练使用 4 张 H20 GPU，推理在单张 RTX 4090 GPU 上进行。
Card 06
评估与结果
评估与结果
- 在真实机器人任务上评估，包括 Pick-and-Place Block、Select Jelly 和 Select Fruit/Vegetable。
- 在意图推理任务上，GesVLA 达到 94.3% 的准确率，显著优于 Prompted MLLM (38.6%) 和几何管线方法 (59.1%)。
- 在机器人操作任务上，GesVLA 的平均成功率达到 83.3%，而纯文本 VLA 基线仅为 31.7%。
- 实验表明，在杂乱环境中引入手势能显著提高目标定位准确率，且端到端的潜在交互优于视觉提示方法。