一眼看懂
封面预览
提出了首个手语驱动的视觉-语言-动作（VLA）框架 SignVLA，旨在实现实时、直观、包容的人机交互。
- 提出了首个手语驱动的视觉-语言-动作（VLA）框架 SignVLA，旨在实现实时、直观、包容的人机交互。
- 旨在解决当前VLA机器人系统依赖于文本或语音指令的“听力规范”局限性，为听障或语障人士提供原生、自然的手语交互模态。
- 提出了第一个将手语作为原生指令模态集成到VLA框架中的系统，使机器人能够通过手势直接理解和执行任务。
Card 01
研究单位
研究单位
- 论文作者所属研究机构未在提供的HTML片段中明确列出。所有作者标记为
1，但具体的机构名称未在正文或作者列表中给出。
Card 02
论文概述
论文概述
- 提出了首个手语驱动的视觉-语言-动作（VLA）框架
SignVLA，旨在实现实时、直观、包容的人机交互。 - 旨在解决当前VLA机器人系统依赖于文本或语音指令的“听力规范”局限性，为听障或语障人士提供原生、自然的手语交互模态。
Card 03
核心贡献
核心贡献
- 提出了第一个将手语作为原生指令模态集成到VLA框架中的系统，使机器人能够通过手势直接理解和执行任务。
- 开发了一个鲁棒的手语到文字感知管道，集成了几何归一化、时序平滑和基于编辑距离的词法修正，实现了准确稳定的实时字母级手语识别。
- 设计了一个模块化接口，用于桥接连续的姿态流与离散的基于令牌的计算，确保可扩展性并减轻多模态具身系统中的灾难性遗忘。
- 在Franka Emika Panda机器人上验证了所提出的框架，在复杂的操作环境中有效地将手语指令落地为精确的物理动作。
Card 04
方法描述
方法描述
- 采用一个免注释符（gloss-free）的、分层级的管道。首先，通过MediaPipe Hands实时提取3D手部关键点，利用ResNet (2+1)D等混合时空模型进行字母级手势识别。
- 核心创新包括一个语言缓冲机制（包括时序平滑和滑动窗口去抖动）以及一个基于编辑距离的词典修正模块，将连续的字母流合成为稳定的单词和自然语言指令。
- 将合成的指令与机器人RGB观察输入到基于GR00T N1的VLA策略中进行多模态融合和行动生成。该策略采用双系统处理：System 2使用Eagle-2 VLM进行语义接地（10Hz），System 1使用扩散变换器（DiT）进行动作流匹配和行动分块，实现低延迟（120Hz）的闭环控制。
Card 05
数据集与资源
数据集与资源
- 使用了多个数据集，包括用于扩展的小型原始手势数据集（
D_raw）、ASL Citizen（在“未来工作”中提及）以及用于评估的CSL数据集。 - 模型规模：手语识别模型使用ResNet (2+1)D等轻量级架构；VLA模型基于大型基础模型GR00T N1。
- 训练与部署资源：实验平台包括Franka Emika Panda机器人、Intel RealSense RGB-D摄像头以及配备NVIDIA RTX系列GPU的专用工作站。
Card 06
评估与结果
评估与结果
- 评估环境：在Franka Emika Panda机器人上进行端到端机器人操作任务评估。使用CSL数据集对手语感知模块进行基准测试。
- 主要评估指标：手语识别准确率、词错率（WER）、机器人操作任务的成功率、执行时间和稳定性。
- 关键实验结果：ResNet (2+1)D模型在CSL数据集100类和500类任务上分别达到98.68% 和94.85% 的顶级识别准确率。初步VLA评估显示，经过时序平滑的手语指令控制任务成功率（84.7%）接近文本指令控制（86.5%）。