一眼看懂
封面预览
论文提出了一种新的运动学丰富的视觉-语言-动作（VLA）任务，旨在解决现有 VLA 模型对细粒度运动指令（如方向、轨迹、姿态）不敏感的问题
- 论文提出了一种新的运动学丰富的视觉-语言-动作（VLA）任务，旨在解决现有 VLA 模型对细粒度运动指令（如方向、轨迹、姿态）不敏感的问题
- 研究目标是让机器人在保持任务目标不变的情况下，根据指令中的运动学约束执行多样化的精确操作轨迹
- 论文提出了 KineVLA 框架，通过双层动作分解和双层推理令牌，实现了语义目标与运动细节的解耦与对齐
Card 01
研究单位
研究单位
- 论文原文片段未明确列出作者所属的具体研究机构
- 论文作者名单：Gaoge Han, Zhengqing Gao, Ziwen Li, Jiaxin Huang, Shaoli Huang, Fakhri Karray, Mingming Gong, Tongliang Liu
Card 02
论文概述
论文概述
- 论文提出了一种新的运动学丰富的视觉-语言-动作（VLA）任务，旨在解决现有 VLA 模型对细粒度运动指令（如方向、轨迹、姿态）不敏感的问题
- 研究目标是让机器人在保持任务目标不变的情况下，根据指令中的运动学约束执行多样化的精确操作轨迹
- 论文提出了 KineVLA 框架，通过双层动作分解和双层推理令牌，实现了语义目标与运动细节的解耦与对齐
Card 03
核心贡献
核心贡献
- 提出了 Kinematics-Rich Manipulation Task，定义了“目标不变、运动学多变”的机器人操作任务新设定
- 设计了 KineVLA 模型，采用双层向量量化动作表示（Bi-Level VQ），将动作分解为粗粒度的目标级和细粒度的运动学级
- 构建了三个新的 Kinematics-Aware Manipulation Datasets，涵盖仿真和真实机器人场景，包含细粒度的空间和运动约束标注
- 引入了双层推理令牌和互信息正则化机制，增强了语言指令与动作生成之间的语义一致性
Card 04
方法描述
方法描述
- 双层动作表示：使用残差向量量化变分自编码器（RVQ-VAE）将动作序列离散化。设计了两个码本：目标级码本 ($E_l$) 捕捉低频任务目标，运动学级码本 ($E_h$) 捕捉高频运动细节
- 两阶段训练策略：第一阶段在 Open X-Embodiment 等大规模数据上预训练粗粒度路径；第二阶段冻结粗粒度参数，在构建的运动学数据集上微调细粒度码本
- 双层生成与推理：模型基于 OpenVLA (Prismatic-7B) 架构，先生成双层推理文本（粗粒度目标描述 + 细粒度运动参数），再生成双层动作令牌，通过互信息最大化（$I(\text{Reasoning};\text{Action}\|C)$）对齐推理与动作空间
- 使用 LoRA (rank=32) 对基础视觉语言模型进行微调，以适应新的动作空间
Card 05
数据集与资源
数据集与资源
- LIBERO-Goal-Relabeled：仿真数据集，从 LIBERO-GOAL 重新标注而来，包含 63K 帧运动学丰富的指令
- Kine-LIBERO：仿真数据集，包含 266K 帧细粒度运动学标注（如物体部位、动作约束、目标关系）
- Kine-Realman：真实世界数据集，使用 Realman-75 机械臂采集，包含 49K 帧，涵盖 7 种精细操作任务
- 训练资源：RVQ-VAE 在单张 A100 GPU 上训练；VLA 模型微调使用 4 张 A100 GPUs
Card 06
评估与结果
评估与结果
- 评估环境：LIBERO 仿真平台和 Realman-75 真实机器人平台
- 基准模型：OpenVLA, $\pi_{0.5}$, VQ-VLA
- 评估指标：目标成功率、运动学成功率、BLEU、BERTScore 以及干预实验
- 关键结果：KineVLA 在运动学成功率上显著优于基准模型（如在 LIBERO-Goal-Relabeled 上达到 76.5%），而基准模型在处理细粒度运动指令时性能大幅下降
- 消融实验：证明了双层动作表示、双层推理令牌和互信息正则化对模型性能提升均有重要贡献；干预实验表明替换推理令牌会导致运动学成功率显著下降