一眼看懂
封面预览
针对 视觉-语言-动作 (VLA) 模型在异构数据集上因动作空间不一致导致的性能下降问题
- 针对 视觉-语言-动作 (VLA) 模型在异构数据集上因动作空间不一致导致的性能下降问题
- 系统研究了潜在动作监督的两种视角：基于图像的轨迹正则化和基于动作的目标统一
- 在统一基准下对比了四种集成策略，揭示了不同策略与任务特性的对应关系
Card 01
研究单位
研究单位
- 论文作者：Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang
Card 02
论文概述
论文概述
- 针对 视觉-语言-动作 (VLA) 模型在异构数据集上因动作空间不一致导致的性能下降问题
- 系统研究了潜在动作监督的两种视角：基于图像的轨迹正则化和基于动作的目标统一
- 在统一基准下对比了四种集成策略，揭示了不同策略与任务特性的对应关系
Card 03
核心贡献
核心贡献
- 在统一 VLA 基准下系统研究潜在动作监督，隔离了构型与架构集成的影响
- 将潜在动作监督分为轨迹正则化和目标统一两个视角，并提出四种具体的集成策略
- 提供了广泛的实证分析，揭示了构型-任务对应关系及混合任务训练下的鲁棒性
Card 04
方法描述
方法描述
- 基于 Qwen3-VL-2B 构建统一 VLA 基准，通过动作占位符预测连续动作块
- 设计了基于图像的潜在动作模型（基于 UniVLA 微调）和基于动作的潜在动作模型（结合 FFT 和 1D 卷积）
- 提出四种监督策略：隐式表征对齐 (LA-Align)、显式直接解码 (LA-Direct)、显式条件解码 (LA-Cond) 和动作到令牌映射 (LA-Tok)
Card 05
数据集与资源
数据集与资源
- 仿真基准：LIBERO (包含 Spatial, Object, Goal, Long 四个子任务)
- 双臂操作基准：RoboTwin 2.0 (包含 Move playingcard, Place container 等任务)
- 真实世界实验：使用 JAKA Arm 机械臂进行验证
- 开源代码：GitHub (RUCKBReasoning/From_Pixels_to_Tokens)
Card 06
评估与结果
评估与结果
- 评估指标为任务成功率，主要在 LIBERO 和 RoboTwin 2.0 基准上进行测试
- 在 LIBERO 基准上，LA-Direct 策略取得最高平均成功率 (97.1%)，在长视野任务上提升显著 (+10.8%)
- 发现基于图像的潜在动作利于长视野推理和场景泛化，基于动作的潜在动作 (LA-Tok) 在复杂运动协调任务上表现更优
- 实验证明潜在动作监督在混合任务数据集联合训练中能持续提升性能