IntentVLA: Short-Horizon Intent Modeling for Aliased Robot Manipulation

• HUST (华中科技大学)
• ZGCA (中关村学院)
• ZGCI (中关村学院)
• HIT (哈尔滨工业大学)
• HKUST(GZ) (香港科技大学(广州))
• BUAA (北京航空航天大学)
• ZZU (郑州大学)
• ECNU (华东师范大学)
• USTC (中国科学技术大学)
• DeepCybo

• 论文研究机器人模仿学习中的多模态数据问题，指出在部分观测条件下，仅基于当前帧的视觉-语言-动作（VLA）策略会在相邻规划步骤中采样不同意图，导致动作块冲突和执行不稳定。
• 核心目标是解决“短视野观测别名”导致的决策一致性失败模式，即相同的当前观测可能对应不同的后续动作意图。
• 提出了一种名为 IntentVLA 的历史条件化 VLA 框架，并构建了专门的 AliasBench 基准来评估该问题。

• 识别了帧条件化 VLA 策略在部分观测下的失败模式：跨轨迹多模态但轨迹内局部一致，而仅当前帧条件化会在测试时破坏这种一致性。
• 构建了 AliasBench，一个基于 RoboTwin2 的 12 任务基准，专门设计用于评估短视野观测别名下的 VLA 行为，包含匹配的仿真训练数据与评估环境。
• 提出了 IntentVLA 框架，通过编码近期视觉历史为紧凑的短视野意图表示，并以此条件化动作块生成，来保持局部决策承诺。
• 在 AliasBench、SimplerEnv、LIBERO 和 RoboCasa 等多个基准上全面验证了 IntentVLA 的有效性，显著提升了 rollout 稳定性与成功率。

• 采用 Qwen3-VL 4B 作为视觉-语言骨干网络，编码当前图像与语言指令。
• 使用冻结的 VGGT-1B 作为历史编码器，处理近期视觉观测窗口，提取相机与寄存器 token 作为历史证据。
• 通过门控交叉注意力机制，将历史 token 与当前视觉-语言上下文融合，形成条件依赖的短视野意图表示。
• 基于 DiT 的流匹配动作头，以融合后的意图表示为条件生成动作块。
• 训练目标为标准的条件流匹配损失，无需显式的意图标签监督。

• AliasBench: 包含 12 个操作任务，基于 RoboTwin2 构建，分为往返、交叉路径、双手与多目标四种别名场景，并提供匹配的训练数据。
• 其他基准数据集: BridgeDataV2 (用于 SimplerEnv)、LIBERO 基准数据、RoboCasa 数据。
• 训练资源: 使用 16 块 NVIDIA H100 GPU，总训练步数 30K，总批次大小 256。
• 模型骨干: Qwen3-VL 4B，历史编码器为冻结的 VGGT-1B。

• 评估环境: AliasBench (仿真)、SimplerEnv (WidowX 机器人仿真)、LIBERO、RoboCasa (GR1 机器人仿真)。
• 主要评估指标: 任务成功率 (%)、块间一致性误差 (ICC-L2)。
• 关键实验结果:

- 在 AliasBench 上，IntentVLA 平均成功率达 45.8%，显著优于最强可行基线 (28.1%) 和原始模型 (9.0%)。

- 在 SimplerEnv 四任务平均成功率为 72.9%，超越此前最佳报告结果 (68.2%)。

- 在 LIBERO 上，尤其在挑战性的 Long 套件中达到 97.4% 成功率，优于基线 (92.0%)。

- 在 RoboCasa 上，IntentVLA 在多个任务组中表现优异，整体平均表现领先。

- 块间一致性指标 ICC-L2 平均降低了 17.6%，证明相邻动作块更一致，意图保持性更好。