一眼看懂
封面预览
论文提出了 AR-VLA，这是一个包含独立 自回归动作专家 的框架，旨在解决现有视觉-语言-动作（VLA）模型中存在的“马尔可夫健忘症”和时间…
- 论文提出了 AR-VLA，这是一个包含独立 自回归动作专家 的框架，旨在解决现有视觉-语言-动作（VLA）模型中存在的“马尔可夫健忘症”和时间…
- 该研究旨在弥合高频机器人控制与低频语义推理之间的频率差异，通过维持长期的动作历史来实现时空一致的动作生成。
- 与现有的反应式策略（如 Diffusion Policy）不同，该模型将动作生成视为连续的因果序列建模问题，而非孤立的预测事件。
Card 01
研究单位
研究单位
- INSAIT (Institute for Computer Science, Artificial Intelligence and Technology)
- KU Leuven
Card 02
论文概述
论文概述
- 论文提出了 AR-VLA，这是一个包含独立 自回归动作专家 的框架，旨在解决现有视觉-语言-动作（VLA）模型中存在的“马尔可夫健忘症”和时间不一致性问题。
- 该研究旨在弥合高频机器人控制与低频语义推理之间的频率差异，通过维持长期的动作历史来实现时空一致的动作生成。
- 与现有的反应式策略（如 Diffusion Policy）不同，该模型将动作生成视为连续的因果序列建模问题，而非孤立的预测事件。
Card 03
核心贡献
核心贡献
- 提出了 自回归动作专家 架构，将动作生成建模为跨时间的因果序列，通过维护长期上下文解决了反应式策略的时间不连贯性。
- 设计了 混合键值缓存，包含用于高频动作的滚动 FIFO 缓冲区和用于视觉-语言语义的可刷新缓冲区，实现了感知与控制的解耦。
- 引入了 动态时间重锚定 机制，利用旋转位置嵌入 管理异步视觉和动作流，确保模型在训练和推理中理解视觉信息的“陈旧度”。
- 在模拟和真实机器人任务中验证了方法的有效性，展示了优于现有基线的轨迹平滑度、推理效率和长时序任务处理能力。
Card 04
方法描述
方法描述
- 使用统一的 Transformer 解码器 处理连续的本体感受数据和视觉-语言嵌入。
- 引入 HKV Cache 结构：$KV^X$ 存储机器人状态和动作历史的滚动 FIFO 队列，$KV^{VL}$ 存储来自 VLM 骨干网络的最新视觉-语言特征作为语义前缀。
- 提出 DTR 技术，通过 RoPE 为视觉 Token 分配对应其捕获时间的时间戳索引，使模型能够感知推理时的时间延迟，解决异步流同步问题。
- 采用两阶段训练策略：第一阶段仅使用动作数据进行自回归预训练以学习运动语法；第二阶段进行跨模态对齐，连接 VLM 骨干网络。
Card 05
数据集与资源
数据集与资源
- 使用 BridgeV2 数据集进行通用策略训练。
- 评估环境包括 SimplerEnv 模拟器和真实世界的 WidowX 机器人。
- 专家任务评估使用了 PushT、ALOHA cube transfer 和 ALOHA peg insertion 数据集。
- 设计了需要历史感知的任务 PushT2 和 Stack3。
- 模型规模：通用策略使用 Paligemma-3B 作为 VLM 骨干，配合 300M 参数的动作专家；专家策略使用 ResNet-18 视觉编码器。
Card 06
评估与结果
评估与结果
- 在 SimplerEnv 基准测试中，AR-VLA 取得了 61.5% 的平均成功率，显著优于 CogAct (52.1%)、OpenVLA 和 Pi-0-Fast 等基线模型。
- 在真实世界 WidowX 机器人上实现了 89% 的平均成功率，并展示了更平滑的轨迹和更低的抖动。
- 在专家策略任务中，如 ALOHA cube transfer，AR-VLA 达到了 97.33% 的成功率，优于 ACT (86.0%) 和 Diffusion Policy (33.33%)。
- 推理效率方面，AR-VLA 的每步有效延迟最低为 46.25ms，且平均和最大加加速度指标均为最低，证明了其轨迹的平滑性和实时性优势。