Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation

• 哈尔滨工业大学（深圳）
• 鹏城实验室
• 深圳环路研究院
• 华为诺亚方舟实验室

• 论文提出了 OptimusVLA，一个双记忆增强的视觉-语言-动作（VLA）框架，旨在解决机器人操作中动作生成过程的效率和鲁棒性瓶颈。
• 核心目标是解决现有分层VLA模型的两个主要问题：1）推理效率低，各向同性噪声先验与目标动作分布之间的差距大，导致去噪步骤多且容易产生不可行动作；2）鲁棒性差，策略仅以当前观测为条件，缺乏对任务进度和时序一致性的感知。

• 提出了 全局先验记忆，通过从语义相似的轨迹中检索任务级别的先验，替换高斯噪声，从而缩小先验-目标分布差距，显著减少所需函数评估次数并降低采样风险。
• 设计了 局部一致性记忆，一个轻量级的工作记忆模块，通过动态建模近期动作序列，注入一致性约束，为VLA模型提供任务进度感知和时序平滑性，且计算开销可忽略。
• 提出了双记忆驱动的 OptimusVLA 框架，将GPM和LCM有机结合，在多个仿真和现实世界基准测试中实现了更高的性能以及显著的推理加速。

• 采用了分层VLA架构，包括视觉-语言主干网络、流匹配策略，以及新提出的GPM和LCM。
• GPM 的核心在于将先验初始化视为一个记忆驱动的检索问题。它由先验头、记忆库和先验感知采样器组成，根据当前多模态表示检索相似任务的轨迹，并构造一个任务级先验分布，并自适应地注入噪声和选择NFE。
• LCM 通过一个一致性层（自注意力）和动态感知模块（Mamba结构）对历史动作序列进行建模，学习一个残差偏差，作为约束注入到策略输入中，确保动作的时序一致性和平滑性。
• 训练分为三个阶段：分层VLA预训练、GPM训练、以及LCM训练。GPM使用InfoNCE损失学习判别性表示，LCM使用L2损失学习预测动作真值与GPM先验均值之间的残差。

• 在三个仿真基准上进行评估：LIBERO、CALVIN和RoboTwin 2.0。
• 模型使用与 π₀.₅ 相似的架构进行预训练。未在提供的文本中明确说明具体参数量和预训练数据集。
• 训练资源未在提供的HTML片段中明确说明，但通常这类模型使用大量GPU进行训练。

• 评估基准：LIBERO、CALVIN、RoboTwin 2.0的Hard设置，以及真实世界评估套件（Generalization和Long-horizon）。
• 主要指标：任务成功率、平均完成长度、推理速度。
• 关键结果：

- LIBERO：平均成功率高达 98.6%，超越所有对比基线。

- CALVIN：平均完成长度为 4.45，相比 π₀ 提升了13.5%。

- RoboTwin 2.0 Hard：在展示的7个任务中取得最佳或次佳排名，平均成功率约为 38%。

- 真实世界：在Generalization和Long-horizon套件中分别超越 π₀ 42.9%和52.4%，同时实现了 2.9倍 的推理加速。