一眼看懂
封面预览
论文提出 ReMem-VLA，一种具有记忆增强功能的视觉-语言-动作模型，旨在解决现有 VLA 模型在处理依赖历史信息的任务时的局限性。
- 论文提出 ReMem-VLA，一种具有记忆增强功能的视觉-语言-动作模型，旨在解决现有 VLA 模型在处理依赖历史信息的任务时的局限性。
- 现有 VLA 模型通常基于马尔可夫假设，缺乏记忆机制，导致在需要空间、时间、顺序和情景记忆的长期任务中表现不佳。
- 该模型通过双层级循环查询机制引入记忆能力，并辅以过去观测预测任务，显著提升了机器人在复杂记忆依赖型任务中的表现。
Card 01
研究单位
研究单位
- Technical University of Munich (慕尼黑工业大学)
- Huawei Heisenberg Research Center (华为海森堡研究中心)
- University of Freiburg (弗莱堡大学)
- Nanjing University (南京大学)
- Huawei Technologies (华为技术有限公司)
Card 02
论文概述
论文概述
- 论文提出 ReMem-VLA，一种具有记忆增强功能的视觉-语言-动作模型，旨在解决现有 VLA 模型在处理依赖历史信息的任务时的局限性。
- 现有 VLA 模型通常基于马尔可夫假设，缺乏记忆机制，导致在需要空间、时间、顺序和情景记忆的长期任务中表现不佳。
- 该模型通过双层级循环查询机制引入记忆能力，并辅以过去观测预测任务，显著提升了机器人在复杂记忆依赖型任务中的表现。
Card 03
核心贡献
核心贡献
- 提出了 ReMem-VLA 架构，引入双层级循环记忆查询：帧级查询用于短期记忆，块级查询用于长期记忆，实现了跨时间尺度的上下文保留。
- 设计了 Past Observation Prediction (POP) 辅助训练目标，通过重构历史视觉观测来增强模型的视觉记忆能力。
- 提出了一种基于时隙的流式训练方法，解决了变长片段循环模型批处理训练中的时序连续性和跨片段泄漏问题。
- 在仿真和真实世界实验中验证了模型在空间、时间、顺序、情景和视觉记忆等多个维度的有效性，大幅超越现有基线。
Card 04
方法描述
方法描述
- 模型以冻结的 Qwen3-VL-2B 作为视觉-语言模型骨干，并引入四组可学习的查询：动作查询、后见查询以及两组循环记忆查询。
- 双层级循环记忆查询：帧级查询在每一步更新以捕捉短期上下文；块级查询每隔固定步数更新以保持长期记忆。
- 记忆更新路径采用无梯度的 指数移动平均 (EMA) 机制，避免了截断反向传播时间 (TBPTT) 对长期记忆学习的限制。
- 引入了一个带有双向注意力的 Transformer 连接器，使动作查询和后见查询能与记忆查询交互，融合历史与当前信息。
- 动作预测通过扩散模型实现，过去图像重构通过轻量级 ViT 解码器实现，两者联合端到端训练。
Card 05
数据集与资源
数据集与资源
- 仿真实验使用 MemoryBench 基准，包含 Put Block Back、Rearrange Block、Reopen Drawer 等任务，并扩展了一个长时域任务。
- 真实世界实验设计了四个任务：浇花（时间记忆）、舀米（情景记忆）、按顺序按钮（顺序与时间记忆）、放回水果（视觉记忆）。
- 模型骨干参数量为 2B，输入图像分辨率为 256×256，动作块大小为 30。
- 训练使用 8 张 A100 GPU，总 Batch Size 为 64；推理在单张 RTX 4090 GPU 上运行，频率约为 10 Hz。
Card 06
评估与结果
评估与结果
- 在仿真实验中，ReMem-VLA 在四项任务上的平均成功率达到 94.5%，远高于基线模型（如 OpenVLA-OFT 为 0.75%，$\pi_{0.5}$ 为 8.25%）。
- 在真实世界实验中，ReMem-VLA 平均成功率为 82.5%，显著优于 MemoryVLA (8%) 和 $\pi_{0.5}$ (11%)。
- 消融实验证明，双层级查询对记忆保留至关重要，且无梯度的 EMA 更新路径在长期记忆任务中优于可学习的循环动态（如 GRU/MLP）。
- 过去观测预测 (POP) 显著提升了视觉记忆密集型任务（如 Put Fruit Back）的性能（成功率从 34% 提升至 82%）。