一眼看懂
封面预览
论文提出了 VPWEM，一种具备工作记忆和情景记忆的非马尔可夫视觉运动策略，旨在解决现有方法在长时序依赖任务中表现不佳的问题。
- 论文提出了 VPWEM，一种具备工作记忆和情景记忆的非马尔可夫视觉运动策略，旨在解决现有方法在长时序依赖任务中表现不佳的问题。
- 现有的模仿学习方法通常依赖单步观测或短上下文历史，难以处理需要长期记忆的非马尔可夫任务，且简单扩大上下文窗口会导致计算成本高昂和因果混淆。
- VPWEM 通过保留短期滑动窗口作为工作记忆，并引入 Transformer 架构的上下文记忆压缩器，将历史观测递归压缩为固定大小的情景记忆…
Card 01
研究单位
研究单位
- University of Hong Kong (School of Computing and Data Science)
Card 02
论文概述
论文概述
- 论文提出了 VPWEM，一种具备工作记忆和情景记忆的非马尔可夫视觉运动策略，旨在解决现有方法在长时序依赖任务中表现不佳的问题。
- 现有的模仿学习方法通常依赖单步观测或短上下文历史，难以处理需要长期记忆的非马尔可夫任务，且简单扩大上下文窗口会导致计算成本高昂和因果混淆。
- VPWEM 通过保留短期滑动窗口作为工作记忆，并引入 Transformer 架构的上下文记忆压缩器，将历史观测递归压缩为固定大小的情景记忆，从而在几乎恒定的计算和内存开销下利用长期信息。
Card 03
核心贡献
核心贡献
- 提出了一种新颖的框架，利用基于 Transformer 的上下文记忆压缩器将历史观测递归压缩为固定大小的记忆 Token，作为全轨迹历史的动态摘要。
- 将该方法在 DP (Diffusion Policy) 和 MaIL (Mamba Imitation Learning) 两个基线模型上进行实例化，重新设计了训练和推理流程，使动作生成同时基于长期情景记忆和短期工作记忆。
- 在三个基准测试上进行了广泛实验，证明了该方法在记忆密集型任务上显著提升了性能，并在马尔可夫任务中保持了基线模型的性能。
Card 04
方法描述
方法描述
- 工作记忆： 定义为滑动窗口内的观测 Token，通过 FIFO（先进先出）机制维护，用于捕获当前的短期上下文信息。
- 情景记忆： 为了处理窗口外的长期信息，引入了一个上下文记忆压缩器。该压缩器包含自注意力层（与过去的摘要 Token 交互）和交叉注意力层（与历史观测 Token 交互），将观测压缩为固定数量的记忆 Token。
- 动作生成： 基于扩散模型，通过 Transformer 解码器架构，利用工作记忆和情景记忆作为条件，迭代去噪生成动作序列。
- 训练与推理： 训练时采用端到端优化，并切断历史缓存处的梯度以减少内存消耗；推理时动态更新观测缓存和摘要缓存，结合长短时记忆预测动作。
Card 05
数据集与资源
数据集与资源
- MIKASA：包含两个记忆密集型桌面操作任务（ShellGameTouch-v0, RememberColor3-v0）。
- MoMaRT：包含五个长视界移动操作任务（如 Table Setup, Table Cleanup 等）。
- Robomimic：包含桌面操作任务（Square, Transport）和非马尔可夫任务。
- 实验使用单张 NVIDIA RTX 4090 GPU。
- 模型参数量约为 52.98M（DP-VPWEM），使用 AdamW 优化器，Batch Size 为 64。
Card 06
评估与结果
评估与结果
- 在 MIKASA 基准上，VPWEM 在记忆密集型任务中显著优于最先进的基线（包括扩散策略和 VLA 模型），性能提升超过 20%。
- 在 MoMaRT 基准上，该方法实现了平均 5% 的性能提升，证明了其在长视界非马尔可夫任务中的有效性。
- 在 Robomimic 基准上，VPWEM 在（近似）马尔可夫任务中表现与基线相当，证明了其不会损害常规任务的性能。
- 效率对比显示，相比于直接增加上下文长度的 DP-PTP 方法，VPWEM 在保持较低推理延迟和显存占用的同时实现了更高的成功率（58.3% vs 40.4% @ 128 context）。