Notes-to-Self: Scratchpad Augmented VLAs for Memory Dependent Manipulation Tasks

• Qualcomm AI Research (Qualcomm Technologies, Inc.)

• 提出了一种为 视觉-语言-行动 (Vision-Language-Action, VLA) 模型引入显式记忆机制的方法：语言便笺 (Language Scratchpad)。
• 旨在解决现有“无状态”VLA模型在依赖时空记忆的长周期、多步骤操作任务（如物体位置交换）上性能不佳的问题。
• 通过让模型生成、存储和利用语言描述来记录任务计划、环境状态（空间记忆）和子任务进度（时间记忆），从而解决任务的非马尔可夫特性问题。

• 提出一种基于语言便笺的简单记忆机制，使VLA模型能够创建行动计划，并基于此计划执行和条件化后续动作。
• 引入了ClevrSkills-Mem 评测基准，这是一个从ClevrSkills环境中提取的、包含五个依赖记忆的操作任务的数据集，用于系统地评估模型的时空记忆能力。
• 展示了便笺机制能显著提升非循环 (T-VLA) 和循环 (R-VLA) 策略在记忆依赖任务上的性能，平均成功率分别提升约48%和11%。
• 在MemoryBench 基准和真实世界的拾取-放置-恢复任务上验证了该方法的有效性，证明了其泛化能力。

• 在标准的VLA模型基础上，引入一个语言描述的便笺作为输入和输出的一部分。模型在每一步接收当前观测、指令和便笺，并同时输出动作和一条语言描述。
• 关键创新在于便笺的动态更新机制：当模型完成一个子任务时，会预测一个特殊的标记，触发将该步骤的描述（即“思考”）加入便笺，供后续步骤使用。
• 便笺内容结构化，包含环境初始化信息（接地）、任务计划（规划）和已完成动作（执行）三部分，灵活地编码了空间和时间记忆。
• 该方法被同时应用于基于Transformer的VLA 和基于循环架构（如Mamba）的VLA。

• 使用的数据集：ClevrSkills-Mem （基于ManiSkill2），MemoryBench （基于RLBench），以及自建的真实世界拾取-放置-恢复数据集（200条轨迹）。
• 模型规模与参数：

- T-VLA：基于PaliGemma-2 VLM（3B参数）。

- R-VLA：基于Mamba 语言模型（130M参数）和ViT视觉骨干。

• 训练资源：实验在4块NVIDIA A100 GPU 上进行。

• 评估环境：ClevrSkills-Mem（5个任务）、MemoryBench（Put-Block-Back任务）和真实世界机器人平台（UFACTORY xArm 6）。
• 主要评估指标：任务成功率、子任务完成率、物体最终放置的准确度（平均距离）。
• 关键实验结果：

- 在ClevrSkills-Mem上，T-VLA使用便笺后平均成功率提升了48.8%；R-VLA也获得了11%的平均提升。

- 在MemoryBench的Put-Block-Back任务中，T-VLA使用便笺的成功率为40%；在简化评估下（接近按钮时使用真实动作）达到100%。

- 在真实世界的拾取-放置-恢复任务中，基于OpenVLA的模型在添加便笺后，成功率从0%提升至65%。