一眼看懂
封面预览
论文提出了 Key-Gram，一个用于具身操作的内存增强框架，旨在解决视觉-语言-动作模型中语言知识与视觉推理纠缠导致的模态竞争问题
- 论文提出了 Key-Gram，一个用于具身操作的内存增强框架，旨在解决视觉-语言-动作模型中语言知识与视觉推理纠缠导致的模态竞争问题
- 该框架将指令侧的世界知识检索与视觉侧的物理推理分离，通过外部可扩展内存存储可复用的语言先验，使骨干网络专注于动态视觉状态推理
- 目标是实现模块化的知识扩展，无需重新训练骨干网络即可适应新物体、技能和关系
Card 01
研究单位
研究单位
- 清华大学 计算机科学与技术系
- 清华大学 自动化系
Card 02
论文概述
论文概述
- 论文提出了 Key-Gram，一个用于具身操作的内存增强框架，旨在解决视觉-语言-动作模型中语言知识与视觉推理纠缠导致的模态竞争问题
- 该框架将指令侧的世界知识检索与视觉侧的物理推理分离，通过外部可扩展内存存储可复用的语言先验，使骨干网络专注于动态视觉状态推理
- 目标是实现模块化的知识扩展，无需重新训练骨干网络即可适应新物体、技能和关系
Card 03
核心贡献
核心贡献
- 提出了一种功能解耦的具身控制框架，将指令侧的世界知识检索与场景侧的视觉推理分离，减少了模态竞争
- 设计了一种可扩展的外部记忆机制，通过确定性哈希查找存储语言先验，支持模块化的知识增长且无需重写骨干网络权重
- 在仿真和真实世界基准测试中取得了持续的性能提升，特别是在组合式指派、迁移和长时程任务上表现优异
Card 04
方法描述
方法描述
- 利用轻量级语言模型将指令分解为任务特定的 Key-Gram（关键语段），提取知识承载单元
- 使用多头部哈希函数将提取的 Key-Grams 映射到静态的外部记忆表中进行 O(1) 复杂度的检索
- 通过上下文自适应门控机制和轻量级卷积融合，将检索到的记忆条目注入到选定的 Transformer 层（如第 1、8、13 层）
- 骨干网络支持耦合的视觉预测和动作推理，动作专家利用骨干网络的 KV 缓存进行轨迹解码
Card 05
数据集与资源
数据集与资源
- 仿真基准：RoboTwin2.0（50 任务）、LIBERO、LIBERO-Plus
- 真实世界数据：在 Piper 双臂机器人平台上采集的长时程任务（每任务 300 条轨迹）和扩展任务数据
- 模型骨干：基于开源的 π₀ 和 π₀.5 视觉-语言-动作模型进行验证
- 训练资源：具体的计算资源配置详见附录（HTML 截断未显示具体 GPU/TPU 数量，文中提及系统效率高）
Card 06
评估与结果
评估与结果
- 评估环境包括 RoboTwin2.0 的 Easy/Hard 设置、LIBERO 的迁移设置以及真实机器人的组合泛化测试
- 在 RoboTwin2.0 上，π₀-KG 和 π₀.5-KG 相对于基线平均分别提升 29.5% 和 9.9%
- 在 LIBERO-Plus 零样本迁移中，π₀-KG 提升了 35.8%，π₀.5-KG 提升了 4.5%
- 真实世界长时程任务平均提升 15.4% 和 8.1%，未见过的物体组合任务提升高达 41.7%
- 消融实验显示，在浅层（Layer 1）注入记忆最关键，配置为 (1, 8, 13) 层时效果最佳