一眼看懂
封面预览
论文提出了 RuleSafe，一个新的、可扩展的铰接物体操作基准测试，用于评估非马尔可夫、长时序任务中的时序建模和规划能力。
- 论文提出了 RuleSafe，一个新的、可扩展的铰接物体操作基准测试，用于评估非马尔可夫、长时序任务中的时序建模和规划能力。
- 论文提出了 VQ-Memory，一种紧凑且结构化的时序记忆表示方法，用于增强机器人策略对长时序任务的执行能力。
- 论文旨在解决现有基准测试集中在短时序简单任务、忽略真实世界任务中非马尔可夫特性与复杂铰接物体交互的问题。
Card 01
研究单位
研究单位
- 清华大学
- 复旦大学
- 中国电信人工智能研究院 (Institute of Artificial Intelligence, China Telecom)
Card 02
论文概述
论文概述
- 论文提出了 RuleSafe，一个新的、可扩展的铰接物体操作基准测试，用于评估非马尔可夫、长时序任务中的时序建模和规划能力。
- 论文提出了 VQ-Memory，一种紧凑且结构化的时序记忆表示方法，用于增强机器人策略对长时序任务的执行能力。
- 论文旨在解决现有基准测试集中在短时序简单任务、忽略真实世界任务中非马尔可夫特性与复杂铰接物体交互的问题。
Card 03
核心贡献
核心贡献
- 提出了 RuleSafe 基准，包含多种锁机制（如钥匙锁、密码锁、逻辑锁），需要多阶段推理和操作策略，任务具有非马尔可夫性。
- 提出了 VQ-Memory 模块，通过向量量化变分自编码器（VQ-VAE）将历史关节状态编码为离散潜在标记，提供紧凑且鲁棒的时序线索。
- 验证了 VQ-Memory 是一种模型无关的模块，可无缝集成到多种主流 VLA模型 和 扩散策略 中，并显著提升其长时序规划与泛化能力。
Card 04
方法描述
方法描述
- RuleSafe 基准包含锁机制生成和演示生成两个部分。锁机制基于部件阶段和任务阶段设计，并通过 LLM 辅助生成规则与可执行判断程序。演示数据通过扩展 HumanoidGen 框架生成，包含任务分解与空间标注。
- VQ-Memory 方法首先使用 VQ-VAE 将连续的机器人关节状态轨迹编码并量化为离散的潜在标记。然后，对学习到的码本应用 K-means聚类，合并冗余代码，形成更紧凑、语义更一致的词汇表，从而过滤低级噪声并保留高级任务阶段上下文。
Card 05
数据集与资源
数据集与资源
- 使用 RuleSafe 自建基准，包含 20条锁规则 和 10种保险箱类型。
- 机器人平台为 Unitree H1-2 人形机器人（每臂7自由度，每手6自由度，共13维动作空间）。
- 实验使用 4块 NVIDIA A100 GPU 进行训练。
Card 06
评估与结果
评估与结果
- 在 RuleSafe 基准上进行评估，采用 成功率 和 过程分数 作为指标。
- 在单任务设置中，集成了 VQ-Memory 的 π0 模型在
rule_001任务上成功率从30.0%提升至80.0%，在长时序rule_020任务上从0.0%提升至45.0%。 - 在多任务设置中，集成 VQ-Memory 后，平均成功率从25.0%显著提升至56.3%，平均过程分数从48.8%提升至76.5%。
- 方法在 DP3、RDT、CogACT 等多种基座模型上均取得了性能提升，证明了其通用性。