一眼看懂
封面预览
论文提出了 $\pi_0$-EqM 模型,通过用 Equilibrium Matching (EqM) 解码器替换现有 $\pi_0$ VLA…
- 论文提出了 $\pi_0$-EqM 模型,通过用 Equilibrium Matching (EqM) 解码器替换现有 $\pi_0$ VLA…
- 旨在解决现有生成式动作解码器通常采用固定采样步数,导致无法根据状态调整计算量且难以跨控制周期重用计算结果的问题。
- 核心思想是将动作生成视为迭代求解平衡点的过程,利用 EqM 的时间无关特性实现自适应早停和热启动,从而提高机器人操控任务的性能。
Card 01
研究单位
研究单位
- University of Science and Technology of China (中国科学技术大学)
- Shanghai Jiao Tong University (上海交通大学)
Card 02
论文概述
论文概述
- 论文提出了 $\pi_0$-EqM 模型,通过用 Equilibrium Matching (EqM) 解码器替换现有 $\pi_0$ VLA 模型中的 Flow-matching 专家,实现闭环视觉-语言-动作控制。
- 旨在解决现有生成式动作解码器通常采用固定采样步数,导致无法根据状态调整计算量且难以跨控制周期重用计算结果的问题。
- 核心思想是将动作生成视为迭代求解平衡点的过程,利用 EqM 的时间无关特性实现自适应早停和热启动,从而提高机器人操控任务的性能。
Card 03
核心贡献
核心贡献
- 提出了 $\pi_0$-EqM 方法,在保持上游 VLA 架构不变的情况下,在 RoboTwin 基准的 19 个任务上将平均成功率从 40.4% 提升至 50.2%。
- 证明了在基于 EqM 的控制中,推理深度(停止阈值)是影响闭环行为的关键策略变量。
- 发现并解释了 平稳性-可执行性差距,即数值上的收敛(残差最小)并不总是意味着最好的物理执行效果,揭示了阈值选择与任务成功率之间的非单调关系。
- 定性和定量地展示了时间无关的扩散动作生成方法在机器人操控任务中优于传统方法。
Card 04
方法描述
方法描述
- 模型学习一个 时间不变 的条件向量场 $f_{\theta}(A;c_{t})$,其根(平衡点)对应目标动作块,而非像 Flow-matching 那样依赖时间索引。
- 训练使用 EqM 损失函数,通过最小化向量场与目标向量之间的差异,强制数据流形成为稳定平衡点集。
- 推理过程使用 Nesterov-accelerated solver 迭代求解 $f_{\theta}=0$,并引入 自适应推理深度 停止机制(基于归一化残差阈值)。
- 提出了 结构化热启动 机制,将上一控制周期的部分输出复制到当前周期的初始化中,利用时序连贯性减少求解迭代次数。
Card 05
数据集与资源
数据集与资源
- RoboTwin 基准:包含 19 个任务,每个任务 500 条演示数据(100 条干净数据 + 400 条随机化数据),共计 9500 条数据。
- LIBERO 基准套件:包含 LIBERO-Spatial, LIBERO-Object, LIBERO-Goal 和 LIBERO-10 四个子集。
- 推理预算:主要对比实验设定为匹配的 300 步推理预算,阈值扫描实验允许最多 1000 次迭代。
Card 06
评估与结果
评估与结果
- 评估环境:RoboTwin 双臂操控基准和 LIBERO 机器人学习基准。
- 主要指标:任务成功率。
- RoboTwin 结果:$\pi_0$-EqM 在 12 个任务上有提升,平均成功率提升 9.8%,在
pick_dual_bottles等任务上提升显著(+40%)。 - LIBERO 结果:整体表现具有竞争力,四套件平均成功率从 94.15% 微升至 94.35%,其中 LIBERO-10 提升最明显(从 85.2% 到 87.0%)。
- 阈值扫描结果:发现最佳阈值具有任务依赖性,过小的残差阈值可能导致“过度细化”从而降低执行成功率。