一眼看懂
封面预览
论文提出了一种名为 EvoScene-VLA 的视觉-语言-动作模型，旨在解决分块机器人控制中因动作导致场景几何变化（如接触、遮挡、物体移动）…
- 论文提出了一种名为 EvoScene-VLA 的视觉-语言-动作模型，旨在解决分块机器人控制中因动作导致场景几何变化（如接触、遮挡、物体移动）…
- 核心问题在于现有的 VLA 模型仅依赖当前视觉观测，缺乏一个能够根据已执行动作持续更新的场景状态，导致决策基于过时的场景信念。
- 该方法通过在动作解码器内部引入循环场景前缀，使模型能够在分块控制调用之间维护一个经过动作更新和观测修正的持久场景状态。
Card 01
研究单位
研究单位
- Australian National University
- The University of Queensland
- Beijing Normal University
Card 02
论文概述
论文概述
- 论文提出了一种名为 EvoScene-VLA 的视觉-语言-动作模型，旨在解决分块机器人控制中因动作导致场景几何变化（如接触、遮挡、物体移动）而引起的感知滞后问题。
- 核心问题在于现有的 VLA 模型仅依赖当前视觉观测，缺乏一个能够根据已执行动作持续更新的场景状态，导致决策基于过时的场景信念。
- 该方法通过在动作解码器内部引入循环场景前缀，使模型能够在分块控制调用之间维护一个经过动作更新和观测修正的持久场景状态。
Card 03
核心贡献
核心贡献
- 提出了 循环场景前缀 机制，通过动作专家联合去噪动作块和场景块，实现了无需在线预测器的跨块场景状态更新。
- 设计了双层 几何锚点，结合局部跨视图掩蔽深度重建和全局 3D Foundation Model (3DFM) 蒸馏，为场景 Token 提供几何 grounding。
- 在 RoboTwin 基准测试和真实机器人平台上展示了显著的性能提升，特别是在随机化的初始条件下表现出更强的鲁棒性。
Card 04
方法描述
方法描述
- 模型基于 LingBot-VLA 扩展，在 VLM 前缀中增加了观测槽和先验槽，使用非对称注意力掩码保护预训练的视觉-语言通路。
- 在训练阶段，引入了仅用于训练的 场景预测器 和 几何锚点：场景预测器提供未来场景 Token 的监督目标，几何锚点通过冻结的单目深度教师 (MDT) 和 3DFM 特征对齐场景表示。
- 采用 联合动作-场景去噪 的流匹配方法，动作解码器在单次流匹配过程中同时输出动作块和匹配的场景更新块，去噪后的场景 Token 成为下一次控制的先验。
- 在推理阶段，丢弃训练辅助模块，仅保留循环前缀和联合去噪机制，保持高效的部署性能。
Card 05
数据集与资源
数据集与资源
- 使用 RoboTwin 模拟基准数据集，包含 31 个任务用于主评估，5 个任务子集用于消融实验。
- 使用 Galaxea R1-Lite 双臂真实机器人平台进行物理世界验证。
- 基座模型为 LingBot-VLA，使用冻结的 Monocular Depth Teacher (MDT) 和 3D Foundation Model (3DFM) 作为监督教师模型。
Card 06
评估与结果
评估与结果
- 评估环境包括固定初始位置的 Clean 设置和随机化初始位置/姿态的 Rand 设置。
- 主要评估指标为任务成功率。
- 在 RoboTwin 的 31 个任务上，EvoScene-VLA 将平均成功率从 87.2% 提升至 89.1% (Clean)，从 86.1% 提升至 88.5% (Rand)。
- 在 Galaxea R1-Lite 真实机器人闭环试验中，该方法优于所有基线模型（包括 $\pi_{0.5}$ 和 LingBot-VLA）。