一眼看懂
封面预览
论文提出了 OneWM-VLA 模型，旨在解决视觉-语言-动作（VLA）模型中世界模块的设计问题，特别是在冻结骨干网络且适应预算受限的情况下。
- 论文提出了 OneWM-VLA 模型，旨在解决视觉-语言-动作（VLA）模型中世界模块的设计问题，特别是在冻结骨干网络且适应预算受限的情况下。
- 核心创新在于将每帧视觉输入压缩为单个语义token，并使用联合流匹配目标来同时生成未来隐状态流和动作轨迹，而非通过独立解码器连接。
- 论文旨在回答世界模块所需的每帧视觉带宽量，以及隐状态流应如何与动作生成耦合，以提升长视野控制能力。
Card 01
研究单位
研究单位
- 作者所属机构包括 浙江大学、中南大学、哈尔滨工业大学、奇瑞汽车 embodied智能通用平台实验室 和 中国电信天翼数字生活科技有限公司。
Card 02
论文概述
论文概述
- 论文提出了 OneWM-VLA 模型，旨在解决视觉-语言-动作（VLA）模型中世界模块的设计问题，特别是在冻结骨干网络且适应预算受限的情况下。
- 核心创新在于将每帧视觉输入压缩为单个语义token，并使用联合流匹配目标来同时生成未来隐状态流和动作轨迹，而非通过独立解码器连接。
- 论文旨在回答世界模块所需的每帧视觉带宽量，以及隐状态流应如何与动作生成耦合，以提升长视野控制能力。
Card 03
核心贡献
核心贡献
- 发现像素级世界模块在预训练VLA之上随规划视野扩展时计算成本增长迅速，并证明了在该设置下每帧视觉带宽可降至单个语义token而不影响长视野控制性能。
- 提出了 OneWM-VLA 模型，通过自适应注意力池化 实现每帧单token压缩，并通过联合流匹配目标实现隐状态流与动作轨迹的联合生成。
- 在 LIBERO、MetaWorld MT50 和真实 Piper机械臂 上报告了相较于 π0 骨干网络的一致性能提升，并通过带宽扫描和隐监督消融实验验证了设计有效性。
Card 04
方法描述
方法描述
- 采用自适应注意力池化 技术，通过多策略token池化（MAX、SUM、Learn）和视图级自适应融合，将多视图视觉特征蒸馏为每帧一个密集隐世界token。
- 设计联合流匹配目标，在最优传输路径参数化下，将未来隐状态流和动作轨迹的生成置于单一模型中，使预测隐状态流成为动作序列的结构先验，而非辅助旁路。
- 整体框架实现了瓶颈-推演耦合，瓶颈使联合目标在视野上可处理，联合目标为瓶颈提供控制相关的监督信号。
Card 05
数据集与资源
数据集与资源
- 使用 MetaWorld MT50（50个操作任务，分四个难度层级，视野达H=30）和 LIBERO（四个任务套件，包含长视野操纵套件LIBERO-Long）作为仿真基准。
- 使用真实 Piper机械臂（6自由度，平行夹爪）执行三项任务：*Pick Banana*（刚性抓取）、*Fold Cloth*（长视野可变形操纵）和 *Pull Drawer*（关节物体）。
- 基于 π0（2B）骨干网络，使用 PaliGemma-2B 作为视觉-语言骨干，Gemma-300M 作为联合隐状态-动作专家，采用 LoRA 训练，新增参数 14.71M。
- 训练使用 8个 NVIDIA A800 GPU，训练步数30K。
Card 06
评估与结果
评估与结果
- 在 MetaWorld MT50 上，平均成功率从 π0 的47.9%提升至 61.3%；在H=30视野下，成功率达53.13%，显著高于 π0（37.98%）和 π0.5（26.83%）。
- 在 LIBERO-Long 上，成功率达到 95.6%，相比 π0（85.2%）提升10.4%；四项任务平均成功率98.1%，优于 π0.5（96.85%）。
- 在真实 Piper机械臂 上，平均成功率71.7%（+21.7% vs π0）；在长视野可变形任务 *Fold Cloth* 上达到 60.0%，而 π0 仅为20.0%。
- 实验验证了单token带宽的合理性、自适应池化的必要性、语义空间预测优于像素空间、联合生成目标的重要性，以及优势随规划视野增长而增强。