一眼看懂
封面预览
提出了一种名为 CoWVLA 的新VLA预训练范式，统一了世界模型的时间推理能力与解耦潜在运动表示。
- 提出了一种名为 CoWVLA 的新VLA预训练范式，统一了世界模型的时间推理能力与解耦潜在运动表示。
- 旨在解决现有世界模型VLAs（浪费资源重建冗余背景）和潜在动作VLAs（缺乏连续时间动态建模和世界知识）的局限性。
- 核心思想是通过一个潜在运动链条来建模世界动态，避免了重建冗余的中间帧，实现了高效且具备世界知识的视觉-运动学习。
Card 01
研究单位
研究单位
- 哈尔滨工业大学
- 理想汽车
- 北京智源研究院
- 新南威尔士大学
- 哈尔滨工业大学重庆研究院
- 北京大学
Card 02
论文概述
论文概述
- 提出了一种名为 CoWVLA 的新VLA预训练范式，统一了世界模型的时间推理能力与解耦潜在运动表示。
- 旨在解决现有世界模型VLAs（浪费资源重建冗余背景）和潜在动作VLAs（缺乏连续时间动态建模和世界知识）的局限性。
- 核心思想是通过一个潜在运动链条来建模世界动态，避免了重建冗余的中间帧，实现了高效且具备世界知识的视觉-运动学习。
Card 03
核心贡献
核心贡献
- 提出 “Chain-of-World” 范式，通过连续潜在运动序列和终端关键帧预测，统一了世界建模和潜在动作学习。
- 引入了一种结构-运动解耦的潜在先验，生成了可解释、连续且有效的动态表示。
- 在多个基准测试中取得了SOTA性能，超越了现有的世界模型和潜在动作方法，并验证了模型的计算效率。
Card 04
方法描述
方法描述
- 采用一个预训练的视频VAE 作为潜在运动提取器，将视频片段显式分解为结构潜变量和运动潜变量。
- 训练分为两个阶段：预训练阶段使模型学习根据指令和初始帧推断潜在运动链并预测片段终端帧，建立动态感知先验。
- 协同微调阶段在统一的自回归解码器中联合建模稀疏关键帧和动作序列，将潜在动态与离散动作预测对齐。
Card 05
数据集与资源
数据集与资源
- 主要评估基准：LIBERO 和 SimplerEnv。
- 模型骨干基于8.5B参数的Emu3 VLM。
- 训练数据集包含237k机器人视频。
- 视频片段长度f=16帧，运动潜变量维度Dm=1792。
Card 06
评估与结果
评估与结果
- 在LIBERO基准上，CoWVLA以平均成功率95.6%取得最佳性能，超越了UniVLA、TLA等方法。
- 在SimplerEnv-WidowX基准上，CoWVLA以平均成功率76.0%取得最佳性能，显著优于现有方法。
- 消融研究证明，潜在运动建模优于现有潜在动作方法，协同引入潜在运动损失与视觉令牌损失能有效指导真实动作推理。
- 效率分析表明，CoWVLA在预训练效率和任务性能之间取得了良好平衡。