一眼看懂
封面预览
提出了 GaussianDream，一个前馈式 3D Gaussian 世界模型插件，用于语言条件下的机器人操作任务
- 提出了 GaussianDream，一个前馈式 3D Gaussian 世界模型插件，用于语言条件下的机器人操作任务
- 解决了现有视觉-语言-动作(VLA)模型中空间几何规格不足、稠密视觉监督利用不足和未来环境演化预测有限的问题
- 核心设计是在训练时结合当前 Gaussian 重建与未来 Gaussian 预测，推理时仅保留紧凑的 GaussianDream 前缀用于条件…
Card 01
研究单位
研究单位
- Tuojing Intelligence
- University of Chinese Academy of Sciences
- Institute of Automation, Chinese Academy of Sciences
- Tsinghua University
- Beihang University
- Carnegie Mellon University
- The University of Hong Kong
Card 02
论文概述
论文概述
- 提出了 GaussianDream，一个前馈式 3D Gaussian 世界模型插件，用于语言条件下的机器人操作任务
- 解决了现有视觉-语言-动作(VLA)模型中空间几何规格不足、稠密视觉监督利用不足和未来环境演化预测有限的问题
- 核心设计是在训练时结合当前 Gaussian 重建与未来 Gaussian 预测，推理时仅保留紧凑的 GaussianDream 前缀用于条件化动作生成
Card 03
核心贡献
核心贡献
- 提出统一的 3D Gaussian 世界模型框架，将 VLA 策略与结构化 3D Gaussian 表示相结合
- 解决三个关键 VLA 瓶颈：显式 3D 空间定位、轨迹中的稠密像素级监督、短时程预测性环境建模
- 设计高效的训练-推理不对称架构，训练时使用完整 3D 重建和预测监督，推理时丢弃所有辅助解码头避免渲染或规划开销
- 在 LIBERO、RoboCasa Human-50 和真实机器人任务上验证了强竞争力性能
Card 04
方法描述
方法描述
- 使用 VGGT 提取多尺度 3D 感知 patch 特征，通过 Temporal Gaussian Evolution (TGE) module 融合时间观测与可学习 GaussianDream 查询
- 训练时使用静态 Gaussian 头重建当前场景，动态 Gaussian 头预测短时程几何变化，监督包括 RGB 渲染、深度估计和伪 3D 场景流
- 推理时丢弃所有辅助解码头，仅保留紧凑的 GaussianDream 前缀（1024 个 tokens 组成 32×32 潜在网格）来条件化动作生成
- 采用两阶段训练：第一阶段预训练 Gaussian 模型，第二阶段将 GaussianDream 前缀用于策略学习
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 基准（包含 Spatial、Object、Goal、Long 协议）和 RoboCasa Human-50 数据集进行仿真评估
- 在真实机器人上测试了属性定位、空间关系、堆叠/拆叠和长时程目标执行等任务
- 基于 PaliGemma/Gemma-2B 架构，使用 2048 维 prefix 空间和 1024 维动作专家隐藏空间
- 使用三帧时间上下文 {t-10, t-5, t} 作为稀疏运动线索，预测时程从 t+1 到 t+5
Card 06
评估与结果
评估与结果
- 在 LIBERO 基准上平均成功率达到 98.4%，在 Spatial 和 Goal 任务上取得最佳结果
- 在 RoboCasa Human-50 上平均成功率 52.6%，在 Pick&Place 类别上表现最佳
- 真实机器人评估成功率从基线 34.4% 提升至 50.0%，在空间关系和长时程场景上提升最明显
- 消融实验验证了当前重建、未来预测、渲染监督和深度监督的互补作用