一眼看懂
封面预览
论文提出了 GEM (Generative-supervised Embodied vision-language Model)，旨在通过生成…
- 论文提出了 GEM (Generative-supervised Embodied vision-language Model)，旨在通过生成…
- 核心思想是在VLM预训练阶段直接引入 深度图生成任务 作为监督目标，与语言建模目标联合训练，以增强模型的语义理解与物理操作能力。
- 为支持该范式，论文构建并发布了 GEM-4M 大规模具身数据集，并进一步扩展为用于机器人操作的 GEM-VLA 模型。
Card 01
研究单位
研究单位
- 清华大学 (Tsinghua University)
- 腾讯混元 (Tencent Hunyuan)
Card 02
论文概述
论文概述
- 论文提出了 GEM (Generative-supervised Embodied vision-language Model)，旨在通过生成式监督弥补现有视觉语言模型(VLM)在高级语义理解与低级空间物理知识之间的鸿沟。
- 核心思想是在VLM预训练阶段直接引入 深度图生成任务 作为监督目标，与语言建模目标联合训练，以增强模型的语义理解与物理操作能力。
- 为支持该范式，论文构建并发布了 GEM-4M 大规模具身数据集，并进一步扩展为用于机器人操作的 GEM-VLA 模型。
Card 03
核心贡献
核心贡献
- 提出了 GEM 框架，通过深度生成监督将结构化物理知识融入VLM，显著提升了具身推理与空间感知能力。
- 设计了 渐进式训练策略 ，包含连接器初始化、生成头初始化与联合训练三个阶段，有效解决了生成头与理解骨干间的模态干扰问题。
- 构建了高质量的 GEM-4M 数据集，涵盖了具身定位、物理空间推理与时空规划等多任务数据，并配有深度监督。
- 基于 GEM 扩展的 GEM-VLA 模型在仿真与真实机器人任务中均取得了突破性性能，验证了方法的有效性。
Card 04
方法描述
方法描述
- 模型架构包含三个核心组件：VLM骨干 (如 Qwen3-VL)、轻量级连接器 (2层MLP) 和基于 DiT (Diffusion Transformer) 的深度生成头。
- 训练目标结合了语言建模的交叉熵损失 ($\mathcal{L}_{CE}$) 和深度生成的流匹配损失 ($\mathcal{L}_{flow}$)，总损失为 $\mathcal{L}_{total}=\mathcal{L}_{CE}+\lambda\mathcal{L}_{flow}$。
- 创新的 渐进训练流程 ：第一阶段冻结骨干与生成头，仅训练连接器进行特征对齐；第二阶段冻结骨干，训练连接器与生成头；第三阶段进行端到端联合训练。
- 扩展至 GEM-VLA 时，额外引入基于DiT的动作专家模块，通过扩散策略预测连续机器人动作，并与深度生成目标联合优化。
Card 05
数据集与资源
数据集与资源
- 使用自建的 GEM-4M 数据集，包含约400万条问答数据，涵盖具身定位数据(如来自 PACO-LVIS, RoboPoint)、物理空间推理数据(如来自 VSI-590K)和时空规划数据。
- 模型规模包含 GEM-2B 和 GEM-8B 两个版本。
- 训练资源：预训练阶段使用 32 NVIDIA A800 GPU；VLA微调使用 8 NVIDIA A800 GPU。
Card 06
评估与结果
评估与结果
- 评估基准 ：包括空间理解基准 (CV-Bench, VSI-Bench, MMSI-Bench, EmbSpatial) 和具身定位基准 (RefSpatial, Where2Place, RoboSpatial)，以及机器人操作基准 LIBERO 和真实世界任务。
- 关键结果 ：GEM-8B 在多个空间理解基准上达到SOTA，例如在 VSI-Bench 上从57.9提升至70.6，在定位基准上超越 Gemini-3-Pro 约10%。
- 机器人任务 ：GEM-VLA 在 LIBERO 基准上取得平均96.1%的成功率，创历史新高；在真实世界机器人任务中平均成功率达43%，大幅超越之前SOTA的28.7%。
- 消融实验 证明深度监督优于RGB重建，渐进训练优于直接端到端训练，生成监督有效增强了模型对结构细节的感知能力。