一眼看懂
封面预览
提出了一种名为 DM0 的 Embodied-Native（具身原生）的 Vision-Language-Action 框架，旨在实现 Phy…
- 提出了一种名为 DM0 的 Embodied-Native（具身原生）的 Vision-Language-Action 框架，旨在实现 Phy…
- 旨在解决当前 VLA 模型通常在互联网静态数据上预训练，缺乏内在物理基础，从而导致适应物理任务时出现知识遗忘或性能下降的问题。
- 通过一个统一的三阶段训练流程，从初始阶段就融合了网络、驾驶和具身数据，同时学习语义知识和物理先验。
Card 01
研究单位
研究单位
- DM0 Team
- Dexmal
- StepFun
Card 02
论文概述
论文概述
- 提出了一种名为 DM0 的 Embodied-Native（具身原生）的 Vision-Language-Action 框架，旨在实现 Physical AI，与传统“先预训练后适配”的范式不同。
- 旨在解决当前 VLA 模型通常在互联网静态数据上预训练，缺乏内在物理基础，从而导致适应物理任务时出现知识遗忘或性能下降的问题。
- 通过一个统一的三阶段训练流程，从初始阶段就融合了网络、驾驶和具身数据，同时学习语义知识和物理先验。
Card 03
核心贡献
核心贡献
- 提出了 Embodied-Native 的训练范式，从早期阶段就将具身数据作为一等公民，与其他模态数据统一训练。
- 设计了一个三阶段训练流程：预训练、中间训练和后训练，逐步融合多种数据源并最终专精于目标平台。
- 采用多源混合训练策略，在具身数据上解耦动作专家和 VLM 的梯度，以保留 VLM 的通用知识。
- 引入了具身空间支架策略，通过生成空间思维链来分解复杂指令，约束动作解空间。
- 开发了基于 Flow Matching 的动作专家模型，并与 VLM 骨干集成，实现了从感知、推理到连续动作的端到端学习。
Card 04
方法描述
方法描述
- 模型架构：基于 Qwen3-1.7B 大语言模型构建 VLM 骨干，并整合了感知编码器来处理多模态输入；其上构建了一个基于 Flow Matching 的动作专家来生成连续机器人动作。
- 核心技术：采用多源混合训练策略，对于具身数据，动作专家的梯度不回传到 VLM；对于非具身数据，VLM 继续训练以保留通用能力。
- 创新点：Embodied Spatial Scaffolding 策略，通过层次化预测（子任务、目标框、末端轨迹、离散动作）引导模型从高层语义推理逐步过渡到低层控制。
Card 05
数据集与资源
数据集与资源
- 预训练数据：整合了知识（网络文本、图像-文本对）、教育（K-12、大学科目）、OCR、视觉问答、GUI、驾驶场景和具身交互日志等多种来源的数据。
- 中间训练数据：混合了视觉-语言数据、具身推理数据、仿真数据、单臂/双臂机器人数据（如 LIBERO、RoboTwin2.0、OXE、ALOHA 等）。
- 模型规模：总参数量约为 2B，骨干模型基于 Qwen3-1.7B。
- 训练资源：预训练使用了大规模 GPU 集群，中间训练使用了 64 块 NVIDIA H20 GPU，后训练和 SFT 使用了 8 到 16 块 H20 GPU。
Card 06
评估与结果
评估与结果
- 评估环境：在真实世界的 RoboChallenge 基准测试上进行评估，特别是 Table30 任务套件。
- 评估指标：主要使用成功率，在通才模型评估中还结合了任务分数。
- 关键实验结果：DM0-Specialist 在 Table30 上的平均成功率达到 62.0%，超过了 GigaBrain-0.1 (51.67%)、Spirit-v1.5 (51.00%) 和 π0.5 (42.67%)。DM0-Generalist 的平均成功率为 37.3%，显著优于 π0.5-Generalist (17.67%) 和 π0-Generalist (9.0%)。
- 额外评估：验证了 DM0 在场景理解、OCR、子任务预测等通用多模态理解任务上的能力。