一眼看懂
封面预览
论文提出从动作模仿转向物理常识获取的具身智能训练范式，利用大规模人类第一人称视频构建物理监督信号。
- 论文提出从动作模仿转向物理常识获取的具身智能训练范式，利用大规模人类第一人称视频构建物理监督信号。
- 旨在解决仅依靠昂贵的机器人轨迹数据进行训练导致的泛化能力不足和物理规律理解缺失的问题。
- 通过数据引擎将视频转化为结构化场景元信息与问答对，预训练视觉语言模型（VLM），再通过保持能力的适配设计迁移至视觉-语言-动作（VLA）策略。
Card 01
研究单位
研究单位
- PhysBrain Team
Card 02
论文概述
论文概述
- 论文提出从动作模仿转向物理常识获取的具身智能训练范式，利用大规模人类第一人称视频构建物理监督信号。
- 旨在解决仅依靠昂贵的机器人轨迹数据进行训练导致的泛化能力不足和物理规律理解缺失的问题。
- 通过数据引擎将视频转化为结构化场景元信息与问答对，预训练视觉语言模型（VLM），再通过保持能力的适配设计迁移至视觉-语言-动作（VLA）策略。
Card 03
核心贡献
核心贡献
- 提出了一个可扩展的标注流水线，将人类第一人称交互视频转化为结构化的场景元信息和物理基础问答（QA）数据，而非通用的自由形式字幕。
- 证明了显式训练感知、状态、规划和执行推理能够提升基础 VLM 的第一人称具身理解能力。
- 设计了一种集成的适配架构，在将物理先验迁移至机器人控制的同时，保留了通用多模态能力和语言对齐能力。
- 实验表明，仅使用有限的基准特定机器人适配数据，从人类视频中学习到的先验即可支持强大的下游具身控制性能。
Card 04
方法描述
方法描述
- 构建了一个Schema-Driven（模式驱动）的数据标注流水线，提取三个顶层字段的结构化场景元信息：scene_elements（场景元素）、spatial_dynamics（空间动态）和 action_execution（动作执行）。
- 引入深度感知空间增强阶段，利用 Depth Anything v3 模型估计点级深度，支持相对深度和绝对度量距离的问答生成。
- 使用包含 GPT-5、Gemini 和 Qwen 系列模型的多模型池进行元信息标注和 QA 生成，以减少单一模型的偏差。
- 在 VLA 适配阶段，设计了能力保持且语言敏感的架构，防止在模仿机器人轨迹时发生灾难性遗忘。
Card 05
数据集与资源
数据集与资源
- 训练数据源：Ego4D、BuildAI、EgoDex（第一阶段）；EPIC、SEA-Small（第二阶段）；FineVision（辅助保留数据）。
- 深度估计模型：Depth Anything v3 (DA3NESTED-GIANT-LARGE-1.1)。
- 标注与 QA 生成模型：GPT-5、GPT-5 mini、Gemini 3.1 Pro、Gemini 3 Pro、Qwen3-VL-30B-A3B、Qwen3-VL-235B-A22B、Qwen3.5-35B-A3B、Qwen3.5-397B-A17B。
Card 06
评估与结果
评估与结果
- VLM 评估基准：ERQA、PhysBench、MME、MMMU、OCRBench、RealWorldQA、TextVQA。
- 具身控制基准：SimplerEnv-WidowX、SimplerEnv-GoogleRobot、LIBERO、RoboCasa-GR1。
- 真实世界实验：在 Franka 机械臂上进行单物体蔬菜抓取和长视野语义指令任务。
- 关键结果：在多模态 QA 和具身控制基准上取得了 SOTA 结果；在 SimplerEnv 上表现出强大的域外泛化能力。
- 真实机器人实验中，单物体抓取平均成功率从基线的 47.1% 提升至 63.3%，长视野任务成功率从 31.0% 提升至 45.0%。