一眼看懂
封面预览
本文是机器人领域的立场论文（position paper），核心论点是当前通用机器人智能的发展瓶颈并非单纯扩大视觉-语言-动作（VLA）模型的规模，而是缺少将世界上海量非结构化物理行为数据（人类动作、互联网视频、仿真交互、部署轨迹等）转换为机器人可用监督信号的grounding机制
- 本文是机器人领域的立场论文（position paper），核心论点是当前通用机器人智能的发展瓶颈并非单纯扩大视觉-语言-动作（VLA）模型的规模，而是缺少将世界上海量非结构化物理行为数据（人类动作、互联网视频、仿真交互、部署轨迹等）转换为机器人可用监督信号的grounding机制
- 现有机器人学习范式高度依赖已经标注好机器人动作、任务标签、奖励结构的原生机器人数据，这类数据采集成本高、规模有限，而海量物理行为数据缺乏具身相关的动作标注、任务语义和奖励结构，无法直接被机器人策略使用
- 本文旨在梳理现有机器人学习研究的进展与瓶颈，提出下一代机器人智能所需的四个核心缺失组件，呼吁学界从“机器人数据为中心”转向“grounding为中心”的研究范式
Card 01
研究单位
研究单位
- 论文作者所属机构包括：Motoniq.ai、Stanford University、Istituto Italiano di Tecnologia、ETH Zurich、Technical University of Darmstadt、UCL Centre for AI
Card 02
论文概述
论文概述
- 本文是机器人领域的立场论文（position paper），核心论点是当前通用机器人智能的发展瓶颈并非单纯扩大视觉-语言-动作（VLA）模型的规模，而是缺少将世界上海量非结构化物理行为数据（人类动作、互联网视频、仿真交互、部署轨迹等）转换为机器人可用监督信号的grounding机制
- 现有机器人学习范式高度依赖已经标注好机器人动作、任务标签、奖励结构的原生机器人数据，这类数据采集成本高、规模有限，而海量物理行为数据缺乏具身相关的动作标注、任务语义和奖励结构，无法直接被机器人策略使用
- 本文旨在梳理现有机器人学习研究的进展与瓶颈，提出下一代机器人智能所需的四个核心缺失组件，呼吁学界从“机器人数据为中心”转向“grounding为中心”的研究范式
Card 03
核心贡献
核心贡献
- 指出现有机器人通用智能研究的核心瓶颈是「物理经验到机器人监督的grounding问题」，而非单纯的政策扩展问题，批判了仅通过扩大VLA模型和数据规模解决问题的片面思路
- 系统调研了三类现有机器人学习路径的进展与扩展限制：机器人原生监督学习、弱grounding物理观察学习、物理经验生成（仿真/世界模型），梳理了每类路径的核心成果与固有瓶颈
- 提出下一代机器人智能所需的四个缺失核心支柱：物理数据引擎与具身自动标注、跨机器人形态任务保持重定位、物理grounded世界模型、自我改进的部署闭环
- 给出了对应各支柱的研究议程，明确了从非结构化物理经验到可部署机器人智能的完整技术路径
Card 04
方法描述
方法描述
- 本文按「机器人学习管线的瓶颈」而非模型/数据集分类梳理现有研究：首先梳理机器人原生监督学习的进展（如RoboNet、DROID、Open X-Embodiment等数据集与RT-1、RT-2、OpenVLA等VLA模型），指出其依赖已标注机器人数据的扩展限制；其次梳理从弱标注物理数据（人类视频、动捕数据等）学习的进展（如R3M、LAPA、PROGRESSOR等），指出其仅能提供表示/隐式动作/进度信号但缺乏具身grounding的问题；最后梳理物理经验生成路径（仿真环境、real-to-sim-to-real、世界模型）的进展，指出其仅追求视觉真实度但缺乏物理grounded的局限性
- 提出四大核心缺失组件的技术内涵：1. 物理数据引擎：通过多模态异构数据（视频、动捕、触觉、机器人日志、语言）的时序对齐、事件分割、接触推断、任务阶段识别等，自动输出物体状态、接触事件、任务阶段、隐式动作、奖励等结构化机器人监督信号；2. 任务保持重定位：将推断的隐式物理动作/任务效果映射到不同机器人形态的可执行动作，核心是保留任务相关的物理效果而非模仿人体姿态；3. 物理grounded世界模型：预测动作的物理后果（几何、接触、力、约束、材料响应等）而非仅生成逼真视频，支持反事实推理与控制；4. 自我改进部署闭环：将部署中的成功、失败、人工修正转化为结构化监督，更新系统各组件，实现能力持续compounding
Card 05
数据集与资源
数据集与资源
- 调研的机器人原生数据集包括：RoboNet（7个机器人平台的1500万视频帧）、BridgeData V2（约6万条跨24个环境的低成本机器人操作轨迹）、DROID（约7.6万条演示轨迹，合计350小时交互数据，覆盖数百场景和数十项任务）、RH20T（11万+接触丰富操作序列，含视觉、力、音频、动作信息及对应人类演示视频）、Open X-Embodiment（22种机器人形态的100万+真实机器人轨迹）
- 调研的核心VLA模型包括：OpenVLA（7B参数，基于97万条Open X-Embodiment演示训练）、RT-1（在13个机器人、700+任务上训练的Transformer策略）、RT-2（结合网络级视觉语言预训练与机器人轨迹，将动作表示为token）、π0（基于预训练视觉语言模型的流匹配架构）、GR00T N1（面向人形机器人的双系统VLA，结合视觉语言理解与扩散Transformer动作生成）
- 调研的仿真与世界模型相关资源包括：仿真环境RLBench、Meta-World、ManiSkill、CALVIN、LIBERO、RoboCasa；世界模型Genie、V-JEPA 2、ContactGaussian-WM等
- 本文为立场论文，未开展新模型训练，无专属训练资源消耗
Card 06
评估与结果
评估与结果
- 本文为调研性立场论文，未开展实证实验，核心梳理现有研究的评估范式与瓶颈：现有机器人学习的评估多聚焦于策略本身的任务成功率、跨环境/跨任务/跨形态泛化能力，忽略了「grounding能力」（即从弱监督物理数据生成可用机器人监督的能力）的评估
- 现有研究的关键评估指标总结：1. 机器人原生监督学习的评估指标为任务成功率、零样本泛化到新任务/新场景的表现；2. 弱grounding学习的评估关注隐式动作到真实机器人动作的映射准确率、奖励信号的跨任务泛化性；3. 物理世界模型的评估指标除视频生成质量外，更需关注物理变量（接触、物体状态变化、动力学符合度）的预测准确性、反事实推理的可靠性；4. 部署闭环的评估关注系统随部署时长的性能提升幅度、失败案例的利用效率
- 核心结论：未来机器人系统的评估需补充对grounding能力的度量，而非仅关注最终策略的性能表现，需建立从弱物理监督到可用机器人信号的完整评估体系