HoloBrain-0 Technical Report

• Horizon Robotics

• 提出了 HoloBrain-0，一个综合的视觉-语言-动作（VLA）框架，旨在弥合基础模型研究与真实可靠机器人部署之间的差距。
• 其核心是一个新颖的、显式包含机器人本体先验（如多视角相机参数和运动学描述）的 VLA 架构，以增强 3D 空间推理并支持不同的机器人本体。
• 通过一个可扩展的“预训练后微调”范式进行验证，在仿真和真实世界任务中实现了优越的性能，并开源了整个生态系统和全栈基础设施 RoboOrchard。

• 本体感知的 VLA 架构：设计了包含空间增强器和动作专家的模型，显式整合相机参数、机器人运动链和混合动作空间，以实现跨本体的稳健泛化。
• 高效可复现的数据策略：采用两阶段数据管理流程，包括大规模的异构预训练数据和针对微调的测试驱动数据收集范式，动态针对失败案例以提高数据质量。
• 开源的全栈 VLA 基础设施（RoboOrchard）：提供了一个从数据采集、模型训练到部署的完整开源基础设施，包括标准化的数据采集、组织（RODataset）、训练框架（RoboOrchardLab）和灵活的部署运行时。
• 提出 SimpleRTC 和 Teacher-forcing 训练策略：提供了一种零开销的推理时轨迹平滑策略和相应的训练策略，以实现流畅的异步推理和实时控制。
• 全面的评估与开源：在多个仿真基准和具有挑战性的真实世界操作任务上达到或超过最先进水平，并开源了所有预训练和微调模型、检查点和完整的 RoboOrchard 基础设施。

• 模型架构：包含三个核心模块：1) VLM 骨干（使用 GroundingDINO 或 Qwen2.5-VL）用于语义理解；2) 空间增强器，利用相机参数将多视角图像特征投影到统一的 3D 坐标系；3) 动作专家，通过关节图注意力机制显式编码机器人运动链，并预测混合（关节角和笛卡尔位姿）的相对动作空间。
• 关键技术：采用基于扩散的 x-预测进行动作生成，并引入了赢家通吃训练策略以保持动作分布的多模态性。
• 推理与训练策略：提出了 SimpleRTC，一种无需梯度计算的推理时轨迹平滑策略，与教师强制训练相结合，以减小训练与推理的分布差异。

• 数据集：预训练数据集超过 1.566 亿帧，包含自收集数据、开源真实世界数据（如 Agibot World、Droid）、仿真数据（如 RoboTwin 2.0、Agibot-digital）和人类视频数据（EgoDex），共涉及 7 种不同的机器人本体。
• 模型规模：

- HoloBrain-0-GD：0.2B 参数（基于 GroundingDINO Tiny）

- HoloBrain-0-QW：1.1B 参数（基于 Qwen2.5-VL-3B）

• 训练资源：预训练进行了 20 万步，微调进行了 10-20 万步。具体使用的 GPU/TPU 资源未在提供的片段中明确说明。

• 评估环境：在真实世界的双臂Piper机器人上测试了 10 项任务；在仿真基准 RoboTwin 2.0、LIBERO、LIBERO-Plus、GenieSim 上进行了评估。
• 主要评估指标：成功率（和部分任务的进度分数）。
• 关键实验结果：

- 真实世界任务：HoloBrain-0-GD 和 HoloBrain-0-QW 在 10 项任务上的平均成功率（74.81%/77.18%）显著优于基线 π0.5（69.16%）。在长时程任务（如叠衣服、折纸盒）上，成功率的提升高达 25%-30%。

- 仿真基准：

- RoboTwin 2.0：HoloBrain-0-GD 在随机化设置下获得 90.8% 成功率（SOTA水平），HoloBrain-0-QW 达到 92.3% 成功率。

- LIBERO 和 LIBERO-Plus：性能优于或与现有 SOTA 方法（如 OpenVLA、GR00T）相当。

- 跨本体泛化：得益于其架构，模型能够有效处理来自不同机器人本体（单/双臂、移动机器人）以及人类视频的数据。