一眼看懂
封面预览
提出了 RynnBrain，一个面向具身智能的开源时空基础模型，旨在统一感知、推理和规划。
- 提出了 RynnBrain，一个面向具身智能的开源时空基础模型，旨在统一感知、推理和规划。
- 旨在解决现有基础模型在真实世界时空动态中缺乏物理基础和统一框架的问题。
- 模型家族包括三个基础模型规模（2B、8B 和 30B-A3B MoE）和四个针对下游任务的后训练变体（RynnBrain-Nav, RynnB…
Card 01
研究单位
研究单位
- DAMO Academy, Alibaba Group
Card 02
论文概述
论文概述
- 提出了 RynnBrain，一个面向具身智能的开源时空基础模型，旨在统一感知、推理和规划。
- 旨在解决现有基础模型在真实世界时空动态中缺乏物理基础和统一框架的问题。
- 模型家族包括三个基础模型规模（2B、8B 和 30B-A3B MoE）和四个针对下游任务的后训练变体（RynnBrain-Nav, RynnBrain-Plan, RynnBrain-VLA, RynnBrain-CoP）。
Card 03
核心贡献
核心贡献
- 提出了 物理感知的时空预训练方法，通过统一的时空表示和物理接地输出空间，增强了模型在真实环境中的认知和规划能力。
- 引入了 基于物理的链式点推理 (Chain-of-Point Reasoning)，通过交替进行文本推理和空间定位，实现物理接地的推理过程。
- 构建了 大规模、高质量的多模态训练数据集，总样本量超过 2000 万，专门设计了涵盖物体认知、空间定位、规划和具身理解的数据管道。
- 提出了 RynnBrain-Bench 评测基准，用于全面评估具身模型在物体认知、空间认知、定位和指向等多维度的能力。
- 验证了 RynnBrain 作为 强大的预训练主干网络 的潜力，可以高效适应多种下游具身任务（导航、操作规划、VLA）。
Card 04
方法描述
方法描述
- 基于 Qwen3-VL 架构构建，采用解码器-唯一的视觉语言模型设计，包括视觉编码器、视觉语言投影器和大型语言模型主干。
- 核心创新包括：统一的时空表示（将图像和视频作为统一模态处理）、物理接地的输出空间（将连续空间坐标离散化为整数令牌）、链式点推理机制（交替生成文本和坐标以实现物理接地推理）。
- 训练采用了 在线负载均衡 和 逐样本损失 等基础设施优化，以提高训练效率和稳定性。
- 采用了 监督微调 和 强化学习（基于 GRPO）的两阶段训练方案，以进一步提升模型的物理推理和规划能力。
Card 05
数据集与资源
数据集与资源
- 使用了 超过 20 个大规模公开和自构建数据集，包括 LLaVA 系列、ShareGPT-4o-video、RefCOCO、RoboAfford++、Grasp-Anything、Open X-Embodiment 等，涵盖通用多模态理解、物体/空间认知、时空定位、物理感知规划等任务。
- 模型规模包括 2B、8B 的密集模型 和一个 30B-A3B 的 MoE 模型。
- 训练使用了 ZeRO-1/ZeRO-2 优化器、专家并行 等技术，并部署了高效的 负载均衡管道。
Card 06
评估与结果
评估与结果
- 评估环境包括 RynnBrain-Bench（自建）以及 20 个具身基准 和 8 个通用视觉理解基准。
- 主要评估指标包括：在物体认知和空间认知任务中使用 GPT-4o 评分；在定位任务中使用 Fréchet 距离、双向平均欧几里得距离 等几何度量；在导航任务中使用 成功率和路径长度 等标准指标。
- 关键实验结果：RynnBrain 基础模型在所有模型规模上都显著优于现有的具身基础模型；后训练变体在特定任务上表现出色，例如 RynnBrain-CoP 在复杂时空任务（如轨迹预测）上性能提升约 7%，RynnBrain-Nav 在 R2R 和 RxR 基准上取得了最先进的结果。