一眼看懂
封面预览
论文提出 Being-H0.7，一种潜在的世界动作模型，从大规模第一视角视频预训练，旨在将未来感知推理引入 VLA 风格策略而不生成未来帧。
- 论文提出 Being-H0.7，一种潜在的世界动作模型，从大规模第一视角视频预训练，旨在将未来感知推理引入 VLA 风格策略而不生成未来帧。
- 解决现有 VLA 模型缺乏动态建模和世界动作模型像素预测成本高、与控制不直接相关的问题。
- 核心方法是使用可学习潜在查询作为感知与动作间的推理接口，并通过未来信息引导的双分支设计联合对齐潜在状态。
Card 01
研究单位
研究单位
- 论文作者为 BeingBeyond Team，具体研究机构未明确提及。
Card 02
论文概述
论文概述
- 论文提出 Being-H0.7，一种潜在的世界动作模型，从大规模第一视角视频预训练，旨在将未来感知推理引入 VLA 风格策略而不生成未来帧。
- 解决现有 VLA 模型缺乏动态建模和世界动作模型像素预测成本高、与控制不直接相关的问题。
- 核心方法是使用可学习潜在查询作为感知与动作间的推理接口，并通过未来信息引导的双分支设计联合对齐潜在状态。
Card 03
核心贡献
核心贡献
- 重新审视世界动作建模，提出在动作导向的潜在空间进行预测，避免像素空间预测的计算和推理开销。
- 引入 Being-H0.7 模型，使用潜在查询作为显式推理接口，并通过后验分支监督前验分支学习未来相关结构。
- 开发高效双分支实现，结合隐藏状态对齐和轻量级正则化，防止潜在崩溃，支持大规模视频预训练。
- 在六个模拟基准和多样化真实世界任务上展示强大性能，结合世界模型的预测优势与 VLA 策略的效率。
Card 04
方法描述
方法描述
- 插入可学习的潜在查询形成潜在推理空间，用于组织未来相关、动作导向的信息。
- 采用双分支设计：可部署的前验分支从当前上下文推断潜在状态，训练时的后验分支利用未来观察提供监督。
- 通过联合对齐前验和后验分支的隐藏状态，使潜在空间编码未来相关结构，推理时无需生成未来帧。
- 使用 Mixture-of-Transformers 结构打包双分支，共享上下文计算，应用双分支注意力掩码实现高效训练。
- 引入轻量级正则化防止潜在崩溃，包括范数保持和谱多样性约束。
Card 05
数据集与资源
数据集与资源
- 使用混合的人类和机器人操作轨迹数据，遵循 UniHand 2.0 格式进行预训练。
- 模型规模为 3B 参数，基于 Being-H0.5 构建。
- 视觉编码器采用 V-JEPA2.1，理解专家为 InternVL3.5，动作专家为 Qwen3。
- 观察图像调整为 224×224，未来帧为 256×256。
Card 06
评估与结果
评估与结果
- 模拟基准包括 LIBERO、RoboCasa、GR1、LIBERO-plus、RoboTwin 2.0 和 CALVIN。
- LIBERO 上成功率达 99.2%，RoboCasa 上 62.1%，GR1 上 49.2%，LIBERO-plus 零_shot 达 82.1%。
- 真实世界实验在 PND Adam-U、Unitree G1 和 Franka FR3 三个平台进行 12 个任务。
- 五个能力套件：动态场景、物理推理、运动推理、长期规划和泛化，Being-H0.7 在所有套件上领先。
- 推理延迟在 3-4 ms/步，使用通用异步分块实现高效部署。