一眼看懂
封面预览
提出一个层次化世界模型 (Hierarchical World Model, H-WM)，通过联合预测逻辑和视觉状态转移，为视觉-语言-动作模型在执行长视距任务时提供中间指导。
- 提出一个层次化世界模型 (Hierarchical World Model, H-WM)，通过联合预测逻辑和视觉状态转移，为视觉-语言-动作模型在执行长视距任务时提供中间指导。
- 旨在解决现有方法（如端到端VLA模型、基于LLM的分层规划、传统任务与运动规划）在长视距任务中表现不佳的问题，如错误累积、目标不明确以及符号推理与视觉感知脱节。
- 提出了一个层次化世界模型 (H-WM) 的训练流程，能够同时在多个抽象层次上预测世界动态，将长视距的逻辑状态转移与视觉状态演变对齐。
Card 01
研究单位
研究单位
- 华为诺亚方舟实验室 (Huawei Noah’s Ark Lab)
- 多伦多大学 (University of Toronto)
- 麦吉尔大学 (McGill University)
Card 02
论文概述
论文概述
- 提出一个层次化世界模型 (Hierarchical World Model, H-WM)，通过联合预测逻辑和视觉状态转移，为视觉-语言-动作模型在执行长视距任务时提供中间指导。
- 旨在解决现有方法（如端到端VLA模型、基于LLM的分层规划、传统任务与运动规划）在长视距任务中表现不佳的问题，如错误累积、目标不明确以及符号推理与视觉感知脱节。
Card 03
核心贡献
核心贡献
- 提出了一个层次化世界模型 (H-WM) 的训练流程，能够同时在多个抽象层次上预测世界动态，将长视距的逻辑状态转移与视觉状态演变对齐。
- 引入了逻辑世界模型，通过对LLM进行微调以实现符号规划，内化了长视距规划行为，提供了全局一致、可解释的任务级指导。
- 开发了基于潜在特征的视觉世界模型，以预测的逻辑状态和动作为条件，生成紧凑的潜在视觉子目标，提供稳定且丰富的视觉引导。
- 提出了一个系统化流程，将逻辑和视觉引导集成到VLA模型中，使底层策略能够灵活地基于逻辑动作、逻辑状态、视觉子目标或其组合进行执行。
- 构建并发布了包含机器人动作、符号状态与视觉观测对齐的训练数据集 LIBERO-Logic。
Card 04
方法描述
方法描述
- 方法核心是一个双层框架：高层的逻辑世界模型和低层的视觉世界模型。
- 逻辑世界模型：基于LLM微调，学习符号规划动态，能够进行长视距推理，预测符号状态序列和动作序列，并提供规划和奖励评估双重功能。
- 视觉世界模型：由一个理解专家和一个预测专家组成。它以前一观察、执行的逻辑动作和预测的下一个逻辑状态为条件，在共享特征空间中生成一个潜在的视觉子目标特征（而非像素图像），为底层控制提供稳定的感知目标。
- 引导流程：逻辑世界模型生成符号计划；视觉世界模型为每个子任务生成视觉子目标；一个专门的子目标VLA策略综合当前观察、符号任务规范和视觉子目标，产生低层机器人动作。
Card 05
数据集与资源
数据集与资源
- 主要数据集：LIBERO-Logic（基于LIBERO基准构建），包含超过98万高质量图像-逻辑对，帧级对齐了机器人状态、视觉观测、逻辑状态和逻辑动作。
- 评估基准：LIBERO-LoHo，一个从LIBERO衍生的长视距基准，包含5个任务类型，任务视距约为原任务的两倍。
- 模型规模：未在提供的原文中明确说明具体参数量，但方法涉及微调LLM（逻辑世界模型）和使用基于Transformer的专家模型（视觉世界模型和子目标VLA）。
- 训练资源：未在提供的原文中明确说明。
Card 06
评估与结果
评估与结果
- 评估环境：在LIBERO-LoHo长视距机器人操作基准上进行。
- 主要评估指标：Q-Score（已完成子目标数与总子目标数之比）和Success Rate（完全成功完成的任务百分比）。
- 关键实验结果：H-WM引导的 π₀.₅ 模型在所有任务上显著优于所有基线方法（包括端到端 π₀、π₀.₅，以及语言引导和纯逻辑引导的分层方法）。在平均成功率上，H-WM (64.8%) 远超纯逻辑引导 (48.4%) 和语言引导 (26.8%)。消融研究证实了视觉引导对于将符号计划落地到感知空间、减少错误累积至关重要。