一眼看懂
封面预览
提出名为 HALO 的统一视觉-语言-动作模型，用于实现具身多模态思维链推理。核心在于模仿人类“思考-想象-执行”的认知过程，通过先进行文本推…
- 提出名为 HALO 的统一视觉-语言-动作模型，用于实现具身多模态思维链推理。核心在于模仿人类“思考-想象-执行”的认知过程，通过先进行文本推…
- 旨在解决现有视觉-语言-动作模型在长视野或分布外复杂场景中，因缺乏显式的多模态推理和环境状态演化的预见能力而表现不佳的问题。
- 研究目标是开发一个既能进行语义推理，又能进行视觉想象和动作预测的统一框架，以提升机器人在复杂、动态环境中的任务执行鲁棒性和泛化能力。
Card 01
研究单位
研究单位
- 香港科技大学 (The Hong Kong University of Science and Technology)
- 瑞士洛桑联邦理工学院 (EPFL)
- 中山大学 (Sun Yat-sen University)
Card 02
论文概述
论文概述
- 提出名为 HALO 的统一视觉-语言-动作模型，用于实现具身多模态思维链推理。核心在于模仿人类“思考-想象-执行”的认知过程，通过先进行文本推理和任务规划，再预测视觉子目标提供细粒度引导，最后利用生成的多模态思维链指导动作预测。
- 旨在解决现有视觉-语言-动作模型在长视野或分布外复杂场景中，因缺乏显式的多模态推理和环境状态演化的预见能力而表现不佳的问题。
- 研究目标是开发一个既能进行语义推理，又能进行视觉想象和动作预测的统一框架，以提升机器人在复杂、动态环境中的任务执行鲁棒性和泛化能力。
Card 03
核心贡献
核心贡献
- 提出 具身多模态思维链 框架，将文本推理、视觉预见和动作预测整合到一个序列化流程中，显著提升了模型在复杂任务中的表现。
- 采用 混合专家转换器 架构，将多模态理解、视觉生成和动作预测解耦为三个独立的专家，同时通过共享自注意力机制实现跨专家的无缝协作，避免了单一模型处理异构能力的冲突。
- 设计了一个自动化的 EM-CoT 数据合成流水线，利用动作基元和视觉语言模型对原始机器人轨迹进行标注，大规模生成带有对齐文本推理和视觉子目标的监督数据。
- 提出一个精心设计的 两阶段训练方案：第一阶段进行多样化预训练以建立通用基础；第二阶段进行 EM-CoT 增强的微调，以注入结构化多模态推理能力，同时保留通用知识。
- 在模拟和真实环境中进行了广泛的实验验证，证明了 HALO 的卓越性能，在 RoboTwin 2.0 基准测试中平均成功率超过基线模型 π₀ 达 34.1%，并展示了强大的泛化能力。
Card 04
方法描述
方法描述
- 核心方法是 HALO 模型，其核心是一个统一的 混合专家转换器 架构，包含三个专家：多模态理解专家 (用于文本推理)、视觉生成专家 (用于预测视觉子目标图像) 和动作预测专家。
- 模型通过特殊标记控制模态切换，并通过精心设计的注意力掩码策略管理信息流，确保推理的自回归性和视觉生成的全局依赖性，同时防止信息泄露。
- 创新点在于：1）将文本推理、视觉生成和动作预测解耦为独立的专家，避免了单一流程的性能瓶颈；2）通过共享自注意力实现跨模态的丰富交互；3）模仿人类认知流程，先推理后行动。
- 关键技术包括：使用 Qwen2.5-1.5B 作为 LLM 骨干，使用 SigLIP2 和 NaViT 初始化用于理解任务的视觉编码器，使用 VAE 进行图像压缩用于生成任务，并采用线性投影处理动作。
Card 05
数据集与资源
数据集与资源
- 使用的数据集包括：用于预训练的 LLaVA-NeXT-779k (VQA)、Open X-Embodiment 和 Something-Something v2 (视觉生成)，以及用于微调的 RoboTwin 2.0 模拟数据集和自收集的真实世界机器人数据集。
- 模型总参数量约为 45 亿，基于三个初始化的 Qwen2.5-1.5B 专家构建。
- 训练资源：使用了 H800/A100 GPU，并采用 Flex Attention 技术来加速具有超长序列的训练。
Card 06
评估与结果
评估与结果
- 评估环境主要为 RoboTwin 2.0 模拟器，包含 50 个具有挑战性的双手操作任务，并设置了“简单”（清洁环境）和“困难”（强域随机化）两种评估设置。同时在 Cobot Mobile ALOHA 平台上进行了真实世界评估。
- 主要评估指标是 任务成功率。
- 关键实验结果：在 RoboTwin 2.0 上，HALO 在简单和困难设置下的平均成功率分别达到 80.5% 和 26.4%，显著超越了 π₀、RDT-1B 和 Diffusion Policy 等基线模型。消融研究证实了 EM-CoT 设计和两阶段训练方案的所有组成部分都对性能提升有贡献。真实世界实验在工具使用、双手协作等任务上也展现了优越的性能和泛化能力。