一眼看懂
封面预览
论文提出了 VISOR，一个紧凑的、统一的、具备推理能力的可解释视觉-语言-动作模型，用于解决语言驱动的物体导航任务。
- 论文提出了 VISOR，一个紧凑的、统一的、具备推理能力的可解释视觉-语言-动作模型，用于解决语言驱动的物体导航任务。
- 旨在解决现有方法的两类问题：端到端模型缺乏泛化能力和可解释性；模块化零样本流水线存在错误传播和高计算成本。
- 核心研究目标是构建一个具备CURE特性的智能体：Compact（紧凑，约3B参数）、Unified（统一，单一模型）、Reasoning-capable（具备推理能力）、Explainable（可解释）。
Card 01
研究单位
研究单位
- Polytechnic of Turin
- Simon Fraser University
- University of Verona
- University of Reykjavik
- University of California, Irvine
Card 02
论文概述
论文概述
- 论文提出了 VISOR，一个紧凑的、统一的、具备推理能力的可解释视觉-语言-动作模型，用于解决语言驱动的物体导航任务。
- 旨在解决现有方法的两类问题：端到端模型缺乏泛化能力和可解释性；模块化零样本流水线存在错误传播和高计算成本。
- 核心研究目标是构建一个具备CURE特性的智能体：Compact（紧凑，约3B参数）、Unified（统一，单一模型）、Reasoning-capable（具备推理能力）、Explainable（可解释）。
Card 03
核心贡献
核心贡献
- 提出了 VISOR 模型，这是一个仅3B参数的视觉-语言-动作模型，直接根据观察选择路点，无需外部目标检测器，且通过显式推理步骤提供可解释性。
- 引入了首个用于监督微调的路点选择数据集 WAYS-Bench，该数据集也适用于强化学习后训练以提高导航效率。
- 对VISOR的局限性和失败案例进行了广泛的消融分析，为未来改进提供了关键思路。
Card 04
方法描述
方法描述
- 方法基于一个预训练的视觉语言模型，将其作为导航策略。训练分为两个阶段：首先在WAYS-Bench数据集上进行监督微调，然后使用GSPO算法进行强化学习后训练以提升推理能力和导航效率。
- 核心创新点在于显式的、基于图像的推理过程。在每个推理步骤，模型生成三段结构化输出：详细的推理过程
- 关键技术包括：利用全景RGB观测和在线构建的自上而下地图来增强空间推理；将路点候选点投影到图像上并用随机标签标记，让模型在图像空间进行选择；通过结构化奖励函数（如格式奖励、动作奖励）来引导RL训练。
Card 05
数据集与资源
数据集与资源
- 使用的数据集包括：GOAT-Bench（用于构建基础数据）、CoIN-Bench（用于评估InstanceObjectNav任务的主要基准）、OVON（用于评估ObjectNav任务）。
- 核心贡献的监督微调数据集 WAYS-Bench 包含 36,170 个训练样本和 3,047 个验证样本。
- 模型基于 Qwen 2.5 VL 3B，是一个约3B参数的视觉语言模型。
- 训练资源：SFT阶段使用了2块NVIDIA H100 GPU（80GB）；RL阶段使用了8块NVIDIA A100-SXM GPU（64GB）进行训练，并搭配单块A100使用VLLM进行推理。
Card 06
评估与结果
评估与结果
- 评估环境与基准：在两个语言驱动物体导航基准上进行评估：CoIN-Bench（InstanceObjectNav）和OVON（ObjectNav）。评估了Seen、Seen Synonyms和Unseen三个数据切分。
- 主要评估指标：成功率、路径长度加权的成功率。
- 关键实验结果：在更具挑战性的CoIN-Bench上，VISOR在RL后训练后在Unseen切分上取得了相比基线（如PSL）更好的泛化性（SPL更高）。尽管在OVON上的绝对性能低于当前最优模型，但VISOR在不同切分间表现更稳定，展示了更强的泛化能力。RL后训练有效提高了导航效率（SPL提升），但也可能因过早停止而略微降低SR。模型提供了详细的可解释推理过程。