一眼看懂
封面预览
提出了 MultihopSpatial，一个专门评估视觉语言模型（VLM）中多跳（1-3跳）、组合空间推理能力的基准测试数据集，旨在填补现有基…
- 提出了 MultihopSpatial，一个专门评估视觉语言模型（VLM）中多跳（1-3跳）、组合空间推理能力的基准测试数据集，旨在填补现有基…
- 引入了 Acc@50IoU 度量标准，同时评估推理正确性和视觉定位能力——这是 Vision-Language-Action（VLA）智能体在…
- 提供了 MultihopSpatial-Train（6,791 个样本）作为训练语料库，并验证了通过强化学习后训练可以提升 VLM 的空间推理…
Card 01
研究单位
研究单位
- Electronics and Telecommunications Research Institute (ETRI), South Korea
- Korea Advanced Institute of Science and Technology (KAIST), South Korea
- Sungkyunkwan University, South Korea
- DeepAuto, South Korea
Card 02
论文概述
论文概述
- 提出了 MultihopSpatial，一个专门评估视觉语言模型（VLM）中多跳（1-3跳）、组合空间推理能力的基准测试数据集，旨在填补现有基准仅关注单跳关系的空白
- 引入了 Acc@50IoU 度量标准，同时评估推理正确性和视觉定位能力——这是 Vision-Language-Action（VLA）智能体在实际物理环境中部署的关键能力
- 提供了 MultihopSpatial-Train（6,791 个样本）作为训练语料库，并验证了通过强化学习后训练可以提升 VLM 的空间推理能力，并迁移到下游 VLA 任务
Card 03
核心贡献
核心贡献
- MultihopSpatial 基准：首个同时评估多跳组合空间推理和视觉定位的综合 benchmark，包含 4,500 个 QA 对，平衡覆盖 1-3 跳复杂度
- Acc@50IoU 度量：一种基于地面真值的定位度量，要求答案选择正确且预测边界框与真值 IoU ≥ 50%，消除了传统 MCQ 的评估盲点
- MultihopSpatial-Train 语料库：6,791 个带标注的 VQA 样本，支持 VLM 的空间智能后训练
- 对 37 个 SOTA VLM 进行了全面评估，揭示了多跳空间推理仍是当前模型的重大挑战
- 验证了 RL 后训练不仅提升了 VLM 内在的空间推理能力，还迁移到下游 VLA 任务（CALVIN 和 Libero 基准）
Card 04
方法描述
方法描述
- 数据集构建：从 COCO 和 PACO-Ego4D 采集 3,563 张图像，由 10 名人类专家标注 4,500 个 MCQ，包含 1-3 跳的空间推理问题
- 空间推理类别：定义三个基本类别（Attribute、Position、Relation），组合构成多跳查询
- 强化学习训练：采用 GRPO（Group Relative Policy Optimization）算法，使用复合奖励函数 R = R_format + α·R_mcq + β·R_bbox，其中 R_bbox 基于 GIoU 计算
Card 05
数据集与资源
数据集与资源
- 评估数据集：MultihopSpatial（4,500 QA 对），分为 1-Hop、2-Hop、3-Hop 三个难度级别，每级包含 ego-centric 和 exo-centric 视角
- 训练数据集：MultihopSpatial-Train（6,791 个样本）
- 评估模型：37 个 VLM，覆盖专有模型（Claude、GPT、Gemini）、开源模型（Qwen3-VL、InternVL、GLM、Gemma）和专用空间推理模型
- 训练资源：Qwen3-VL-4B-Instruct 作为基础模型，LoRA 微调，学习率 5×10⁻⁵，10 个 epoch，batch size 128
Card 06
评估与结果
评估与结果
- 评估指标：MCQ Accuracy、Acc@50IoU、Avg. IoU
- 关键发现：最佳模型 Gemini-3-Pro 在 Acc@50IoU 上仅达 40.6%，3-Hop ego-centric 任务最佳仅 18.8%，GPT-5.2-Thinking 从 45.8% MCQ 下降至 9.4% Acc@50IoU
- 训练效果：GRPO 训练后，Qwen3-VL-4B 在域内 MultihopSpatial 上 MCQ 从 37.8% 提升至 62.9%，Acc@50IoU 从 31.0% 提升至 53.8%
- VLA 迁移：在 CALVIN 基准上任务完成得分从 3.75 提升至 3.98，Libero 基准从 35.8% 提升至 40.0%