一眼看懂
封面预览
论文提出了 SpatioRoute 方法，这是一个动态提示生成框架，旨在提升视觉语言模型在零样本设置下的空间推理能力
- 论文提出了 SpatioRoute 方法，这是一个动态提示生成框架，旨在提升视觉语言模型在零样本设置下的空间推理能力
- 核心解决 VLMs 在3D空间理解方面的局限性，特别是在无需任务微调、无需3D传感器输入的情况下
- 针对空间问答任务中不同问题类型具有不同认知需求的特点，设计动态路由机制为每个问题匹配最合适的提示模板
Card 01
研究单位
研究单位
- 国立台湾大学
- Delta Robotics Innovation Center
Card 02
论文概述
论文概述
- 论文提出了 SpatioRoute 方法，这是一个动态提示生成框架，旨在提升视觉语言模型在零样本设置下的空间推理能力
- 核心解决 VLMs 在3D空间理解方面的局限性，特别是在无需任务微调、无需3D传感器输入的情况下
- 针对空间问答任务中不同问题类型具有不同认知需求的特点，设计动态路由机制为每个问题匹配最合适的提示模板
Card 03
核心贡献
核心贡献
- 证明了将提示与每个查询的认知需求相匹配，能在五个 VLM 上持续超越固定提示和统一链式思维推理，确认正确的提示设计是零样本空间 VQA 的有效策略
- 提出了双机制查询条件动态提示生成方法 SpatioRoute-R（基于规则）和 SpatioRoute-L（LLM驱动），在五个 VLM 上实现 +0.9% 至 +4.7% 的准确率提升，无需微调、标注数据或3D点云输入
- 提供了详细的类别分析，显示 SpatioRoute-R 在所有 Qwen 模型上持续改善 *What*、*Is* 和 *Which* 类别，而 SpatioRoute-L 在 *How* 和 *Can* 类别上捕捉细微语义差异
- 发现标准 CoT 在 Qwen 模型上持续降低空间视频推理性能，而在 Llama3.2-11B 上效果相反，揭示 CoT 行为具有架构依赖性
Card 04
方法描述
方法描述
- SpatioRoute-R：基于规则的路由器，通过轻量级字符串匹配识别问题类型，并确定性映射到精心设计的提示模板，具有零模型推理开销
- SpatioRoute-L：LLM驱动的路由器，使用文本-only LLM（Qwen2.5-1.5B）结合少量样本演示生成任务特定提示，路由时无视频输入
- 设计了四个专门的提示模板：details_scene（针对开放词汇问题）、step_by_step（针对二元判断）、scene_understanding（针对功能判断）、instruction_focused（针对指令型查询）
- 核心创新在于根据问题类型动态选择提示模板，解决了单一固定提示无法满足多样化认知需求的问题
Card 05
数据集与资源
数据集与资源
- SQA3D基准数据集：基于650个ScanNet室内场景，包含6.8K情境描述和33.4K问题，官方测试集包含3,519个问题
- 评估的模型包括：Qwen2-VL（2B, 7B）、Qwen2.5-VL（3B）、Qwen3-VL（2B）、Llama-3.2-Vision（11B）
- 路由LLM使用轻量级文本模型 Qwen2.5-1.5B
- 论文未明确提及具体GPU/TPU资源使用情况
Card 06
评估与结果
评估与结果
- 评估环境为 SQA3D 测试集，采用视频-only输入设置（无3D点云或深度数据）
- 主要评估指标为准确率
- 关键实验结果：SpatioRoute-R 在所有 Qwen 模型上获得最高准确率，相比基线提升 +2.0% 至 +4.7%；SpatioRoute-L 获得 +1.5% 至 +3.7% 提升
- Qwen3-2B + SpatioRoute-R 达到 50.3%，超越了更大的 Qwen3-4B-Thinking 模型（47.7%）
- Llama3.2-11B 上简单 CoT 获得最大增益（+4.9%），而 SpatioRoute 提供较小但稳定的改进（+0.9%）
- CoT 在 Qwen 模型上持续降低性能，特别是 *Can* 类别（降低达-20.12%）和 *How* 类别（降低达-18.75%）