一眼看懂
封面预览
论文提出了 VLATIM (Vision-Language Against The Incredible Machine) 基准测试，用于评估…
- 论文提出了 VLATIM (Vision-Language Against The Incredible Machine) 基准测试，用于评估…
- 研究环境基于经典游戏 TIM (The Incredible Machine 2)，旨在填补高层逻辑推理与连续动作空间（精确鼠标交互）之间的评…
- 核心结论是当前模型在推理规划与动作执行之间存在显著差距，尚未表现出类人的问题解决能力
Card 01
研究单位
研究单位
- 论文作者：Dominik Helfenstein、Marco Menner、Maximilian Triebel
- 注：提供的 HTML 源文中未包含作者的具体所属机构信息
Card 02
论文概述
论文概述
- 论文提出了 VLATIM (Vision-Language Against The Incredible Machine) 基准测试，用于评估视觉语言模型在点击式物理益智游戏中的逻辑解题能力
- 研究环境基于经典游戏 TIM (The Incredible Machine 2)，旨在填补高层逻辑推理与连续动作空间（精确鼠标交互）之间的评估空白
- 核心结论是当前模型在推理规划与动作执行之间存在显著差距，尚未表现出类人的问题解决能力
Card 03
核心贡献
核心贡献
- 设计了包含五个渐进部分的 VLATIM 基准：视觉定位、领域理解、事件推理、物体操控及完整谜题求解
- 揭示了当前 VLMs 的两种典型失败模式：“盲目策略家”（擅长规划但定位差）和“近视操作者”（擅长定位但推理弱）
- 对五种主流模型进行了系统性评估，提供了定量成功率数据及详细的定性能力分析
Card 04
方法描述
方法描述
- 基准测试分为静态截图分析（前三部分）和交互式游戏操控（后两部分）两个阶段
- 设计了涵盖物体分类、定位、物理属性理解、因果链推理及多步操作的任务集
- 构建了视觉-动作循环框架，将模型输出解析为点击、拖拽、旋转等具体鼠标操作并反馈给游戏环境
Card 05
数据集与资源
数据集与资源
- 测试环境：The Incredible Machine 2 (TIM) 益智游戏
- 评估模型：UI-TARS 1.5 7B、Qwen2.5 VL 7B、Qwen3 VL 235B、Gemini 2.5 Flash、GPT 5 Mini
- 评估指标：IoU (交并比)、Euclidean Distance (欧氏距离)、Success Rate (成功率)、LLM-Eval (语义相似度评估)
Card 06
评估与结果
评估与结果
- 在最难的完整谜题求解任务中，所有模型的成功率均为 0%，无法实现类人解题
- Gemini 2.5 Flash 获得了最高的总体评分，在领域理解和事件推理方面表现最强
- Qwen3 VL 在视觉定位和物体操控部分表现较好，但在多步任务组合中失败率高
- 实验表明大模型虽具备优秀的物理常识和规划能力，但在精确的视觉定位和连续动作执行上存在严重短板