一眼看懂
封面预览
论文提出 VisualThink-VLA 框架，旨在为视觉-语言-动作（VLA）策略提供准确、低延迟的视觉中间推理机制。
- 论文提出 VisualThink-VLA 框架，旨在为视觉-语言-动作（VLA）策略提供准确、低延迟的视觉中间推理机制。
- 现有VLA推理方法存在准确性与效率的权衡：文本推理链延迟高且视觉定位弱，密集视觉辅助信息可能引入干扰和冗余。
- 研究目标是识别一种“最小且有效”的视觉推理界面，既保持视觉结构所需的空间精度，又避免文本解码和密集感知带来的开销。
Card 01
研究单位
研究单位
- 浙江大学
- 康奈尔大学
- 新加坡国立大学
- 西安电子科技大学
Card 02
论文概述
论文概述
- 论文提出 VisualThink-VLA 框架，旨在为视觉-语言-动作（VLA）策略提供准确、低延迟的视觉中间推理机制。
- 现有VLA推理方法存在准确性与效率的权衡：文本推理链延迟高且视觉定位弱，密集视觉辅助信息可能引入干扰和冗余。
- 研究目标是识别一种“最小且有效”的视觉推理界面，既保持视觉结构所需的空间精度，又避免文本解码和密集感知带来的开销。
Card 03
核心贡献
核心贡献
- 提出一种视觉中间推理界面，使冻结的VLA骨干网络能够通过紧凑的路由视觉线索进行“图像思考”，而非依赖长文本推理链或密集辅助感知。
- 设计了任务自适应的证据编排机制，结合通道筛选、稀疏证据路由、软硬协同优化和教师-学生蒸馏，以改善成功率与延迟的权衡。
- 引入 VisualEvidence-Kit 资源，包括用于构建监督数据的 VisualEvidence-Agent 和包含754.7k指令的 VisualEvidence-Set，用于路由监督和反事实可信度审计。
Card 04
方法描述
方法描述
- 构建一个六通道候选证据库，包括边界框、边缘、运动、关系、深度和分割信息；经筛选后保留四个高效用通道作为操作接口。
- 使用任务自适应路由器预测通道概率，并通过硬化算子生成稀疏路由掩码，仅激活与当前决策相关的证据通道。
- 通过视觉状态组合器将路由证据映射为学习到的视觉状态，并注入冻结VLA骨干网络的条件状态，从而引导动作解码。
Card 05
数据集与资源
数据集与资源
- 使用多个机器人操作基准数据集，包括 BridgeData V2、Fractal、RoboTurk、LIBERO 系列、UT Austin MUTEX。
- 自建 VisualEvidence-Set 数据集，包含 754.7k 条VLA指令，用于路由监督与可信度诊断。
- 基于 OpenVLA（7B参数）模型骨干，保持骨干冻结，仅训练路由接口与视觉状态组合器等轻量级模块。
Card 06
评估与结果
评估与结果
- 在真实机器人、仿真、长时序任务及闭环控制等多个基准上进行评估，对比基线包括ECoT、TraceVLA、SpatialVLA等。
- 主要指标为 成功率（越高越好）和 平均步骤延迟（越低越好）。
- 结果表明，VisualThink-VLA 在多个基准上取得最高成功率，并将推理延迟从多秒级降至亚秒级（如BridgeData V2上延迟从8.377秒降至0.367秒，实现 22.8倍 速度提升），同时保持了接近密集视觉证据的性能。