一眼看懂
封面预览
提出将 Vision-Language Model (VLM) 集成到传统的前沿探测框架中，由 VLM 进行高级战略决策，引导低层机器人控制栈…
- 提出将 Vision-Language Model (VLM) 集成到传统的前沿探测框架中，由 VLM 进行高级战略决策，引导低层机器人控制栈…
- 在决策点时，机器人生成多模态提示，包含当前俯视 occupancy map 和候选前沿的视觉图像，VLM 分析后选择最有前景的前沿
- 在 Habitat 模拟器的 6 个室内环境中验证，相比现有方法地图覆盖率提升高达 24%
Card 01
研究单位
研究单位
- 加州大学伯克利分校 EECS 系 (EECS Department, University of California, Berkeley)
Card 02
论文概述
论文概述
- 提出将 Vision-Language Model (VLM) 集成到传统的前沿探测框架中，由 VLM 进行高级战略决策，引导低层机器人控制栈执行任务
- 在决策点时，机器人生成多模态提示，包含当前俯视 occupancy map 和候选前沿的视觉图像，VLM 分析后选择最有前景的前沿
- 在 Habitat 模拟器的 6 个室内环境中验证，相比现有方法地图覆盖率提升高达 24%
Card 03
核心贡献
核心贡献
- VLM 引导的前沿选择：使用 Google Gemini 2.5 Pro 作为决策引擎，在决策点进行多模态推理，选择最优前沿
- 多模态提示设计：结合俯视 occupancy map（标注机器人路径和数字编号前沿）+ 各前沿对应的第一人称视觉图像 + 文本指令
- 决策点列表 (Decision Point List)：记忆具有多个探索选项的位置，实现系统性回溯，确保完整覆盖
- 前沿黑名单机制：对导航失败或已探索的前沿进行黑名单，防止重复无效尝试
- 无需训练的轻量级方案：无需模型训练，通过 API 调用 VLM 即可实现，易于迁移到任何具备标准传感器和网络连接的机器人
Card 04
方法描述
方法描述
- 前沿检测：使用 OpenCV
findContours识别 occupancy map 上 free space 与 unknown space 边界的前沿单元，聚类为 contour - 前沿过滤：过滤短于 20 像素的小轮廓；仅考虑机器人 3 米范围内的 5 个最近前沿，减少计算负担
- VLM 决策：在决策点（多个可选前沿时）暂停，构建多模态 prompt 发送给 Gemini 2.5 Pro；利用其大上下文窗口维持持续会话，获得历史决策记忆
- 导航执行：使用 ROS
move_base进行全局路径规划，TEB (Timed Elastic Band) local planner 执行局部轨迹优化 - 模拟框架：基于 Habitat + Matterport3D 数据集，通过 ROS-x-Habitat 桥接包与 ROS 系统集成
Card 05
数据集与资源
数据集与资源
- 数据集：Matterport3D 室内环境，6 个测试场景 (Environment 1-6)
- VLM 模型：Google Gemini 2.5 Pro
- 软件栈：ROS Noetic + Ubuntu 20.04, RTAB-Map (SLAM), move_base, TEB local planner
- 模拟器：Habitat with ROS-x-Habitat bridge
Card 06
评估与结果
评估与结果
- 对比基线：Greedy Frontier-Based (Explore Lite), OpenCV + NBV, TARE, DSVP
- 覆盖率表现：在所有 6 个环境中达到 90%+ 覆盖率，其中 4 个环境超过 98%，优于所有基线方法
- 效率提升：在 Environment 2 中，VLM 方法以 426.71 米行程达到 99.46% 覆盖率；Greedy 方法行程多约 100 米 (517.40m) 仅达 90.16%
- 路径质量：VLM 方法路径更直接，重访次数显著少于 Greedy 和 NBV 方法；TARE 和 DSVP 存在过早终止问题
- 定性分析：复杂环境中其他方法未能完全探索大空间或出现路径重复，VLM 方法轨迹更优