一眼看懂
封面预览
论文提出OpenFrontier，一个无需训练、无需稠密3D建图的通用导航框架，旨在解决开放世界中语言条件目标导航问题。
- 论文提出OpenFrontier，一个无需训练、无需稠密3D建图的通用导航框架，旨在解决开放世界中语言条件目标导航问题。
- 现有方法常依赖稠密3D重建、手工设计的目标度量或大规模策略训练，限制了跨任务和环境的泛化能力。本文旨在克服这些局限。
- 核心思想是将导航形式化为稀疏子目标识别与到达问题，并利用视觉导航前沿作为稀疏、可解释且物理上可行动的语义锚点，来连接视觉-语言先验模型与导航决…
Card 01
研究单位
研究单位
- ETH Zurich
- Microsoft Spatial AI Lab
- University of Bonn
Card 02
论文概述
论文概述
- 论文提出OpenFrontier，一个无需训练、无需稠密3D建图的通用导航框架，旨在解决开放世界中语言条件目标导航问题。
- 现有方法常依赖稠密3D重建、手工设计的目标度量或大规模策略训练，限制了跨任务和环境的泛化能力。本文旨在克服这些局限。
- 核心思想是将导航形式化为稀疏子目标识别与到达问题，并利用视觉导航前沿作为稀疏、可解释且物理上可行动的语义锚点，来连接视觉-语言先验模型与导航决策。
Card 03
核心贡献
核心贡献
- 提出了OpenFrontier，一个使用视觉导航前沿作为接口的导航框架，用于将视觉-语言先验模型中的语义推理转化为可执行的语言条件导航目标。
- 引入了图像空间前沿推理公式，利用视觉-语言模型评估候选前沿，并将语义相关性与探索驱动的信息增益相结合，无需稠密3D语义地图或策略训练。
- 在多个导航基准上展示了强大的零样本性能，并在真实移动机器人上完成了有效部署。
Card 04
方法描述
方法描述
- 在2D图像空间直接检测和评估导航前沿（视觉前沿），无需依赖稠密3D建图。
- 采用set-of-marks提示策略，在RGB图像上标记前沿位置，并查询视觉-语言模型 为每个前沿分配一个与语言目标相关的概率得分。
- 将VLM给出的语义相关性概率与探索驱动的信息增益相结合，得到每个前沿的最终效用值，用于全局目标管理和路径规划。
- 系统框架设计灵活，VLM可即插即用；同时，虽不要求稠密建图，但可选择性利用轻量级几何信息进行过滤以提升鲁棒性。
Card 05
数据集与资源
数据集与资源
- 评估基准：HM3D ObjNav、MP3D ObjNav 和 OVON 数据集。
- 使用的视觉-语言模型：主要使用 Gemini-2.5-flash，也测试了GPT-4o、Qwen3-VL、InternVL-3.5等模型。
- 训练资源：在单个 RTX 4090 GPU (24GB) 上进行所有实验。
- 低层导航策略：使用预训练的 DD-PPO PointGoal 策略。
Card 06
评估与结果
评估与结果
- 评估环境：Habitat仿真框架。
- 主要评估指标：成功率 和路径长度加权成功率。
- 关键结果：在HM3D验证集上达到77.3% 的成功率；在MP3D验证集上成功率为40.7%；在OVON验证集上成功率为39.0%，在多项指标上超越了需要稠密建图或特定训练的基线方法。
- 真实世界验证：在Boston Dynamics Spot四足机器人上成功部署，实现了无先验地图、无需人工干预的自主导航。