一眼看懂
封面预览
研究视觉语言导航（VLN）任务从仿真环境迁移到真实物理世界部署时性能显著下降的核心瓶颈
- 研究视觉语言导航（VLN）任务从仿真环境迁移到真实物理世界部署时性能显著下降的核心瓶颈
- 指出性能下降主要源于视觉感知不稳定（如光照变化、运动模糊）和自然语言指令描述不足（语义模糊）
- 提出 StereoNav 框架，旨在通过引入目标位置先验和立体视觉建模来增强真实世界导航的鲁棒性与一致性
Card 01
研究单位
研究单位
- HKUST(GZ)（香港科技大学广州）
- JD Explore Academy（京东探索研究院）
Card 02
论文概述
论文概述
- 研究视觉语言导航（VLN）任务从仿真环境迁移到真实物理世界部署时性能显著下降的核心瓶颈
- 指出性能下降主要源于视觉感知不稳定（如光照变化、运动模糊）和自然语言指令描述不足（语义模糊）
- 提出 StereoNav 框架，旨在通过引入目标位置先验和立体视觉建模来增强真实世界导航的鲁棒性与一致性
Card 03
核心贡献
核心贡献
- 系统性地识别并量化了视觉不确定性和指令模糊性是阻碍VLN模型Sim-to-Real迁移的关键因素
- 提出了 StereoNav 框架，核心创新包括：利用目标位置先验提供持久全局视觉引导、构建统一的语义-几何表示以增强感知稳定性、采用动作-深度联合预测建模
- 在模拟基准与真实机器人部署中均达到卓越性能，证明了该方法在复杂、非结构化环境中的高度可靠性
Card 04
方法描述
方法描述
- StereoNav 是一个立体视觉-语言-动作（VLA）框架，输入包括立体RGB观测、导航指令和目标位置先验
- 将目标位置先验渲染为视觉提示（如红色标记点或边界指示），以解决路径和停靠点模糊问题
- 采用统一理解建模，融合 InternViT（语义）、DINOv2（结构）和 FoundationStereo（几何）提取的立体视觉特征
- 实现联合预测建模，同时输出导航动作序列和稠密深度估计，深度预测作为辅助监督增强空间感知
Card 05
数据集与资源
数据集与资源
- 评估基准：R2R-CE 和 RxR-CE 的 Val-Unseen 测试集
- 模型规模：基于 InternVL-3.5-2B 构建，总参数量为 3B
- 训练资源：训练时图像尺寸为 448×448，使用8帧历史上下文，采用两阶段训练策略
Card 06
评估与结果
评估与结果
- 评估环境：模拟环境（Habitat模拟器与Matterport3D场景）和真实物理环境（办公室、体育馆、大厅、室外）
- 评估指标：导航误差（NE）、成功率（SR）、Oracle成功率（OSR）、成功加权路径长度（SPL）
- 关键结果：在R2R-CE上达到 81.1% 的SR和 68.3% 的SPL，在RxR-CE上达到 67.5% 的SR和 52.0% 的SPL，均超越现有最佳方法。真实世界部署中，平均成功率达60.6%，显著高于最强基线（24.3%）