一眼看懂
封面预览
论文提出了 PROSPECT，一个统一的流式导航智能体，结合了流式 Vision-Language-Action (VLA) 策略与潜在预测表…
- 论文提出了 PROSPECT，一个统一的流式导航智能体，结合了流式 Vision-Language-Action (VLA) 策略与潜在预测表…
- 该方法旨在解决现有 VLN 模型在空间理解、环境动态预测和长上下文利用方面的不足。
- 核心目标是在无地图、无里程计的设置下，提升智能体对复杂指令的跟随能力及长距离导航的鲁棒性。
Card 01
研究单位
研究单位
- Shanghai Jiao Tong University (上海交通大学)
- Tsinghua University (清华大学)
- University of Adelaide (阿德莱德大学)
- Wuhan University (武汉大学)
- Hong Kong University of Science and Technology (Guangzhou) (香港科技大学广州)
- Beijing Jiaotong University (北京交通大学)
- AIR Wuxi Innovation Center, Tsinghua University (清华大学无锡应用技术创新中心)
- Lenovo (联想集团)
Card 02
论文概述
论文概述
- 论文提出了 PROSPECT，一个统一的流式导航智能体，结合了流式 Vision-Language-Action (VLA) 策略与潜在预测表征学习。
- 该方法旨在解决现有 VLN 模型在空间理解、环境动态预测和长上下文利用方面的不足。
- 核心目标是在无地图、无里程计的设置下，提升智能体对复杂指令的跟随能力及长距离导航的鲁棒性。
Card 03
核心贡献
核心贡献
- 提出了一个统一的流式 VLN 框架，将流式 VLA 与潜在预测表征学习相结合，在 VLN-CE 基准测试中取得了领先性能。
- 采用基于 CUT3R 的流式 3D 感知模块，提供绝对尺度的空间特征，支持高效的长上下文导航。
- 引入了流式查询令牌 和流式因果注意力掩码，实现了潜在预测并同时解耦了 2D/3D 目标。
- 在真实机器人上进行了部署验证，展示了高频控制能力以及在不同光照条件下的鲁棒性。
Card 04
方法描述
方法描述
- 利用 CUT3R 作为流式 3D 基础空间编码器，持续从流式视频中提取具有绝对尺度的空间特征。
- 通过交叉注意力机制将 CUT3R 的空间特征与 SigLIP 的 2D 语义特征进行融合。
- 受 JEPA 启发，模型在训练时预测下一步的 2D 和 3D 潜在特征，而非像素或显式模态，监督信号来自冻结的 SigLIP 和 CUT3R 教师模型。
- 引入可学习的流式查询令牌来查询流式上下文并解码潜在特征，推理时移除预测分支以避免额外开销。
- 设计了流式注意力掩码以强制执行时序因果性，隔离查询令牌并解耦不同模态的监督。
Card 05
数据集与资源
数据集与资源
- 训练数据集：R2R、RxR、R2R-EnvDrop (VLN-CE 数据)、ScaleVLN (来自 HM3D)、LLaVA-Video-178K 和 ScanQA (VQA 数据)。
- 模型规模：基于 LLaVA-NeXT-Video-7B 和 Qwen1.5-7B LLM 构建。
- 训练资源：使用 8 × A800 GPUs 进行两阶段训练，总训练时长约为 2460 A800 GPU-hours。
Card 06
评估与结果
评估与结果
- 评估基准：VLN-CE 环境下的 Habitat 模拟器，主要在 R2R 和 RxR 的 val-unseen 分割上进行测试。
- 主要评估指标：成功率 (SR)、路径长度加权成功率 (SPL)、导航误差 (NE)、Oracle 成功率 (OSR) 和归一化动态时间规整。
- 关键实验结果：在 RxR val-unseen 上取得了最先进的性能，表明该方法在长距离和复杂指令跟随任务上具有更强的鲁棒性；同时在真实机器人部署中展现了跨场景的泛化能力。