一眼看懂
封面预览
提出 WorldVLN，首个用于空中视觉语言导航的自回归世界动作模型
- 提出 WorldVLN，首个用于空中视觉语言导航的自回归世界动作模型
- 将空中VLN重新表述为预测驱动的世界-动作问题，预测潜在世界演化并据此行动
- 解决了现有视觉-语言-动作模型缺乏世界动态建模能力的问题
Card 01
研究单位
研究单位
- 清华大学
- 山东大学
- Manifold AI
- 北京理工大学
- 东北大学
Card 02
论文概述
论文概述
- 提出 WorldVLN，首个用于空中视觉语言导航的自回归世界动作模型
- 将空中VLN重新表述为预测驱动的世界-动作问题，预测潜在世界演化并据此行动
- 解决了现有视觉-语言-动作模型缺乏世界动态建模能力的问题
Card 03
核心贡献
核心贡献
- 提出首个用于空中VLN的自回归世界动作模型 (WAM)，实现闭环的世界-动作预测
- 引入首个专为自回归WAM设计的强化学习方法 Action-aware GRPO，优化航点决策
- 在公开的室内外基准上取得显著性能提升（成功率增益超12%），并实现零样本真实部署
Card 04
方法描述
方法描述
- 采用预训练的潜在自回归视频变换器作为世界骨干网络，预测短期世界状态转换
- 设计动作解码器，将潜在世界转换直接解码为可执行的航点动作序列
- 提出两阶段训练框架：第一阶段为监督训练，第二阶段为在线自回归展开的强化学习训练
Card 05
数据集与资源
数据集与资源
- 评估基准：UAV-Flow (室外) 和 IndoorUAV (室内)
- 模型骨干：基于 InfinityStar 模型
- 训练资源：8台 NVIDIA A800 80GB GPU
Card 06
评估与结果
评估与结果
- 评估环境：室外UAV-Flow-Sim和室内IndoorUAV-VLA基准
- 主要指标：成功率 (SR) 和归一化动态时间规整 (NDTW) 比分
- 关键结果：在UAV-Flow-Sim上平均SR达到79.12%，在IndoorUAV-VLA上SR达到41.76%，均显著超越VLA基线；在真实无人机上实现零样本部署