LongNav-R1: Horizon-Adaptive Multi-Turn RL for Long-Horizon VLA Navigation

• University of Michigan, Ann Arbor

• 论文提出了 LongNav-R1，这是一个用于优化 视觉-语言-动作 (VLA) 模型进行长视界导航的端到端多回合强化学习框架。
• 旨在解决现有单回合模仿学习方法在长视界导航任务中存在的两个关键缺陷：缺乏因果推理能力和行为僵化，导致智能体无法从错误中恢复或适应环境变化。

• 提出了 LongNav-R1，一个端到端的多回合强化学习框架，将导航决策过程重新定义为 VLA策略 与具身环境之间的持续对话。
• 引入了 Horizon-Adaptive Policy Optimization (HAPO)，一个无需评论家（critic-free）的优势估计框架，通过显式考虑视界长度变化，实现了长序列上的精确时序信用分配。
• 通过在实际场景和多个模拟导航基准（HM3D V1/V2, MP3D, OVON）上的综合实验验证了 LongNav-R1 的有效性，显著超越了现有最先进方法。
• 证明了该框架具有优异的样本效率和泛化能力，例如仅用 34，000 条轨迹将 Qwen3-VL-2B 模型的成功率从 0.51% 提升至 73.0%。

• 核心方法：将导航重新构建为多回合强化学习过程，采用多回合交互式状态更新和在线令牌剪枝（基于历史KV缓存相似性过滤冗余视觉令牌）以提高长序列计算效率。
• 创新点：1) 多回合RL框架，支持因果推理和多样化轨迹生成。2) HAPO 通过核回归从本地数据中回归出一个时间感知基线，提供了无需训练评论家网络的精确优势估计，解决了长视界任务的时序信用分配挑战。
• 关键技术：1) 设计了一个时间感知的高斯核函数，其输入特征为时间步长，使基线能够捕捉奖励的时序动态。2) 将现有方法（如 REINFORCE++）统一为该框架下核选择的特例。

• 使用数据集：HM3D V1、V2、MP3D 和 HM3D-OVON（用于开放词汇导航）。
• 模型规模：基于 Qwen-3-VL-2B 模型作为 VLA 策略骨干。
• 训练资源：论文提到采用了在线交互训练，但未在提供的HTML片段中明确指定具体的GPU/TPU硬件资源。

• 评估环境：真实世界测试和四个模拟基准（HM3D V1/V2， MP3D， OVON）。
• 主要评估指标：成功率 (SR) 和 加权路径长度成功率 (SPL)。
• 关键实验结果：

- 在 HM3D V1 上，LongNav-R1 取得 76.0% SR 和 44.3% SPL，优于先前的 SOTA（如 PIRLNav-RL: 70.4% SR, 34.1% SPL）。

- 在 HM3D V2 上，取得 83.7% SR 和 43.4% SPL。

- 在 MP3D 上，取得 63.0% SR 和 30.2% SPL。

- 零样本泛化到 HM3D-OVON 基准，性能也超越了许多在OVON上微调的先前方法。

- 消融研究表明：多回合RL贡献了 7.3% 的性能提升，而 HAPO 对于解锁长视界导航至关重要（将成功率从 0% 提升至 15.4%）。