一眼看懂
封面预览
论文提出 APPLV (Adaptive Planner Parameter Learning from Vision-Language-Ac…
- 论文提出 APPLV (Adaptive Planner Parameter Learning from Vision-Language-Ac…
- 核心目标是解决移动机器人在高度受限环境中的自主导航难题，融合经典规划器的安全性与学习方法的适应性，并提升对未见环境的泛化能力。
- 解决了传统规划器需人工调参、端到端学习方法缺乏安全保证与精确控制、以及现有参数学习方法泛化能力不足等问题。
Card 01
研究单位
研究单位
- George Mason University (计算机科学系，美国弗吉尼亚州)
- University of South Florida (工程科学系，美国佛罗里达州)
- Rutgers University (计算机科学系，美国新泽西州)
Card 02
论文概述
论文概述
- 论文提出 APPLV (Adaptive Planner Parameter Learning from Vision-Language-Action Model)，一种利用视觉-语言-动作模型来自适应学习导航规划器参数的混合框架。
- 核心目标是解决移动机器人在高度受限环境中的自主导航难题，融合经典规划器的安全性与学习方法的适应性，并提升对未见环境的泛化能力。
- 解决了传统规划器需人工调参、端到端学习方法缺乏安全保证与精确控制、以及现有参数学习方法泛化能力不足等问题。
Card 03
核心贡献
核心贡献
- 提出 APPLV 框架，首次将预训练的视觉-语言模型（VLM）应用于规划器参数预测任务，而非直接输出动作，以细粒度地适应环境约束。
- 设计了两种训练策略：基于监督学习的微调 (APPLV-SL) 和基于强化学习的微调 (APPLV-RLFT)，以分别从演示数据中学习并进一步优化导航性能。
- 构建了完整的模型架构，包括视觉-语言骨干、历史编码器和 DPT 回归头，能够处理视觉观测并融合时序上下文来预测参数。
Card 04
方法描述
方法描述
- 使用 Qwen2.5-VL-3B 作为视觉-语言骨干网络，提取多层隐藏状态作为视觉-语义表示，并通过 LoRA 进行高效微调。
- 设计了一个轻量级历史编码器（卷积网络与时间Transformer）来处理先前的视觉帧，以融入时间上下文。
- 采用 DPT (Dense Prediction Transformer) 风格的回归头作为动作专家，融合多层视觉特征与历史特征，通过注意力加权池化和 MLP 最终回归出规划器参数。
- 预测的参数（如速度限制、代价权重）用于配置经典导航规划器（如 DWA, TEB, MPPI, DDP），从而生成安全、可执行的运动控制指令。
Card 05
数据集与资源
数据集与资源
- BARN (Benchmark Autonomous Robot Navigation) 数据集，包含300个高度受限的仿真训练环境和300个完全不同的测试环境。
- 模型基于 Qwen2.5-VL-3B，附加约 330M 参数的 LoRA 适配器、3.8M 参数的 DPT 回归头和 1.7M 参数的历史编码器。
- 训练使用 A100 GPU 节点集群；物理实验使用配备 Hokuyo 激光雷达的 Clearpath Jackal 机器人，推理在 RTX 5070 Ti/3080/5090 GPU 上进行。
Card 06
评估与结果
评估与结果
- 评估环境包括 300个模拟BARN测试环境 和 真实物理室内环境，对比基线包括启发式专家、APPLR、Transformer BC 和零样本 VLM (GPT-4o)。
- 主要评估指标为：成功率、平均导航时间、平均导航分数（BARN挑战评分）、碰撞率和超时率。
- 在模拟环境中，APPLV-RLFT 在四种规划器上均取得最佳表现，例如在 DDP 规划器上成功率达 94.34%，显著优于其他方法。
- 在真实机器人实验中，APPLV 同样大幅领先所有基线，例如使用 MPPI 规划器时成功率达到 100%，展现了强大的泛化能力。