NavGSim: High-Fidelity Gaussian Splatting Simulator for Large-Scale Navigation

• 北京大学
• Galbot
• BAAI

• 提出了 NavGSim，一个基于 3D高斯泼溅 的高保真、大规模导航环境模拟器，旨在解决机器人学习中真实环境模拟的挑战。
• 该模拟器旨在解决现有导航模拟器（如基于网格的）渲染质量低、难以模拟大规模场景（如整层楼、多房间）的问题。
• 论文通过在模拟环境中训练 视觉-语言-动作（VLA） 模型并在真实世界中验证，证明了 NavGSim 在增强模型场景理解和实现仿真到现实迁移方面的有效性。

• 提出了 NavGSim 模拟器平台，该平台基于 分层3D高斯泼溅（H3DGS） 框架，实现了大规模、多房间场景的实时、照片级渲染。
• 引入了 GS切片 碰撞模拟技术，能够直接从3D高斯场中提取可导航区域，用于高效的碰撞检测和路径规划。
• 开发了 NavGSim-API Python库，提供了从自定义场景重建、机器人配置到策略训练与评估的完整工具链。
• 通过在 NavGSim 中训练 VLA 模型，并在仿真和真实世界环境中评估，验证了平台在提升导航策略场景理解与泛化能力方面的价值。

• 采用 分层3D高斯泼溅 技术对大规模室内场景进行建模与渲染。该技术使用树状结构组织场景，支持多细节层次渲染，并采用分治策略并行处理大型场景重建。
• 提出了一种 基于GS切片的碰撞模拟方法。通过在机器人高度范围内定义多个水平切片平面，解析计算每个3D高斯核与平面相交形成的2D高斯切片，组合生成2D占用图，用于快速碰撞检测。
• 对 VLA模型架构 进行了调整，将原有的离散动作输出修改为连续轨迹预测，使其更适合高保真仿真与真实环境中的平滑运动控制。

• 数据集：构建了一个约 700平方米 的大型室内办公工厂仿真环境，使用手持式LiDAR-RGB设备进行场景扫描与数据采集。
• 模型：基于 Uni-NaVid 扩展的VLA模型，视觉编码器采用 EVA-CLIP，大型语言模型采用 Vicuna-7B，并新增一个轻量级MLP作为轨迹回归头。
• 训练资源：在包含监督学习和DAgger算法增广数据的混合数据集上训练。训练使用 16块NVIDIA H800 GPU，耗时20小时，总计320 GPU小时。
• 真实部署：模型部署于远程 NVIDIA A100 服务器，通过WebSocket接收 Unitree Go2 四足机器人搭载的前置RGB相机图像，实现8Hz的闭环控制。

• 评估环境与基准：在NavGSim仿真环境和真实世界办公室环境中进行测试，目标是9个已标注地标和2个未标注的新目标。
• 主要评估指标：成功率 和目标距离 (DTG)。当智能体在目标1.5米范围内停止时视为成功。
• 关键实验结果：

- 在仿真环境中，VLA模型对已标注目标的平均SR为 98.3%，对未标注新目标的平均SR为 80.8%，展现了良好的泛化能力。

- 在真实世界部署中，对已标注目标的平均SR为 69.2%，对未标注新目标的平均SR为 69.6%，证明了仿真训练策略向现实的有效迁移。

- 与基于原始3DGS的模拟器相比，采用H3DGS的NavGSim渲染质量更高（PSNR: 25.396 vs 23.221），其训练出的模型在真实世界中的性能下降更小（81% vs 大幅下降）。

- 使用预训练模型能显著加速学习并提升最终性能，经过两轮DAgger训练后成功率超过90%。