一眼看懂
封面预览
提出 AsyncVLA，一个用于机器人导航的异步控制框架，旨在解决大型视觉-语言-动作（VLA）模型因计算成本高导致的推理延迟问题。
- 提出 AsyncVLA，一个用于机器人导航的异步控制框架，旨在解决大型视觉-语言-动作（VLA）模型因计算成本高导致的推理延迟问题。
- 通过结构化解耦，将语义推理（远程大模型）与反应式执行（车载轻量模型）分离，以在高延迟（可达6秒）的动态环境中实现快速、鲁棒的导航。
- 提出了 AsyncVLA 框架，包含一个运行在远程工作站的大型基础VLA（OmniVLA）和一个在机器人车载控制器上运行、仅76M参数的轻量级…
Card 01
研究单位
研究单位
- University of California, Berkeley
- Toyota Motor North America
- Princeton University
Card 02
论文概述
论文概述
- 提出 AsyncVLA，一个用于机器人导航的异步控制框架，旨在解决大型视觉-语言-动作（VLA）模型因计算成本高导致的推理延迟问题。
- 通过结构化解耦，将语义推理（远程大模型）与反应式执行（车载轻量模型）分离，以在高延迟（可达6秒）的动态环境中实现快速、鲁棒的导航。
Card 03
核心贡献
核心贡献
- 提出了 AsyncVLA 框架，包含一个运行在远程工作站的大型基础VLA（OmniVLA）和一个在机器人车载控制器上运行、仅76M参数的轻量级 Edge Adapter。
- 设计了一种轨迹重加权训练策略，通过自动识别并上采样训练数据中需要反应式行为（如避障）的片段，提升了系统对动态环境的适应能力。
- 提出了一种端到端的微调协议，通过两阶段训练（先训练Edge Adapter，再联合微调）更好地对齐异步的“慢推理”和“快执行”策略流。
- 在真实世界的视觉导航任务中进行了全面评估，证明了AsyncVLA在存在网络和推理延迟的情况下，比最先进的基线方法成功率高出40%。
Card 04
方法描述
方法描述
- 架构基于分层控制思想：一个慢速、强大的 OmniVLA（>8B参数） 作为外环提供高级语义引导，一个快速的 Edge Adapter（76M参数） 作为内环基于最新观察调整动作。
- Edge Adapter 是一个小型ViT网络，接收VLA压缩后的动作令牌嵌入、当前图像以及延迟图像（用于感知环境变化），并输出高频动作序列。
- 关键技术包括：使用Token投影器压缩VLA输出以高效传输；在训练中引入随机延迟和动态交互数据上采样，迫使模型学会处理过时信息并适应动态变化。
Card 05
数据集与资源
数据集与资源
- 使用的数据集混合了多个公开导航数据集：GNM数据集（包含RECON、CoryHall等）、LeLaN数据集（野外视频和语言导航数据）以及 SACSoN (HuRoN)数据集（包含行人的动态场景）。
- 基础VLA OmniVLA 参数量超过8.26B，轻量级 Edge Adapter 参数量为76M。
- 训练使用5块NVIDIA H200 GPU。推理时，大VLA部署在配备NVIDIA RTX 4090的工作站，Edge Adapter部署在机器人车载的NVIDIA Jetson Orin上。
Card 06
评估与结果
评估与结果
- 评估环境：在真实世界、存在静态障碍和动态行人干扰的室内外环境中，测试了2D位姿条件导航和语言条件导航任务。
- 主要评估指标：成功率（SR）、到达目标时间、与静态/动态障碍物的碰撞次数、语言指令遵循率。
- 关键实验结果：
- AsyncVLA 在位姿导航任务中取得85%的成功率，显著优于OmniVLA（45%） 和OmniVLA-edge（25%）。
- 即使在人为引入高达5秒的工作站延迟下，AsyncVLA性能下降平缓，而基线模型性能急剧恶化。
- 端到端训练至关重要，消融实验（Ours without E2E）成功率降至25%。