一眼看懂
封面预览
论文研究视觉语言动作模型在实时执行中面临的反应延迟瓶颈问题
- 论文研究视觉语言动作模型在实时执行中面临的反应延迟瓶颈问题
- 现有异步推理方法主要优化轨迹平滑度，但忽略了对环境变化的关键反应延迟
- 论文提出FASTER方法，通过重新设计采样策略来加速近期动作的生成，实现即时反应
Card 01
研究单位
研究单位
- The University of Hong Kong
- ACE Robotics
Card 02
论文概述
论文概述
- 论文研究视觉语言动作模型在实时执行中面临的反应延迟瓶颈问题
- 现有异步推理方法主要优化轨迹平滑度，但忽略了对环境变化的关键反应延迟
- 论文提出FASTER方法，通过重新设计采样策略来加速近期动作的生成，实现即时反应
Card 03
核心贡献
核心贡献
- 对动作分块策略推理中的反应属性进行系统分析，揭示了现有方法的固有局限性
- 提出FASTER方法，通过Horizon-Aware Schedule优先采样近期动作，将首个动作的生成时间压缩到单步采样
- 设计流式客户端-服务器接口与早停策略，联合减少延迟并加速推理-执行闭环
- 通过真实机器人和仿真基准实验验证了方法在反应能力和轨迹生成质量上的显著提升
Card 04
方法描述
方法描述
- 引入时间到首个动作指标来精确衡量反应速度
- 提出Horizon-Aware Schedule，为动作分块中不同时间跨度的动作分配自适应采样步数，近期动作获得更激进的采样加速
- 采用混合调度策略进行微调，使模型适应新的采样方式
- 实现流式客户端-服务器接口，支持动作的渐进式生成和即时派发
- 结合早停策略，当执行时间范围内的动作全部生成后停止采样，进一步减少整体推理延迟
Card 05
数据集与资源
数据集与资源
- 使用LIBERO和CALVIN仿真基准进行评估
- 真实世界任务包括高度动态的乒乓球任务、取放饮料任务和叠毛巾任务
- 在RTX 4090和RTX 4060 GPU平台上进行测试
- 使用π₀.₅和X-VLA作为基础模型
Card 06
评估与结果
评估与结果
- 评估环境包括模拟基准和真实机器人任务
- 主要评估指标为TTFA、预期反应时间、任务完成率和完成时间
- 关键实验结果：在RTX 4060上，FASTER对X-VLA实现3倍TTFA加速；在真实乒乓球任务中，FASTER反应显著更快，能更早调整拍子角度，成功回球；在LIBERO和CALVIN基准上，FASTER保持了与基线模型相当的性能