一眼看懂
封面预览
论文提出了 视觉-声音-语言-动作 范式，旨在解决现有 VLA 模型在处理瞬时音频信号时的局限性。
- 论文提出了 视觉-声音-语言-动作 范式，旨在解决现有 VLA 模型在处理瞬时音频信号时的局限性。
- 研究识别了由动作分块和系统延迟导致的 盲执行间隔 问题，该问题导致机器人在执行期间容易错过短暂但关键的声音线索。
- 提出了 HEAR 框架，通过因果音频记忆、多模态推理、音频世界模型和流匹配策略实现连续听觉感知和时序控制。
Card 01
研究单位
研究单位
- 上海交通大学 自动化与智能感知学院、导航与位置服务重点实验室
- 剑桥大学 工程系
Card 02
论文概述
论文概述
- 论文提出了 视觉-声音-语言-动作 范式，旨在解决现有 VLA 模型在处理瞬时音频信号时的局限性。
- 研究识别了由动作分块和系统延迟导致的 盲执行间隔 问题，该问题导致机器人在执行期间容易错过短暂但关键的声音线索。
- 提出了 HEAR 框架，通过因果音频记忆、多模态推理、音频世界模型和流匹配策略实现连续听觉感知和时序控制。
Card 03
核心贡献
核心贡献
- 形式化了 VSLA 范式 并识别了 盲执行间隔 这一结构性瓶颈，揭示了现有方法在处理瞬态音频时的固有缺陷。
- 提出了 HEAR 框架，包含四个核心组件：流式因果音频记忆、全模态推理模型、预测性音频世界模型和平滑动作生成策略。
- 构建了 OpenX-Sound 大规模预训练数据集和 HEAR-Bench 基准测试，这是首个具有严格因果时间规则的以声音为中心的机器人操作基准。
Card 04
方法描述
方法描述
- Historizer 使用流式有状态 Transformer 维持紧凑的因果音频上下文，跨越执行间隙捕获瞬态声音。
- Envisioner 采用分层设计，高层全模态模型融合多模态输入生成语义潜在表示，低层模型提取控制特征。
- Advancer 作为音频世界模型，通过预测近期音频代码来学习时序动态，解决时间运动崩溃问题。
- Realizer 使用条件流匹配生成平滑的动作块，确保连续控制。
Card 05
数据集与资源
数据集与资源
- 使用 OpenX-Sound 数据集进行预训练，该数据集通过视频到音频生成模型增强了 Open X-Embodiment 数据集。
- 提出了 HEAR-Bench 仿真基准，包含触发、语音命令、过程监控等多种声音中心任务。
- 在仿真环境和真实世界中的 Franka Panda 机械臂上进行实验验证。
Card 06
评估与结果
评估与结果
- 在 HEAR-Bench 仿真环境中，HEAR 平均成功率达到 81%，显著优于波形渲染方法（61%）和 ASR 基线（35%）。
- 在真实世界部署中，HEAR 在四项声音中心任务上实现了 54% 的成功率。
- 实验结果表明，该方法在处理短暂非语音触发器和长时序过程监控任务上具有显著优势，验证了因果持久性和显式时序学习的重要性。