一眼看懂
封面预览
论文研究视觉-语言-动作模型中的未来引导问题，旨在解决现有方法中视觉主导和时序不连续的根本缺陷。
- 论文研究视觉-语言-动作模型中的未来引导问题，旨在解决现有方法中视觉主导和时序不连续的根本缺陷。
- 提出 FutureVLA 框架，用于联合视觉运动预测建模，以提取物理先验来指导下游VLA模型。
- 核心目标是捕捉视觉环境与电机动作之间紧密耦合的相互作用，实现有效的未来状态预测。
Card 01
研究单位
研究单位
- 北京航空航天大学
- 上海人工智能实验室
- 中国科学技术大学
- 香港中文大学
Card 02
论文概述
论文概述
- 论文研究视觉-语言-动作模型中的未来引导问题，旨在解决现有方法中视觉主导和时序不连续的根本缺陷。
- 提出 FutureVLA 框架，用于联合视觉运动预测建模，以提取物理先验来指导下游VLA模型。
- 核心目标是捕捉视觉环境与电机动作之间紧密耦合的相互作用，实现有效的未来状态预测。
Card 03
核心贡献
核心贡献
- 识别并指出未来引导方法中存在的两个根本缺陷：视觉主导的嵌入纠缠与时序不连续。
- 提出简洁的两阶段训练范式：联合视觉运动预训练与潜在嵌入对齐后训练。
- 设计了新颖的 联合视觉运动门控机制，实现静态视觉状态与连续动作建模的结构解耦。
- 在多个仿真基准和真实世界机器人任务上展示了显著的性能提升。
Card 04
方法描述
方法描述
- 采用两阶段流程：首先进行 联合视觉运动嵌入预训练，然后进行 嵌入引导的VLA后训练。
- 在预训练阶段，使用冻结的 3D-VAE 对连续多帧视频剪辑进行编码，获取时间标记。
- 引入 联合视觉运动门控 机制，将时间表示解耦为视觉流和运动流，通过门控交叉注意力让运动流查询视觉约束。
- 在后训练阶段，使用潜在嵌入对齐策略，使下游VLA模型的中间表示与学习到的联合嵌入保持一致。
Card 05
数据集与资源
数据集与资源
- 预训练阶段使用的数据集混合自 OXE 和 LIBERO，包含约 1560万帧。
- 模型输入为17个连续RGB帧，动作块大小设置为16。
- 训练资源使用 16块 NVIDIA A100 GPU，预训练耗时约3天。
Card 06
评估与结果
评估与结果
- 评估环境包括仿真基准 SimplerEnv（Google Robot与WidowX任务）和 LIBERO，以及使用Franka机器人的真实世界任务。
- 主要评估指标为任务成功率。
- 关键实验结果：在 SimplerEnv 上平均性能提升 11.4%；在真实世界机器人操作任务中，相较于强基线模型，取得了高达 21.7% 的性能提升。