一眼看懂
封面预览
论文针对 视觉-语言-动作（VLA）模型 在复杂环境中的空间感知和操作挑战，提出了一种新的学习框架
- 论文针对 视觉-语言-动作（VLA）模型 在复杂环境中的空间感知和操作挑战，提出了一种新的学习框架
- 核心目标是解决单目输入下的 深度歧义问题 和传统生成式动作预测方法的 优化低效问题
- 通过引入多视图潜在先验和动作流形学习，提升机器人操作的鲁棒性和精确性
Card 01
研究单位
研究单位
- 中山大学机器智能与先进计算教育部重点实验室
- 阿里巴巴高德地图团队
- 西安交通大学
- 深圳先进技术大学
Card 02
论文概述
论文概述
- 论文针对 视觉-语言-动作（VLA）模型 在复杂环境中的空间感知和操作挑战，提出了一种新的学习框架
- 核心目标是解决单目输入下的 深度歧义问题 和传统生成式动作预测方法的 优化低效问题
- 通过引入多视图潜在先验和动作流形学习，提升机器人操作的鲁棒性和精确性
Card 03
核心贡献
核心贡献
- 提出 几何引导门控Transformer（G³T），利用多视图扩散先验解决单目深度歧义，并通过自适应门控机制抑制遮挡区域的噪声
- 引入 动作流形学习（AML），直接预测动作而非间接预测噪声或速度，提升动作生成的优化效率
- 设计端到端的VLA框架，在多个基准测试和真实机器人实验中达到 最先进性能
- 提出在潜在空间进行多视图合成，大幅提升计算效率和鲁棒性
- 验证方法在多种扰动条件下的鲁棒性，平均成功率提升显著
Card 04
方法描述
方法描述
- 使用 Qwen3-VL 作为视觉-语言模型骨干提取语义特征，采用 VGGT 提取单目几何先验
- 利用 LongCat-Image-Edit 多视图扩散模型在潜在空间合成左右虚拟视图，减少几何不确定性
- G³T 模块通过跨视图对齐、自适应门控融合和几何一致性精炼，生成鲁棒的空间嵌入
- AML 使用 Diffusion Transformer（DiT） 直接预测动作序列，避免间接噪声/速度解码的优化负担
- 采用交叉注意力融合语义和几何特征，输出连续动作指令
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO、LIBERO-Plus、RoboTwin 2.0 基准数据集进行评估
- 进行真实机器人操作实验验证实际部署效果
- 模型基于大规模预训练VLM（Qwen3-VL）和几何先验模型（VGGT）
- 多视图合成使用 6B LongCat-Image-Edit 模型，潜在分辨率256×256，去噪步数仅2步
Card 06
评估与结果
评估与结果
- 评估基准包括LIBERO、LIBERO-Plus、RoboTwin 2.0和真实机器人任务
- 主要指标为任务 成功率 和 鲁棒性
- 在LIBERO-Plus零样本测试中，总成功率达到 85.7%，显著超越基线
- 在LIBERO基准上平均成功率 98.6%，在多项子任务上达到最优
- RoboTwin 2.0基准中，平均成功率 86.06%，超越π₀.₅和X-VLA
- 真实机器人实验验证了方法的实际可用性和鲁棒性
- 在光照、背景、噪声等扰动条件下表现出最小性能退化