一眼看懂
封面预览
提出 Afford-VLA 框架，通过将任务条件化的可供性内化为显式的视觉规划接口，增强视觉-语言-动作（VLA）模型的空间推理能力。
- 提出 Afford-VLA 框架，通过将任务条件化的可供性内化为显式的视觉规划接口，增强视觉-语言-动作（VLA）模型的空间推理能力。
- 旨在解决现有 VLA 模型在复杂视觉场景中难以精确推理“在哪里交互”的问题。
- 定义了有效视觉规划的四个关键属性：局部性、视觉落地、内部生成和动作对齐。
Card 01
研究单位
研究单位
- Fudan University
- KAUST (King Abdullah University of Science and Technology)
- SJTU (Shanghai Jiao Tong University)
- East China Normal University
Card 02
论文概述
论文概述
- 提出 Afford-VLA 框架，通过将任务条件化的可供性内化为显式的视觉规划接口，增强视觉-语言-动作（VLA）模型的空间推理能力。
- 旨在解决现有 VLA 模型在复杂视觉场景中难以精确推理“在哪里交互”的问题。
- 定义了有效视觉规划的四个关键属性：局部性、视觉落地、内部生成和动作对齐。
Card 03
核心贡献
核心贡献
- 识别出准确的视觉规划是当前 VLA 系统的关键缺失部分，并定义了有效视觉规划的四个核心属性。
- 提出 Afford-VLA 统一框架，将可供性作为内部视觉规划接口，使交互区域可以直接学习并用于动作生成。
- 引入了有效的训练与集成策略，通过直通梯度估计器将可供性预测与动作学习紧密耦合，实现联合优化。
Card 04
方法描述
方法描述
- 在 VLM 输入序列中引入可学习的
- 设计轻量级的可供性头，从 VLM 隐藏状态和图像块特征中解码任务相关的可供性掩码。
- 通过掩码池化将预测的可供性掩码转换为紧凑的嵌入，直接作为条件输入引导流匹配动作头进行动作预测。
- 采用两阶段训练策略：第一阶段仅用掩码监督预热可供性头；第二阶段使用预测的 logits 进行掩码池化，通过直通梯度优化联合损失。
Card 05
数据集与资源
数据集与资源
- 仿真基准测试：LIBERO、LIBERO-Plus、SimplerEnv。
- 真实世界任务：Cup-to-Plate 和 Fork-in-Bowl（使用 ARX X5 机械臂）。
- 基础模型：视觉语言模型使用 Qwen3-VL-4B-Instruct，动作头使用 DiT-B 骨干网络。
- 训练资源：使用 NVIDIA H200 GPUs（LIBERO 任务使用 4 张，SimplerEnv 任务使用 8 张）。
Card 06
评估与结果
评估与结果
- 评估环境包括仿真基准测试和真实世界机械臂操作实验。
- 主要评估指标为任务成功率。
- 在 LIBERO 基准上达到 97.4% 的平均成功率，创下新 SOTA。
- 在 LIBERO-Plus 零样本鲁棒性测试中达到 78.1% 的平均成功率。
- 在 SimplerEnv 基准上达到 58.1% 的平均成功率。
- 真实世界实验中，在 Cup-to-Plate 任务上达到 80% 成功率，在 Fork-in-Bowl 任务上达到 70% 成功率。