一眼看懂
封面预览
论文提出了 AffordVLA 框架，旨在解决当前视觉-语言-动作（VLA）模型在非结构化环境中因视觉表示缺乏对任务相关功能区域的关注而导致性…
- 论文提出了 AffordVLA 框架，旨在解决当前视觉-语言-动作（VLA）模型在非结构化环境中因视觉表示缺乏对任务相关功能区域的关注而导致性…
- 核心目标是通过隐式特征对齐，将操作为中心的功能性感知能力内化到VLA的视觉表示中，从而提升机器人操作的鲁棒性。
- 该方法仅在训练阶段引入功能监督，推理时零额外开销，避免了显式功能注入方法（如Mask拼接或外部模块）所需的标注成本、误差累积和推理延迟。
Card 01
研究单位
研究单位
- 浙江大学 机械工程学院 Grasp Lab
- Torch Kernel公司
Card 02
论文概述
论文概述
- 论文提出了 AffordVLA 框架，旨在解决当前视觉-语言-动作（VLA）模型在非结构化环境中因视觉表示缺乏对任务相关功能区域的关注而导致性能下降的问题。
- 核心目标是通过隐式特征对齐，将操作为中心的功能性感知能力内化到VLA的视觉表示中，从而提升机器人操作的鲁棒性。
- 该方法仅在训练阶段引入功能监督，推理时零额外开销，避免了显式功能注入方法（如Mask拼接或外部模块）所需的标注成本、误差累积和推理延迟。
Card 03
核心贡献
核心贡献
- 引入了 AffordVLA 框架，将功能信息隐式注入VLA视觉表示，在不改变推理管线的前提下提升了操作鲁棒性。
- 设计了一个 零样本功能教师，可无需任务特定标注直接生成任务条件化的功能视觉表示，为VLA训练提供监督信号。
- 提出了一种 隐式功能表示对齐机制，通过最大化VLA中间视觉特征与教师生成功能特征的余弦相似度，引导模型关注任务相关的功能交互区域。
- 在仿真和真实世界实验中验证了 AffordVLA 相比现有基线具有更优的性能、数据效率和推理效率。
Card 04
方法描述
方法描述
- AffordVLA 整体架构包含三个组件：冻结的 零样本功能教师、基于VLM骨干（如PaliGemma-3B）的 理解专家，以及基于流匹配的 动作专家。
- 零样本功能教师 由多模态任务解析模块（使用Qwen3-VL）和开放词汇功能感知模块（继承SAM3编码器）构成，将语言指令转换为部件级概念提示，并生成任务条件化的功能视觉表示。
- 隐式功能表示对齐 在训练时进行，将理解专家第12层的视觉特征通过MLP映射到教师特征空间，并与教师生成的功能表示计算余弦相似度损失进行对齐。
- 训练总损失结合了动作生成损失（流匹配目标）与功能对齐损失。推理时功能教师被移除，仅保留理解专家和动作专家，保持原始推理效率。
Card 05
数据集与资源
数据集与资源
- 使用 AGD20K 数据集（Unseen分割）评估零样本功能教师的功能预测能力。
- 在 RoboTwin2.0 仿真基准（含Easy和Hard设置）上评估操作性能。
- 进行了包含8个任务的真实世界机器人实验（如倒水、用刀切割、锤击等）。
- 模型规模：功能教师约0.8B参数；理解专家（PaliGemma-3B）约3.0B参数；动作专家约0.3B参数。
- 训练资源：单张 NVIDIA A100-SXM4-80GB GPU，全局批次大小32，AdamW优化器，混合精度训练。
Card 06
评估与结果
评估与结果
- 在 AGD20K 上，零样本功能教师在所有弱监督和零样本方法中取得最佳 KLD（0.905）和 NSS（1.906）指标，功能预测能力达到state-of-the-art。
- 在 RoboTwin2.0 仿真基准上，AffordVLA 在Easy和Hard设置下均取得最高平均成功率（61.2%和28.8%），分别比最强基线提升14.8%和18.6%，尤其在视觉干扰强的Hard设置下优势显著。
- 在真实世界实验中，AffordVLA 在8项任务上的平均成功率超越所有基线（包括显式功能注入的 π0.5变体），且推理频率（12.4 Hz）与原始π0.5模型（12.5 Hz）相当，无额外延迟。
- 消融实验证明隐式对齐机制显著提升了操作成功率、训练效率，并成功将VLA的视觉注意力从背景区域转移到任务相关的功能交互区域。