一眼看懂
封面预览
本文提出了 VGAS，一种用于小样本视觉-语言-动作模型适应的价值引导动作组块选择框架。
- 本文提出了 VGAS，一种用于小样本视觉-语言-动作模型适应的价值引导动作组块选择框架。
- 旨在解决小样本适应中，微调后的VLA策略虽能生成语义合理的轨迹，但常因细微的几何模糊性（如抓取不精确）而执行失败的问题。
- 核心思想是将适应问题重新定义为生成-选择 过程：使用微调VLA作为高召回率候选生成器，并引入一个价值评判器来选择几何上最精确的候选动作。
Card 01
研究单位
研究单位
- 澳大利亚人工智能研究所 (AAII)，悉尼科技大学，澳大利亚
Card 02
论文概述
论文概述
- 本文提出了 VGAS，一种用于小样本视觉-语言-动作模型适应的价值引导动作组块选择框架。
- 旨在解决小样本适应中，微调后的VLA策略虽能生成语义合理的轨迹，但常因细微的几何模糊性（如抓取不精确）而执行失败的问题。
- 核心思想是将适应问题重新定义为生成-选择 过程：使用微调VLA作为高召回率候选生成器，并引入一个价值评判器来选择几何上最精确的候选动作。
Card 03
核心贡献
核心贡献
- 提出了VGAS 框架，将小样本VLA适应重新表述为一个价值引导的选择问题，实现了从基于似然的生成到基于结果感知的排序的范式转变。
- 设计了Q-Chunk-Former，一个基于Transformer的几何基础化评判器架构，能够精确评估时序延伸的动作组块。
- 提出了显式几何正则化，通过注入密集的几何先验来塑造价值函数，以在数据稀缺情况下保持候选动作间的高排序分辨率。
- 提供了关于组块化期望-最大化算子收敛的理论保证。
- 在LIBERO 基准测试上进行了广泛的实验，证明VGAS在成功率和对分布偏移的鲁棒性方面均优于监督微调和标准离线强化学习基线。
Card 04
方法描述
方法描述
- 整体框架采用生成-选择流程：先用微调后的VLA策略（如SmolVLA）生成N个候选动作组块；再用学习的评判器Q_θ执行Best-of-N选择。
- 核心创新点1：Q-Chunk-Former 是一个基于Transformer的评判器，包含状态-动作融合模块，用于在动作组块与机器人本体感知状态之间建立高保真交互，确保价值估计基于几何现实。
- 核心创新点2：显式几何正则化，一种结合了锚定损失和排序损失的混合学习目标。它利用加权距离度量作为几何邻近度的代理，将价值景观塑造成以专家演示为中心的平滑“漏斗”，从而在保持TD学习时间一致性的同时，增强对“近似命中”候选动作的几何区分能力。
- 优化目标结合了基于组块化期望-最大化 备份的时间差分损失和EGR正则化项。
Card 05
数据集与资源
数据集与资源
- 使用LIBERO 基准数据集进行实验，涵盖空间、物体、目标和长程四个任务套件。
- 基础组块策略使用 SmolVLA-0.5B。
- Q-Chunk-Former基于预训练的 SmolVLM2 的前两个解码器层进行初始化，以保持与策略特征空间的对齐。
- 训练使用4块NVIDIA A100 GPU。
Card 06
评估与结果
评估与结果
- 评估环境为LIBERO基准下的机器人操作任务，设置小样本（5个演示/任务）适应。
- 主要评估指标是成功率。
- 关键实验结果：VGAS在所有四个LIBERO套件上的平均成功率达到了 49.0%，显著优于BC-Only、标准离线RL和带保守正则化的基线方法，在所有任务类型中均排名第一。
- 消融研究表明，移除显式几何正则化会导致性能大幅下降（49.0%降至36.4%），证实了其对维持高排序分辨率的关键作用。
- 可视化分析表明，相比保守正则化方法，EGR塑造的价值景观更能引导Best-of-N选择偏向几何上接近专家动作的候选，从而缓解几何漂移。