一眼看懂
封面预览
旨在诊断视觉-语言-动作（VLA）策略在泛化能力上的局限性，特别是其高基准测试性能是源于稳健的语言到对象的定位，还是依赖于对象-位置关联的捷径…
- 旨在诊断视觉-语言-动作（VLA）策略在泛化能力上的局限性，特别是其高基准测试性能是源于稳健的语言到对象的定位，还是依赖于对象-位置关联的捷径…
- 通过设计一个受控的多物体拾取研究，构建了一个任务难度阶梯，逐步增加物体放置的随机性（从有限的抖动到完全随机放置），并评估对未见过的对象-区域组…
- 核心问题是揭示VLA策略的操作技能与基于指令的目标选择之间的脱节，即策略可能保持可靠的原始执行能力，但在地理位置线索被破坏时，其指令跟随能力会…
Card 01
研究单位
研究单位
- David Emukpere, Romain Deffayet, Jean-Michel Renders（所属机构未在提供的HTML片段中明确列出，作者姓名来源于论文署名）
Card 02
论文概述
论文概述
- 旨在诊断视觉-语言-动作（VLA）策略在泛化能力上的局限性，特别是其高基准测试性能是源于稳健的语言到对象的定位，还是依赖于对象-位置关联的捷径学习。
- 通过设计一个受控的多物体拾取研究，构建了一个任务难度阶梯，逐步增加物体放置的随机性（从有限的抖动到完全随机放置），并评估对未见过的对象-区域组合的组合泛化能力。
- 核心问题是揭示VLA策略的操作技能与基于指令的目标选择之间的脱节，即策略可能保持可靠的原始执行能力，但在地理位置线索被破坏时，其指令跟随能力会变得脆弱。
Card 03
核心贡献
核心贡献
- 提出了一个用于诊断VLA策略泛化限制的受控评估框架，使用多对象拾取作为核心测试场景。
- 引入了任务难度阶梯，通过系统地增加空间变异性（小/中/大抖动、完全随机）来逐步消除布局依赖的捷径。
- 设计了分解的评估指标（成功、任意抓取、到达），以区分操作技能执行与指令条件化的目标选择失败。
- 通过组合泛化测试（保留对象-区域配对）和消融实验（数据缩放、场景复杂度），深入揭示了指令跟随失败的根源。
- 基于实证结果，提出了对现有操作基准的改进建议：纳入任务阶梯和分解指标，以更准确地诊断基于指令的泛化。
Card 04
方法描述
方法描述
- 在ManiSkill模拟环境中，使用Franka Panda机械臂和YCB数据集中的物体，构建了一个多物体拾取任务。指令形式为“grasp the
- 关键创新点在于设计了空间难度阶梯（Small/Medium/Large Jitter, Full Random）来控制系统性地削弱位置线索，并设计了组合保留测试来评估对象与位置的绑定能力。
- 使用基于状态的PPO强化学习代理自动生成大规模（高达100k轨迹）专家演示数据，并转换为LeRobotDataset-v3格式。
- 评估了两个代表性的VLA策略：SmolVLA（0.45B参数）和π0.5（3.6B参数），使用LeRobot库提供的开源实现和默认训练流程，并进行有限的超参数网格搜索。
Card 05
数据集与资源
数据集与资源
- 数据集：使用基于PPO的RL代理在自定义的ManiSkill环境中自动生成。包含高达100,000条成功演示轨迹（约1000万帧RGB图像）。物体来自YCB数据集。
- 模型规模与参数量：评估了SmolVLA（0.45B参数）和π0.5（3.6B参数）两种模型。
- 训练资源：论文未在提供的HTML片段中明确说明具体的GPU/TPU硬件细节。模型使用开源库LeRobot进行训练和评估。
Card 06
评估与结果
评估与结果
- 评估环境与基准：在ManiSkill模拟环境中进行评估。与LIBERO和Meta-World等现有基准的强结构化设置进行对比，并在论文提出的高随机化设置下测试。
- 主要评估指标：使用三个分解指标：Success（成功抓取指令物体）、Grasp-anything（成功抓取任意物体）、Reach（末端执行器接近指令物体）。
- 关键实验结果：
- 空间变异性影响：在“小抖动”设置下，SmolVLA成功率可达90%，与基准性能相当。但随着随机性增加（中、大抖动），成功率急剧下降（至~40%），在“完全随机”设置下崩溃至2%。π0.5在“完全随机”设置下成功率也仅6%。
- 组合泛化失败：在“小抖动”设置下，当测试未见过的对象-区域配对时，SmolVLA的成功率从见过的44%骤降至0%，表明严重依赖记忆的关联。
- 数据缩放效果有限：即使在“完全随机”设置下将数据从10k扩展到100k轨迹，SmolVLA的成功率没有改善（2%→1%），π0.5仅有小幅提升（4%→6%），表明单纯增加数据无法解决指令定位的根本失败。
- 技能与定位分离：在所有困难设置中，“任意抓取”和“到达”指标通常显著高于“成功”指标，表明操作技能（抓取动作）的掌握与指令条件化的目标选择是解耦的。