一眼看懂
封面预览
论文聚焦于双臂机器人操作中的 “组合多样性” 问题，即不同单臂技能的配对会产生不同的任务行为
- 论文聚焦于双臂机器人操作中的 “组合多样性” 问题，即不同单臂技能的配对会产生不同的任务行为
- 指出现有视觉-语言-动作（VLA）模型存在 “技能纠缠” 问题，无法灵活重组已学习的单臂技能，限制了可扩展性和泛化能力
- 提出 SkillVLA 框架，通过技能重用机制解决组合多样性挑战，实现技能的灵活重组
Card 01
研究单位
研究单位
- 新加坡国立大学、北京中关村学院、上海创新学院
- 上海人工智能实验室、上海交通大学、复旦大学
- 新加坡国立大学智能系统研究所
Card 02
论文概述
论文概述
- 论文聚焦于双臂机器人操作中的 “组合多样性” 问题，即不同单臂技能的配对会产生不同的任务行为
- 指出现有视觉-语言-动作（VLA）模型存在 “技能纠缠” 问题，无法灵活重组已学习的单臂技能，限制了可扩展性和泛化能力
- 提出 SkillVLA 框架，通过技能重用机制解决组合多样性挑战，实现技能的灵活重组
Card 03
核心贡献
核心贡献
- 首次识别并形式化了双臂VLA模型中的 “技能纠缠” 问题，定义了 “技能重用” 的能力要求
- 提出了 SkillVLA 框架，采用两级推理架构，实现技能自适应生成和可控的跨臂通信
- 在真实双臂机器人上进行了广泛实验，证明了方法在技能重组、协作任务和长期任务中的有效性
Card 04
方法描述
方法描述
- 采用 两级推理架构：高层VLM生成单臂子提示作为技能描述符，低层策略执行单臂动作生成
- 引入 协作估计器，预测跨臂通信的必要性，实现独立执行模式与协作模式的动态切换
- 使用 自适应交叉注意力机制 在动作专家间传递信息，通过协作水平信号 α 控制通信强度
Card 05
数据集与资源
数据集与资源
- 使用 PaliGemma 预训练模型作为VLM骨干
- 实验包括 20个操作任务 和 2个长期多阶段任务
- 在真实双臂机器人平台上进行评估
Card 06
评估与结果
评估与结果
- 技能重组任务：SkillVLA在未见过的技能组合上达到 51% 平均成功率，而基线方法接近 0%
- 协作任务：SkillVLA在三个协作任务上平均成功率为 0.48，与强基线方法性能相当
- 长期任务：通过并行执行独立技能，将平均完成时间减少了 约21%
- 持续学习：在有限示范数据下，能更有效地重用已有技能学习新技能