一眼看懂
封面预览
论文研究了视觉-语言-动作（VLA）模型在适应未见过的机器人本体、环境或任务时，现有参数高效微调（PEFT）方法（如LoRA）的固定秩容量不足…
- 论文研究了视觉-语言-动作（VLA）模型在适应未见过的机器人本体、环境或任务时，现有参数高效微调（PEFT）方法（如LoRA）的固定秩容量不足…
- 研究发现，机器人迁移任务的内在秩比语言微调更高且任务间差异大，在多任务设置中问题更突出。
- 论文提出了 LoRA-SP (Select–Prune)，一种秩自适应的微调方法，能根据输入和层级动态调整容量，以解决固定秩LoRA的局限性。
Card 01
研究单位
研究单位
- 作者主要来自 首尔国立大学 电气与计算机工程系。
- 其中一位作者来自 成均馆大学 计算机科学与工程系。
Card 02
论文概述
论文概述
- 论文研究了视觉-语言-动作（VLA）模型在适应未见过的机器人本体、环境或任务时，现有参数高效微调（PEFT）方法（如LoRA）的固定秩容量不足且次优的问题。
- 研究发现，机器人迁移任务的内在秩比语言微调更高且任务间差异大，在多任务设置中问题更突出。
- 论文提出了 LoRA-SP (Select–Prune)，一种秩自适应的微调方法，能根据输入和层级动态调整容量，以解决固定秩LoRA的局限性。
Card 03
核心贡献
核心贡献
- 量化分析了VLA模型迁移需要更高的秩（如r≈128），并揭示了其在未见机器人本体迁移和多任务设置中强烈的秩敏感性，指出了固定全局秩的局限性。
- 提出了 LoRA-SP 方法，通过SVD风格参数化、基于能量阈值的向量级选通和谱损失，实现了输入和层级条件下的自适应容量分配。
- 在真实的7自由度 AgileX PiPER 机械臂上，使用 π₀ 和 SmolVLA 两种VLA骨干网络验证了方法。结果表明，LoRA-SP以更少的可训练参数达到了匹配或超过全量微调的性能，且将多任务成功率相对标准LoRA提升了高达31.6%。
Card 04
方法描述
方法描述
- LoRA-SP 将标准LoRA的固定秩分解 ΔW=BA 替换为输入条件化的SVD形式 ΔW(x)=U diag(s(x)) V。
- 方法引入一个共享的向量银行 和一个小型路由器，路由器为每个输入生成非负的“类奇异值”分数 s(x)。
- 通过设定累计平方分数的能量目标 E(k) ≥ η 来选择最小的活跃向量集合，实现有效秩的动态选择。
- 引入谱损失 L_spec = 1 - E_k(x) 来激励路由器将能量集中在选定的向量上，逐步精简活跃集，从而在不损失精度的情况下得到紧凑的适配器。
Card 05
数据集与资源
数据集与资源
- 使用了作者收集的真实世界机器人操作数据集，包含在 AgileX PiPER 机械臂上执行的4个任务（Open, Pour, Press, Pick-Place），共计480个双视角RGB演示。
- 评估使用了两类VLA模型骨干：大容量模型 π₀ 和轻量模型 SmolVLA。
- 论文未明确说明训练所使用的具体GPU/TPU资源。
Card 06
评估与结果
评估与结果
- 评估在真实的 AgileX PiPER 机械臂上进行，以多任务成功率为主要指标。
- 将 LoRA-SP 与全量微调、标准LoRA、LoRA-MoE和AdaLoRA等基线进行比较。
- 实验结果显示，LoRA-SP 在两个骨干网络上均取得了最稳定且最高的多任务成功率。例如，在 π₀ 骨干上，其平均成功率远超标准LoRA，且有效活跃秩仅为76，远低于固定秩128。
- 消融实验证实了谱损失对于有效秩剪枝的重要性，并且方法对能量阈值 η 的选择具有一定鲁棒性。