一眼看懂
封面预览
论文提出 ForgeVLA 框架，解决视觉-语言-动作模型训练数据稀缺问题，利用分布式的视觉-动作数据，无需集中原始数据或手动标注语言指令。
- 论文提出 ForgeVLA 框架，解决视觉-语言-动作模型训练数据稀缺问题，利用分布式的视觉-动作数据，无需集中原始数据或手动标注语言指令。
- 论文目标是在联邦学习环境下，从分布式的视觉-动作对中学习VLA模型，同时保护隐私并缓解数据异构性。
- 论文解决了VLA模型训练数据获取成本高、隐私约束和异构数据分布的挑战。
Card 01
研究单位
研究单位
- 四川大学
- 浙江大学
- 慕尼黑大学
- 联想集团
- 教育部机器学习与工业智能工程研究中心
Card 02
论文概述
论文概述
- 论文提出 ForgeVLA 框架，解决视觉-语言-动作模型训练数据稀缺问题，利用分布式的视觉-动作数据，无需集中原始数据或手动标注语言指令。
- 论文目标是在联邦学习环境下，从分布式的视觉-动作对中学习VLA模型，同时保护隐私并缓解数据异构性。
- 论文解决了VLA模型训练数据获取成本高、隐私约束和异构数据分布的挑战。
Card 03
核心贡献
核心贡献
- 提出 ForgeVLA 框架，首次利用已部署机器人的海量视觉-动作数据扩展VLA训练，通过设备端指令分类恢复缺失的语言模态。
- 发现联邦VLA训练中的视觉-语言特征崩塌问题，提出对比规划损失和自适应聚合策略缓解该问题。
- 实验证明 ForgeVLA 在多个基准上显著优于现有联邦学习方法，性能接近集中式训练上界。
- 证明传统联邦学习异构缓解策略在VLA任务上失效，揭示了一种不同于客户端漂移的新失败模式。
Card 04
方法描述
方法描述
- 框架包含服务端和客户端协同：服务端微调预训练VLM得到 具身指令分类器，广播给客户端。
- 客户端使用指令分类器为本地视觉-动作数据生成语言指令，构建完整VLA训练三元组，保持原始数据在设备端以保护隐私。
- 提出客户端侧的 对比规划损失，维护全局任务表示库，促进任务区分性表示学习。
- 提出服务端 自适应聚合策略，优化模型更新投影方向，避免更新方向冲突导致性能退化。
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO基准测试集，包括 LIBERO-Goal、LIBERO-Object、LIBERO-Spatial、LIBERO-10。
- 模型骨干使用 InternVLA-M1，总参数量约 3882.72M，可训练参数 128.10M（使用 LoRA 微调）。
- 训练使用 Nvidia H800 GPU，CUDA 12.8，PyTorch 2.6.0。
- 实验模拟非独立同分布数据，每个客户端分配特定数量任务。
Card 06
评估与结果
评估与结果
- 在四个 LIBERO 基准上与集中式训练、FedAvg、FedProx、FedVLA 等方法对比。
- 主要评估指标为任务 成功率 和 Pass@50。
- ForgeVLA 在所有数据集上显著优于联邦基准，在 LIBERO-Goal 上成功率达 55.2%，比 FedAvg 提升 26.4个百分点。
- 在 LIBERO-Object 上成功率达 98.6%，接近集中式训练的 98.8%。
- Pass@50 在所有数据集上达到 100%，与集中式训练持平。
- 消融实验证明对比规划损失和自适应聚合策略各自有效，组合后效果最佳。