一眼看懂
封面预览
针对现有视觉-语言-动作模型参数量大、预训练成本高、难以应用于移动操作等实际问题，提出了一个新的综合性基准和一个改进的基线模型。
- 针对现有视觉-语言-动作模型参数量大、预训练成本高、难以应用于移动操作等实际问题，提出了一个新的综合性基准和一个改进的基线模型。
- 核心目标是研究并提升 VLA 模型的实用性，使其能够轻量化、无需大规模预训练，并能处理跨具身和多任务场景。
- 提出了跨具身基准 CEBench，涵盖模拟和真实世界中的单臂、双臂及移动双臂操作任务，并考虑了领域随机化，包含总计 16k 条轨迹数据。
Card 01
研究单位
研究单位
- 香港科技大学（广州）
- 华中科技大学
- 西湖大学
- 浙江大学
Card 02
论文概述
论文概述
- 针对现有视觉-语言-动作模型参数量大、预训练成本高、难以应用于移动操作等实际问题，提出了一个新的综合性基准和一个改进的基线模型。
- 核心目标是研究并提升 VLA 模型的实用性，使其能够轻量化、无需大规模预训练，并能处理跨具身和多任务场景。
Card 03
核心贡献
核心贡献
- 提出了跨具身基准 CEBench，涵盖模拟和真实世界中的单臂、双臂及移动双臂操作任务，并考虑了领域随机化，包含总计 16k 条轨迹数据。
- 对 VLA 的实用性进行了全面研究，围绕轻量化设计、训练范式和统一动作空间提出了八个关键发现。
- 提出了一个改进的基线模型 LLaVA-VLA。该模型轻量（0.5B 参数）、无需大规模机器人数据预训练，并且是首个能够进行端到端移动操作的 VLA 模型。
- 在多个基准测试（CALVIN， RoboTwin， 真实世界）上验证了 LLaVA-VLA 的性能，其表现达到或超越了参数量大 10 倍 的模型，并展现了强大的视觉泛化能力。
- 承诺将开源所有数据集、代码和模型检查点，以促进可复现性和未来研究。
Card 04
方法描述
方法描述
- 提出了 LLaVA-VLA 模型架构。它基于一个紧凑的预训练 VLM 骨干网络，并集成了多视角感知（垂直拼接第一和第三人称视图图像）、本体感觉标记化和动作分块技术。
- 创新性地设计了一个混合动作空间，通过方向令牌（如前、停）和值令牌来统一导航和操作动作。
- 采用了两阶段训练范式：先在多任务数据上进行后训练，再在特定任务数据上进行微调，从而消除了对大规模、跨具身预训练的依赖。
Card 05
数据集与资源
数据集与资源
- 模拟数据集：包括 CALVIN 和 RoboTwin 2.0，在 RoboTwin 上构建了包含 14.4k 条轨迹和 36 个任务的数据集。
- 真实世界数据集：使用 Cobot-Magic 移动机器人平台，收集了包含 8 个任务的 1.6k 条高质量演示轨迹，其中包括移动操作任务。
- 模型规模：主要模型 LLaVA-VLA 基于 LLaVA-OneVision-0.5B 骨干网络，参数量为 0.5B。
- 训练资源：后训练使用 8 块 NVIDIA H100 GPU，微调使用 1 块 NVIDIA RTX 4090 GPU。
Card 06
评估与结果
评估与结果
- 评估环境：在 CEBench 的三个子集上进行评估：单臂操作（CALVIN ABC->D 任务）、双臂模拟操作（RoboTwin 的 8 个任务）、以及真实世界的双臂和移动操作任务。
- 评估指标：主要使用任务成功率和平均完成的轨迹长度。
- 关键结果：在 CALVIN 基准上，LLaVA-VLA (0.5B) 的平均轨迹长度为 3.68，超越了包括 OpenVLA (7B) 和 RoboFlamingo (3B) 在内的大模型。在 RoboTwin 的领域随机化设置下，平均成功率达 28.6%，优于 ACT 和 Diffusion Policy 等基线。在真实世界任务中，其成功率远高于 ACT 和 TinyVLA，并且在移动操作任务上取得了成功，而基线方法几乎失败。