ROCKET: Residual-Oriented Multi-Layer Alignment for Spatially-Aware Vision-Language-Action Models

• University of Maryland, College Park (CASE-Lab-UMD)

• 提出 ROCKET 框架，一种用于增强 Vision-Language-Action (VLA) 模型空间推理能力的残差导向多层表示对齐方法。
• 旨在解决现有单层表示对齐方法无法充分利用跨层信息，以及朴素多层对齐导致的梯度冲突问题。
• 核心目标是高效地将来自预训练 3D 视觉基础模型 的空间知识注入到 2D 预训练的 VLA 模型中，以提高其在机器人操作任务中的性能。

• 提出了 ROCKET 框架，其核心是使用 共享投影器 进行多层对齐，以减少梯度冲突，并引入 Matryoshka 式稀疏激活机制来平衡不同深度层的对齐损失。
• 提供了理论和实证分析，解释了先前多层对齐失败的原因（梯度干扰），并证明了单一共享投影器的优越性和充分性。
• 通过利用跨深度的互补空间线索，ROCKET 在多个基准数据集（LIBERO、LIBERO-Plus、RoboTwin 2.0）和不同 VLA 主干模型上实现了最先进的性能。
• ROCKET 具有极高的计算效率，仅需约 4% 的先前进阶方法的训练计算量即可达到相似性能，并且在数据有限的环境中依然有效。

• 方法核心：将多层对齐视为一个残差流到另一个残差流的对齐。使用 共享投影器（一个轻量级的非线性 MLP）来对齐 VLA 骨干的多个层与 3D 视觉基础模型的多个层。
• 关键技术/创新点：

- 共享投影器：用一个投影器为所有选定层学习一致的学生-教师映射，避免了层间独立投影器导致的梯度冲突，促进了梯度相干性。

- Matryoshka 式稀疏激活：对于较深的层，激活更多的投影器参数（线性增长），防止浅层对齐主导训练，平衡了不同深度层的对齐损失。

- 训练免费的层选择策略：通过分析层间表示的相似性（如 CKA），选择具有多样化信息的层进行对齐，简化了部署。

• 使用的数据集：LIBERO、LIBERO-Plus、RoboTwin 2.0。
• 模型规模和参数量：

- 学生模型：OpenVLA-7B (基于 Prismatic-7B)、PI0 和 PI0.5 (基于 PaliGemma)。

- 教师模型：VGGT (Visual Geometry Grounded Transformer)，一个强大的 3D 视觉基础模型。

• 训练资源：未在摘要或提供章节中明确指定，但附录 A 提及了训练细节，通常此类工作使用多块 GPU 进行训练。

• 评估环境和基准：在 LIBERO、LIBERO-Plus 和 RoboTwin 2.0 等机器人操作基准上进行评估，并与多种 SOTA VLA 方法（如 Spatial Forcing, GLaD, 3D-CAVLA, GeoVLA 等）进行比较。
• 主要评估指标：任务成功率，分为空间、物体、目标和长序列等子类别，并计算平均成功率。
• 关键实验结果：

- 在 LIBERO 上，ROCKET 实现了 98.5% 的平均成功率，与当前 SOTA 方法（Spatial Forcing）持平，并在“物体”、“目标”和“长序列”子任务上取得了最优或并列最优成绩。

- 在 LIBERO-Plus 和 RoboTwin 2.0 上也展示了优越的泛化性能。

- 与多个独立投影器的朴素多层对齐基线相比，ROCKET 显著提升了性能，并验证了共享投影器带来的梯度相干性改进。

- ROCKET 收敛速度极快，仅需约 4% 的 SOTA 方法（Spatial Forcing）的训练计算预算即可达到接近其最终性能。