LiLo-VLA: Compositional Long-Horizon Manipulation via Linked Object-Centric Policies

• University of North Carolina at Chapel Hill
• Georgia Institute of Technology
• Carnegie Mellon University

• 提出 LiLo-VLA，一个用于长时程（long-horizon）机器人操作的模块化框架，旨在解决现有视觉-语言-动作（VLA）模型在技能组合泛化和抗环境干扰方面的不足。
• 核心研究问题是：如何实现无需任务特定训练数据、对视觉干扰和环境变化鲁棒，并能从执行失败中恢复的组合式长时程操作。

• LiLo-VLA 框架：一个将全局运动（运输）与局部交互解耦的模块化框架，实现零样本组合泛化，并对视觉杂乱和执行失败具有鲁棒性。
• 评估基准：提出了一个包含 21 个任务的基准测试，涵盖两个不同侧重点的测试集：LIBERO-Long++（强调视觉鲁棒性）和 Ultra-Long（挑战极端时序可扩展性，最多包含 16 个顺序技能）。
• 仿真性能：在模拟实验中，LiLo-VLA 实现了 69% 的平均成功率，显著优于 Pi0.5 (28%) 和 OpenVLA-OFT (2%) 等基线模型。
• 真实世界验证：在 8 个复杂的真实世界长时程任务（最多 8 个技能）中，实现了 85% 的平均成功率。

• 采用模块化控制策略，解耦执行过程：一个 Reaching Module（基于经典运动规划器）负责端到端的全局运输，一个 Interaction Module（基于对象中心的 VLA 策略）负责精细的原子操作。
• 关键技术：使用对象中心观测空间（仅手腕相机视图）和视觉杂乱增强（随机擦除背景）来确保交互策略的视觉鲁棒性；为交互策略引入初始状态扰动训练，以补偿运动规划与感知噪声；设计了闭环恢复机制，能够动态重规划并重置工作空间以有效重试失败技能。

• 使用 LIBERO-90 演示数据，并将其分解为原子技能以生成训练数据。
• 主要模型基于 OpenVLA-OFT 和 Pi0.5 作为 VLA 策略骨干。真实世界实验中使用 Pi0.5。
• 感知模块使用 YOLOE（开放词汇目标检测）和 FoundationPose（6D 姿态估计）。
• 运动规划使用 MPLib 库。
• 训练资源未在提供的 HTML 片段中明确说明。

• 评估基准：自建的 21 任务基准，分为 LIBERO-Long++（6 个场景，带视觉杂乱）和 Ultra-Long（3 个超长任务，9-16 步）。
• 主要指标：成功率 和 平均进度。要求严格按照给定顺序执行所有技能才算成功。
• 关键结果：

- 在模拟基准测试中，LiLo-VLA 整体平均成功率为 69%，显著优于基线模型。

- LiLo-VLA 在新技能排序（Variant）任务上仍保持高成功率，证明了其零样本组合泛化能力，而基线模型（如 Pi0.5）则严重依赖见过的轨迹顺序。

- 消融实验证明了到达模块、视觉掩蔽和闭环恢复对成功至关重要，移除任一部分性能均大幅下降。

- 在 8 个真实世界任务中，LiLo-VLA 在标准、多样化布局和变更技能顺序等不同条件下均表现鲁棒，平均成功率达 85%。