You've Got a Golden Ticket: Improving Generative Robot Policies With A Single Noise Vector

• BDAI Institute (百度研究院)
• 论文作者包括来自 BDAI Institute 的研究人员和合作者

• 提出"彩票假设"（Lottery Ticket Hypothesis）的机器人控制版本：预训练的生成式机器人策略（如 diffusion 或 flow matching 策略）可以通过使用固定的"黄金票据"（golden ticket）噪声向量来提升性能，而非从高斯分布重复采样噪声
• 该方法保持预训练策略参数冻结，不训练任何新网络，仅通过优化初始噪声向量来适应下游任务
• 研究问题：对于预训练的生成式机器人策略，如果提供一个恒定的初始噪声输入而不是每次从高斯分布采样，会发生什么？

• 形式化机器人控制的彩票假设：提出使用单一初始噪声向量（golden ticket）来适配机器人行为以优化下游奖励函数
• 随机搜索方法：提出基于蒙特卡洛策略评估的黄金票据搜索算法，只需能够注入初始噪声并计算任务奖励即可
• 跨模型架构验证：在多种模型架构（VLA、diffusion policies、flow matching policies）、观测模态和机器人实体上验证了方法的有效性
• 与先进方法竞争力相当：黄金票据方法可与现有的基于 RL 的潜在转向方法（如 DSRL）竞争，在某些情况下表现更优
• 开源代码：发布预训练策略和黄金票据的代码库

• 核心思想：在 diffusion/flow matching 模型的逆向过程中，不从各向同性高斯分布采样初始噪声，而是使用一个经过优化的恒定噪声向量（称为"golden ticket"）
• 搜索方法：采用随机搜索（Algorithm 1），采样 n 个初始噪声向量（lottery tickets），在搜索环境中评估每个票据的性能，选择累积奖励最高的票据
• 无需额外训练：该方法不假设可以访问去噪过程的中间步骤，将预训练策略视为黑盒，只需能够注入初始噪声并获取episode奖励
• 适用性广泛：适用于所有 diffusion/flow matching 策略，包括许多 VLA（视觉-语言-动作）模型

• 模拟基准：

- franka_sim：单臂 Franka 机器人抓取立方体任务

- LIBERO：包含 LIBERO-Object、LIBERO-Goal、LIBERO-Spatial 三个任务套件，共 30 个任务

- robomimic：lift、can、square、transport 四个任务

- DexMimicGen：双手操作任务（Drawer Cleanup、Lift Tray、Threading、Box Cleanup、Piece Assembly）

• 硬件实验：

- Franka 机械臂上的 RGB diffusion policy（方块抓取任务）

- 点云 diffusion policy（香蕉抓取、杯子推动任务）

• 策略类型：Flow matching policy、SmolVLA（VLA 模型）、DPPO 训练的 diffusion policy、RGB diffusion policy

• 总体结果：在 43 个任务中的 38 个任务上提升了策略性能，至少在 41 个任务上达到或超过基线
• franka_sim：基线策略平均成功率 38.5%，黄金票据达到 96%
• robomimic：can 任务从 42.8% 提升到 80.8%（38% 提升）
• LIBERO：LIBERO-Spatial 提升 13%，LIBERO-Goal 提升 12.8%，LIBERO-Object 提升 8%
• DexMimicGen：Box Cleanup 从 87.6% 提升到 97.8%
• 硬件实验：

- 方块抓取：从 80% 提升到 98%（18% 提升），仅需 150 个搜索 episodes

- 香蕉抓取：基线 30%，黄金票据 100%（60% 提升）

• 与 DSRL 对比：在 5 个 DexMimicGen 任务上，使用更少计算资源达到相当或更好的性能