一眼看懂
封面预览
论文研究流行的矩阵感知优化器 Muon 在预训练之外的两个重要训练范式—— VLA 和 RLVR 中的局限性。
- 论文研究流行的矩阵感知优化器 Muon 在预训练之外的两个重要训练范式—— VLA 和 RLVR 中的局限性。
- 研究发现，Muon的核心机制（均匀谱白化）在处理低秩梯度或低信噪比梯度时会放大噪声，导致在 VLA 和 RLVR 训练中性能下降甚至模型崩溃。
- 论文提出了一个名为 Pion 的优化器，作为Muon的替代方案，通过设计一种新的“谱高通”牛顿-舒尔茨迭代来解决上述问题。
Card 01
研究单位
研究单位
- Michigan State University
- Cisco
- University of Minnesota
- IBM Research
Card 02
论文概述
论文概述
- 论文研究流行的矩阵感知优化器 Muon 在预训练之外的两个重要训练范式—— VLA 和 RLVR 中的局限性。
- 研究发现，Muon的核心机制（均匀谱白化）在处理低秩梯度或低信噪比梯度时会放大噪声，导致在 VLA 和 RLVR 训练中性能下降甚至模型崩溃。
- 论文提出了一个名为 Pion 的优化器，作为Muon的替代方案，通过设计一种新的“谱高通”牛顿-舒尔茨迭代来解决上述问题。
Card 03
核心贡献
核心贡献
- 首次识别并深入分析了 Muon 优化器在 VLA 和 RLVR 训练范式中的根本性局限性，归因于其均匀谱白化机制。
- 提出了 Pion 优化器，创新性地将牛顿-舒尔茨迭代重新设计为“提升+抑制”的两阶段机制，实现了谱高通滤波效果，能自适应地处理低秩或低信噪比梯度。
- 引入了“按头应用”的模式，通过简单的reshape操作，以零额外开销独立处理注意力头，以保留预训练阶段形成的头间异质性。
- 在 VLA 和 RLVR 的多种模型和任务上进行了广泛的实验，证明了 Pion 相对于 Muon 和 AdamW 的性能优越性和计算效率。
Card 04
方法描述
方法描述
- Pion 沿用了 Muon 的基本流程（动量累积和牛顿-舒尔茨迭代），但替换了迭代中的多项式系数。
- 核心创新是“两阶段谱高通牛顿-舒尔茨迭代”：第一阶段使用“提升多项式”放大主要奇异值，第二阶段使用“抑制多项式”压制次要奇异值（噪声）。
- 通过推导满足特定约束条件（如固定点、单调性）的多项式系数，实现了将主导奇异值锚定在1、将噪声尾部压制向0的谱高通效果。
- 提供了两种应用模式：默认模式（类似Muon按矩阵整体处理）和“按头”模式（reshape后按注意力头独立处理）。
Card 05
数据集与资源
数据集与资源
- VLA 实验：LIBERO 基准（含Object, Spatial, Goal, Long四个套件），LIBERO-Plus，以及 DROID 数据集用于真实机器人实验。
- RLVR 实验：GSM8K 和 MATH（levels 3-5）数据集。
- 模型：VLA-Adapter 和 VLANeXt 模型用于VLA，Qwen3-1.7B 和 Qwen3-4B 模型用于RLVR。
- 训练资源：具体GPU/TPU资源未在原文摘要中明确提及。
Card 06
评估与结果
评估与结果
- VLA 评估环境：在 LIBERO 和 LIBERO-Plus 仿真基准上进行成功率评估，并在真实 Franka Research 3 机器人上执行抓放任务。
- RLVR 评估环境：使用 GRPO 和 GMPO 算法在 Qwen3-1.7B/4B 模型上进行训练，在 MATH500 和 GSM8K 测试集上评估。
- 主要评估指标：VLA 任务的成功率，RLVR 任务的准确率。
- 关键实验结果：在 VLA 训练中，Pion 在 LIBERO Object 任务上达到100%成功率（VLA-Adapter），显著优于Muon (97.0%) 和 AdamW (32.2%)。在 RLVR 后训练中，Pion 在 MATH 和 GSM8K 上优于 AdamW，而 Muon 在这些设置下性能崩溃至接近零。