CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models

• 天津大学 (Tianjin University)
• 作者：Zhi Liu

• 研究视觉-语言-动作（VLA）模型的跨范式后训练和推理优化问题，探讨两种主要VLA架构范式：离散token自回归（如OpenVLA）和连续动作flow-matching（如π₀.₅）
• 核心问题：(1) DPO能否通过替代对数概率应用于flow-matching VLAs；(2) 参数高效适配器选择（LoRA vs DoRA）是否与backbone架构相互作用；(3) 为自回归VLAs开发的推理加速技术是否适用于flow-matching VLAs
• 旨在回答：后训练技术能否跨VLA架构范式泛化

• Flow-matching替代对数概率：提出基于条件flow-matching损失的替代对数概率（公式1），使DPO可直接应用于连续动作VLAs，无需概率流ODE积分
• 首个DoRA-on-VLA实证研究：3种子池、600次试验结果显示DoRA + DPO在OpenVLA SFT上提升平均+10.4pp，Object套件提升+20.0pp且零种子方差
• Flow-matching VLAs推理缓存负面结果：延迟分析表明denoise循环占78.6%计算成本，prefix KV缓存理论加速上限仅21%，实际会导致成功率下降
• 多视角+时间对比预训练：在6000帧LIBERO数据上训练投影头，达到99.5% k-NN recall@1（36倍于随机）
• 开源实现：所有代码、检查点、训练日志和复现脚本开源

• Cross-Paradigm VLA Interface：定义统一协议（policy_logp, policy_sample等5个方法），抽象不同VLA架构底层差异
• Flow-matching替代对数概率：使用负MSE作为替代，公式为log̃p_θ(x₁\|obs) = -(1/T_eval)∑\|\|v_θ(x_t,t,obs)-v_target\|\|²，使用T_eval=4个时间步
• DoRA PEFT层：将LoRA适配权重分解为magnitude和direction两部分：W_eff = m ⊙ (W₀ + (α/r)BA) / \|\|W₀ + (α/r)BA\|\|_col
• DPO Loss：标准DPO目标，使用β=0.1，学习率5e-5，batch size 1，500步
• 多视角+时间对比预训练：双流InfoNCE目标（多视角匹配 + 时间对比），温度τ=0.07

• 数据集：LIBERO 4-suite（130个独特任务，4个套件：Spatial, Object, Goal, Long-horizon），6000帧（50 episodes × 30 anchor times × 4 suites）
• Backbones：OpenVLA-7B（~15GB per suite checkpoint），π₀.₅ PyTorch转换（6.8GB）
• 硬件：NVIDIA H20-3e（144GB）和H20（96GB）
• 训练配置：DoRA rank=32，可训练参数34.08M（0.45%），峰值GPU内存26.17GB

• 评估基准：LIBERO 4-suite，每suite 10任务 × 5 trials = 50 trials/seed
• 主要指标：成功率（success rate）
• 关键结果：

- DoRA + DPO：平均+10.4pp提升（Object +20.0, Long-horizon +11.0, Goal +8.0, Spatial +2.7）

- Object套件零种子方差：3个种子均获38/50=76.0%

- π₀.₅ DPO验证：Spatial/Object套件SFT已饱和，DPO无提升空间

- 推理延迟：π₀.₅ sample_actions约280ms，denoise循环占78.6%（~220ms）

- KV缓存策略：chunk级缓存导致-20%成功率+30%延迟增加；token级缓存成功率为0%

- k-NN检索：same-task recall@1达到99.5%（36倍于随机2.75%）