一眼看懂
封面预览
论文针对 视觉-语言-动作（VLA）策略 在异步推理中的 预测-执行不匹配问题，提出了一个名为 DEFLECT 的完全离线后训练优化方法
- 论文针对 视觉-语言-动作（VLA）策略 在异步推理中的 预测-执行不匹配问题，提出了一个名为 DEFLECT 的完全离线后训练优化方法
- 该方法将推理延迟本身转化为 无标签偏好信号，无需人工标签、奖励模型或在线试验即可训练策略
- 目标是扩展异步VLA控制的可用延迟范围，特别是在 高延迟区域（5-7个控制步） 提升策略的鲁棒性
Card 01
研究单位
研究单位
- 香港科技大学（广州）
- 中山大学
Card 02
论文概述
论文概述
- 论文针对 视觉-语言-动作（VLA）策略 在异步推理中的 预测-执行不匹配问题，提出了一个名为 DEFLECT 的完全离线后训练优化方法
- 该方法将推理延迟本身转化为 无标签偏好信号，无需人工标签、奖励模型或在线试验即可训练策略
- 目标是扩展异步VLA控制的可用延迟范围，特别是在 高延迟区域（5-7个控制步） 提升策略的鲁棒性
Card 03
核心贡献
核心贡献
- 提出了 延迟作为反事实监督 的概念，将部署失效模式转化为离线训练信号
- 设计了 DEFLECT 框架，实现针对流匹配VLA策略的 无标签直接偏好优化（DPO）
- 在模拟基准和真实机器人部署中验证了方法的 延迟鲁棒性，在高延迟区域实现了显著提升
- 方法是 完全离线 的，推理阶段与基础策略完全相同，无额外成本
- 揭示了学习到的修正具有 动力学感知 和 方差保持 特性
Card 04
方法描述
方法描述
- 基于 流匹配策略 构建，利用速度场通过ODE积分生成动作块
- 构建 三种反事实条件上下文：新鲜上下文（$c^{\text{fresh}}$）、陈旧上下文（$c^{\text{stale}}$）和混合上下文（$c^{\text{mix}}$）
- 使用冻结的参考策略生成 偏好-拒绝动作对，通过共享采样噪声保持一致性
- 引入 流匹配似然代理 作为负对数似然的近似，用于在DPO目标中计算奖励
- 结合 DPO损失 和 监督微调锚点 进行训练，防止策略崩溃
- 在部署时，策略使用相同的ODE在混合上下文下运行，无需修改
Card 05
数据集与资源
数据集与资源
- Kinetix：2D物理控制基准，包含12个接触丰富和运动任务
- LIBERO：真实尺度操作基准，包含四个套件，用于测试 $\pi_{0.5}$ 规模VLA的迁移性
- 真实机器人实验：双臂传送带抓取放置任务和反应式打地鼠任务
- 模拟实验中每个单元格使用 1024次 回合（Kinetix）或 500次 回合（LIBERO）进行评估
- 真实机器人实验每项任务使用 30次试验
Card 06
评估与结果
评估与结果
- 在 Kinetix 高延迟区域（$d\in\{5,6,7\}$），DEFLECT平均成功率比VLASH提高 +6.4%，比PFM基线提高 +8.0%
- 在 LIBERO 四套件平均上，DEFLECT在延迟 $d=7$ 时比VLASH提高 +4.6%
- 真实机器人实验：传送带-II 任务成功率从VLASH的 83.3% 提升至DEFLECT的 90.0%；打地鼠 任务平均击中数从VLASH的 10.4 提升至DEFLECT的 13.6
- 验证了修正的 方差保持特性，$\sigma$比率为 0.97（范围0.81-1.14）
- 展示了从训练延迟 $d\in\{1,2\}$ 到未见延迟 $d=7$ 的 零样本延迟泛化 能力
- 确认 SFT锚点 对防止训练崩溃至关重要