一眼看懂
封面预览
研究解决 Vision-Language-Action (VLA) 模型 中 Flow Matching 动作生成带来的推理延迟问题,传统的多…
- 研究解决 Vision-Language-Action (VLA) 模型 中 Flow Matching 动作生成带来的推理延迟问题,传统的多…
- 提出 ProbeFlow,一种无需训练的自适应推理框架,通过几何方法评估轨迹复杂度,动态调度积分步数,在线性区域跳过冗余计算
- 核心创新是利用 Lookahead Linearity Probe(前瞻线性探测器)通过计算初始速度向量与前瞻速度向量之间的余弦相似度来预测轨…
Card 01
研究单位
研究单位
- 东南大学计算机科学与工程学院,中国
- 新一代人工智能技术及其交叉应用教育部重点实验室,中国
- 东南大学电子科学与工程学院,中国
Card 02
论文概述
论文概述
- 研究解决 Vision-Language-Action (VLA) 模型 中 Flow Matching 动作生成带来的推理延迟问题,传统的多步 ODE 求解严重阻碍了机器人实时响应控制
- 提出 ProbeFlow,一种无需训练的自适应推理框架,通过几何方法评估轨迹复杂度,动态调度积分步数,在线性区域跳过冗余计算
- 核心创新是利用 Lookahead Linearity Probe(前瞻线性探测器)通过计算初始速度向量与前瞻速度向量之间的余弦相似度来预测轨迹曲率
Card 03
核心贡献
核心贡献
- 提出 ProbeFlow,无需训练的的自适应求解器,有效缓解连续生成策略中的动作解码瓶颈
- 引入 Lookahead Linearity Probe,通过余弦相似度作为轨迹复杂度的几何代理,严格只在非线性区域分配网络评估
- 在 MetaWorld 上实现 14.8 倍加速(平均步数从 N=50 降至 2.6),同时保持操作成功率
- 在 LIBERO 长视野基准测试中自动分配更密集的调度以处理语义瓶颈
- 真实物理部署验证了其在实时约束下的执行稳定性
Card 04
方法描述
方法描述
- 核心洞察:Flow Matching 的概率路径在不同区域具有不同的曲率,线性区域(如粗略移动)可以大幅跳过积分步骤,而非线性区域(如精确抓取)需要密集积分
- Lookahead Linearity Probe:执行一个大步长探索(如 Δt_probe=0.5),计算初始速度 v_start 和前瞻位置速度 v_probe 之间的余弦相似度 S
- 动态步长调度:将连续相似度分数 S 映射到离散积分步数 N,使用公式 N=clip(N_min + ⌊(1-S)/ε⌋×ΔN, N_min, N_max)
- 线性区域处理:当 S≈1 时,直接重用探测状态进行稀疏积分;当 S≪1 时,执行密集积分以控制截断误差
Card 05
数据集与资源
数据集与资源
- 基准数据集:MetaWorld (MT50) - 50 个短视野操作任务;LIBERO - 长视野、语义复杂的任务
- 模型架构:Evo-1 模型 + InternVL3-1B 视觉骨干网(冻结)
- 动作头:8 层 Diffusion Transformer (DiT),隐藏维度 1024
- 轨迹长度:T=50
- 训练资源:NVIDIA RTX 4090 GPU
Card 06
评估与结果
评估与结果
MetaWorld 基准测试:
- 标准 N=50 求解器:动作头延迟 235.7 ms,成功率 82.5%
- ProbeFlow:动作头延迟 15.9 ms(14.8 倍加速),成功率 83.2%(统计等价)
- 平均积分步数从 50 步降至 2.6 步
LIBERO 基准测试:
- N=50 求解器:动作头延迟 278.7 ms,成功率 92.5%
- ProbeFlow:动作头延迟 32.7 ms(8.5 倍加速),成功率 88.7%
- 通过调整阈值 ε=0.002 可恢复至 92.0% 成功率,仍比基线快 60%
真实世界部署:
- 7-DoF xArm7 + Inspire 多指机械手
- "Pick-and-Place" 任务
- 动作头延迟从 270.3 ms 降至 12.26 ms,平均步数 2.1 步
- 成功率 7/10,与基线方法相当