一眼看懂
封面预览
提出 Action Draft and Verify (ADV) 框架，旨在解决 Vision-Language-Action (VLA) 模…
- 提出 Action Draft and Verify (ADV) 框架，旨在解决 Vision-Language-Action (VLA) 模…
- 该框架结合扩散模型的高精度连续动作生成能力与自回归模型的鲁棒性，通过"起草-验证"机制选择最优动作块
- 核心创新：扩散动作专家生成多个候选动作，VLM通过困惑度风格评分在单次前向传播中验证并选择最佳动作
Card 01
研究单位
研究单位
- 论文作者单位未在HTML正文中明确列出完整机构信息，从作者列表推断可能涉及多个人工智能研究机构
Card 02
论文概述
论文概述
- 提出 Action Draft and Verify (ADV) 框架，旨在解决 Vision-Language-Action (VLA) 模型在分布偏移环境下稳定性不足的问题
- 该框架结合扩散模型的高精度连续动作生成能力与自回归模型的鲁棒性，通过"起草-验证"机制选择最优动作块
- 核心创新：扩散动作专家生成多个候选动作，VLM通过困惑度风格评分在单次前向传播中验证并选择最佳动作
Card 03
核心贡献
核心贡献
- 提出轻量级推理框架 ADV：扩散动作专家起草多个候选动作，VLM 通过困惑度验证进行重排序选择
- 方法具有广泛适用性：可应用于 Qwen2.5-VL、InternVL3.5、π₀.₅ 等多种 VLM 和预训练 VLA 模型
- 在仿真环境中成功率提升 +4.3 分，在真实环境中提升 +19.7 分
- 引入 Textual FAST 动作分词方法，结合 FAST 高效压缩与 VLA-0 文本对齐表示的优点
- 提供机制分析：VLM 验证主要充当失败模式过滤器，过滤掉低质量或错误的动作块而非寻找最优解
Card 04
方法描述
方法描述
- 架构：VLM + 扩散动作专家架构
- 训练目标：联合训练自回归目标（VLM NLL损失）和扩散目标（Flow Matching损失）
- Draft阶段：扩散动作专家基于 VLM 隐藏状态，通过注入不同噪声采样多个候选动作块
- Verify阶段：使用 VLM 计算每个候选的归一化困惑度分数，选择分数最低的候选作为最终动作
- Textual FAST：先将动作分词为离散token，再渲染为文本并用 VLM tokenizer 重新分词，避免低频动作词汇
Card 05
数据集与资源
数据集与资源
- 仿真数据集：LIBERO、RoboTwin 2.0
- 真实世界任务：Push Blocks、Clean Table、Pick & Place、Hang Cups
- 模型backbone：Qwen2.5-VL-3B、InternVL3.5-2B、π₀.₅
- 动作分块长度：LIBERO 为16步，RoboTwin 2.0 为32步，真实世界为5步
- 候选数量：M=16个候选，使用4个去噪步骤
Card 06
评估与结果
评估与结果
- LIBERO基准：ADV 相比 Diffusion 基线平均提升 +2.7 个百分点（Qwen2.5-VL +2.9，InternVL3.5 +3.1，π₀.₅ +1.9）
- RoboTwin 2.0 Easy：成功率提升 +9.2 分；Hard 任务提升 +3.5 分
- 真实世界环境：平均提升 +17.1 分（Qwen2.5-VL +21.9，InternVL3.5 +17.5，π₀.₅ +12.0）
- OOD环境分析：ADV 增加恢复尝试次数，减少抓取前环境碰撞，提高任务完成效率
- 推理效率：虽然有额外验证开销，但仍保持较高控制频率（41.0Hz），在OOD环境中任务完成所需步骤更少