一眼看懂
封面预览
Vision-Language-Action (VLA) 模型广泛采用 action chunking 技术来预测并执行一段连续的低级动作序列…
- Vision-Language-Action (VLA) 模型广泛采用 action chunking 技术来预测并执行一段连续的低级动作序列…
- 传统方法通常使用预先定义的固定执行视界,忽略了预测可靠性的状态依赖性,导致在动态或分布外场景中表现脆弱。
- 本文提出 A^3 (Adaptive Action Acceptance) 机制,将动态执行承诺问题重构为自推测前缀验证问题,无需人工调参即可…
Card 01
研究单位
研究单位
- University of Adelaide
- Sichuan University
- Shanghai Jiao Tong University
- Monash University
- Zhejiang University
- Imperial College London
Card 02
论文概述
论文概述
- Vision-Language-Action (VLA) 模型广泛采用 action chunking 技术来预测并执行一段连续的低级动作序列,以降低推理成本。
- 传统方法通常使用预先定义的固定执行视界,忽略了预测可靠性的状态依赖性,导致在动态或分布外场景中表现脆弱。
- 本文提出 A^3 (Adaptive Action Acceptance) 机制,将动态执行承诺问题重构为自推测前缀验证问题,无需人工调参即可自适应地确定可靠的执行视界。
Card 03
核心贡献
核心贡献
- 识别了多步 VLA 系统中缺失的执行承诺推理原则,并将视界选择问题重构为状态条件前缀验证问题。
- 提出了 A^3 框架,通过模态感知轨迹共识评分和双层级验证机制(共识有序条件不变性、前缀封闭序列一致性),使执行视界从结构化验证中自然涌现。
- 在多个 VLA 基准测试和真实机器人任务中证明了 A^3 消除了任务特定的视界调整需求,并在执行鲁棒性与推理吞吐量之间取得了优越的平衡。
Card 04
方法描述
方法描述
- 模态感知轨迹共识评分:通过并行采样生成 K 个候选动作块,将其映射到诱导轨迹状态空间进行聚类,选出主模态的 Medoid 作为草稿序列,并计算每步的共识分数作为自一致性先验。
- 双层级验证:包含 共识有序条件不变性(验证低共识动作在高共识动作作为上下文锁定时是否保持不变)和 前缀封闭序列一致性(验证动作在所有先前验证动作作为上下文时是否保持不变)。
- 涌现视界确定:执行视界作为满足上述两个约束的最长验证前缀自然涌现,通过单次并行前向传播完成验证,避免了启发式阈值设定。
Card 05
数据集与资源
数据集与资源
- 仿真基准数据集:LIBERO, MetaWorld, ManiSkill。
- 真实世界任务:FlipMug, TapeBox, HangMug, StackCube(使用 Agilex Piper 机械臂和 Intel RealSense D435i 相机)。
- 模型骨干:$\pi_0$, $\pi_{0.5}$, GR00T。
- 硬件资源:单块 NVIDIA RTX 4090 GPU。
Card 06
评估与结果
评估与结果
- 评估环境涵盖三个主流仿真基准和四个真实桌面操作任务,对比基线包括 Fixed Horizon, MoH, EveryDayVLA 和 AutoHorizon。
- 主要评估指标为任务成功率、平均执行视界长度和平均重规划次数。
- 在 $\pi_{0.5}$-LIBERO 基准上,A^3 实现了 98.1% 的最高成功率,同时将平均执行视界从 6.3 增加至 9.7 步。
- 真实机器人实验显示,A^3 在无需调参的情况下达到平均 84.6% 的成功率,优于最佳的固定视界基线(79.2%)。
- 鲁棒性分析表明,在观测遮挡和模糊等扰动下,A^3 相比基线有显著的成功率提升(如强模糊下提升 10.2%)。