一眼看懂
封面预览
提出 VLAConf 框架，为 视觉-语言-动作（VLA）模型 提供校准的任务成功置信度，以支持机器人开放世界操纵中的风险敏感决策和失败预警。
- 提出 VLAConf 框架，为 视觉-语言-动作（VLA）模型 提供校准的任务成功置信度，以支持机器人开放世界操纵中的风险敏感决策和失败预警。
- 解决现有方法计算效率低（需重复采样）和跨架构推广性差（仅适用于离散动作输出）的问题，实现单次前向传播、支持连续动作空间的置信度估计。
- 在 LIBERO 基准和真实机器人实验中验证方法有效性，显著提升推理效率和置信度信号质量。
Card 01
研究单位
研究单位
- 南方科技大学 电子与电气工程系
- 中关村学院
- 国家网络安全学院
Card 02
论文概述
论文概述
- 提出 VLAConf 框架，为 视觉-语言-动作（VLA）模型 提供校准的任务成功置信度，以支持机器人开放世界操纵中的风险敏感决策和失败预警。
- 解决现有方法计算效率低（需重复采样）和跨架构推广性差（仅适用于离散动作输出）的问题，实现单次前向传播、支持连续动作空间的置信度估计。
- 在 LIBERO 基准和真实机器人实验中验证方法有效性，显著提升推理效率和置信度信号质量。
Card 03
核心贡献
核心贡献
- 提出 单类判别式置信度框架，利用冻结的预训练 VLA 内部表示直接估计步骤异常分数，消除重采样开销。
- 引入 步条件建模，通过 FiLM 调制 和残差门机制编码轨迹执行阶段信息，使同一执行上下文在不同任务阶段有不同解释。
- 构建 骨干无关 的置信信号，适用于离散动作和连续动作 VLA，并通过 前缀聚合 和 Platt 校准 将异常分数转化为任务成功概率。
- 实验表明在标准 LIBERO 套件上，VLAConf 在校准质量（Brier 分数、NLL）和推理效率（约 11 倍加速）上优于现有基线。
- 在真实机器人平台（Franka 机器人）上验证置信度信号在物理部署中的有效性。
Card 04
方法描述
方法描述
- 使用冻结的 VLA 骨干 作为通用多模态特征提取器，通过池化视觉和语言隐藏状态，并融合本体感觉状态，构建步骤级执行表示。
- 基于 Coin-Flip Network（CFN） 目标训练轻量级置信头，仅使用成功轨迹数据学习单类评分函数，输出向量范数作为异常分数。
- 通过 步编码器 和 FiLM 变换 实现步骤条件建模，使异常评分头能根据执行阶段调整熟悉性判断。
- 采用 运行均值或最大值聚合 步骤分数，并使用 Platt 缩放 进行事后校准，将聚合信号映射为任务成功概率。
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 基准套件，包括 LIBERO-Goal、LIBERO-Spatial、LIBERO-Object，以及扩展套件 LIBERO-Pro 和 LIBERO-Plus 用于鲁棒性测试。
- 模型主干包括 OpenVLA-OFT（离散动作）和 π0.5（连续动作）。
- 真实机器人实验使用 Franka 机器人臂 和 RealSense L515 相机，通过 Gello 遥操作器 收集演示。
Card 06
评估与结果
评估与结果
- 评估环境包括标准 LIBERO 套件、分布偏移套件和真实机器人任务。
- 主要评估指标为 期望校准误差（ECE）、Brier 分数、负对数似然（NLL） 和任务 成功率。
- 关键结果：
- 在 OpenVLA-OFT 上，VLAConf 推理时间 64.9ms，比 ConfidenceVLA（712.9ms）快约 11 倍，同时获得更优的 Brier 分数和 NLL。
- 适用于连续动作主干 π0.5，在 LIBERO 平均测试中获得预执行 NLL 0.3141 和在线 NLL 0.2501。
- 在分布偏移套件上保持优势，在线执行证据能进一步改善校准。
- 真实机器人实验平均 ECE 0.1041、Brier 分数 0.1595、NLL 0.4885，验证物理部署有效性。