一眼看懂
封面预览
论文提出 Hide-and-Seek 框架，用于解决 Vision-Language-Action (VLA) 模型的运行时故障检测问题
- 论文提出 Hide-and-Seek 框架，用于解决 Vision-Language-Action (VLA) 模型的运行时故障检测问题
- 现有方法要么依赖昂贵的动作重采样或外部模型，要么将轨迹级标签均匀传播到所有时间步，导致局部故障信号被掩盖
- 核心目标是从仅有轨迹级标签的粗粒度监督中，发现并定位故障指示的动作步骤，无需任何步骤级注释
Card 01
研究单位
研究单位
- University of Wisconsin–Madison
- Georgia Institute of Technology
Card 02
论文概述
论文概述
- 论文提出 Hide-and-Seek 框架，用于解决 Vision-Language-Action (VLA) 模型的运行时故障检测问题
- 现有方法要么依赖昂贵的动作重采样或外部模型，要么将轨迹级标签均匀传播到所有时间步，导致局部故障信号被掩盖
- 核心目标是从仅有轨迹级标签的粗粒度监督中，发现并定位故障指示的动作步骤，无需任何步骤级注释
Card 03
核心贡献
核心贡献
- 提出 Hide-and-Seek 框架，将粗监督学习与机器人故障检测建立新连接，仅从轨迹级监督中发现故障指示动作
- 设计跨轨迹与内轨迹对比损失函数，将粗粒度的轨迹级监督转换为时间结构化的故障信号
- 在 LIBERO、VLABench 模拟基准和真实机器人平台上全面评估，在已见和未见任务上均达到 SOTA 性能
Card 04
方法描述
方法描述
- 框架使用 跨轨迹对比损失，强制故障轨迹中最故障指示步骤的得分高于成功轨迹中最类似故障的步骤
- 使用 内轨迹对比损失，通过定义故障开始代理点，鼓励故障发生后平均得分高于发生前，塑造时间结构
- 结合共形预测进行运行时监控，通过校准集构造时间变化的预测带，提供理论保证的误报率控制
Card 05
数据集与资源
数据集与资源
- 评估基准：LIBERO-10 模拟基准、VLABench 模拟基准、真实世界 UFactory xArm 6 机器人平台
- VLA模型：OpenVLA（自回归式）、π₀（流匹配式）、π₀.₅（流匹配式）
- 训练与评估在模拟环境与真实机器人上进行，使用 GPU 进行实验
Card 06
评估与结果
评估与结果
- 评估指标：平衡准确率、加权准确率、时间加权准确率 (TWA)，平均3个随机种子结果
- 在 LIBERO-10 上，方法在已见任务上 bACC 达到 76.2%，在未见任务上达到 69.2%，显著超越所有基线
- 平衡准确率比最强分类器基线高 +11.7%，比 VLM 基线高 +13.1%，同时推理速度快 2000 倍以上
- 方法能在接近标注的故障开始时间发出警报，无需任何时间监督，并在真实机器人实验中有效工作