一眼看懂
封面预览
论文提出了 Sentinel-VLA，这是一种具有元认知能力的视觉-语言-动作（VLA）模型，旨在解决当前 VLA 模型推理能力有限、缺乏状态…
- 论文提出了 Sentinel-VLA，这是一种具有元认知能力的视觉-语言-动作（VLA）模型，旨在解决当前 VLA 模型推理能力有限、缺乏状态…
- 该模型引入了一个主动“哨兵”模块来实时监控执行状态，仅在必要时（如初始规划或检测到错误）触发动态推理或错误恢复，以平衡决策鲁棒性与计算开销。
- 通过提出的 Self-Evolving Continual Learning (SECL) 算法，模型能够持续识别能力边界并自动扩展知识，有效…
Card 01
研究单位
研究单位
- 论文作者包括 Wenhao Li, Xiu Su, Yichao Cao, Hongyan Xu, Xiaobo Xia, Shan You, Yi Chen, Chang Xu
- 具体所属研究机构在提供的 HTML 片段中未明确显示
Card 02
论文概述
论文概述
- 论文提出了 Sentinel-VLA，这是一种具有元认知能力的视觉-语言-动作（VLA）模型，旨在解决当前 VLA 模型推理能力有限、缺乏状态监控以及无法自我纠错的问题。
- 该模型引入了一个主动“哨兵”模块来实时监控执行状态，仅在必要时（如初始规划或检测到错误）触发动态推理或错误恢复，以平衡决策鲁棒性与计算开销。
- 通过提出的 Self-Evolving Continual Learning (SECL) 算法，模型能够持续识别能力边界并自动扩展知识，有效防止灾难性遗忘。
Card 03
核心贡献
核心贡献
- 提出了 Sentinel-VLA 模型，集成了主动状态监控器，实现了动态、按需的推理与错误恢复机制。
- 开发了 EC-Gen 数据生成管道，自动合成了超过 260 万条 涵盖 44 个任务的错误恢复轨迹数据，无需人工标注。
- 引入了 SECL 算法及 Orthogonal Continual Adapter (OC-Adapter)，实现了模型在持续学习过程中的知识扩展与抗遗忘能力。
Card 04
方法描述
方法描述
- 模型架构包含三个专家模块：VLM Expert ($E_{vlm}$)、Action Expert ($E_{act}$) 和新设计的 Status Monitor Expert ($E_{sm}$)。
- 状态监控专家通过可学习的
[MONITOR]查询探测上下文，判断当前处于 Initial、Normal、New-subtask 或 Error 状态，从而决定是否激活推理。 - EC-Gen 管道通过注入交互、空间和语义三类错误模态，将专家轨迹转化为包含丰富标注的错误纠正序列。
- SECL 算法通过识别模型能力边界处的成功轨迹进行训练，并利用正交约束适配器更新参数，以确保新旧知识的隔离。
Card 05
数据集与资源
数据集与资源
- 训练数据基于 RLBench 涵盖的 44 个任务，包含 11,000 条轨迹 和超过 260 万次转换。
- 评估使用了 RLBench（已见、未见、干扰任务）、LIBERO-LONG 以及真实世界任务数据集。
- 模型基于 PI0 构建，VLM 专家使用 3B PaliGemma，动作专家使用 330M Gemma。
- 训练资源为 8 张 NVIDIA A100 GPU，训练步数为 90,000 步。
Card 06
评估与结果
评估与结果
- 评估基准包括 OpenVLA、PI0、ECoT、AHA+OpenVLA 和 OneTwoVLA 等主流模型。
- 在真实世界任务中，Sentinel-VLA 的平均成功率相比 SOTA 模型 PI0 提升了超过 30%（达到 60.0%）。
- 在 RLBench 未见任务上实现了 51.3% 的平均成功率，在 LIBERO-LONG 上达到了 90.7% 的最高成功率。
- 在高干扰环境下表现出强鲁棒性，干扰任务平均成功率显著优于基线模型（54.7% vs 46.0%）。