一眼看懂
封面预览
论文提出 Tri-System VLA 框架，旨在解决机器人长周期操作任务中高层语义推理与底层反应控制之间的平衡问题。
- 论文提出 Tri-System VLA 框架，旨在解决机器人长周期操作任务中高层语义推理与底层反应控制之间的平衡问题。
- 核心引入 Critic in the Loop 机制，通过动态调度 VLM 与 VLA 专家，实现高效、鲁棒的自主执行与异常恢复。
- 该框架显著提升了系统在分布外场景下的泛化能力与任务成功率，无需依赖大量紧急情况数据。
Card 01
研究单位
研究单位
- 中国科学院自动化研究所
- 中国科学院大学人工智能学院
Card 02
论文概述
论文概述
- 论文提出 Tri-System VLA 框架，旨在解决机器人长周期操作任务中高层语义推理与底层反应控制之间的平衡问题。
- 核心引入 Critic in the Loop 机制，通过动态调度 VLM 与 VLA 专家，实现高效、鲁棒的自主执行与异常恢复。
- 该框架显著提升了系统在分布外场景下的泛化能力与任务成功率，无需依赖大量紧急情况数据。
Card 03
核心贡献
核心贡献
- 提出 自适应认知切换 机制，通过Critic引导的异步调度，动态调用高层推理，大幅提升计算效率与物理响应速度。
- 实现 主动异常检测与恢复，将人类启发的规则与数据驱动策略相结合，直观打破无限重试循环，增强系统鲁棒性与自主性。
- 开发 可扩展的子任务标注管道，自动化分割演示并提取语义标签，消除人工标注瓶颈，支持从多样化数据集中进行稳健训练。
Card 04
方法描述
方法描述
- 提出 三系统架构：System One (Cerebellum) 基于 Flow Matching 的 VLA 专家负责高频反应式执行；System Two (Brain) 基于 VLM 的高层规划器负责生成语义子目标；System Three (Critic) 轻量级视觉-语言模型负责持续监控执行进度与异常检测。
- 创新点在于 事件驱动的异步调度，Critic 持续评估状态，仅在子任务完成、检测到异常或停滞时唤醒 System Two，避免同步耦合导致的延迟与僵化。
- 通过将异常标记与进度值统一到文本输出空间，实现端到端的 Critic 训练，简化了模型架构并有效处理长尾故障案例。
Card 05
数据集与资源
数据集与资源
- 使用 Cobot Magic ALOHA 双臂机器人平台进行真实世界评估。
- 为每个任务收集 200条遥操作轨迹 用于策略训练，额外收集 100条 用于特定场景（如杯子倒地恢复）。
- Critic 模型采用 Florence-2-base (约 0.2B 参数)，在冻结视觉塔后微调语言与投影层，学习率 1e-6，批大小 64。
Card 06
评估与结果
评估与结果
- 在两个复杂长周期任务上进行评估：“整理餐具” (四种场景：有序、散乱、左杯、倒地) 和 “整理桌面” (涉及可变形物体)。
- 主要评估指标为任务成功率（10次试验中的成功次数）。
- 实验结果表明，Tri-System π₀.₅ 在所有场景中均显著优于 单系统 和 双系统 基线，尤其在 OOD 场景（如左杯、倒地）中优势明显，成功率达到 70-70%，而基线方法成功率接近 0%。