一眼看懂
封面预览
论文提出一个针对 视觉-语言-动作模型 的自适应推理框架，根据感知状态的复杂度动态路由执行策略。
- 论文提出一个针对 视觉-语言-动作模型 的自适应推理框架，根据感知状态的复杂度动态路由执行策略。
- 解决现有VLA模型推理成本高、资源分配效率低、且无法识别分布外任务导致灾难性失败的问题。
- 系统能立即执行已知任务、对模糊场景进行额外推理、并在遇到异常时提前中止执行。
Card 01
研究单位
研究单位
- 作者均来自 米兰理工大学 电子、信息与生物工程系，位于意大利米兰。
Card 02
论文概述
论文概述
- 论文提出一个针对 视觉-语言-动作模型 的自适应推理框架，根据感知状态的复杂度动态路由执行策略。
- 解决现有VLA模型推理成本高、资源分配效率低、且无法识别分布外任务导致灾难性失败的问题。
- 系统能立即执行已知任务、对模糊场景进行额外推理、并在遇到异常时提前中止执行。
Card 03
核心贡献
核心贡献
- 提出一个新颖框架，利用从VLA的 VLM主干 中提取的嵌入来推断任务复杂度。
- 设计一个自适应系统，在提升泛化能力、实时响应和有意安全性之间取得平衡。
- 通过详细分析证明，视觉表征 在物理安全评估方面优于融合表征。
- 在仿真基准和真实机器人上进行了广泛评估，证明仅需少量训练数据即可实现稳健性能。
Card 04
方法描述
方法描述
- 基于 SmolVLA 架构，从其VLM主干中提取视觉、文本和融合特征。
- 对特征使用 PCA 进行降维，并利用参数化 高斯混合模型 和非参数化 k近邻 的集成进行分布拟合与OOD评分。
- 提出一个轻量级 MLP 将评分向量映射为离散的执行策略（Act, Think, Abstain）。
- 创新点在于将VLA的VLM骨干从被动特征提取器转变为主动的复杂度检测器，且发现视觉嵌入单独用于推断任务复杂度最可靠。
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 和 LIBERO-PRO 仿真基准，以及 SO-ARM 101 真实机器人进行评估。
- 模型参数量未明确说明，使用轻量级MLP（两个隐藏层，大小分别为64和32）。
- 训练数据被划分为50%用于检测器拟合，25%用于MLP训练，25%用于验证。
Card 06
评估与结果
评估与结果
- 评估环境为 LIBERO 和 LIBERO-PRO 基准测试，并在 NVIDIA RTX Quadro 6000 GPU上测量推理时间。
- 主要评估指标为 F1分数、成功率、推理时间和防止的失败数。
- 视觉-Only的GMM配置 在识别部分OOD任务时达到 80% F1分数，且仅需 5%的训练数据。
- 在仿真中，框架能近乎完美地识别OOD任务并触发“中止”，将OOD任务的平均执行时间从超过150秒降至几秒。
- 在真实机器人上，框架对所有ID任务成功执行，对所有OOD任务正确触发“中止”，防止了灾难性失败。