一眼看懂
封面预览
论文旨在解决机器人策略学习中因收集昂贵演示数据而产生的瓶颈问题，提出利用廉价的语言密度作为杠杆，从现有固定数据集中提取更多信号。
- 论文旨在解决机器人策略学习中因收集昂贵演示数据而产生的瓶颈问题，提出利用廉价的语言密度作为杠杆，从现有固定数据集中提取更多信号。
- 现有的简短任务描述往往遗漏了像素中隐含的空间关系、物体交互和子目标结构，论文通过重新标注数据来弥补这一信息缺失。
- 提出了 DeMiAn 方法，包含自动 VLM 标注管线和推理时的指导器，能够根据具体任务动态选择最佳的语言标注类型以提升策略性能。
Card 01
研究单位
研究单位
- University of California, San Diego
- NVIDIA
Card 02
论文概述
论文概述
- 论文旨在解决机器人策略学习中因收集昂贵演示数据而产生的瓶颈问题，提出利用廉价的语言密度作为杠杆，从现有固定数据集中提取更多信号。
- 现有的简短任务描述往往遗漏了像素中隐含的空间关系、物体交互和子目标结构，论文通过重新标注数据来弥补这一信息缺失。
- 提出了 DeMiAn 方法，包含自动 VLM 标注管线和推理时的指导器，能够根据具体任务动态选择最佳的语言标注类型以提升策略性能。
Card 03
核心贡献
核心贡献
- 提出了一个自动 VLM 重新标注管线，能够从现有演示视频中提取四个互补维度的结构信息：物理运动、场景构成、机械臂姿态 和 推理。
- 开发了一个小型学习型 指导器，通过监督微调训练，能够根据任务描述和初始场景快照为每个任务动态选择适宜的标注类型，并以异步方式运行以隐藏延迟。
- 实证表明，该方法无需收集新演示即可将 RoboCasa 成功率提升 5 个百分点，接近 Oracle 水平，并能有效泛化至复合任务和分布外（OOD）场景。
- 证明了密集重标注是一种计算高效的扩展手段，在达到相同性能时仅需约 62% 的计算量，改善了计算-性能前沿。
Card 04
方法描述
方法描述
- DeMiAn (Dense Multi-Aspect Annotation)：包含两个阶段，一是训练时的多维度标注管线，二是推理时的指导器。
- 标注管线：使用 Qwen3-VL-30B-A3B-Instruct 模型对视频片段进行四种互补标注，覆盖时序动作、空间布局、具身状态和因果推理，输出 JSON 格式描述。
- 指导器设计：基于 Qwen3.5-2B 模型，通过奖励加权目标采样进行监督微调，学习根据初始观测生成任务适宜的标注。
- 异步注入机制：指导器在策略执行过程中异步生成指令，并在下一个动作块边界插入，从而隐藏约 1.87 秒的生成延迟，不阻塞实时控制。
- 策略架构应用：应用于 DeMiAn VLA（基于 OpenPi 0.5）和 DeMiAn WAM（基于 Cosmos-Predict 2.5 DiT）两种主流架构。
Card 05
数据集与资源
数据集与资源
- RoboCasa 365：包含 11K 机器人操作视频片段。
- MolmoBot：包含 1M 规模的机器人数据集。
- EgoVerse：包含 50K 人类第一人称视角视频片段。
- 标注模型：Qwen3-VL-30B-A3B-Instruct (30B 参数)。
- 指导器模型：Qwen3.5-2B (2B 参数)。
Card 06
评估与结果
评估与结果
- 评估基准：RoboCasa365 (17 个原子任务) 和 MolmoSpaces bench-v2 (包含 Pick, P+P, NextTo, Color 四个家族)。
- 评估指标：成功率。
- 主要结果：
- 在 RoboCasa365 上，DeMiAn VLA 结合指导器平均成功率达到 49%，相比无标注基线 (44%) 提升 5 个百分点，距离 Oracle 性能 (52%) 仅差 3 个百分点。
- 在 MolmoSpaces 上，DeMiAn WAM 结合指导器在 NextTo 和 Color 任务上展现出优于基线的泛化能力。
- 异步指导器部署将生成延迟隐藏在约 22 个动作步之后，成功率与同步模式几乎持平 (49.0% vs 49.5%)。
- 计算效率实验显示，在 MolmoBot 1M 规模数据上，匹配基线性能仅需约 62% 的计算量。