一眼看懂
封面预览
论文提出 BehaviorVLA 模型，旨在解决现有视觉-语言-动作（VLA）模型在分布偏移（如仿真到真实迁移）下性能显著下降的问题。
- 论文提出 BehaviorVLA 模型，旨在解决现有视觉-语言-动作（VLA）模型在分布偏移（如仿真到真实迁移）下性能显著下降的问题。
- 核心思路是学习时序连贯的行为表示，而非在高维空间中直接映射，以捕获可迁移的行为模式。
- 论文解决了现有方法存在的两个关键局限：短时序碎片化（无法捕获长期依赖）和静态执行对齐（动作生成与实时执行进度脱节）。
Card 01
研究单位
研究单位
- 论文HTML原文中未明确列出作者所属的研究机构。
Card 02
论文概述
论文概述
- 论文提出 BehaviorVLA 模型，旨在解决现有视觉-语言-动作（VLA）模型在分布偏移（如仿真到真实迁移）下性能显著下降的问题。
- 核心思路是学习时序连贯的行为表示，而非在高维空间中直接映射，以捕获可迁移的行为模式。
- 论文解决了现有方法存在的两个关键局限：短时序碎片化（无法捕获长期依赖）和静态执行对齐（动作生成与实时执行进度脱节）。
Card 03
核心贡献
核心贡献
- 提出了 Visuomotor Behavior Encoder (VBE)，一种基于因果Mamba的三流架构，能够将长时序轨迹动态聚合为统一的行为表示。
- 引入了 Phase-conditioned Behavior Decoder (PBD)，采用预测-校正范式，通过相位状态确保结构先验与实时执行进度严格同步。
- 开发了 BehaviorVLA 统一框架，将VBE和PBD与视觉-语言骨干网络集成，实现了卓越的性能与数据效率。
- 在仿真基准测试中取得了领先的成功率，并在真实世界任务中平均成功率提升了63%。
- 展现了出色的数据效率，使用仅50%的真实演示数据即可匹配完全微调的OpenVLA-OFT模型的性能。
Card 04
方法描述
方法描述
- BehaviorVLA 采用分层流形坐标模型，将行为解耦为时间不变的全局原型和时变的相位状态。
- VBE 通过因果三流架构（视觉、动作、行为流）独立建模各流的时间演化，并使用交叉注意力进行空间融合，基于Mamba选择性状态空间模型实现长时序建模。
- PBD 首先将全局原型展开为结构先验，利用相位状态通过进度注意力动态对齐，然后通过几何引导的流匹配政策将其细化为精确动作。
- 训练策略分为两阶段：第一阶段训练VBE进行行为流形学习，使用联合预测重建、全局任务聚类和局部进度独特性损失；第二阶段联合优化流匹配政策和PBD。
Card 05
数据集与资源
数据集与资源
- 使用了 RoboTwin 2.0、LIBERO、CALVIN 等仿真基准数据集进行评估。
- 真实世界实验涉及8个挑战性操作任务。
- 论文HTML原文中未明确提及模型具体参数量及训练所用的GPU/TPU等计算资源。
Card 06
评估与结果
评估与结果
- 评估环境包括多个仿真基准和真实世界机器人平台。
- 主要评估指标为任务成功率（Success Rate, SR）和平均完成长度。
- 关键结果：在 LIBERO 上平均成功率达98.0%；在 CALVIN 上平均完成长度为4.36；在 RoboTwin 2.0 上整体成功率达58%。
- 真实世界实验中，平均成功率比强基线模型提高63%，且在数据效率方面表现突出。