一眼看懂
封面预览
提出 RotVLA，一种基于连续旋转潜在动作的视觉-语言-动作模型框架，旨在解决现有潜在动作模型依赖离散量化导致的表示能力有限、缺乏物理意义等…
- 提出 RotVLA，一种基于连续旋转潜在动作的视觉-语言-动作模型框架，旨在解决现有潜在动作模型依赖离散量化导致的表示能力有限、缺乏物理意义等…
- 核心思想是将潜在动作建模为 SO(n) 旋转群的元素，以提供连续性、可组合性和与真实动作动力学对齐的结构化几何。
- 通过 triplet 学习框架强化有意义的时间动力学，并在大规模跨具身机器人数据与人类视频上进行预训练，从而实现有效的下游机器人控制。
Card 01
研究单位
研究单位
- 北京大学王选计算机技术研究所
- 小米机器人
- 中国科学院自动化研究所
Card 02
论文概述
论文概述
- 提出 RotVLA，一种基于连续旋转潜在动作的视觉-语言-动作模型框架，旨在解决现有潜在动作模型依赖离散量化导致的表示能力有限、缺乏物理意义等问题。
- 核心思想是将潜在动作建模为 SO(n) 旋转群的元素，以提供连续性、可组合性和与真实动作动力学对齐的结构化几何。
- 通过 triplet 学习框架强化有意义的时间动力学，并在大规模跨具身机器人数据与人类视频上进行预训练，从而实现有效的下游机器人控制。
Card 03
核心贡献
核心贡献
- 提出一种基于 SO(n) 的连续旋转潜在动作表示，捕捉真实世界动作的连续与组合特性，为跨具身数据提供统一动作空间。
- 引入 triplet 学习框架，通过组合潜在动作预测未来帧，强制编码器捕捉帧间动力学，有效防止模型退化为平凡重建解决方案。
- 构建 RotVLA 模型，集成 VLM backbone 与 flow-matching 动作专家，预训练后通过统一动作专家进行微调，将潜在动作作为高层规划器引导机器人动作生成。
- 仅使用 1.7B 参数和 1700+ 小时预训练数据，在仿真基准和真实世界任务上取得优异性能，超越现有 VLA 模型。
Card 04
方法描述
方法描述
- 方法分为三阶段：Stage I 学习连续旋转潜在动作，采用 SoftVQ 保持连续性，并通过 SVD 投影将潜在动作约束于 SO(n) 空间。
- Stage II 预训练 RotVLA，以 InternVL3.5-1B 为 VLM backbone，结合 Diffusion Transformer 动作头，使用 flow-matching 目标预测潜在动作。
- Stage III 微调阶段，将动作头扩展为统一专家，联合去噪潜在动作与机器人动作，通过结构化注意力机制使机器人动作生成受潜在动作（作为规划器）引导。
Card 05
数据集与资源
数据集与资源
- 预训练数据集：Open X-Embodiment、AGIBOT-beta、RoboMIND、RoboCOIN、Ego4D，涵盖单臂、双臂机器人、灵巧手及人类视频，总计 1700+ 小时。
- 模型总参数量：1.7B（包含视觉编码器 304M、语言模型 752M、动作头 305M、潜在动作模型 290M）。
- 训练资源：预训练在 8 NVIDIA H200 GPUs 上进行，耗时约 50 小时。
Card 06
评估与结果
评估与结果
- 仿真基准：在 LIBERO 基准上平均成功率达 98.2%；在 RoboTwin2.0 基准 Clean 与 Randomized 设置下分别达 89.6% 和 88.5%，均超越现有 VLA 模型。
- 真实世界实验：在双臂机器人平台上执行拾取放置、堆叠杯子等任务，成功率超 90%，在域漂移设置下鲁棒性优于 π₀.₅ 基线。
- 推理效率：在 NVIDIA H20 上推理延迟为 79ms/步，具备实时控制能力。
- 分析表明，学习的旋转潜在动作具备跨领域泛化能力，能从人类视频提取并迁移至不同机器人平台，捕获高层运动语义。