一眼看懂
封面预览
论文提出了 PRTS，一个视觉语言动作基础模型，旨在通过目标条件强化学习重塑预训练范式
- 论文提出了 PRTS，一个视觉语言动作基础模型，旨在通过目标条件强化学习重塑预训练范式
- 核心目标是解决现有VLA模型预训练忽视机器人学习的“目标达成”时序本质，缺乏对“目标可达性”定量评估的问题
- 论文通过对比强化学习将语言指令作为目标，学习统一嵌入空间，使状态动作与目标嵌入的内积近似对数折扣目标占用，从而量化物理可行性
Card 01
研究单位
研究单位
- 中国电信人工智能研究院
- 清华大学
- 上海交通大学
- 复旦大学
Card 02
论文概述
论文概述
- 论文提出了 PRTS，一个视觉语言动作基础模型，旨在通过目标条件强化学习重塑预训练范式
- 核心目标是解决现有VLA模型预训练忽视机器人学习的“目标达成”时序本质，缺乏对“目标可达性”定量评估的问题
- 论文通过对比强化学习将语言指令作为目标，学习统一嵌入空间，使状态动作与目标嵌入的内积近似对数折扣目标占用，从而量化物理可行性
Card 03
核心贡献
核心贡献
- 提出了语言条件对比强化学习，将预训练重新表述为目标条件表征学习问题，利用时间加权方案模拟几何采样
- 实现了隐式密集目标可达性监督，从离线轨迹结构中直接提取密集监督，无需人工奖励标注
- 设计了单次前向传播架构，通过角色感知因果掩码和自定义FlashAttention内核，以极低额外开销集成对比学习目标
- 在 LIBERO、LIBERO-Pro、LIBERO-Plus、SimplerEnv 及14个真实世界任务上达到最先进性能，尤其显著提升了长时间、接触丰富及零样本新指令场景的表现
Card 04
方法描述
方法描述
- 采用对比强化学习框架，构建状态动作编码器 $\phi(s,a)$ 和目标编码器 $\psi(l)$，通过双向对比目标学习表征
- 使用时间加权方案 $q_{ij}$ 为同任务内的多个正样本分配权重，模拟几何采样分布
- 架构基于 Qwen3-VL-4B-Instruct backbone，附加
- 采用两阶段训练：预训练阶段联合优化对比损失、行为克隆损失和辅助任务损失；后训练阶段附加并微调基于DiT的流匹配动作专家
Card 05
数据集与资源
数据集与资源
- 预训练数据集包含 404万样本，总计 1678亿token
- 数据集分为动作标注数据（来自 AgiBotWorld、RoboMind、Open X-Embodiment 和自采集数据）和视觉推理数据（包括 RefCOCO、Pixmo-Point 等）
- 模型规模为 4B 参数量
- 训练资源为 64张H100 GPU，持续一周
Card 06
评估与结果
评估与结果
- 评估基准包括 LIBERO、LIBERO-Pro、LIBERO-Plus、SimplerEnv（WidowX）以及包含双臂RealMan和单臂Flexiv平台的14个真实世界任务
- 主要评估指标为任务成功率
- 关键结果：PRTS在仿真和真实环境中均达到最先进性能，在长时间任务、接触丰富任务、零样本新指令泛化及人类干预下的恢复能力方面表现显著优于基线