一眼看懂
封面预览
论文提出了 RLDX-1，一个面向灵巧操作的通用机器人策略模型，基于视觉-语言-动作模型（VLA）架构
- 论文提出了 RLDX-1，一个面向灵巧操作的通用机器人策略模型，基于视觉-语言-动作模型（VLA）架构
- 核心目标是解决现有 VLA 模型在复杂现实任务中缺乏运动感知、长期记忆和物理感知等功能性能力的问题
- 论文展示了 RLDX-1 在模拟基准和真实机器人任务（包括人形机器人）上显著超越现有前沿模型的能力
Card 01
研究单位
研究单位
- 论文作者主要来自 RLWRLD 和 KAIST（韩国科学技术院）
Card 02
论文概述
论文概述
- 论文提出了 RLDX-1，一个面向灵巧操作的通用机器人策略模型，基于视觉-语言-动作模型（VLA）架构
- 核心目标是解决现有 VLA 模型在复杂现实任务中缺乏运动感知、长期记忆和物理感知等功能性能力的问题
- 论文展示了 RLDX-1 在模拟基准和真实机器人任务（包括人形机器人）上显著超越现有前沿模型的能力
Card 03
核心贡献
核心贡献
- 提出了 Multi-Stream Action Transformer (MSAT) 架构，能够通过模态特定流和跨模态联合自注意力统一处理异构输入
- 设计了合成数据生成管道，结合运动一致性过滤技术，有效扩充稀有灵巧操作场景的训练数据
- 开发了三阶段训练流程（预训练、中期训练、后训练），从大规模预训练逐步过渡到具体任务的部署
- 实现了推理优化管道，通过静态图转换和算子融合将单步推理延迟降至 43.7ms，支持实时控制
- 在多具身机器人平台（单臂、双臂、人形机器人）上展现了卓越的性能表现
Card 04
方法描述
方法描述
- RLDX-1-VLM 基于 Qwen3-VL 8B 预训练模型，通过机器人场景的 VQA 数据进行微调以增强具身推理能力
- 引入 认知 Tokens 作为可学习查询，从 VLM 中提取动作相关表示
- 通过运动模块处理多帧视频，在视觉编码器和 LLM 中集成时空自相似性（STSS）计算以实现运动感知
- 采用显式内存模块维护过去观测特征的队列，支持长期时序推理
- 设计独立的物理流（P-stream）处理触觉和扭矩信号，并在 MSAT 中进行联合去噪预测
- 使用流匹配目标训练扩散 Transformer，生成动作序列块
Card 05
数据集与资源
数据集与资源
- 公共数据集包括 Open-X-Embodiment (870K)、DROID (92K)、Galaxea Open-World (114K)、Agibot World (275K)、Fourier ActionNet (30K)、Humanoid Everyday (9K)
- 内部数据来自 Franka Research 3 平台（配备 AnySkin 触觉传感器）和 ALLEX 人形机器人
- 合成数据约 150K episodes，通过 FLUX.2-dev 进行场景增强，Cosmos-Transfer2.5-2B 进行视频转换
- 预训练总数据量约 1.5M episodes
- 模型规模为 8B 参数的 VLM backbone
Card 06
评估与结果
评估与结果
- 模拟基准包括 LIBERO、SIMPLER、LIBERO-Plus、RoboCasa Kitchen、GR-1 Tabletop、RoboCasa365
- 真实机器人平台包括 OpenArm Humanoid、ALLEX Humanoid、Franka Research 3
- 基线模型为 π₀.₅ 和 GR00T N1.6
- 在 ALLEX Humanoid 任务中达到 86.8% 成功率，显著超越基线的约 40%
- 传送带抓取动态任务成功率达 87.5%，而 π₀.₅ 仅为 29.2%
- Object-in-Box Selection（需长期记忆）任务成功率达 91.7%，基线模型仅约 30%
- 在 OpenArm 未见物体和未见任务测试中，成功率分别达到 54.2%，超越 π₀.₅ 的 37.5% 和 45.8%