一眼看懂
封面预览
论文提出了 Wall-OSS-0.5，一个基于 Qwen2.5-VL-3B-Instruct 扩展的 4B 参数开源视觉-语言-动作（VLA）模型，旨在验证预训练本身能否产生可直接在物理机器人上执行的行为。
- 论文提出了 Wall-OSS-0.5，一个基于 Qwen2.5-VL-3B-Instruct 扩展的 4B 参数开源视觉-语言-动作（VLA）模型，旨在验证预训练本身能否产生可直接在物理机器人上执行的行为。
- 核心目标是回答“VLA 预训练是否直接产生可执行的策略”这一基础问题，提出并验证了“面向部署的 VLA 预训练”范式，即预训练模型无需特定任务微调即可展示有用的操作技能。
- 结果表明，预训练模型在 Zero-Shot 测试中完成了多项任务（如 Block Sorting 达到 100% 进度），微调后平均任务进度达到 60.5%，显著优于现有基线。
Card 01
研究单位
研究单位
- X-Square Robot（依据文中提供的 GitHub 和项目页面链接推断：https://github.com/X-Square-Robot/wall-x）
Card 02
论文概述
论文概述
- 论文提出了 Wall-OSS-0.5，一个基于 Qwen2.5-VL-3B-Instruct 扩展的 4B 参数开源视觉-语言-动作（VLA）模型，旨在验证预训练本身能否产生可直接在物理机器人上执行的行为。
- 核心目标是回答“VLA 预训练是否直接产生可执行的策略”这一基础问题，提出并验证了“面向部署的 VLA 预训练”范式，即预训练模型无需特定任务微调即可展示有用的操作技能。
- 结果表明，预训练模型在 Zero-Shot 测试中完成了多项任务（如 Block Sorting 达到 100% 进度），微调后平均任务进度达到 60.5%，显著优于现有基线。
Card 03
核心贡献
核心贡献
- 发布了首个可直接在真实机器人上进行 Zero-Shot 评估的开源 4B VLA 模型 Wall-OSS-0.5，具备 15 Hz 的实时推理能力。
- 提出了 梯度桥接协同训练 配方，有效结合离散动作预测、多模态预测和连续流匹配，解决了 VLM Backbone 在动作训练中的更新难题。
- 设计了包含 Mixture-of-Transformers (MoT) 路由架构、视觉对齐 RVQ 动作分词器 和 动作空间监督 的集成训练框架。
- 提供了多轴评估证据，证明预训练不仅提供下游微调的初始化，其本身已是具备实用价值的机器人能力来源。
Card 04
方法描述
方法描述
- 架构：采用 Mixture-of-Transformers (MoT) Backbone，将原有的 VLM 作为 VL Expert 处理视觉和语言，新增 Action Expert 处理连续动作，两者通过共享注意力实现端到端梯度流。
- Tokenizer：提出 视觉对齐 RVQ 动作分词器，通过视觉-动作对齐和下一帧预测等目标，将动作序列转化为具有语义信息的离散 Tokens，替代了传统的 FAST 分词器。
- 训练策略：实施 梯度桥接协同训练，利用动作 Token 交叉熵作为强梯度信号更新 Backbone，多模态数据保持 VLM 能力，流匹配生成推理时的连续动作。
- 优化细节：引入 动作空间监督 直接在原始动作空间计算损失以加速收敛；采用 Muon 优化器处理不同 Expert 的梯度尺度差异，并实现了分布式版本 DMuon。
Card 05
数据集与资源
数据集与资源
- 机器人数据：整合了自采集数据（涵盖双臂桌面系统和移动机械臂）与开源数据集（RoboMIND, AgiBotWorld, DROID, Bridge v2, RT-1 等），每 Epoch 处理超 100 万 条轨迹。
- 多模态数据：使用了约 9000 万 样本，包含通用视觉语言数据、具身感知数据以及从动作轨迹自动构建的 具身桥梁数据。
- 模型规模：总参数量 4B（3B Backbone + 新增 Action Expert）。
- 计算资源：优化后的推理栈在 RTX 5090 GPU 上实现 4 倍加速，支持高分辨率输入下的实时控制。
Card 06
评估与结果
评估与结果
- Zero-Shot 评估：在 17 个真实机器人任务上，预训练模型在无微调情况下完成了多项任务，如 Block Sorting (100%)、Fruit Sorting (96%) 及未见任务 Rope Tightening (82%)。
- 微调对比：在 15 个真实机器人任务上，Wall-OSS-0.5 平均任务进度达 60.5%，超越 VLA 基线模型 $\pi_{0.5}$ 17.5%，并在操作子集上领先 26%。
- 多模态评估：证明了动作训练增强了具身理解能力（提升 21.8%），同时未削弱通用的视觉-语言问答能力。
- 扩展性：多任务微调实验表明，随着任务集扩展（从 5 到 19 个），共享任务性能显著提升，证明了预训练模型具备强大的泛化和能力覆盖。