Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution

• 小米机器人 (Xiaomi Robotics)

• 介绍了 Xiaomi-Robotics-0，一个先进的开源视觉-语言-动作（VLA）模型，旨在实现高性能和流畅的实时执行。
• 论文致力于解决VLA模型因参数量大而导致的高推理延迟问题，该问题会阻碍在真实机器人上连续、平滑地执行动作。

• 提出并开源了 Xiaomi-Robotics-0 模型，该模型包含47亿参数，集成了 Qwen3-VL-4B-Instruct VLM和用于流匹配动作生成的扩散变换器。
• 设计了一个两阶段的训练方案：在大规模跨具身机器人轨迹和视觉语言数据上进行预训练，以及对特定机器人进行后训练以适应实时执行。
• 针对后训练中的异步执行，提出了创新技术（如 Λ-shape注意力掩码），以缓解动作前缀条件导致模型反应性降低的问题，确保平滑连续的动作块切换。
• 在多个基准测试和真实机器人任务上实现了最先进的性能，并在消费级GPU上实现了低延迟（80ms）和高吞吐量的实时执行。
• 开源了代码、模型检查点和训练数据，以促进未来研究。

• 模型架构为混合变换器，由处理视觉和语言输入的预训练VLM（Qwen3-VL-4B-Instruct）和基于流匹配生成动作块的扩散变换器组成。
• 预训练包含两步：第一步，通过“Choice Policies”范式同时训练VLM处理视觉语言数据和预测动作；第二步，冻结VLM，从头训练扩散变换器。
• 后训练专注于适应特定机器人。为支持异步执行，引入了训练时RTC，并提出使用Λ-shape注意力掩码并增加位置编码偏移，以强制模型在生成后续动作时更多地关注视觉和语言信号，而非过度依赖动作前缀。
• 部署时，通过仔细对齐连续推理生成的动作块的时间步，确保无缝的实时执行。

• 使用了大规模的跨具身机器人轨迹数据（约2亿时间步），包括开源数据集（如DROID, MolmoAct）和内部收集的数据（乐高拆卸338小时，毛巾折叠400小时）。
• 使用了超过8000万样本的视觉语言数据，涵盖视觉定位、VQA、图像描述和具身推理等任务。
• 模型总参数量为 4.7B。
• 训练使用了 DeepSpeed ZeRO-2 和 AdamW 优化器。
• 推理在单张 NVIDIA GeForce RTX 4090 GPU 上进行。

• 模拟基准测试：在LIBERO、CALVIN 和 SimplerEnv 三个基准上均达到SOTA。

- LIBERO：平均成功率 98.7%。

- CALVIN (ABCD→D)：平均连续完成任务数 4.80；(ABC→D)：4.75。

- SimplerEnv (Google Robot)：视觉匹配成功率 85.5%，变体聚合成功率 74.7%；(WidowX)：成功率 79.2%。

• 真实机器人实验：在乐高拆卸和毛巾折叠两项需要精确双手操作的任务上进行评估。

- 乐高拆卸：模型在成功率上与基线方法相当，但吞吐量最高。

- 毛巾折叠：模型达到最高吞吐量 1.2 条/分钟，优于基线 π0.5 和训练RTC变体。

• 视觉语言能力保留：模型在多个通用VLM基准和具身推理基准（ERQA）上的表现与基础VLM相当甚至略有超越，证明了其在机器人训练中有效保留了视觉语义知识。