一眼看懂
封面预览
本文提出 AnoleVLA，一个用于移动操作的轻量级 视觉-语言-动作模型。
- 本文提出 AnoleVLA，一个用于移动操作的轻量级 视觉-语言-动作模型。
- 论文旨在解决现有 VLAs 在资源受限环境下部署时，因基于 Transformer 骨干网络带来的高推理延迟和内存消耗问题。
- 模型利用 深度状态空间模型 作为骨干，实现高效的多模态序列处理与轨迹生成。
Card 01
研究单位
研究单位
- Keio University (庆应义塾大学)
Card 02
论文概述
论文概述
- 本文提出 AnoleVLA，一个用于移动操作的轻量级 视觉-语言-动作模型。
- 论文旨在解决现有 VLAs 在资源受限环境下部署时，因基于 Transformer 骨干网络带来的高推理延迟和内存消耗问题。
- 模型利用 深度状态空间模型 作为骨干，实现高效的多模态序列处理与轨迹生成。
Card 03
核心贡献
核心贡献
- 提出一个轻量级、高速的 VLA 模型，可在资源受限环境中高效运行，降低了长上下文多模态输入的推理延迟与显存使用。
- 引入 Mamba 作为骨干架构，利用其线性时间复杂度的序列处理能力进行 VLA 建模。
- 设计了一种两阶段训练策略，第一阶段使用速度损失，第二阶段引入加速度损失以细化策略，提升执行平滑度。
- 在仿真与真实物理实验中验证了模型的有效性，在真实世界评估中，任务成功率比代表性大规模 VLA 高 21个百分点，且推理速度提升约 3倍。
Card 04
方法描述
方法描述
- 模型架构由输入嵌入模块、Mamba 骨干网络和动作头三部分组成。
- 输入嵌入模块将机器人状态、状态增量、视觉图像和语言指令编码为多模态 token 序列。其中视觉编码使用 SigLIP 2。
- Mamba 骨干网络处理多模态 token 序列，通过其选择性的深度 SSM 层进行因果序列建模，计算复杂度为线性。
- 动作头直接从骨干网络最后的隐藏状态生成连续的动作轨迹块，无需离散化。
- 创新点在于使用 Mamba 替代 Transformer 骨干以规避二次方复杂度，并采用两阶段损失（速度损失 + 加速度损失）来训练生成平滑轨迹。
Card 05
数据集与资源
数据集与资源
- 仿真实验使用 Meta-World 基准数据集，包含 2,500个 操作回合。
- 真实世界实验使用 Human Support Robot (HSR) 平台，自采集了 250个 回合（5个任务，每任务50回合）。
- 模型参数量约为 467M，计算量约为 91 GFLOPs。
- 训练使用 NVIDIA GeForce RTX 4090 GPU (24GB)，训练时长约 20小时，推理速度为 216 ms/chunk。
Card 06
评估与结果
评估与结果
- 评估环境包括 Meta-World 仿真基准和真实世界的移动操作任务。
- 主要评估指标为 任务成功率 和 推理速度。
- 在 Meta-World 基准上，AnoleVLA 平均成功率达到 67.85%，显著优于同等参数规模的基线模型 SmolVLA (57.33%)、TinyVLA (31.58%) 和 VLA-Adapter (0.94%)。
- 在真实世界实验中，AnoleVLA 平均成功率为 63%，优于所有小规模 VLA 基线，且比大规模 VLA 基线 π₀.₅ 高 21个百分点，同时推理速度（216 ms/chunk）比 π₀.₅（578 ms/chunk）快约 3倍。
- 消融实验证明，引入加速度损失的第二阶段训练使成功率提升了 4.73个百分点。