一眼看懂
封面预览
提出 AnchorVLA4D，一种基于锚点的时空视觉-语言-动作模型，旨在解决机器人操作任务中空间感知受限和缺乏记忆的问题。
- 提出 AnchorVLA4D，一种基于锚点的时空视觉-语言-动作模型，旨在解决机器人操作任务中空间感知受限和缺乏记忆的问题。
- 针对 VLA 模型在物体被遮挡时容易遗忘目标以及空间定位不准的问题，引入 anchor image（首帧）和轻量级 spatial encod…
- 该方法无需额外的传感器模态（如深度图或点云），在保持低延迟的同时显著提升了操作成功率。
Card 01
研究单位
研究单位
- Peking University (School of Computer Science)
- PrimeBot
Card 02
论文概述
论文概述
- 提出 AnchorVLA4D，一种基于锚点的时空视觉-语言-动作模型，旨在解决机器人操作任务中空间感知受限和缺乏记忆的问题。
- 针对 VLA 模型在物体被遮挡时容易遗忘目标以及空间定位不准的问题，引入 anchor image（首帧）和轻量级 spatial encoder 来增强时空推理能力。
- 该方法无需额外的传感器模态（如深度图或点云），在保持低延迟的同时显著提升了操作成功率。
Card 03
核心贡献
核心贡献
- 提出锚点机制，利用每一段episode的首帧作为视觉锚点，帮助模型保持初始场景上下文，带来 9.4% 的性能提升，且推理延迟仅增加 8%。
- 集成预训练的空间编码器提供几何关系引导，在无监督标签的情况下进一步带来 4.2% 的性能提升。
- 在 Simpler WidowX 仿真基准测试中达到 64.6% 的成功率，在真实世界机器人任务中达到 80% 的平均成功率。
- 揭示了本体感知状态在真实世界环境中可能损害视觉定位能力，而在仿真环境中具有辅助作用。
Card 04
方法描述
方法描述
- 模型架构基于 Qwen2.5-VL (3B) 作为视觉语言主干，ScaleDP (400M) 作为扩散动作头。
- 核心创新是将首帧图像（$I_{anchor}$）与当前帧（$I_i$）同时输入模型，以缓解遮挡带来的记忆遗忘问题。
- 引入轻量级空间编码器（如 Any4D）联合处理锚点帧和当前帧，提取几何特征并与 VLM 的隐藏状态拼接，增强空间理解。
- 采用两阶段训练策略：在 BridgeV2 数据集上进行预训练，并在特定任务子集上进行微调。
Card 05
数据集与资源
数据集与资源
- 训练数据集：BridgeV2。
- 仿真评估环境：SimplerEnv (WidowX)。
- 真实世界平台：xLerobot 双臂移动机器人。
- 模型规模：主干 3B + 动作头 400M（总计约 4.4B 参数）。
- 训练资源：Ascend 910B 节点（8 NPUs，每块 64GB 内存）。
- 推理资源：仿真使用 NVIDIA A800 GPU，真机使用 RTX 4090 Ti GPU。
Card 06
评估与结果
评估与结果
- 仿真实验：在 Simpler WidowX 基准上，AnchorVLA4D 平均成功率为 64.6%，比基线 VanillaVLA (51.0%) 提升了 13.6%。
- 真实世界实验：在 Lift Box、Open Drawer 和 Rotation 三项任务中，平均成功率达到 80%，显著优于基线模型 $\pi_{0.5}$ (50%)。
- 消融实验结果显示，冻结空间编码器的参数比微调效果更好；移除锚点或空间编码器均会导致性能下降。