DAM-VLA: A Dynamic Action Model-Based Vision-Language-Action Framework for Robot Manipulation

• Samsung R&D Institute China-Beijing (SRCB), China
• Samsung AI Center, DS Division, South Korea
• Hanyang University ERICA, South Korea

• 提出一个名为 DAM-VLA 的视觉-语言-动作框架，用于机器人动态环境下的操作任务。
• 旨在解决现有 VLA 模型在平衡通用任务适应性与精确操作需求方面的困难，特别是针对大范围手臂运动和小范围夹具操作的协调问题。

• 动作路由机制：利用 VLM 推理任务特定的视觉和语言线索，动态选择手臂运动或夹具操作模型。
• 动态动作模型：一个双头扩散模型，融合 VLM 的高层认知和视觉模型的低层特征，用于精确的动作预测。
• 双尺度动作加权机制：一个包含轨迹级和动作块级权重的两尺度机制，协调手臂运动和夹具操作模型的动态监督。
• 广泛评估：在模拟（SIMPLER, FurnitureBench）和真实世界实验中，取得了优于最先进 VLA 方法的成功率。

• 框架主要由三个部分组成：一个视觉-语言模型、一个动作路由模块和一个动态动作模型。
• 使用 DINOv2 和 SigLIP 作为视觉编码器，LLaMA-2 作为语言模型。
• 创新点在于：1）根据机器人夹持器状态变化生成路由权重；2）为手臂运动和夹具操作模型分别提供全局（类令牌）和局部（寄存器令牌）视觉信息；3）通过双尺度加权（不对称高斯分布和指数衰减）在训练中进行针对性监督。

• 使用大规模预训练数据集：Open X-Embodiment Dataset（特别是其子集 Fractal 和 BridgeDataV2）。
• 在特定任务上进行微调（如 FurnitureBench 的 “One-Leg” 装配任务和真实世界抓取-放置任务）。
• 训练使用 8 块 NVIDIA H100 GPU，批处理大小为 256。

• 评估环境：SIMPLER 仿真（Google 和 WidowX 机器人），FurnitureBench 仿真，以及真实世界的拾取放置任务。
• 评估指标：任务成功率。
• 关键结果：

- 在 SIMPLER (Google机器人, VM 设置) 上获得 83% 的平均成功率，在 WidowX (VM设置) 上获得 71% 的平均成功率。

- 在 FurnitureBench “One-Leg” 装配任务中，前三个步骤达到 100% 成功率，总体优于 OpenVLA 和 CogACT。

- 在真实世界拾取放置任务中，平均成功率达到 86.8%，优于基线 CogACT (62.9%)。