UniLACT: Depth-Aware RGB Latent Action Learning for Vision-Language-Action Models

• 美国北卡罗来纳大学夏洛特分校 计算机科学系

• 提出 UniLACT 模型，首次将深度信息融入到视觉-语言-动作模型的无监督潜在动作表示预训练中，以增强机器人的三维空间理解和操作精度。
• 旨在解决现有基于RGB的潜在动作表示缺乏显式三维几何结构，导致在接触丰富的精确操作任务（如抓取、放置）中性能受限的问题。
• 引入 UniLARN 框架，联合学习RGB和深度模态下特定于模态的以及统一的潜在动作表示，为下游策略学习提供更强的空间先验。

• 提出 UniLARN 统一潜在动作学习框架，基于逆动力学和正动力学目标，在共享嵌入空间中学习RGB和深度模态的表示，并显式建模其跨模态交互。
• 提出 UniLACT 模型，一个基于Transformer的视觉-语言-动作模型，通过跨模态潜在动作预训练，整合了语义和几何信息。
• 在模拟和真实世界实验中，验证了深度感知的统一潜在动作表示的有效性。UniLACT 在域内和域外预训练、以及已见和未见任务上，均显著优于仅基于RGB的基线模型。

• UniLARN：使用两阶段向量量化流程，通过逆动力学模型和正动力学模型，从RGB-D视频帧对中学习模态特定及统一的离散潜在动作表示。设计了一个共享的嵌入空间和跨模态融合机制。
• UniLACT：采用三阶段训练：（1）用UniLARN生成伪动作标签；（2）对UniLACT进行潜在动作预训练，使其能够基于视觉观察和任务指令预测统一的潜在动作；（3）使用有限的机器人演示数据进行动作微调，将预测的潜在动作映射为可执行的7-DoF末端执行器增量控制指令。深度仅在训练时使用，推理时只需RGB图像。

• 主要模拟数据集：CALVIN 基准测试数据集（约18K条轨迹，含RGB-D观测和自然语言注释）。
• 预训练数据：Open X-Embodiment 数据集子集。
• 真实世界数据：在xArm7机械臂上收集的演示数据（每任务30条），使用Intel RealSense D435i RGB-D相机。
• 模型：UniLACT 基于GPT-2因果Transformer主干，视觉编码器使用ViT-L，语言编码器使用T5。
• 训练资源：在4块 NVIDIA H200 GPU上进行实验。

• 评估基准：CALVIN ABC→D 基准测试（模拟）；真实世界4个桌面操作任务。
• 主要指标：任务序列平均完成长度、单任务成功率。
• 关键结果：

- 在CALVIN ABC→D 模拟实验中，UniLACT（平均长度2.86）优于核心RGB基线Moto（2.60）。使用OXE进行域外预训练时，UniLACT 以 +29.2% 的相对优势超越Moto。

- 在真实世界实验中，UniLACT 在4个任务上的平均成功率（62.5%）比Moto（52.5%）高出10%，尤其在几何感知任务上表现更稳定。

- 计算效率与基线相当，推理时仅使用RGB，保持相同的模型参数量（89.8M）和每步延迟（27ms）。