一眼看懂
封面预览
论文提出 ELAN4D，一个以具身为中心的4D感知训练框架，通过引入未来机器人关键点轨迹作为预测性时空监督信号来增强 Vision-Language-Action (VLA) 模型。
- 论文提出 ELAN4D，一个以具身为中心的4D感知训练框架，通过引入未来机器人关键点轨迹作为预测性时空监督信号来增强 Vision-Language-Action (VLA) 模型。
- 论文旨在解决现有VLA策略通常以反应式方式直接从当前观察回归动作、缺乏对未来动力学的显式建模的问题，从而限制其在分布外视觉与空间扰动下的泛化与鲁棒性。
- 该方法仅利用来自本体感受状态的正向运动学来推导机器人关键点（如关节、末端执行器）的3D位移轨迹，无需外部跟踪器或重建，即可获得紧凑、度量化的监督信号。
Card 01
研究单位
研究单位
- University of Oxford (Torr Vision Group)
- The Chinese University of Hong Kong, Shenzhen
- Tsinghua University
- Shanghai Jiao Tong University
- University College London
- University of Cambridge
Card 02
论文概述
论文概述
- 论文提出 ELAN4D，一个以具身为中心的4D感知训练框架，通过引入未来机器人关键点轨迹作为预测性时空监督信号来增强 Vision-Language-Action (VLA) 模型。
- 论文旨在解决现有VLA策略通常以反应式方式直接从当前观察回归动作、缺乏对未来动力学的显式建模的问题，从而限制其在分布外视觉与空间扰动下的泛化与鲁棒性。
- 该方法仅利用来自本体感受状态的正向运动学来推导机器人关键点（如关节、末端执行器）的3D位移轨迹，无需外部跟踪器或重建，即可获得紧凑、度量化的监督信号。
Card 03
核心贡献
核心贡献
- 引入 ELAN4D 框架，通过未来机器人关键点轨迹作为辅助监督，训练VLA策略学习4D感知能力。
- 提出一种即插即用的 ControlNet风格辅助分支 和轻量轨迹解码器，用于注入4D监督信号，同时通过梯度隔离机制保持预训练视觉语言主干的完整性，并在推理时丢弃解码器以保持原始策略接口。
- 在多个仿真基准（LIBERO, LIBERO-Plus, RoboTwin2.0）和真实世界操作任务上，证明该方法能持续改进强VLA基线，尤其在分布外扰动场景中取得显著增益。
Card 04
方法描述
方法描述
- 使用机器人本体上的稀疏3D关键点（位于机械臂关节和末端执行器）表示机器人本体，并利用正向运动学从本体感受轨迹中推导其未来位移轨迹，作为低成本、无遮挡的4D监督信号。
- 设计一个 ControlNet风格的残差控制分支，附加于动作专家模块上。该分支通过零初始化的投影层与主动作特征融合，并使用 Stop-gradient 操作防止辅助损失干扰预训练的视觉语言主干。
- 引入一个轻量级、点条件的 轨迹解码器，以当前关键点位置和控制分支特征为输入，预测未来各关键点的3D位移，并通过 L1 损失进行监督。
Card 05
数据集与资源
数据集与资源
- 主要使用 LIBERO (约2K演示) 和 LIBERO-Plus (用于鲁棒性评估) 仿真基准，以及 RoboTwin2.0 (双臂操作，100演示每任务) 基准进行评估。
- 进行了真实世界操作实验，包括视觉鲁棒性、空间泛化与时间推理任务，每个任务使用50条专家轨迹。
- 模型基于 OpenPI系列 基座模型进行适配。
- 训练使用8块 NVIDIA GH200 GPUs，总批大小64，优化器AdamW（学习率2.5e-5），训练步数30K。
Card 06
评估与结果
评估与结果
- 评估主要在仿真基准和真实世界任务上进行，核心指标为任务 成功率。
- 在 LIBERO 基准上，ELAN4D将基线模型 π_0 和 π_0.5 的成功率进一步提升，并达到与现有4D监督方法（如 Pri4R、GeoPredict）相当或更优的竞争性性能。
- 在 LIBERO-Plus 的分布外扰动测试中，ELAN4D带来了显著增益，例如在机器人初始状态和背景扰动下，成功率分别提升了5.2%和9.0%，整体达到最佳性能。
- 在 RoboTwin2.0 的未知双臂设置上，ELAN4D提升了空间理解相关任务的成功率，如 Dump Bin 从37%提升至49%。
- 在真实世界任务中，ELAN4D将视觉鲁棒性、空间泛化和时间推理任务的成功率分别从50%、15%、5%提升至80%、65%、45%。