DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control

• Mondo Robotics
• HKUST(GZ)
• HKUST

• 论文提出 DiT4DiT，一个端到端的视频-动作模型，旨在解决现有视觉-语言-动作模型过度依赖静态图像文本预训练、缺乏对物理动力学建模的问题。
• 核心研究目标是将视频生成模型作为机器人策略学习的基础，通过联合建模视频动态和动作预测，实现更具泛化性的机器人控制。
• 论文验证了视频生成可以作为有效的代理训练目标，为机器人控制提供了一种更高效、可扩展的学习范式。

• 提出了 Dual-DiT 架构，将视频扩散Transformer与动作扩散Transformer在统一的级联框架中耦合。
• 设计了 双流匹配目标 与非对称三时间步方案，实现了视频与动作生成过程的联合优化。
• 通过大规模实验证明，视频生成作为代理目标，能将样本效率提升超过 10倍，收敛速度提升高达 7倍。
• 在模拟和真实世界基准上取得了最先进的结果，并在真实人形机器人上展示了卓越的零样本泛化能力。

• 模型核心由 Video DiT 和 Action DiT 两个模块组成。Video DiT 使用预训练的 Cosmos-Predict2.5-2B 作为骨干，通过前向钩子机制从视频去噪过程中间层提取特征作为视觉条件。
• Action DiT 基于 GR00T-N1 改编，通过交叉注意力机制融合来自Video DiT的视觉特征和机器人本体状态，预测动作轨迹。
• 创新性地提出了三时间步方案：视频生成时间步 \(\tau_v\) 用于完整轨迹学习，动作时间步 \(\tau_a\) 采用Beta分布采样聚焦关键控制阶段，特征提取时间步 \(\tau_f\) 固定以确保稳定的视觉条件。
• 训练采用联合流匹配损失，同时优化视频预测和动作推断，使策略直接建立在生成式视觉动力学之上。

• 模拟实验数据集：LIBERO 基准（500条轨迹/任务），RoboCasa-GR1 桌面基准（1000条轨迹/任务，共24任务）。
• 真实世界实验数据集：在 Unitree G1 人形机器人上采集的7个家庭操作任务数据（200条轨迹/任务）。
• 模型规模：视频骨干约 20亿 参数，与对比的 Qwen3-2B VLM参数量相当。
• 训练细节：实验使用真实G1任务数据微调，预训练数据量仅为 GR00T-N1.5 官方数据的约 15%。

• 评估基准包括模拟环境（LIBERO 和 RoboCasa-GR1）和真实世界（Unitree G1 机器人）。
• 主要评估指标为任务成功率。
• 关键结果：

- 在 LIBERO 基准上取得 98.6% 的平均成功率，超越 π0.5、CogVLA 等模型。

- 在 RoboCasa-GR1 复杂24任务基准上取得 50.8% 的平均成功率，显著优于 GR00T-N1.5 等方法。

- 在真实世界 Unitree G1 机器人上，仅用有限数据即在“插盘入架”、“堆叠杯子”等高精度任务中表现出色，并展现出强大的零样本泛化能力。