一眼看懂
封面预览
提出一种世界模型增强的动作生成策略，旨在解决现有视觉-语言-动作模型和世界模型增强策略未能充分建模动作相关时空交互结构的问题。
- 提出一种世界模型增强的动作生成策略，旨在解决现有视觉-语言-动作模型和世界模型增强策略未能充分建模动作相关时空交互结构的问题。
- 通过联合对齐未来时空预测与动作生成，实现以动作为中心的时空前瞻推理，提升机器人操作任务中的时空推理与几何建模能力。
- 在仿真与真实世界实验中验证了所提方法的有效性，显著提升了任务成功率。
Card 01
研究单位
研究单位
- 北京理工大学
- 中关村学院
- 中关村人工智能研究院
- 中国科学技术大学
- 哈尔滨工业大学
- 华东师范大学
Card 02
论文概述
论文概述
- 提出一种世界模型增强的动作生成策略，旨在解决现有视觉-语言-动作模型和世界模型增强策略未能充分建模动作相关时空交互结构的问题。
- 通过联合对齐未来时空预测与动作生成，实现以动作为中心的时空前瞻推理，提升机器人操作任务中的时空推理与几何建模能力。
- 在仿真与真实世界实验中验证了所提方法的有效性，显著提升了任务成功率。
Card 03
核心贡献
核心贡献
- 提出 STARRY（时空动作中心表示与推理策略），一个世界模型增强的动作生成策略，联合建模未来时空动态与动作序列。
- 引入 GASAM（几何感知选择性注意力调制），将预测的深度和末端执行器几何转换为Token对齐权重，选择性调制动作注意力分支以强调决策关键区域。
- 通过仿真与真实世界实验验证方法有效性，在 RoboTwin 2.0 达到 93.82% / 93.30% 平均成功率，真实世界实验中平均成功率从 42.5% 提升至 70.8%。
Card 04
方法描述
方法描述
- 模型由四个模块组成：Understanding Expert（提供语义基础）、ST World Model（预测未来时空潜在变量）、Geometry Expert（预测未来几何状态）和 Action Expert（生成动作序列）。
- 核心创新在于联合降噪未来时空潜在变量和动作序列，并通过 GASAM 将几何专家预测的深度与末端执行器几何转换为注意力权重，仅注入动作注意力分支，实现几何引导的动作生成。
- 采用三阶段训练策略，从大规模视频数据预训练到机器人交互数据联合微调，分层引入语义、时间、几何与动作监督。
Card 05
数据集与资源
数据集与资源
- 使用分层组织的数据集：L1-L2使用大规模网络与自我中心视频（如 Ego4D、Ego-Dex）；L3-L4引入几何丰富数据（如 EmbodiedMAE）；L5-L6纳入真实机器人数据集（如 DROID、BridgeData V2）。
- ST World Model 初始化自 Wan，Understanding Expert 初始化自 Qwen-VL，Geometry Expert 与 Action Expert 采用专用Transformer架构。
- 训练资源详情见附录，但HTML原文未提供具体GPU/TPU信息。
Card 06
评估与结果
评估与结果
- 在仿真环境 RoboTwin 2.0（50个双臂操作任务）中进行评估，对比基准包括 π₀.₅、X-VLA、Motus、LingBot-VA 等。
- 主要评估指标为任务成功率（Success Rate），STARRY在Clean与Randomized设置下分别达到 93.82% 与 93.30% 的平均成功率。
- 真实世界实验（任务：递交蔬菜、整理房间、清洗婴儿奶瓶）中，STARRY平均成功率达 70.8%，显著超越基线方法 π₀.₅（42.5%）。消融研究验证了时空预测与GASAM模块的独立贡献。