ConsisVLA-4D: Advancing Spatiotemporal Consistency in Efficient 3D-Perception and 4D-Reasoning for Robotic Manipulation

• 哈尔滨工业大学（深圳） - Wei Li, Jizhihui Liu, Li Yixing, Rui Shao, Liqiang Nie
• 中兴通讯股份有限公司移动网络与移动多媒体技术国家重点实验室 - Junwen Tong
• 深圳循环区域研究所 - Rui Shao

• 提出了 ConsisVLA-4D，一个统一的高效框架，旨在增强 3D 感知和 4D 推理中的时空一致性，解决现有 VLA 模型在时空感知和推理方面的局限性
• 解决了两个核心挑战：1）从 2D 观测高效生成 3D 表示而不产生过多计算开销；2）通过 4D 视觉推理增强时空一致性以优化动作预测
• 框架仅使用约 1/8 的原始视觉输入即可实现强大的机器人操作性能

• 提出了 ConsisVLA-4D，一个在 3D 感知和 4D 推理中推进时空一致性的高效创新框架
• 设计了 CV-Aligner 和 CO-Fuser，分别确保跨视图对象语义一致性和跨对象空间几何一致性，提升模型对复杂 3D 场景的理解
• 开发了 CS-Thinker 和时空一致性注意力机制（SC-Attn），增强 4D 时空推理，确保模型在动态环境中生成一致且可靠的动作
• 在 LIBERO 基准和真实机器人平台上实现了 21.6% 和 41.5% 的性能提升，以及 2.3× 和 2.4× 的推理加速

• CV-Aligner：通过显式语义对象选择（Explicit Semantic Object Selection）过滤冗余视觉表示，仅保留与指令相关的对象，然后使用单融合（Single-Fusion）跨视图对齐对象身份，生成高效的空间表示
• CO-Fuser：通过组融合（Group-Fusion）处理多视图以解决单视图对象位置的几何模糊，使用隐式几何关系聚合（Implicit Geometric Relation Aggregation）细化对象间的空间关系
• CS-Thinker：学习两套隐式知识——使用 CV-Aligner 的语义 token 预测未来固定视图中的动态对象，使用 CO-Fuser 的几何 latent token 推断跨所有视图的全局深度，在推理时这些知识占观察-指令序列的不到 10%

• 数据集：LIBERO（模拟基准）、RoboTwin 2.0（模拟基准）、真实机器人平台
• 模型组件：使用 SigLIP（语义编码）、DINOv2（几何编码）、VGGT（3D 空间感知编码）作为视觉编码器
• 训练配置：支持单臂任务和双臂任务的训练

• 模拟基准（LIBERO）：在 Spatial、Object、Goal、Long 四个测试套件上均取得领先性能

- OpenVLA-OFT：97.1% 平均成功率

- π₀：94.2% 平均成功率

- ConsisVLA-4D：显著优于所有基线方法

• 真实世界平台：在真实机器人操作任务中验证了方法的有效性
• 计算效率：推理速度比 OpenVLA 快 2.3×（模拟）和 2.4×（真实世界）
• 视觉输入压缩：仅使用约 1/8-1/12 的原始视觉 token，显著降低了计算开销