一眼看懂
封面预览
论文提出了 OASIS 模型，旨在解决现有视觉-语言-动作模型（VLA）和世界动作模型（WAM）的中间表示与动作空间几何结构不对齐的问题。
- 论文提出了 OASIS 模型，旨在解决现有视觉-语言-动作模型（VLA）和世界动作模型（WAM）的中间表示与动作空间几何结构不对齐的问题。
- 核心思想是通过 SE(3) 轨迹预测 将中间表示与动作空间对齐，为动作生成提供几何归纳偏置。
- 论文目标是在不依赖大规模机器人数据预训练或空间标注的情况下，提升机器人操作的成功率和泛化能力。
Card 01
研究单位
研究单位
- 西安交通大学人工智能与机器人研究所
- 人机混合增强智能国家重点实验室
Card 02
论文概述
论文概述
- 论文提出了 OASIS 模型，旨在解决现有视觉-语言-动作模型（VLA）和世界动作模型（WAM）的中间表示与动作空间几何结构不对齐的问题。
- 核心思想是通过 SE(3) 轨迹预测 将中间表示与动作空间对齐，为动作生成提供几何归纳偏置。
- 论文目标是在不依赖大规模机器人数据预训练或空间标注的情况下，提升机器人操作的成功率和泛化能力。
Card 03
核心贡献
核心贡献
- 提出了 对齐中间表示的设计原则，将 SE(3) 轨迹预测 作为对齐机制，为视觉运动策略提供几何归纳偏置。
- 构建了 OASIS 模型，由 3D-aware 特征编码器、SE(3) 轨迹预测器 和 动作解码器 组成，可端到端训练。
- 在仿真和真实世界实验中，OASIS 均优于 VLA 和 WAM 基准模型，尤其在 OOD 泛化 上表现突出。
Card 04
方法描述
方法描述
- 模型采用三阶段架构：首先，3D-aware 特征编码器 融合视觉语言特征与度量深度特征，生成 3D 表示。
- 其次，SE(3) 轨迹预测器 预测相机坐标系下的末端执行器轨迹，其隐藏状态经姿态监督，为解码器提供几何信息。
- 最后，动作解码器 基于预测器的隐藏状态和当前机器人状态生成动作块，吸收帧转换、噪声等残差。
- 训练仅依赖专家演示数据，使用轨迹损失和动作损失的联合优化。
Card 05
数据集与资源
数据集与资源
- 仿真实验使用 LIBERO 和 CALVIN ABC→D 基准数据集。
- 真实世界实验在 Franka Research 3 和 Kinova Gen3 平台上进行。
- 模型总参数量 1.73B，其中可训练参数 0.18B。
- 训练使用四个 NVIDIA A800 GPU，批次大小为 64。
Card 06
评估与结果
评估与结果
- 仿真评估在 LIBERO 四个任务套件上平均成功率达 97.6%，在 CALVIN ABC→D 上平均序列长度 4.57。
- 主要指标为 任务成功率 和 连续任务完成数，消融实验验证了 SE(3) 轨迹预测器 的关键作用。
- 真实世界多任务、空间关系和长程任务平均成功率 89.2%，OOD 扰动场景成功率 90.8%，均超越现有方法。