一眼看懂
封面预览
论文针对现有 Vision-Language-Action (VLA) 模型通常在固定的世界坐标系下直接预测动作命令，忽视了操作任务中固有的局…
- 论文针对现有 Vision-Language-Action (VLA) 模型通常在固定的世界坐标系下直接预测动作命令，忽视了操作任务中固有的局…
- 提出了 MCF-Proto 方法，该方法结合了 Motion-Centric Action Frame (MCF) 和基于原型的动作参数化，在…
- 研究表明，该方法能够在无需显式方向监督的情况下诱导出稳定的几何结构，使学习到的坐标系轴与末端执行器运动高度兼容，从而提高模型的鲁棒性和泛化能力。
Card 01
研究单位
研究单位
- Xi’an Jiaotong University
- One Robotics
- Shenzhen University of Advanced Technology
Card 02
论文概述
论文概述
- 论文针对现有 Vision-Language-Action (VLA) 模型通常在固定的世界坐标系下直接预测动作命令，忽视了操作任务中固有的局部几何结构这一问题，提出了一种轻量级的动作头部重设计。
- 提出了 MCF-Proto 方法，该方法结合了 Motion-Centric Action Frame (MCF) 和基于原型的动作参数化，在局部坐标系中通过共享原型组合生成动作，再映射回世界坐标系进行端到端训练。
- 研究表明，该方法能够在无需显式方向监督的情况下诱导出稳定的几何结构，使学习到的坐标系轴与末端执行器运动高度兼容，从而提高模型的鲁棒性和泛化能力。
Card 03
核心贡献
核心贡献
- 引入了 MCF-Proto，一种轻量级的 VLA 动作头部，结合了运动中心动作帧和共享动作原型字典，仅需要标准的动作监督信号。
- 展示了该设计能诱导稳定的涌现结构：学习到的局部坐标系轴与演示运动紧密兼容，且动作表示变得更加紧凑，更适合基于原型的组合。
- 证明了这些结构特性改善了任务性能和鲁棒性，特别是在 LIBERO-plus 基准测试中的几何扰动（如相机移动、机器人初始姿态变化）下表现出显著的性能提升。
Card 04
方法描述
方法描述
- MCF-Proto 首先利用轻量级 MLP 从策略特征中预测一个旋转 $R_t \in SO(3)$，定义当前的局部 Motion-Centric Action Frame (MCF)。
- 在局部帧内，动作（平移和旋转）通过一组共享的可学习原型字典进行软组合生成，原型组合由门控分布加权。
- 生成的局部动作通过预测的旋转矩阵映射回世界坐标系，使用标准的模仿学习损失（L1 和 Smooth L1）进行监督。
- 引入了正交性损失和时序平滑性损失，分别用于保持原型字典的非冗余性和鼓励局部帧随时间平滑演变。
Card 05
数据集与资源
数据集与资源
- LIBERO 基准测试集，包含 Spatial, Object, Goal, Long 四个任务套件。
- LIBERO-plus 基准测试集，包含 Camera, Robot, Language, Light, Background, Noise, Layout 七种扰动类型。
- 真实世界实验平台 OpenArm，包含试管放置、双手转移和碗堆叠三个长视野任务。
- 训练使用标准演示数据，无需辅助标签（如物体位姿或接触状态）。
Card 06
评估与结果
评估与结果
- 在 LIBERO 基准上，MCF-Proto 达到了平均 97.7% 的成功率，优于所有基线（如 OpenVLA-OFT, $\pi_0$ 等），特别是在 Long 任务上表现优异。
- 在 LIBERO-plus 鲁棒性测试中，该方法在 Camera (69.7%), Robot (66.0%), Light (98.3%) 等六种扰动类别中取得了最佳表现，显著优于现有 VLA 模型。
- 定量分析显示，局部帧内的动作分布方差更低、有效秩更低（从 4.03 降至 1.94），表明动作表示更加紧凑和结构化。
- 真实世界实验表明，该方法在长视野任务中具有更强的可靠性，成功率显著高于 $\pi_0$ 和 $\pi_{0.5}$ 基线。