一眼看懂
封面预览
论文提出FrameSkip，一个数据层的帧选择框架，用于视觉-语言-动作（VLA）模型的训练。
- 论文提出FrameSkip，一个数据层的帧选择框架，用于视觉-语言-动作（VLA）模型的训练。
- 该框架旨在解决机器人演示轨迹中存在的时序监督不平衡问题：冗余的低变化帧占主导，而关键的转换帧稀少。
- 核心目标是通过选择更具信息量的训练帧，重新分配监督权重，以提升VLA模型的训练效率和任务成功率。
Card 01
研究单位
研究单位
- 哈尔滨工业大学
- 中关村研究院
- 华中科技大学
- 华东师范大学
- 香港科技大学（广州）
- 北京航空航天大学
- 中关村人工智能研究院
- DeepCybo
Card 02
论文概述
论文概述
- 论文提出FrameSkip，一个数据层的帧选择框架，用于视觉-语言-动作（VLA）模型的训练。
- 该框架旨在解决机器人演示轨迹中存在的时序监督不平衡问题：冗余的低变化帧占主导，而关键的转换帧稀少。
- 核心目标是通过选择更具信息量的训练帧，重新分配监督权重，以提升VLA模型的训练效率和任务成功率。
Card 03
核心贡献
核心贡献
- 首次在VLA训练中提出并实现帧级监督优化，系统性地识别并解决时序监督不平衡问题。
- 引入FrameSkip框架，一个架构无关、数据层干预的解决方案，使用轻量级轨迹线索进行重要性帧选择。
- 在多个机器人仿真基准上提供了全面的实证研究，包括匹配比例的基准对比、保留比例消融、重要性指标消融等。
- 验证了帧选择作为监督分配机制的有效性，而非单纯的数据削减，在保留20%帧的情况下显著提升性能。
Card 04
方法描述
方法描述
- 基于四个轻量级指标计算帧重要性分数：动作变化重要性（AVI）、视觉-动作一致性（VAC）、任务进度重要性（TPI）及夹爪转换保留。
- 根据目标保留比例，通过基于分数的阈值剪枝和关键帧强制保留规则，构建压缩的轨迹视图。
- 通过数据加载器索引重映射集成到训练流程，不修改VLA模型架构、损失函数或推理过程。
- 采用混合采样策略：先进行全帧训练预热，然后主要从剪枝后的轨迹采样，并定期插入全帧锚点批次以保持全局上下文。
Card 05
数据集与资源
数据集与资源
- 使用三个仿真基准进行评估：RoboCasa-GR1、SimplerEnv、LIBERO。
- 模型基于StarVLA框架，视觉理解部分初始化自Qwen3-4B-VL-Instruct，动作预测部分使用Diffusion Transformer (DiT)。
- 所有实验在8块NVIDIA H100 GPU上进行，采用DeepSpeed ZeRO-2分布式训练。
Card 06
评估与结果
评估与结果
- 评估环境为三个机器人仿真基准，涵盖桌面操作、单臂及双臂灵巧操作等多种场景。
- 主要评估指标为任务成功率。
- 在主要设置（保留20%帧）下，FrameSkip将三个基准的宏观平均成功率从全帧训练的66.50%提升至76.15%。
- 在各基准上均超越全帧训练及多个代表性VLA系统（如OpenVLA, π0, GR00T N1等），证明了其有效性。