一眼看懂
封面预览
针对 Vision Language Action (VLA) 模型对大规模自我中心数据的迫切需求，解决了现有数据集持续时间短、硬件门槛高的问…
- 针对 Vision Language Action (VLA) 模型对大规模自我中心数据的迫切需求，解决了现有数据集持续时间短、硬件门槛高的问…
- 提出了 MobileEgo Anywhere 框架，利用商用智能手机（如 iPhone）和 ARKit 框架收集长时段（超过 1 小时）、高保…
- 旨在通过开源移动应用和处理管道，普及数据收集过程，降低机器人策略学习的数据获取门槛。
Card 01
研究单位
研究单位
- 作者：Senthil Palanisamy, Abhishek Anand, Satpal Singh Rathor, Pratyush Patnaik, Shubhanshu Khatana
- 项目网站：fpvlabs.ai（文中未明确列出具体的大学或研究机构归属，主要关联项目网站）
Card 02
论文概述
论文概述
- 针对 Vision Language Action (VLA) 模型对大规模自我中心数据的迫切需求，解决了现有数据集持续时间短、硬件门槛高的问题。
- 提出了 MobileEgo Anywhere 框架，利用商用智能手机（如 iPhone）和 ARKit 框架收集长时段（超过 1 小时）、高保真的自我中心轨迹数据。
- 旨在通过开源移动应用和处理管道，普及数据收集过程，降低机器人策略学习的数据获取门槛。
Card 03
核心贡献
核心贡献
- 发布了一个包含 200 小时多样化、长时段自我中心数据的数据集，具备持久的状态跟踪能力。
- 开源了一个移动应用程序，允许用户使用商用硬件记录自我中心数据。
- 提供了一个全面的数据处理管道，将原始移动端数据转换为标准化的、可用于训练的格式，包括 3D 手部轨迹、原子动作标签和分层任务指令。
Card 04
方法描述
方法描述
- 数据采集：使用搭载 LiDAR 的 iPhone 安装在头戴式设备上，利用 ARKit 进行传感器融合，记录同步的 RGBD 流、6 自由度（6 DoF）相机位姿和高频 IMU 数据，数据存储为 MCAP 格式。
- 3D 手部轨迹估计：使用 WiLoR 网络检测 2D 关键点并生成 MANO 参数，结合 ARKit 的深度图和相机位姿将其反投影到 3D 全局坐标系中。
- 自动标注管道：使用视觉语言模型（VLM）生成包含对象修饰语和空间介词的原子动作标签；使用大语言模型（LLM, 如 DeepSeek V4 Flash）将原子动作聚合成三层分层指令（会话目标、子目标、片段）。
Card 05
数据集与资源
数据集与资源
- 数据集名称：MobileEgo Anywhere
- 数据规模：包含 354 个会话，总计 200 小时，最长单次录制约 108 分钟。
- 数据模态：RGBD 图像、6 DoF 位姿、IMU 数据、MANO 手部姿态、原子动作标签、分层指令。
- 硬件资源：商用 iPhone Pro（具备 LiDAR 功能）。
- 处理模型：WiLoR（手部姿态估计）、DeepSeek V4 Flash（分层指令生成）。
Card 06
评估与结果
评估与结果
- 长期漂移评估：通过 ArUco 标记重访实验评估 ARKit 跟踪性能，在厨房、生活空间和全屋活动中，误差大多低于 1 cm，轨迹长度误差比例小于 0.1%。
- 3D 手部姿态一致性：在 98 个会话（25.2 小时）上评估，骨骼长度变异系数中位数低于 1.5%，超过 99.99% 的关节角度符合生物力学限制，手腕速度和加速度分布符合日常活动特征。
- 分层指令质量：自动生成的原子标签比人工标签更具描述性（平均 7.95 词 vs 2.94 词），且无时间缺陷；分层结构显示出明确的时间尺度分离（原子片段 5 秒、片段 42 秒、子目标 3.9 分钟）。