一眼看懂
封面预览
论文旨在解决移动机器人在非结构化真实环境中执行操作任务时，因相机视角变化导致目标物体视觉尺度显著变化的问题。
- 论文旨在解决移动机器人在非结构化真实环境中执行操作任务时，因相机视角变化导致目标物体视觉尺度显著变化的问题。
- 提出一种基于立体多阶段空间注意力（MSA）的深度预测学习方法，用于实时闭环移动操作中的运动生成。
- 目标是提高系统对视觉尺度变化、初始距离变化及视觉干扰的鲁棒性，并实现低延迟推理。
Card 01
研究单位
研究单位
- 早稻田大学（Waseda University）
- SB Intuitions公司（SB Intuitions Corp.）
- 日立公司（Hitachi, Ltd.）
- 产业技术综合研究所（National Institute of Advanced Industrial Science and Technology, AIST）
Card 02
论文概述
论文概述
- 论文旨在解决移动机器人在非结构化真实环境中执行操作任务时，因相机视角变化导致目标物体视觉尺度显著变化的问题。
- 提出一种基于立体多阶段空间注意力（MSA）的深度预测学习方法，用于实时闭环移动操作中的运动生成。
- 目标是提高系统对视觉尺度变化、初始距离变化及视觉干扰的鲁棒性，并实现低延迟推理。
Card 03
核心贡献
核心贡献
- 提出立体多阶段空间注意力（MSA）模块，通过聚合多个特征阶段的注意力信息，改善视角变化下的空间一致性。
- 设计层次化LSTM架构，集成立体注意力点与机器人状态，用于时间连贯的运动预测。
- 实现实时闭环控制系统，可在CPU硬件上高效运行，推理延迟低。
- 在真实世界的移动操作任务上验证了方法的有效性，相比代表性模仿学习和视觉-语言-动作基线模型，显著提升了任务成功率。
Card 04
方法描述
方法描述
- 技术框架包含立体空间注意力模块和运动预测模块。
- 立体空间注意力模块采用三阶段CNN架构，从多个尺度提取图像特征，定义为Query和Key特征，通过跨阶段注意力计算和融合生成稳定的注意力点。
- 运动预测模块使用层次化LSTM，包含三个低级LSTM分别处理左视图注意力点、右视图注意力点和机器人运动数据，一个高级LSTM整合信息，实现时序动作预测。
- 创新点在于将多阶段视觉特征融合与立体观测结合，并通过双向时序损失函数稳定注意力点学习。
Card 05
数据集与资源
数据集与资源
- 使用自采集的真实世界演示数据集，通过远程操作系统在四个移动操作任务上收集，每个任务54个成功演示。
- 数据包括RGB立体图像（分辨率128×256）、9自由度机械臂和4自由度移动基座的电机数据，序列时长15秒，频率10 Hz。
- 模型参数量未在文中明确，但提及MSARNN (Ours) 及消融模型可在机器人端CPU（Intel i7-1360p）上运行，基线模型DP、SmolVLA、π0需在RTX 4090 GPU上运行。
- 所有方法在相同数据集上训练或微调，采用文中表I所述的训练步数、批量大小、优化器和学习率设置。
Card 06
评估与结果
评估与结果
- 评估环境为四个真实世界移动操作任务：放置咖啡杯、打开微波炉（关节物体）、抓取壶、取回衣物（可变形物体）。
- 主要评估指标为运动成功率，并报告99%威尔逊置信区间。
- 关键实验结果表明，所提出的MSARNN (Stereo MSA) 在四个任务上取得了最高的平均成功率（85.0%），显著优于ACT（46.0%）、Diffusion Policy（28.5%）、π0（29.0%）和SmolVLA（12.5%）等基线模型。
- 模型在视觉干扰（如视觉干扰物、低光照、未见背景）和不同初始距离（100cm、150cm）条件下表现出更强的鲁棒性。
- 推理延迟方面，所提模型在CPU上平均延迟为33.3ms，低于其他模型，适合实时控制。