一眼看懂
封面预览
针对机器人精细操作（特别是双手操作）中低延迟控制与稳定空间定位的挑战，提出了一种轻量级框架 MSACT。
- 针对机器人精细操作（特别是双手操作）中低延迟控制与稳定空间定位的挑战，提出了一种轻量级框架 MSACT。
- 该框架建立在 ACT 之上，引入显式的结构化空间表示，解决了原始 ACT 在有限数据下存在的空间定位漂移问题。
- 目标是在保持低延迟推理的同时，提升空间稳定性、任务成功率以及对视觉干扰的鲁棒性。
Card 01
研究单位
研究单位
- 早稻田大学 (Waseda University) 多媒体艺术与科学系
- 产业技术综合研究所 (AIST)
Card 02
论文概述
论文概述
- 针对机器人精细操作（特别是双手操作）中低延迟控制与稳定空间定位的挑战，提出了一种轻量级框架 MSACT。
- 该框架建立在 ACT 之上，引入显式的结构化空间表示，解决了原始 ACT 在有限数据下存在的空间定位漂移问题。
- 目标是在保持低延迟推理的同时，提升空间稳定性、任务成功率以及对视觉干扰的鲁棒性。
Card 03
核心贡献
核心贡献
- 提出了 多阶段空间注意力模块，能够从多视图图像中提取任务相关的二维注意力点，作为结构化的局部空间模态，无需深度传感器或额外校准。
- 引入了 自监督时序对齐损失，通过约束预测的注意力点序列与未来帧中重新提取的序列保持一致，抑制注意力漂移，稳定视觉到动作的映射，且无需人工关键点标注。
- 在 ALOHA 双手平台上进行了广泛的模拟和真实世界实验，证明了该方法在定位稳定性、任务性能和鲁棒性方面的提升，同时保持了低延迟控制。
Card 04
方法描述
方法描述
- 整体框架基于 ACT，保留其预训练视觉骨干、CVAE训练目标和动作分块策略。
- 核心创新是 多阶段空间注意力模块，它采用三级CNN层级，通过跨阶段注意力、多阶段融合和软最大值操作，生成稳定的注意力点序列。
- 模型同时预测未来动作序列和注意力点序列，并使用自监督的时序一致性损失（L_att）对齐预测与未来真实帧中提取的注意力序列，总损失结合了动作重建损失和KL散度。
Card 05
数据集与资源
数据集与资源
- 使用 ALOHA 双手操作平台进行实验，包含模拟任务（Cube Transfer、Bimanual Insertion）和四个真实世界任务（Detach Network Cable、Thread Velcro、Insert Tea Bag、Open Match Box）。
- 每个真实任务收集了50条人类遥操作演示数据，训练步数100K，使用 RTX 4090 GPU 和 LeRobot 框架。
- 模型规模与ACT相当，推理延迟约45ms，附加计算开销极小。
Card 06
评估与结果
评估与结果
- 评估基准包括 ACT、Diffusion Policy、SmolVLA 和 π0.5。
- 主要评估指标为任务成功率、注意力漂移量、推理延迟和对视觉干扰的鲁棒性。
- 关键结果：在真实世界任务上，MSACT 总体成功率为 53%，显著高于ACT（23%）；推理延迟（45.40ms）与ACT（45.34ms）相当；在视觉干扰（如光照变化、人手干扰）下，成功率仍保持在50%左右，远高于ACT的17%。