一眼看懂
封面预览
论文提出了 AT-VLA 模型，旨在解决视觉-语言-动作模型在接触丰富操作场景中因缺乏触觉反馈而表现受限的问题。
- 论文提出了 AT-VLA 模型，旨在解决视觉-语言-动作模型在接触丰富操作场景中因缺乏触觉反馈而表现受限的问题。
- 论文核心目标是平衡预训练知识与新引入的触觉模态学习，同时确保对高频触觉反馈的快速响应。
- 论文针对引入新模态可能破坏预训练表示、以及模型推理速度慢导致触觉反馈利用效率低这两个核心挑战提出解决方案。
Card 01
研究单位
研究单位
- 北京大学 计算机学院
- PrimeBot
- PKU Lab
Card 02
论文概述
论文概述
- 论文提出了 AT-VLA 模型，旨在解决视觉-语言-动作模型在接触丰富操作场景中因缺乏触觉反馈而表现受限的问题。
- 论文核心目标是平衡预训练知识与新引入的触觉模态学习，同时确保对高频触觉反馈的快速响应。
- 论文针对引入新模态可能破坏预训练表示、以及模型推理速度慢导致触觉反馈利用效率低这两个核心挑战提出解决方案。
Card 03
核心贡献
核心贡献
- 提出自适应触觉注入机制，动态决定何时何地引入触觉信号，最小化对预训练模型的干扰。
- 设计触觉反应双流机制，解耦感官处理为慢速视觉-语言流与快速触觉控制流，实现0.04秒内的闭环响应。
- 在真实世界接触丰富任务上验证了AT-VLA的优越性能，超越了现有的VLA和触觉基策略。
- 模型展现出强大的模态无关鲁棒性，即使推理时缺失触觉信号，也能保持与原始VLA模型相当的性能。
Card 04
方法描述
方法描述
- 模型基于预训练的 GO-1 VLA模型，引入轻量级触觉编码器处理触觉信号（提取6D合力）。
- 核心创新是自适应触觉注入：包含一个可学习的触觉门网络以判断接触状态，以及自适应交叉注意力机制，根据门状态动态切换查询源（状态token或触觉token）。
- 触觉反应双流将处理流程分离：慢流通过大型VLM低频处理视觉语言，快流高频处理触觉反馈，两者异步输入到动作专家模块。
Card 05
数据集与资源
数据集与资源
- 实验任务：四个接触丰富任务（开袋、盖章、擦拭花瓶、拧开瓶盖）和两个非接触丰富任务（拾放、开抽屉）。
- 数据收集：每个任务收集30-50个演示，进行15次测试试验。
- 硬件平台：使用 AgiBot Genie1 机器人（双7自由度手臂），配备 Xense Robotics 的触觉传感器。
Card 06
评估与结果
评估与结果
- 评估环境：真实世界机器人平台，对比基线包括 GO-1、π0.5、VTLA 和 RDP。
- 主要指标：任务成功率（表1展示各子任务成功率及总体成功率）。
- 关键结果：AT-VLA在接触丰富任务的平均成功率显著优于所有基线；在非接触任务中，即使推理时无触觉输入（AT-VLA w/o），性能也与基线VLA模型相当，证明了模态无关鲁棒性。
- 消融实验验证了各组件（触觉门、自适应交叉注意力、双流机制）的有效性，并对比了不同触觉格式（视觉-触觉图像、2D标记、6D力），发现6D力效果最佳。