一眼看懂
封面预览
论文针对现有视觉-语言-动作（VLA）模型在视觉遮挡、精细操作和物理接触任务中性能不佳的问题，提出 TacVLA 模型
- 论文针对现有视觉-语言-动作（VLA）模型在视觉遮挡、精细操作和物理接触任务中性能不佳的问题，提出 TacVLA 模型
- 核心目标是通过整合触觉模态来增强VLA模型在接触丰富型精细操作任务中的能力
- 引入一种接触感知门控机制，能够选择性地激活触觉信息，实现自适应的多模态融合
Card 01
研究单位
研究单位
- 普渡大学 Edwardson 工业工程学院
- 意大利技术研究院 人机接口与交互实验室
- 热那亚大学 机器人与智能机器博士项目
Card 02
论文概述
论文概述
- 论文针对现有视觉-语言-动作（VLA）模型在视觉遮挡、精细操作和物理接触任务中性能不佳的问题，提出 TacVLA 模型
- 核心目标是通过整合触觉模态来增强VLA模型在接触丰富型精细操作任务中的能力
- 引入一种接触感知门控机制，能够选择性地激活触觉信息，实现自适应的多模态融合
Card 03
核心贡献
核心贡献
- 提出了 TacVLA，一种触觉增强的VLA扩展模型，能够为接触丰富的精细操作实现高效的多模态集成
- 设计了紧凑的触觉标记化方案和接触感知门控机制，在Transformer架构内自适应地调节跨模态交互
- 在约束锁定拆卸、箱内拾取及鲁棒性基准测试上验证了方法的有效性，尤其在视觉遮挡和动态物理交互场景下表现出显著提升
Card 04
方法描述
方法描述
- 基于Transformer的VLA框架进行架构扩展，包含模态标记器、预训练VLM主干、动作专家和接触感知门控模块
- 视觉信息使用SigLIP视觉编码器，语言指令与机器人本体感受使用PaliGemma标记器，触觉阵列通过轻量级MLP编码为36个触觉标记
- 核心创新是接触感知门控机制：通过阈值准则检测物理接触，仅当接触发生时才激活触觉标记参与注意力计算，避免非接触阶段的无关干扰
- 采用LoRA在OpenPI主干检查点上进行微调，训练中触觉编码器参数被冻结
Card 05
数据集与资源
数据集与资源
- 硬件平台：7自由度Franka Emika Panda机械臂，配备平行夹爪、两个RGB摄像头及一个15×8触觉阵列传感器
- 数据集：包含四个约束锁定拆卸任务和一个箱内拾取任务，每个任务收集50个人类遥操作演示
- 模型训练：基于OpenPI预训练主干，使用LoRA进行微调
Card 06
评估与结果
评估与结果
- 评估环境：在约束锁定拆卸和箱内拾取任务上进行评估，并进行视觉遮挡和人工干扰的鲁棒性测试
- 主要评估指标：任务成功率
- 关键实验结果：
- 在拆卸任务上，TacVLA平均成功率为83.75%，显著优于微调Pi0.5基线的63.75% 和扩散策略基线
- 在箱内拾取任务（严重视觉遮挡）中，TacVLA成功率达70%，远高于Pi0.5基线的10%
- 在视觉遮挡条件下，TacVLA平均成功率提升至约60%，相比基线的约30% 有2.1倍提升
- 消融研究证明，去除接触感知门控机制后性能显著下降，验证了该机制的有效性