一眼看懂
封面预览
论文提出 TacFiLM，一种轻量级模态融合方法，旨在将视觉-触觉信号集成到视觉-语言-动作（VLA）模型中。
- 论文提出 TacFiLM，一种轻量级模态融合方法，旨在将视觉-触觉信号集成到视觉-语言-动作（VLA）模型中。
- 现有VLA模型主要依赖视觉感知，无法捕捉接触密集型操作中的复杂交互动态（如接触力、摩擦力）。
- 论文通过特征线性调制在VLA模型中实现触觉信号融合，以提升接触密集型操作任务的性能。
Card 01
研究单位
研究单位
- McGill University
- Mila Québec AI Institute
- NVIDIA
Card 02
论文概述
论文概述
- 论文提出 TacFiLM，一种轻量级模态融合方法，旨在将视觉-触觉信号集成到视觉-语言-动作（VLA）模型中。
- 现有VLA模型主要依赖视觉感知，无法捕捉接触密集型操作中的复杂交互动态（如接触力、摩擦力）。
- 论文通过特征线性调制在VLA模型中实现触觉信号融合，以提升接触密集型操作任务的性能。
Card 03
核心贡献
核心贡献
- 提出了 TacFiLM，一种基于特征线性调制的轻量级触觉模态融合方法，无需增加输入token序列长度。
- 通过全面的实验证明，TacFiLM相比基线方法将成功率提高最多30%，同时缩短了任务完成时间并降低了接触力。
- 研究了预训练触觉编码器（如 Sparsh 和 T3）在融合触觉信号至VLA模型中的应用效果。
Card 04
方法描述
方法描述
- 方法基于 OpenVLA-OFT 框架，在其视觉编码器的ViT块中引入FiLM层，用触觉嵌入调制中间视觉特征。
- 使用预训练的触觉表示模型（如Sparsh-DINO）提取触觉特征，并通过MLP生成FiLM参数（缩放因子γ和偏移因子β）。
- 采用 LoRA 进行参数高效微调，在保留预训练视觉-语言先验的同时注入触觉信息。
Card 05
数据集与资源
数据集与资源
- 数据集：通过遥操作真实机器人（Franka Emika Panda 手臂）收集了多个插入任务（如圆孔插销、USB/HDMI线缆插拔）的专家演示数据。
- 模型规模：基于 Llama2 7B 语言模型骨干。
- 训练资源：采用LoRA微调线性层。
Card 06
评估与结果
评估与结果
- 评估环境：在真实机器人上进行了超过700次试验，评估分布内和分布外任务的泛化能力。
- 评估指标：任务成功率、直接插入率、平均最大作用力、平均任务完成时间。
- 关键结果：在分布内任务中，TacFiLM在3mm间隙圆孔插销任务上达到100%成功率；在分布外任务中，保持了强大的泛化能力，例如将HDMI线缆插拔成功率提升了50%，并将部分任务中的作用力降低至基线方法的三分之一。