TacMamba: A Tactile History Compression Adapter Bridging Fast Reflexes and Slow VLA Reasoning

• 浙江大学，杭州，中国
• GigaAI，北京，中国
• 哈尔滨工业大学，哈尔滨，中国

• 提出 TacMamba 框架，解决机器人操作中视觉-语言-动作模型的高频触觉感知与低频视觉规划之间的时空不匹配问题。
• 旨在通过一个异步分层架构，将高速触觉反射（100Hz）与低频视觉推理（~1Hz）对齐，实现对连续力历史的无损、实时编码。
• 解决在视觉模糊、遮挡等场景下，仅凭视觉难以完成如按钮“咔哒”感检测等接触式丰富操作任务的难题。

• 提出了首个采用Mamba架构的触觉历史压缩编码器（Tactile History Compressor），实现对连续1D力信号流的常量时间（O(1)）推理，延迟仅0.45ms。
• 设计了一个即插即用的双阶段训练策略，包括基于三元时间判别的自监督预训练和采用相位均匀采样的VLA微调，无需昂贵的VLA联合预训练，有效缓解了关键接触事件的数据稀疏性问题。
• 开发了一个模块化形态学触觉指尖硬件系统，通过柔性接触体将分布式接触力机械式投影到单轴力传感器，为框架提供了高频率（100Hz） 的1D触觉数据流。

• 核心是采用选择性状态空间模型（Mamba） 构建触觉编码器，通过连续-离散建模捕获接触物理学的混合动力学，并通过输入依赖性参数实现选择性更新。
• 采用分层架构：高频Mamba编码器（系统1）以100Hz实时更新压缩后的触觉历史状态；该状态被异步注入低频的VLA规划器（系统2）作为软提示，实现两者频率对齐。
• 训练策略包含两个阶段：阶段1 利用三元时间判别任务进行自监督预训练，学习接触动态的因果结构；阶段2 将冻结的编码器状态作为提示注入VLA，并使用相位均匀采样策略优化训练数据平衡。

• 使用了包含顺序按钮按压、盲法薯条包装、可变形衣物折叠等任务的真实世界增强数据集进行实验评估。
• TacMamba触觉编码器 具体规模参数未在提供的片段中明确提及，但对比实验涉及了1D-CNN、LSTM、Transformer和Bi-LSTM等不同规模的基线模型。
• 硬件平台使用AgileX PiPER 6-DoF机械臂，集成自定义单点高频力传感器。训练资源信息未明确说明。

• 评估环境：在具有视觉遮挡和状态模糊性的三种真实世界长视距操作任务上进行闭环评估。
• 主要评估指标：全局任务成功率、原子动作成功率、推理延迟、内存使用量。
• 关键实验结果：

- TacMamba在触觉编码任务上达到88.89% 的准确率，延迟仅0.45ms，显著优于Transformer（81.25%， 11.37ms）和Bi-LSTM（82.50%， 9.20ms）。

- 在顺序按钮按压任务中，TacMamba实现了100% 的成功率，而视觉基线 π_0.5 在收敛后成功率降至0%。

- 相位均匀采样策略显著提升了数据效率，在薯条包装任务中将全局成功率从均匀采样的47.5%提升至82.5%（8k步时）。