FAVLA: A Force-Adaptive Fast-Slow VLA model for Contact-Rich Robotic Manipulation

• 未明确列出，但作者列表中包含多位研究者（如 Yao Li, Peiyuan Tang 等），论文内容主要涉及机器人操作领域。

• 提出一种名为 FAVLA（Force-Adaptive Fast–Slow VLA）的新型视觉-语言-动作模型，用于解决接触式丰富的机器人操控任务。
• 旨在解决现有VLA模型因采用单一频率融合所有模态（视觉、语言、力/扭矩）而导致的反应延迟和开环控制问题，尤其是在高精度工业操作中力反馈信号被降采样丢弃的场景。
• 核心目标是实现对接触力的自适应、闭环控制，以提升任务成功率和安全性，同时降低操作过程中的峰值接触力。

• 提出了一个力自适应的快-慢VLA框架（FAVLA），将“慢”语义模态（视觉、语言、历史力）与“快”交互信号（最新力数据）解耦，实现接触式闭环控制。
• 设计了一种力注入式动作专家，通过力适配器将高频力反馈信息注入到多个网络层，使动作块能直接根据接触力进行条件化校正。
• 提出了一种力自适应快-慢推理策略，利用VLM预测的未来力变化，自适应地调度快速动作专家的执行频率，提高接触时的响应速度并减少操纵力。
• 在多种接触式丰富的真实机器人任务上进行了广泛实验，证明了方法在任务成功率和降低峰值接触力方面优于现有基准方法。

• 采用基于π0 框架的双分支架构：一个慢速VLM骨干网络（固定低频运行，整合视觉、语言和历史力序列）和一个快速动作专家（可变高频运行，利用最新力数据和机器人状态）。
• 关键技术包括：1) 使用时序卷积网络（TCN） 对力序列进行令牌化；2) 在动作专家各层引入力适配器，通过跨注意力机制将高频力特征注入动作令牌；3) VLM增加一个辅助的力方差预测头，用于预测未来接触力的变化趋势。
• 核心创新点：通过力方差预测动态调整快速动作专家的执行频率（力变化大时提高频率，力平稳时降低频率），并结合固定噪声采样和时域集成策略，保证动作块内的一致性。

• 使用自建的真实机器人数据集，包含四个接触式操控任务：USB插入、齿轮装配、盒子翻转、黑板擦拭。
• 数据集总规模：260条轨迹，约198,250帧，每个任务轨迹数在50-80条之间。
• 模型规模与参数量：基于 π0 架构（PaliGemma），VLM部分参数量为2.6B。
• 训练资源：在单个 NVIDIA A100 80GB GPU 上训练，每个任务约6小时。

• 评估环境与基准：在 Monte机器人（配备7自由度X-ARM、腕部相机和6轴力传感器）上进行真实世界实验。
• 主要评估指标：任务成功率、平均峰值接触力。
• 关键实验结果：

- FAVLA 在四个任务上的平均成功率达到 80.8%，比最强的基线 ForceVLA 高出 13.8%，比纯视觉基线 π0 高出 38.0%。

- 在齿轮装配和盒子翻转任务中，FAVLA的平均峰值接触力（分别为7.7N和9.9N）显著低于所有基线方法。

- 消融实验验证了力注入AE、力方差预测和力自适应推理策略均对性能提升有贡献，且自适应频率策略优于所有固定频率设置。