一眼看懂
封面预览
论文提出 HapticVLA 框架，旨在实现无需推理时触觉传感器的触觉感知机械臂操作
- 论文提出 HapticVLA 框架，旨在实现无需推理时触觉传感器的触觉感知机械臂操作
- 核心问题：触觉传感对 VLA 架构至关重要，但依赖专用触觉硬件会增加成本并降低跨机器人平台的可重复性
- 研究目标：证明触觉感知操作可以离线学习并在部署时无需直接力反馈即可执行
Card 01
研究单位
研究单位
- Skolkovo Institute of Science and Technology (莫斯科斯科尔科沃科学技术研究所)
- 智能空间机器人实验室（Intelligent Space Robotics Laboratory）
- 作者：Konstantin Gubernatorov*, Mikhail Sannikov*, Ilya Mikhalchuk*, Egor Kuznetsov, Makar Artemov, Ogunwoye Faith Ouwatobi, Marcelino Fernando, Artem Asanov, Ziang Guo, Dzmitry Tsetserukou
Card 02
论文概述
论文概述
- 论文提出 HapticVLA 框架，旨在实现无需推理时触觉传感器的触觉感知机械臂操作
- 核心问题：触觉传感对 VLA 架构至关重要，但依赖专用触觉硬件会增加成本并降低跨机器人平台的可重复性
- 研究目标：证明触觉感知操作可以离线学习并在部署时无需直接力反馈即可执行
- 在真实世界实验中，HapticVLA 达到 86.7% 的平均成功率，始终优于基线 VLA（包括推理时提供直接触觉反馈的版本）
Card 03
核心贡献
核心贡献
- 安全感知奖励加权流匹配（SA-RWFM）：训练流匹配动作专家，整合预计算的安全感知触觉奖励，惩罚过度抓取力和次优抓取轨迹
- 触觉蒸馏（Tactile Distillation）：将触觉感知能力从 SA-RWFM 教师模型转移到传统 VLA 学生模型，无需在推理时使用触觉传感器
- 可学习触觉令牌：从触觉教师模型中提取紧凑的触觉令牌，训练学生 VLA 仅从视觉和状态模态预测该令牌
- 首个无需推理时触觉/力传感器的触觉感知 VLA 模型
Card 04
方法描述
方法描述
- SA-RWFM 阶段：基于触觉地图计算安全奖励，包括过力惩罚、峰值压力、压力集中度、不对称度和滑移检测；使用奖励加权流匹配目标微调 VLA；引入锚点正则化防止策略漂移和模式崩溃
- 触觉蒸馏阶段：离线生成教师动作预测；初始化学生网络（继承教师权重，移除触触觉编码器）；使用混合目标训练（50% 真实动作 + 50% 教师预测）
- 数据集：真实世界 310 个回合（70 成功 + 20 失败/任务）+ Isaac Sim 模拟 1000 个回合
Card 05
数据集与资源
数据集与资源
- 数据集：自建真实世界数据集 + NVIDIA Isaac Sim 数字孪生
- 任务：Jar 抓取放置、Waffles 抓取放置、Egg 抓取放置
- 硬件平台：双 LeRobot SO-101 机械臂、Intel RealSense D435 相机、腕部 IMX335 相机
- 触觉传感器：双指各 100 个 taxels（10×10 配置），力检测范围 1-9N，120Hz
- 计算平台：NVIDIA Jetson Orin NX 16GB
Card 06
评估与结果
评估与结果
- 评估任务：三个接触丰富操作任务（Jar、Waffles、Egg 抓取放置）
- 评估标准：物体保持完整且放置到目标位置视为成功
- 主要结果：HapticVLA 达到 86.7% 平均成功率
- 对比基线：SmolVLA (0.45B)、X-VLA (0.9B)、VLA-0
- 消融实验：无 TD 时 75%，有 TD 时 86.7%；SA-RWFM+TD 组合效果最佳