一眼看懂
封面预览
开发了首个用于磁控软体机器人的端到端视觉-语言-动作模型（TMR-VLA），旨在实现仅通过外部视觉反馈的混合运动控制。
- 开发了首个用于磁控软体机器人的端到端视觉-语言-动作模型（TMR-VLA），旨在实现仅通过外部视觉反馈的混合运动控制。
- 旨在解决微型磁控软体机器人因其硬件限制（作动与感知分离）而依赖人类专家控制、缺乏自主性的关键瓶颈。
- 首次为磁控软体机器人提出 VLA 框架：这是第一个用于磁控软体机器人的端到端视觉-语言-动作模型，利用外部视觉反馈实现混合原始运动控制。
Card 01
研究单位
研究单位
- 论文作者未明确列出所属研究机构（从作者列表中无法直接推断，需查阅论文完整信息）。
Card 02
论文概述
论文概述
- 开发了首个用于磁控软体机器人的端到端视觉-语言-动作模型（TMR-VLA），旨在实现仅通过外部视觉反馈的混合运动控制。
- 旨在解决微型磁控软体机器人因其硬件限制（作动与感知分离）而依赖人类专家控制、缺乏自主性的关键瓶颈。
Card 03
核心贡献
核心贡献
- 首次为磁控软体机器人提出 VLA 框架：这是第一个用于磁控软体机器人的端到端视觉-语言-动作模型，利用外部视觉反馈实现混合原始运动控制。
- 创建 TrilegMR-Motion 数据集：为三腿磁控软体机器人收集了一个包含视觉、语言指令和电压控制信号的 TrilegMR-Motion 数据集，支持从图像和指令中学习直接电压控制。
- 实现卓越的理解与执行能力：与先进的通用多模态大语言模型相比，TMR-VLA 在解释运动指令和成功执行分解的动作原语方面表现出更高且更稳定的性能。
Card 04
方法描述
方法描述
- 方法基于 EndoVLA 预训练模型进行初始化，并针对磁控软体机器人平台进行微调。它融合了时序图像帧和自然语言运动类型指令，通过一个动作适配器（Action Adaptor）以自回归方式生成低层级的线圈电压增量作为控制输出。
- 创新点在于将VLA范式应用于磁控软体机器人这一新领域，并设计了一个将高级语言指令直接映射到硬件级电压信号的自回归动作生成架构。
Card 05
数据集与资源
数据集与资源
- 使用的数据集为自建的 TrilegMR-Motion 数据集，包含 60 个场景，总计 15,793 个图像-动作对。
- 基础模型为 EndoVLA（基于 Qwen2.5-VL 架构），使用参数高效微调（LoRA/PEFT）。
- 训练使用多个 GPU（包括 4 块 NVIDIA RTX A6000，48 GB），耗时约 3 小时。推理在一块 NVIDIA RTX 5090 GPU 上进行，速度约为 2 Hz。
Card 06
评估与结果
评估与结果
- 评估环境：三轴亥姆霍兹线圈系统，驱动一个三腿硅基软体机器人。
- 主要评估指标：针对五个基础运动（Squat, Lift-leg, Rotation, Forward, Recovery）的成功率，以及预测电压与真实值之间的均方误差。
- 关键实验结果：最佳配置的 TMR-VLA (p1) 在五个运动上的平均成功率达到了 74%，显著优于所有对比基线模型（成功率最高仅为 18%）。