Force Generative Imitation Learning: Bridging Position Trajectory and Force Commands through Control Technique

• 筑波大学（Graduate School of Systems and Information Engineering, University of Tsukuba; Department of Intelligent Interaction Technologies, Institute of Systems and Information Engineering, University of Tsukuba）
• 埼玉大学（Graduate School of Science and Engineering, Saitama University）

• 提出了一种名为 Force Generative Imitation Learning 的分层模仿学习框架，旨在从给定的位置轨迹中生成合适的力命令，以解决接触密集型任务中力命令未知的问题。
• 该方法通过引入反馈控制（PID）来补偿学习模型的输出误差，提高了系统对未见过位置轨迹的泛化能力和任务执行的鲁棒性。
• 核心目标是实现机器人能够在真实世界的接触任务（如写字）中，仅通过直观收集的位置轨迹，稳定且准确地生成并执行力控动作。

• 提出了一种分层架构，明确将具有记忆能力的上层神经网络与无记忆、可反馈控制的下层神经网络分离，使得两个层级可以独立训练。
• 所提出的框架能够处理具有非平凡或未明确定义控制目标的接触式操作任务，同时仍能通过经典的反馈控制（如PID）来确保系统的稳定性。
• 揭示了在反馈控制环路中嵌入记忆会阻碍稳定性，并通过实验验证了时间尺度分离允许基于学习的力生成同时实现鲁棒性和稳定性。
• 成功将力生成能力集成到分层模仿学习中，扩展了其对需要精确力交互的真实世界机器人任务的适用性。
• 在真实的机器人写字任务中验证了方法的有效性，证明了其能提高精度并保持稳定接触。

• 提出了一种名为 Force Generative Imitation Learning 的分层方法，其上层是一个记忆型神经网络（如Transformer或RNN），负责预测未来的角位置和角速度轨迹（上层层轨迹）。
• 下层是一个无记忆的神经网络（如多层感知机），它以上层层轨迹和当前机器人状态（关节角、角速度、扭矩）为输入，预测下一时刻的状态和命令（包括力/扭矩命令）。
• 关键创新点在于将记忆部分置于控制环路之外。下层网络的无记忆特性使其易于与PID反馈控制器结合。控制器通过计算上层层轨迹与下层网络预测状态之间的误差，生成控制信号并修正输入给下层网络的上层轨迹，从而实现对输出误差的在线补偿。
• 该方法通过双边控制收集专家演示数据，构建动作-状态对用于监督学习。训练时，上层和下层的模块可以分别独立训练。

• 使用自行收集的机器人写字任务数据集，包含五条不同直线和两种不同圆形的轨迹，在两种白板高度（0 cm 和 2 cm）下通过双边控制收集，共70个试验序列。
• 模型规模：下层MLP包含7个全连接层，每层400个神经元，使用tanh激活函数。作为对比的LSTM包含6层，每层400维，外加一个全连接层。
• 训练资源：论文未明确说明具体使用的GPU/TPU类型。

• 评估环境：使用CRANE-X7七自由度机械臂进行真实机器人实验，任务是基于模仿学习在白板上书写字符（如圆形、字母A、B、“2”、“3”、“ABCD”）。
• 主要指标：笔尖的笛卡尔X坐标轨迹对比、书写字符与目标轨迹之间的交并比，以及扭矩参考值的变化。
• 关键结果：

- 引入P控制（PID的比例项）能有效抑制振荡，使机器人运动更准确地跟踪上层层轨迹。

- 与直接示教回放、传统LSTM模型相比，所提出的带PID控制的MLP模型在书写任务中实现了最高的轨迹跟踪精度和IoU值（尤其在未训练的白板高度1cm上）。

- 实验表明，在控制环路中使用无记忆的MLP能够实现稳定的反馈控制，而带有记忆的LSTM在引入PID控制后无法有效提升精度，甚至导致控制困难。

- 所提方法在泛化性测试中表现良好，能够对未见过的字符和高度生成有效的力命令并完成任务。