一眼看懂
封面预览
论文提出了 BORA 框架，旨在解决现实世界灵巧操作中 VLA 模型面临的高维控制、视觉遮挡和执行误差累积等挑战。
- 论文提出了 BORA 框架，旨在解决现实世界灵巧操作中 VLA 模型面临的高维控制、视觉遮挡和执行误差累积等挑战。
- 针对 VLA 模型离线强化学习后训练中的信用分配失败和视觉过拟合问题，提出了一种融合动作块的动作条件评论家。
- 通过冻结 VLA 基座并引入轻量级的人在回路残差适应机制，实现样本高效的在线微调，修正物理执行偏差并防止特征漂移。
Card 01
研究单位
研究单位
- Shanghai Jiao Tong University (SJTU)（上海交通大学）
- CASIA（中科院自动化研究所）
- Shanghai AI Laboratory（上海人工智能实验室）
- USTC（中国科学技术大学）
Card 02
论文概述
论文概述
- 论文提出了 BORA 框架，旨在解决现实世界灵巧操作中 VLA 模型面临的高维控制、视觉遮挡和执行误差累积等挑战。
- 针对 VLA 模型离线强化学习后训练中的信用分配失败和视觉过拟合问题，提出了一种融合动作块的动作条件评论家。
- 通过冻结 VLA 基座并引入轻量级的人在回路残差适应机制，实现样本高效的在线微调，修正物理执行偏差并防止特征漂移。
Card 03
核心贡献
核心贡献
- 提出了动作条件评论家架构，将 VLM 认知令牌与连续动作块融合，基于物理交互后果而非视觉背景进行价值评估。
- 设计了轻量级的人在回路残差在线适应机制，冻结 VLA 基座并继承离线评论家，利用干预驱动奖励实现安全且样本高效的在线适应。
- 构建了统一的离线到在线强化学习后训练框架，利用一致性策略截断计算图以解决生成式信用分配问题，显著提升真实世界部署鲁棒性。
Card 04
方法描述
方法描述
- 离线阶段：采用一致性策略生成动作块，截断计算图实现高效梯度回传；设计了接收 VLM 语义令牌和动作块的评论家，结合移位价值引导和 IQL 目标进行保守策略优化。
- 在线阶段：冻结离线训练的 VLA 基座，引入参数化的残差块演员 $\pi_{\text{res}}$ 生成补偿动作。
- 采用评论家继承机制保持价值估计稳定，结合 RLPD 协议混合采样离线和在线数据，设计非对称干预奖励引导残差策略学习。
Card 05
数据集与资源
数据集与资源
- 使用搭载 Franka 机械臂 和 DexHand021 灵巧手（12自由度）的真实机器人平台，配合 Intel RealSense D435 RGB-D 相机。
- 任务包括：抓取毛绒玩具、抓取放置、开盒子、抽纸巾、按压按钮。
- 离线训练使用 8x NVIDIA H100 GPU 集群，在线微调使用 1x NVIDIA RTX 4090 GPU。
- 动作块大小设置为 32 步。
Card 06
评估与结果
评估与结果
- 在 5 个真实世界灵巧任务上进行评估，分为标准配置（已见物体）和未见物体配置。
- 主要评估指标为任务成功率（每项任务 20 次试验）。
- BORA-Full 在标准配置下平均成功率达到 86%，相比最佳基线提升 33%；在未见物体配置下平均成功率达到 70%，泛化能力提升最高达 43%。
- 实验表明，相比模仿学习和解耦评论家基线，BORA 显著解决了视觉遮挡下的价值估计错误和物理执行偏差。