一眼看懂
封面预览
提出了SmoothVLA，一个通过内在平滑性优化来对齐视觉-语言-动作(VLA)模型与物理约束的强化学习微调框架。
- 提出了SmoothVLA，一个通过内在平滑性优化来对齐视觉-语言-动作(VLA)模型与物理约束的强化学习微调框架。
- 解决了现有VLA微调方法面临的“探索-稳定性悖论”：监督微调(SFT)受限于演示质量而缺乏泛化能力，而强化学习(RL)虽能提升探索但常导致违反…
- 核心目标是协同优化任务性能与运动平滑度，弥合神经网络高层输出与物理硬件运动学约束之间的鸿沟。
Card 01
研究单位
研究单位
- 重庆邮电大学
- 中国科学院重庆绿色智能技术研究院
- 中国科学技术大学附属第一医院
Card 02
论文概述
论文概述
- 提出了SmoothVLA，一个通过内在平滑性优化来对齐视觉-语言-动作(VLA)模型与物理约束的强化学习微调框架。
- 解决了现有VLA微调方法面临的“探索-稳定性悖论”：监督微调(SFT)受限于演示质量而缺乏泛化能力，而强化学习(RL)虽能提升探索但常导致违反物理约束的抖动轨迹。
- 核心目标是协同优化任务性能与运动平滑度，弥合神经网络高层输出与物理硬件运动学约束之间的鸿沟。
Card 03
核心贡献
核心贡献
- 正式定义并量化了VLA强化学习中的“探索-稳定性悖论”，引入轨迹加加速度作为衡量神经动作与物理可行运动之间差距的数学框架。
- 提出了一种通用的RL后训练协议，其核心是一个内在的、物理信息奖励机制，无需外部环境建模或繁琐的奖励工程即可实现自主自我修正。
- 在LIBERO和LIBERO-Plus基准上进行了严格评估，证明了方法在平衡任务性能与执行质量方面的有效性，实现了13.8% 的平滑度提升和显著增强的泛化能力。
Card 04
方法描述
方法描述
- 核心技术是一个物理信息混合奖励函数，将二元稀疏任务奖励与一个源自轨迹加加速度的连续密集项相结合。
- 加加速度通过机器人微分运动学理论，从策略展开的动作序列和本体感觉反馈中直接计算得出，该过程是内在的。
- 采用组相对策略优化(GRPO) 算法进行优化，通过比较同一指令下的一组轨迹来估计优势函数，避免了价值网络带来的计算负担。
Card 05
数据集与资源
数据集与资源
- 主要使用LIBERO基准（包含LIBERO-Goal, Spatial, Object, Long四个任务套件）进行评估，并使用LIBERO-Plus进行鲁棒性测试。
- 基础模型采用OpenVLA，使用LoRA进行微调。
- 训练使用AdamW优化器，监督微调阶段学习率为 4×10⁻⁵，偏好微调阶段学习率为 2×10⁻⁵，批大小均为16。
Card 06
评估与结果
评估与结果
- 在LIBERO基准上，SmoothVLA-GRPO实现了80.5% 的平均成功率，比基线Octo高出6.6个百分点。
- 在平滑度指标上，SmoothVLA比传统SFT提升4.5%，比标准RL提升13.8%，验证了混合奖励函数的有效性。
- 在LIBERO-Plus鲁棒性测试中，SmoothVLA面对语言指令、光照、背景、布局等扰动时表现出更小的性能衰减，平均成功率比SFT方法高出24.2%，证明了更强的泛化能力。