一眼看懂
封面预览
论文针对现有 Vision-Language-Action (VLA) 模型在视觉观测变化、语言指令重述及组合扰动下表现脆弱的问题，提出了一种…
- 论文针对现有 Vision-Language-Action (VLA) 模型在视觉观测变化、语言指令重述及组合扰动下表现脆弱的问题，提出了一种…
- 指出当前模型过度依赖训练分布中的浅层相关性，而非任务语义、环境状态与动作生成之间的稳定耦合。
- 提出 RoVLA 框架，通过引入多重一致性约束，显式建模任务保持变换下的不变性，从而提升模型的鲁棒性与泛化能力。
Card 01
研究单位
研究单位
- Sun Yat-sen University
- Peng Cheng Laboratory
- Guangdong Key Laboratory of Big Data Analysis and Processing
- X-Era AI Lab
Card 02
论文概述
论文概述
- 论文针对现有 Vision-Language-Action (VLA) 模型在视觉观测变化、语言指令重述及组合扰动下表现脆弱的问题，提出了一种鲁棒的 VLA 框架。
- 指出当前模型过度依赖训练分布中的浅层相关性，而非任务语义、环境状态与动作生成之间的稳定耦合。
- 提出 RoVLA 框架，通过引入多重一致性约束，显式建模任务保持变换下的不变性，从而提升模型的鲁棒性与泛化能力。
Card 03
核心贡献
核心贡献
- 提出了 RoVLA 框架，显式约束策略在指令重述、轨迹演化及观测扰动三种任务保持变换下的不变性。
- 引入了三种互补的一致性机制：Instructional Consistency (IC) 保证语言不变性，Evolutionary Consistency (EC) 确保动作意图稳定性，Observational Consistency (OC) 提升对视觉和本体感受扰动的鲁棒性。
- 在 LIBERO-Plus、RoboTwin 2.0 及真实世界任务上进行了广泛实验，证明了该方法在多种任务与观测偏移下的一致优越性能。
Card 04
方法描述
方法描述
- 采用双系统架构，以 InternVL3.5-2B 作为高层语义提取器，以 Diffusion Transformer (DiT) 作为低层动作生成器，基于条件流匹配进行动作预测。
- Instructional Consistency (IC)：利用 Qwen3-8B 生成语义等价的指令改写，在数据层面隐式正则化策略，使其对不同的语言表达形式保持稳定。
- Evolutionary Consistency (EC)：在流匹配的不同演化时间步之间约束速度场预测的一致性，抑制动作生成过程中的表示波动。
- Observational Consistency (OC)：利用 EC 损失的梯度对视觉特征和机器人状态施加针对性扰动，强制模型在扰动前后保持预测一致，提升抗干扰能力。
- 总训练目标结合了监督损失和一致性正则化损失，并采用自适应权重平衡两者。
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO-Plus 数据集（包含 7 种扰动维度，如相机视角、光照、背景、语言指令等）。
- 使用 RoboTwin 2.0 数据集（包含 50 个双臂操作任务，分为清洁和随机化环境）。
- 真实世界数据集包含在 Franka Research 3 机器人上采集的 5 个桌面操作任务。
- 使用 Qwen3-8B 生成指令改写，使用 InternVL3.5-2B 和 DiT（32层）作为模型骨干。
- 训练硬件为 NVIDIA H20 GPUs。
Card 06
评估与结果
评估与结果
- 评估基准包括 LIBERO-Plus（零样本扰动泛化与扰动暴露泛化两种设置）及真实机器人实验。
- 对比基线包括 OpenVLA、$\pi_0$、$\pi_{0.5}$、GR00T-N1.6、UniVLA 等主流模型。
- 主要评估指标为任务成功率 (Success Rate %)。
- 在 LIBERO-Plus 的扰动暴露设置中，RoVLA 取得了 82.0% 的最佳总体成功率，显著优于基线模型。
- 特别是在 Language（语言指令）扰动维度上表现突出，相比骨干模型提升超过 16.6%，证明了语言不变性约束的有效性。
- 在 Camera、Light、Background 等视觉扰动维度上也取得了领先的鲁棒性表现。