一眼看懂
封面预览
提出了一种名为 PhysiFlow 的、具有物理感知能力的人形机器人全身视觉-语言-动作（VLA）框架。
- 提出了一种名为 PhysiFlow 的、具有物理感知能力的人形机器人全身视觉-语言-动作（VLA）框架。
- 该框架旨在解决现有方法在VLA推理效率低下或缺乏有效语义指导全身控制方面的问题，实现语义引导下动态肢体协调任务的稳定执行。
- 核心创新在于受生物启发的分层式多大脑架构，以语义潜在向量为中心，解耦并协调语义推理、运动生成与物理跟踪控制。
Card 01
研究单位
研究单位
- 上海交通大学 自动化工程系
- 上海交通大学 自动化系，教育部系统控制与信息处理重点实验室、教育部海洋智能装备与系统重点实验室、上海市智能控制与管理工程研究中心
Card 02
论文概述
论文概述
- 提出了一种名为 PhysiFlow 的、具有物理感知能力的人形机器人全身视觉-语言-动作（VLA）框架。
- 该框架旨在解决现有方法在VLA推理效率低下或缺乏有效语义指导全身控制方面的问题，实现语义引导下动态肢体协调任务的稳定执行。
- 核心创新在于受生物启发的分层式多大脑架构，以语义潜在向量为中心，解耦并协调语义推理、运动生成与物理跟踪控制。
Card 03
核心贡献
核心贡献
- 提出了一种新颖的、受生物启发的多大脑VLA框架，将高级语义-运动意图推断与低级高频运动生成及稳定跟踪控制解耦，用于人形机器人全身控制。
- 在 新皮层大脑 中，采用基于 SigLIP 与 LoRA 轻量适配的两阶段课程式条件变分自编码器，生成具有运动意图的模态不变性语义潜在向量。
- 引入了一种物理感知的流匹配训练范式，将运动跟踪与联合微调融合，用于动态且一致的运动序列生成。
Card 04
方法描述
方法描述
- 框架包含三个模块：新皮层大脑 融合任务语义与运动意图，生成 256维 潜在向量；基底神经节大脑 以潜在向量和机器人状态为条件，通过流匹配模型生成 50Hz 的高频运动序列块；小脑大脑 作为运动跟踪器，通过强化学习与师生框架实现物理约束下的稳定全身控制。
- 提出四阶段顺序优化流程：预训练运动跟踪器、训练新皮层大脑CVAE、训练基底神经节大脑流匹配模型、联合微调流匹配模型与冻结的运动跟踪模块。
- 关键技术包括残差CVAE架构、InfoNCE对齐损失、两阶段课程训练策略以及通过跟踪误差反向传播进行的联合微调。
Card 05
数据集与资源
数据集与资源
- 使用 Isaac Lab 仿真环境生成VLA数据集，包含多样化场景、物体、第一/第三人称视角以及坐、绕行、站立等任务。
- 流匹配模型采用轻量级 Gemma 解码器作为动作专家网络。
- 仿真实验与推理在单块 48GB RTX 4090 GPU 上执行。
- 框架在仿真和真实世界实验中均部署于 Unitree G1 人形机器人。
Card 06
评估与结果
评估与结果
- 新皮层大脑消融实验：验证了VL对齐、PC蒸馏、Disc正则化、LoRA适配、文本条件及两阶段课程策略等核心组件的贡献，其中VL对齐和课程策略对语义对齐与潜在稳定性至关重要。
- 基底神经节大脑基准测试：所提流匹配方法推理延迟为 18.65ms，比 DDPM 快5.3倍，比 AR 快126倍，同时运动平滑性（总变分0.0061，抖动0.0036）与AR相当且显著优于DDPM。
- 仿真实验：在9项全身任务中，PhysiFlow 平均成功率为 74.9%，相比基线 LeVERB 的 65.0% 提升9.9个百分点，尤其在复杂协调任务（如“导航并绕行”）上提升显著。
- 真实世界实验：在 Unitree G1 机器人上验证了系统实现语义引导任务的能力，证明了可靠的仿真到真实迁移、运动稳定性和动态一致性。