提出 神经隐式动作场 (NIAF)，将 视觉-语言-动作模型 的动作预测范式从预测离散路径点转变为回归连续动作函数。
- 提出 神经隐式动作场 (NIAF)，将 视觉-语言-动作模型 的动作预测范式从预测离散路径点转变为回归连续动作函数。
- 旨在解决当前 VLA 模型存在的三个关键局限：刚性时间离散化、缺乏高阶动力学监督 以及 动态不一致性和控制不兼容性，这些问题阻碍了精确、柔顺的…
- 通过将多模态大语言模型作为 分层频谱调制器，学习调制一个共享的隐式神经表示，以生成无限分辨率且物理一致的动作轨迹。
研究单位
- 商汤科技 (SenseTime， 多位作者如 Haoyun Liu, Jianzhuang Zhao, Xinyuan Chang 等均署名，且论文出现在商汤官方 arXiv 账号下)
论文概述
- 提出 神经隐式动作场 (NIAF)，将 视觉-语言-动作模型 的动作预测范式从预测离散路径点转变为回归连续动作函数。
- 旨在解决当前 VLA 模型存在的三个关键局限：刚性时间离散化、缺乏高阶动力学监督 以及 动态不一致性和控制不兼容性，这些问题阻碍了精确、柔顺的物理交互。
- 通过将多模态大语言模型作为 分层频谱调制器，学习调制一个共享的隐式神经表示，以生成无限分辨率且物理一致的动作轨迹。
核心贡献
- 提出了 神经隐式动作场 (NIAF) 这一新的动作预测范式，从离散路径点预测转向连续函数回归。
- 引入了 解析物理感知的监督策略，利用隐式表示的微分性对速度、加速度和加加速度进行显式约束，提供精确的阻抗控制前馈信号。
- 设计了 分组的超调制机制，将 MLLM 作为分层频谱调制器，高效地根据语义上下文调整共享的动作流形先验。
- 在 CALVIN 和 LIBERO 基准上实现了 SOTA 性能，并验证了该框架在不同主干模型上的 可扩展性。
- 通过真实世界机器人实验验证了 NIAF 在稳定阻抗控制、减少运动抖动和实现精细动态任务方面的 优越性。
方法描述
- 核心思想：将动作块轨迹建模为定义在连续时间域上的参数化函数，即动作场
A(τ)=Φ(τ;θ)。MLLM 作为超网络，根据多模态上下文预测该函数的参数 θ。 - 关键技术/创新点：
- 使用 正弦表示网络 作为隐式解码器，保证了生成的轨迹具有 C∞ 光滑性和精确的解析微分能力。
- 分组超调制：MLLM 输出一组查询嵌入，经过投影后生成调制系数 γ 和 β，动态调整 SIREN 各层的权重和偏置，从而调制出具体任务的动作流形。
- 解析高阶动力学：利用 SIREN 的可微性，通过链式法则递归计算精确的轨迹速度、加速度和加加速度，避免了数值微分的噪声。
- 隐式流形正则化与动力学监督：在训练时，除了位置损失外，还可利用可用的真值速度和加速度对高阶导数进行显式监督，并引入加加速度正则化以确保运动平滑。
数据集与资源
- 使用的数据集：CALVIN 和 LIBERO 仿真基准。
- 模型规模和参数量：
- 主干模型：Florence-2 Large (0.77B) 和 Qwen3-VL (规模未具体说明)。
- NIAF 自身参数相对轻量（隐式动作解码器）。
- 训练资源：未在提供的正文中明确说明，通常为 GPU 集群。
评估与结果
- 评估环境和基准：CALVIN (ABCD→D, ABC→D) 和 LIBERO (Spatial, Object, Goal, Long 四个任务套件)。
- 主要评估指标：任务链连续成功数、平均链长度、单任务成功率。
- 关键实验结果：
- 在 CALVIN ABCD→D 设置下，NIAF 取得了 0.978 的 2 步成功率和 4.66 的平均链长度，优于所有基线模型（包括使用大规模机器人数据预训练的模型）。
- 在 LIBERO 上，NIAF 在全部四个套件上平均成功率高达 97.9%，其中 LIBERO-Object 达到 100%，LIBERO-Long 达到 95.5%。
- 在同一 Florence-2 Large 主干下，NIAF 的表现显著优于其他动作表示方法，如 BEAST (B-样条控制点) 和 FAST (DCT系数)。
- 在 Qwen3-VL 主干上的扩展实验同样取得了最佳平均性能 97.7%。
- 真实世界实验表明，NIAF 能够实现比离散方法更平滑、抖动能少的轨迹，在 物品放置、杯子堆叠、形状插入 和 毛巾折叠 等任务中表现出色。