一眼看懂
封面预览
本文旨在解决当前视频大语言模型在细粒度相机运动识别方面存在的显著缺陷，提出一个包含基准测试、诊断与信号注入的完整框架。
- 本文旨在解决当前视频大语言模型在细粒度相机运动识别方面存在的显著缺陷，提出一个包含基准测试、诊断与信号注入的完整框架。
- 论文的核心目标是弥补VideoLLMs在几何运动信号表示上的缺失，使其能够理解作为核心电影语法的相机运动。
- 研究发现现成VideoLLMs在此任务上表现接近随机猜测，存在“相机运动盲区”，并提出了无需重新训练即可注入几何线索的解决方案。
Card 01
研究单位
研究单位
- University of Maryland, College Park
- Dolby Laboratories Inc.
Card 02
论文概述
论文概述
- 本文旨在解决当前视频大语言模型在细粒度相机运动识别方面存在的显著缺陷，提出一个包含基准测试、诊断与信号注入的完整框架。
- 论文的核心目标是弥补VideoLLMs在几何运动信号表示上的缺失，使其能够理解作为核心电影语法的相机运动。
- 研究发现现成VideoLLMs在此任务上表现接近随机猜测，存在“相机运动盲区”，并提出了无需重新训练即可注入几何线索的解决方案。
Card 03
核心贡献
核心贡献
- 构建了 CameraMotionDataset 合成数据集和 CameraMotionVQA 多选VQA基准测试，用于训练和评估细粒度相机运动识别。
- 提出一个模型无关的流水线，从冻结的3D基础模型提取相机线索，预测受约束的运动原语，并通过结构化提示注入VideoLLMs。
- 通过Q-Former探针实验，诊断并揭示了相机运动线索在VideoLLM视觉编码器深层中被衰减的关键瓶颈。
- 提出了高效的 VGGT–Q-Former 蒸馏方法，在大幅降低计算成本的同时保持了良好的运动识别性能。
Card 04
方法描述
方法描述
- 采用 冻结的3D基础模型VGGT 提取帧级相机令牌作为几何线索。
- 训练一个包含约束正则化（不兼容性与基数约束）的轻量级Transformer时序分类器，预测15种原子运动的多标签组合。
- 将预测的每秒运动序列格式化为结构化文本提示（如“Per-second camera motion: [pan-left, static, ...]”），前置到用户指令中，无需修改VideoLLM权重。
- 使用Q-Former探针分析视觉编码器中间特征，并设计知识蒸馏方法将VGGT的相机感知能力迁移到更高效的轻量级模型。
Card 05
数据集与资源
数据集与资源
- CameraMotionDataset：包含12,274个1秒镜头内片段，源自 MultiCamVideo，具有由相机外参确定的精确运动标签。
- CameraMotionVQA：基于上述数据集的多选题基准测试，用于标准化评估VideoLLMs。
- 使用模型：VGGT (1.2B参数) 作为相机线索提取器；轻量级Transformer分类器 (约9.5M参数)。
- 训练资源：所有实验在单张 NVIDIA RTX A6000 GPU上完成。
Card 06
评估与结果
评估与结果
- 评估基准：在 CameraMotionDataset 上进行多标签识别，在 CameraMotionVQA 上进行四选一问答。
- 主要指标：实例精度、Macro-F1、Weighted-F1。
- 关键结果：基于VGGT线索的方法取得73.8%的实例精度，远超现成VideoLLMs（约25%的随机水平）。探针实验显示运动线索在视觉编码器深层中逐渐丢失。蒸馏后的 VGGT–Q-Former 在吞吐量提升5.3倍、内存降低61%的情况下，精度仅下降8.13%。结构化提示有效引导模型生成时空连贯、相机感知的描述。