一眼看懂
封面预览
论文提出 PointACT，一种双系统架构的 3D 感知 Vision-Language-Action (VLA) 模型，旨在解决现有 VLA…
- 论文提出 PointACT，一种双系统架构的 3D 感知 Vision-Language-Action (VLA) 模型，旨在解决现有 VLA…
- 该方法将分层 3D 点云表示直接集成到动作解码过程中，通过多尺度点-动作交互机制，使动作 token 能够同时关注局部几何细节和全局场景结构。
- 模型结合了冻结的预训练 VLM 骨干（提供语义理解）和一个轻量级的 3D 动作专家（负责几何驱动控制），实现了精确且鲁棒的机器人操控。
Card 01
研究单位
研究单位
- Inria
- École normale supérieure
- CNRS
- PSL Research University
Card 02
论文概述
论文概述
- 论文提出 PointACT，一种双系统架构的 3D 感知 Vision-Language-Action (VLA) 模型，旨在解决现有 VLA 模型过度依赖 2D 视觉表示而缺乏精细几何和空间接地能力的问题。
- 该方法将分层 3D 点云表示直接集成到动作解码过程中，通过多尺度点-动作交互机制，使动作 token 能够同时关注局部几何细节和全局场景结构。
- 模型结合了冻结的预训练 VLM 骨干（提供语义理解）和一个轻量级的 3D 动作专家（负责几何驱动控制），实现了精确且鲁棒的机器人操控。
Card 03
核心贡献
核心贡献
- 系统性地研究并对比了将点云集成到 VLA 的两种策略（骨干注入与动作专家集成），揭示了在动作专家中集成几何信息的效果优于直接修改 VLM 骨干。
- 提出了 PointACT 模型，设计了一种专用的点-动作专家，利用高效的瓶颈窗口自注意力机制实现多尺度点云特征与动作 token 的细粒度交互。
- 在 LIBERO 和 RLBench 基准上取得了显著性能提升，在 RLBench-10Tasks 上比现有最优预训练 VLA 提高了 10% 的成功率。
Card 04
方法描述
方法描述
- 采用双系统架构：使用 Qwen2.5-VL 作为冻结的 VLM 骨干提取语义特征，使用基于 Point Transformer v3 的编码器处理 3D 点云几何信息。
- 创新性地提出多尺度点-动作交互机制，让动作 token 在解码过程中分层与不同分辨率的点云特征交互，兼顾局部细节与全局布局。
- 引入瓶颈窗口自注意力技术，将点云划分为多个空间窗口，动作 token 作为瓶颈查询在各窗口内进行局部自注意力后聚合，大幅降低了计算成本。
- 根据任务类型设计了回归头（用于 delta action）和分类头（用于 keypoint action），分类头利用点云锚定策略增强空间定位精度。
Card 05
数据集与资源
数据集与资源
- 主要评估基准包括 LIBERO (涵盖 Spatial, Object, Goal, Long 四个任务套件) 和 RLBench (10Tasks)。
- 真实世界实验基于 SO-100 机械臂和 UR5 机械臂平台进行验证。
- 模型的 VLM 骨干为 Qwen2.5-VL，PointACT 动作专家模块包含约 300M 可训练参数。
- 训练资源使用 2 NVIDIA H100 GPUs，总 Batch Size 为 128，训练步数在 20K 到 50K 之间。
Card 06
评估与结果
评估与结果
- 在 LIBERO 基准测试中，PointACT 平均成功率达到 96.0%，优于复现的 EO1 (93.1%) 及其他 2D VLA 基线方法。
- 在 RLBench-10Tasks 基准上，PointACT 平均成功率达到 82.3%，相比 HybridVLA (74%) 和 EO1 (73.2%) 实现了显著提升。
- 消融实验证明，预训练的 3D 点云编码器权重对大模型性能有显著帮助，且多尺度交互机制优于简单的特征拼接策略。
- 真实机器人实验显示，PointACT 在多项精细操控任务（如堆叠杯子、放置物体）上优于 π0 和 GR00T-N1.5 等强基线模型。