ActionCodec: What Makes for Good Action Tokenizers

• 论文作者来自多个机构，可能包括高校或企业的研究团队，但提供的HTML原文中未明确列出机构名称，仅列出了作者姓名。

• 论文旨在回答一个核心问题：“什么构成了好的动作分词器（Action Tokenizers）”，专门从视觉-语言-动作（VLA）模型优化的视角进行分析。
• 论文提出了一套基于信息论的设计原则，用于指导高性能动作分词器的构建。
• 为了解决现有VQ-based分词器在下游任务中表现不佳的问题，论文引入了ActionCodec，一个遵循这些原则的新型高性能动作分词器。

• 建立了一个严谨的分析框架，从VLA训练动力学的角度，明确了动作分词器的最佳设计需求，为通用物理智能的未来研究提供了系统性路线图。
• 引入了ActionCodec，一个实现了已验证设计原则的高性能动作分词器，显著提升了VLA模型的训练效率和抗过拟合能力。
• 提供了基于ActionCodec的VLA模型套件，在多个模拟和现实世界基准测试中取得了最先进的（SOTA）性能，甚至在无需机器人预训练、仅从通用VLM初始化的条件下也表现出色。
• 通过信息论分解，识别并分析了影响VLA优化的三个关键指标：重叠率（Overlap Rate）、容量/词表大小（Capacity/Vocabulary Size）、以及感知对齐与残余语法（Perceptual Alignment vs. Residual Grammar）。
• 提出了实用的增强功能，如特定具身软提示（embodiment-specific soft-prompts） 和残差向量量化后训练（RVQ Post-training），以支持跨平台知识转移并提高重建保真度。

• 论文采用向量量化（VQ） 框架，使用编码器-解码器结构将连续动作序列离散化为令牌序列。
• 核心创新在于从VLA优化角度（而非单纯重建保真度）出发，通过信息论分析，提出并验证了设计最优动作分词器的关键原则：最大化时序令牌重叠率、最小化词表冗余、增强令牌与多模态上下文间的互信息、以及确保令牌独立性。
• ActionCodec使用类似Perceiver的Transformer架构，具有处理可变长度序列的灵活性。
• 关键技术包括：使用时间对比学习（TCL）和CLIP目标来提升感知对齐；采用独立的（无内部注意力）分词方案以最小化残余语法；以及通过RVQ后训练在不破坏拓扑稳定性的前提下提高重建精度。

• 用于分词器训练和评估的数据集包括：LIBERO、BridgeData、DROID，以及用于现实世界评估的SO100-ShapeSorter和xArm-PickVeg数据集。
• VLA模型基于SmolVLM2系列，论文中使用了不同规模的模型，如SmolVLM2-256M、SmolVLM2-500M和SmolVLM2-2.2B。
• ActionCodec本身具有特定的模型规模，例如采用词汇表大小 S=2048 和令牌预算 n=16 的配置。
• 训练资源未在提供的HTML片段中明确说明，但通常这类实验需要使用GPU/TPU集群。

• 评估环境与基准：在LIBERO（包括Goal、Spatial、Object、Long四个任务套件）、Simpler-WidowX（仿真）以及真实机器人平台SO100和xArm上进行评估。
• 主要评估指标：任务成功率（SR%）、平均排名（Avg. Rank）、训练效率（收敛速度）、推理延迟（Latency） 和吞吐量（Throughput）。
• 关键实验结果：

- ActionCodec在LIBERO基准测试中，使用SmolVLM2-2.2B微调，无需机器人预训练即可达到95.5% 的平均成功率。

- 结合块级自回归（BAR） 范式后，ActionCodec-BAR在LIBERO上达到97.4% 的平均成功率，创造了无需机器人预训练的VLA模型新SOTA。

- 与主流分词器（如Binning、String、VQ-VLA、MiniVLA、FAST）相比，ActionCodec在训练效率和最终性能上均显著领先，在5K训练步内达到89.5%成功率，远超其他方法。

- 在Simpler-WidowX基准测试中，ActionCodec-BAR同样取得了最高排名和最佳平均成功率（65.2%）。

- 现实世界实验表明，ActionCodec能够学习复杂的恢复行为，并在xArm平台上实现了82.5% 的成功率。

- ActionCodec实现了22.0 action/s 的高吞吐量和0.9秒的低延迟，兼具高性能和高效率。