一眼看懂
封面预览
论文提出了 TriRelVLA 模型，一种引入三元关系结构的视觉-语言-行动(VLA)框架，旨在解决现有VLA模型在未见场景和物体上泛化能力不…
- 论文提出了 TriRelVLA 模型，一种引入三元关系结构的视觉-语言-行动(VLA)框架，旨在解决现有VLA模型在未见场景和物体上泛化能力不…
- 核心问题是现有VLA的隐式视觉表示纠缠了物体外观、背景与场景布局，导致策略对视觉变化敏感，且先前的结构化表示主要捕获场景语义而非行动相关的关系。
- 通过显式建模 对象-手-任务 三元关系，作为视觉感知与行动决策之间的桥梁，以组织视觉表示并提供更紧凑、可迁移的行动预测基础。
Card 01
研究单位
研究单位
- 新加坡国立大学 (National University of Singapore)
- 华中科技大学 (Huazhong University of Science and Technology)
Card 02
论文概述
论文概述
- 论文提出了 TriRelVLA 模型，一种引入三元关系结构的视觉-语言-行动(VLA)框架，旨在解决现有VLA模型在未见场景和物体上泛化能力不足的问题。
- 核心问题是现有VLA的隐式视觉表示纠缠了物体外观、背景与场景布局，导致策略对视觉变化敏感，且先前的结构化表示主要捕获场景语义而非行动相关的关系。
- 通过显式建模 对象-手-任务 三元关系，作为视觉感知与行动决策之间的桥梁，以组织视觉表示并提供更紧凑、可迁移的行动预测基础。
Card 03
核心贡献
核心贡献
- 提出了一个新颖的三元关系VLA框架，利用三元关系结构作为中间表示来提升VLAs在未见机器人场景中的可迁移性。
- 设计了显式的三元表示，揭示了支配行动决策的核心线索，并构建 对象-手-任务 结构来组织视觉表示。
- 构建了任务导向的关系图，通过任务引导的交叉注意力形成节点，并用关系感知图变换器建模交互，为行动预测提供可迁移的支持。
- 建立了一个真实世界的机器人数据集 CSOT-Bench 用于模型微调，并展示了在多样化泛化任务上的先进性能。
Card 04
方法描述
方法描述
- 方法首先从多模态输入构建统一的3D视觉潜表示和语言潜表示，并从中分别提取 对象、手、任务 三元表示作为关系基元。
- 构建 任务导向的关系图，通过任务引导的交叉注意力将三元表示转化为节点，定义成对边缘以形成关系结构，并用关系感知图变换器进行更新。
- 将更新后的关系结构压缩至瓶颈空间并投影至LLM语言嵌入空间，实现 关系条件的行动生成，减少对外观统计的依赖。
- 采用三阶段训练管道，依次进行多模态对齐、关系结构建模和机器人任务微调，并通过辅助损失（对象定位与手锚定）稳定表示学习。
Card 05
数据集与资源
数据集与资源
- 使用了 OXE (Open X-Embodiment) 大规模数据集进行预训练，获取基本行动先验。
- 使用了 DROID 真实世界大规模数据集并进行了半自动标注，用于学习三元关系结构。
- 使用了 LIBERO 模拟基准和自建的 CSOT-Bench 真实世界数据集用于评估与任务微调。
- 模型采用 Qwen3-4B 作为LLM骨干，SigLIP 作为语义编码器，DINOv2 (来自VGGT) 作为几何编码器。
- 训练资源为 8张A800 GPU，使用AdamW优化器，分三阶段设定不同的学习率和批量大小。
Card 06
评估与结果
评估与结果
- 评估在 LIBERO 基准和 CSOT-Bench 上进行，涵盖微调任务和跨场景、跨物体、跨任务的零样本泛化设置。
- 主要评估指标为 任务成功率。
- 实验结果显示，TriRelVLA在微调任务上取得了与先进方法相当或更好的性能（如在LIBERO平均成功率上达 79.8%），并在跨场景、跨物体和跨任务的零样本泛化上取得了显著的性能增益。
- 消融实验证实了三元表示、关系图和关系瓶颈等关键组件的有效性。