一眼看懂
封面预览
论文针对当前 Vision-Language-Action (VLA) 模型仅依赖 RGB 感知导致无法捕捉热信号、且缺乏显式安全约束的问题…
- 论文针对当前 Vision-Language-Action (VLA) 模型仅依赖 RGB 感知导致无法捕捉热信号、且缺乏显式安全约束的问题…
- 该框架通过集成 长波红外 (LWIR) 热成像感知 来识别不可见物理属性，并结合 控制障碍函数 (CBF) 安全过滤器确保在分布外场景下的运行…
- 论文旨在解决机器人操作中的视觉盲区问题（如温度识别、地下目标定位）以及端到端策略在复杂环境下的执行安全性问题。
Card 01
研究单位
研究单位
- Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM), Germany
Card 02
论文概述
论文概述
- 论文针对当前 Vision-Language-Action (VLA) 模型仅依赖 RGB 感知导致无法捕捉热信号、且缺乏显式安全约束的问题，提出了 Safe-Night VLA 框架。
- 该框架通过集成 长波红外 (LWIR) 热成像感知 来识别不可见物理属性，并结合 控制障碍函数 (CBF) 安全过滤器确保在分布外场景下的运行安全。
- 论文旨在解决机器人操作中的视觉盲区问题（如温度识别、地下目标定位）以及端到端策略在复杂环境下的执行安全性问题。
Card 03
核心贡献
核心贡献
- 提出了 Safe-Night VLA 框架，将热成像感知集成到冻结的 VLM 主干中，并耦合 CBF 安全过滤器，实现了基于热力学属性的自然语言语义推理和安全执行。
- 设计了一个新颖的物理基准测试，针对 RGB 失效的三种典型场景：隐藏热力学状态、地下目标遮挡和跨模态光学欺骗（如镜子反射）。
- 通过跨模态注意力消融研究，揭示了策略能够有效地将语义 Token 与热力梯度关联，证明了冻结的视觉编码器可以迁移到伪彩色热成像域。
Card 04
方法描述
方法描述
- 基于 GR00T-N1.5-3B 架构，核心感知引擎采用冻结的 SigLIP-2 400M 视觉编码器和 Qwen3-1.7B 语言模型，仅训练 Action Head（投影层和 Diffusion Transformer）。
- 多模态输入包含 RGB、热成像和深度图，其中热成像和深度图被转换为 3 通道伪彩色图像，并引入不对称数据增强策略（仅扰动 RGB）以迫使模型依赖热/深度特征。
- 安全保障方面，通过 CBF-QP (控制障碍函数 - 二次规划) 作为运行时安全过滤器，在控制层面限制 VLA 输出的笛卡尔动作，防止碰撞并满足关节限制。
Card 05
数据集与资源
数据集与资源
- 使用 Franka Emika Panda 7 自由度机械臂和双臂遥操作平台收集数据。
- 传感器包括 Intel RealSense RGB-D 相机和 Topdon TC001 热成像相机。
- 收集了 600 段 专家演示数据，覆盖三个特定任务场景。
- 训练配置为 5000 步，有效批量大小为 128，使用 AdamW 优化器，学习率为 3e-5，采用 bfloat16 混合精度训练。
Card 06
评估与结果
评估与结果
- 评估基准包含三个场景：温度条件操作（区分冷热瓶）、地下目标定位（挖掘埋藏热物体）和跨模态消歧（识别镜子反射）。
- 主要指标为任务成功率，并在正常光照和暗光/夜间条件下进行对比测试。
- 实验结果显示，Safe-Night VLA 在暗光环境下的热相关任务中显著优于 RGB-only 基线（例如在冷热瓶任务中成功率为 64% 对比 0%）。
- 结果证明了热成像模态在解决视觉盲区中的主导作用，以及 CBF 安全过滤器在防止碰撞和稳定执行中的必要性。