Pedagogical Alignment for Vision-Language-Action Models: A Comprehensive Framework for Data, Architecture, and Evaluation in Education

• 朝鲜大学 (Chosun University) - Unggi Lee, Jeongsu Moon, Youngchang Song, Jaechang Shim, JaeHwan Lee, Yunju Noh, Seungwon Choi, Ahhyun Kim, TaeHyeon Kim, Kyungtae Joo, Taeyeong Kim
• 首尔国立大学 (Seoul National University) - Jahyun Jeong, Sunyoung Shin
• 韩国课程与评价研究院 (Korea Institute for Curriculum and Evaluation) - Haeun Park
• 南洋理工大学 (Nanyang Technological University) - Gyeonggeon Lee

• 提出 Pedagogical VLA Framework，将视觉-语言-动作（VLA）模型应用于教育场景，特别是科学演示
• 解决现有 VLA 模型面临的四个关键问题：资源约束部署需求、牺牲语言生成能力、缺乏安全机制、缺乏教育评估框架
• 通过文本修复（text healing）恢复轻量级 VLA 模型的语言生成能力，并通过 LLM 蒸馏传递教学知识

• Pedagogical VLA Framework 的设计与实现，基于五个设计原则：轻量级优先、可解释性、安全设计、教学对齐、多维评估
• 文本修复（Text Healing） 技术：重建文本生成 pathway，从动作专家的隐藏状态中提取上下文并生成教育性解释
• LLM 蒸馏：使用 GPT-4o 生成教学注释，将教学知识从大模型转移到轻量级模型
• 安全干预训练：收集人类进入工作空间的场景数据，训练模型检测人体存在并立即停止
• 多维评估框架：综合定量指标、教师调查和 LLM-as-Judge 评估任务执行和教学可用性

• 基础模型：基于 SmolVLA（450M 参数轻量级 VLA），使用 SigLIP 作为视觉编码器
• 文本修复架构：

- Mean Pooling 从动作专家隐藏状态提取上下文

- 投影层将专家维度映射到语言模型维度

- 文本解码器（12 层 Transformer）生成教学文本

- 语言模型头输出概率分布

• 训练目标：联合损失函数 $\mathcal{L}_{total} = \mathcal{L}_{action} + \lambda \mathcal{L}_{text}$，设置 $\lambda=0.1$
• 动作分块：每次推理预测 50 个动作，文本注释与动作块对齐

• 数据集：5 个科学演示任务，共 572 个回合

- 电磁感应（物理）：80 回合

- 焰色反应（化学）：80 回合

- 酵母发酵（生物）：122 回合

- 岩石分类（地球科学）：130 回合

- 琼脂板制备（实验支持）：160 回合

• 硬件：SO-101 机器人臂（6-DOF 低成本机械臂）
• 训练配置：100,000 步，batch size 32，最大文本长度 128 tokens

• 评估指标：

- 任务执行：成功率、协议合规性、效率、安全性

- 文本质量：相关性、教学价值、安全沟通、流畅性（1-5 分）

- 可用性：有效性、效率、安全性、可持续性、愉悦感

• 关键结果：

- Pedagogical VLA 在文本质量上显著优于 Text-SmolVLA（相关性 3.7 vs 2.3，教学价值 3.5 vs 1.3）

- ACT 达到最高任务成功率（78%），但缺乏安全响应能力

- VLA 模型的人类检测停止率（60-78%）显著高于 ACT（20%）

- 消融实验表明 4 层解码器优先保障动作成功率，8 层在文本质量上最优