一、论文概述

arXiv 上新收录的一篇 cs.AI 论文 《Improving OCR Faithfulness via Gated and Attenuated On-Policy Distillation》（arXiv:2609.38282，v1 提交于 2026 年 9 月 29 日 16:15:21 UTC），作者为 Baode Wang、Zuming Huang、Kexuan Ren、Jun Huang、Wei Chu。

论文要解决的问题很具体：视觉语言模型（VLM）在 OCR 任务中会把图像里的”异常文本”改写成语言上更通顺的表达。例如图像中原本是拼写错误、乱码、罕见符号或非常规大小写的内容，模型会”顺手”把它纠正成看起来合理的词。这类行为在通用多模态对话里或许算加分项，但在 OCR 转写场景中直接破坏了 transcription faithfulness（转写保真度）——模型输出的不是它看到的东西，而是它认为应该看到的东西。

作者的核心观察是方法论层面的：序列级任务奖励（sequence-level task rewards）与教师模型的局部引导（local teacher guidance）是互补的，但来自同一个教师模型的指导，并不会随着学生模型变强而保持同等有效性。

论文给出的离线分析显示：

  • 跨越不同训练检查点（training checkpoints）来看，固定教师提供的监督随着学生变强而逐渐变得不那么有利；
  • 跨越不同任务奖励水平的响应组（response groups）来看，也存在同样的现象。

换句话说，”教师永远是对的”这个蒸馏的默认假设在这里不成立——教师与学生的能力差缩小时，固定的蒸馏权重反而会拖后腿。

基于这一观察，作者提出了 GAD-RL（从标题推断对应 “Gated and Attenuated”，即门控与衰减；原文摘要未展开缩写全称），在联合后训练（joint post-training）过程中，根据学生当前的任务表现和局部分布，自适应地调节教师监督的强度。

二、关键技术点

1. 异步/条件化的教师设定

GAD-RL 使用一个冻结的教师模型，其输入条件是参考答案转写（reference transcriptions）以及学生自己生成的前缀（student-generated prefixes）。

这一点值得注意：教师不是简单地对同一个输入做前向，而是在”知道正确答案”的前提下，对学生的生成路径给出逐 token 的引导。这本质上是一种 on-policy（在线策略）蒸馏——蒸馏发生在学生自己采样出来的轨迹上，而非固定的离线数据上。

2. 两道调控机制：硬门控 + 连续衰减

论文给出的自适应调控包含两层：

（1）硬门控（Gating）
当一个响应组（response group）中存在任务奖励不低于 0.95 的输出时，GAD-RL 直接关闭该组的蒸馏。

这里的”响应组”沿用 GRPO 类方法的设定：对同一 prompt 采样多个回答，组内相对比较。当组内已经出现一个近乎满分（≥0.95）的回答时，说明学生在这个样本上已经做得足够好，此时教师的额外指导没有价值，甚至可能引入偏差。

（2）连续衰减（Attenuation）
随着组平均奖励（group-mean reward）上升，蒸馏强度被连续衰减。

这是一个软机制：不是”好就关、差就开”的二元开关，而是随学生在该组上的整体表现平滑地降低教师权重。奖励越高 → 教师影响力越小。

3. 局部前向 KL 的再加权

第三个技术点是损失层面的：GAD-RL 用学生模型对教师 Top-1 token 的概率来对前向 KL 散度进行加权。

其效果是：当学生对教师所给候选 token 的支持度很低时，减弱这一局部辅助更新的力度。

这一设计的动机可以理解为：如果学生当前分布几乎不给教师的首选 token 任何概率质量，那么强行用前向 KL 把它拉过去，会产生一个方向明确但可能破坏学生已有能力的梯度。用学生自身的概率做权重，相当于给局部辅助损失加了一个”置信度”或”兼容性”门槛。

4. 实验结果

在 Qwen3.5-2B 上：

指标 / 基准 GAD-RL 结果
CHAOS-Bench Micro Recall 59.92%
相比 GRPO +8.45 个百分点
相比 GRPO+OPD（固定权重） +4.43 个百分点
OmniDocBench v1.6 Overall 91.18

需要说明的是：原文摘要只给出了相对提升幅度，未列出 GRPO 与 GRPO+OPD 的绝对数值；也未说明是否在其他规模模型、其他数据集或其他 OCR 基准上做过验证。代码与数据是否开源，原文未说明。

三、对数据科学 / AI Agent 落地的意义

1. 蒸馏不是”越久越好”，需要会”放手”

过去很多团队的蒸馏 pipeline 是固定超参跑到底：教师权重设一个值，训练到收敛。GAD-RL 的离线分析给出了一个可复用的经验：教师监督的边际价值随学生能力提升而衰减。

这意味着在工程实践中，蒸馏权重应当成为训练状态的函数，而不是一个静态常数。尤其当你用一个大模型去蒸馏一个小模型、且学生还在用 RL 继续优化时，二者的能力差是动态变化的。

2. 对 Agent 与文档处理链路的直接价值

OCR 保真度问题在 Agent 落地上非常现实。文档解析、票据识别、合同抽取、代码截图理解这类 Agent 任务，链路的第一环就是”把图里的字读对”。VLM 的”语言先验纠错”倾向会在这一环埋下静默错误：模型把 OCR 结果”修”成通顺文本，后续的抽取、推理、结构化全部建立在被篡改的输入上，而整个链路不会报错。

GAD-RL 针对的正是这类**”看起来更聪明、实际上更不忠实”**的失败模式——这对需要审计和溯源的场景（金融、医疗、法务文档）尤其重要。

3. 一种可迁移的”教师门控”范式

把”硬门控 + 连续衰减 + 学生概率加权的 KL”抽象出来，它并不局限于 OCR：

  • 任意 RL + 蒸馏混合训练（GRPO/PPO 类 + OPD）都可以考虑按组奖励水平调节蒸馏强度；
  • 在 Agent 轨迹级训练中，当一个轨迹已经拿到高回报，继续用教师轨迹去塑形收益有限；
  • 在 数据飞轮中，这对应”高质量样本已饱和时降低旧策略/旧教师数据权重”的直觉。

四、我的技术点评

优点与亮点：

  1. 问题选得准。 “VLM 把异常文本改成合理表达”是一个被广泛感知但很少被形式化处理的问题。它不属于模型能力不足，而属于目标错位——通用语言流畅性先验与转写保真度目标之间的冲突。把它单独拎出来做成基准和优化目标，是有价值的。

  2. 动机由实证驱动，而非直觉拼凑。 论文先做离线分析，观察到固定教师的监督在不同检查点、不同奖励组上呈现递减的有利性，再据此设计 GAD-RL。这种”先测再设计”的路径比直接堆机制更可信。

  3. 机制设计克制且有解释性。 三个组件各自对应一个明确的现象：组内已有高质量解 → 不需要教师（门控）；组整体在变好 → 教师该退场（衰减）；学生对教师首选 token 支持度低 → 局部损失不可靠（加权 KL）。这比很多”加一个可学习门控网络”的做法更可解释，也更少引入新的不稳定因素。

需要保留态度的地方：

  1. 阈值是超参，不是原理。 0.95 这个门控阈值看起来是经验选择。摘要未说明该阈值是否做过敏感性分析，也未说明衰减函数的具体形式（线性？指数？sigmoid？）——原文摘要未说明。这类超参在小模型（2B）上标定出的值，能否迁移到大模型，是需要验证的。

  2. 实验覆盖面有限。 摘要只报告了 Qwen3.5-2B 单一模型、CHAOS-Bench 与 OmniDocBench v1.6 两个基准。缺少跨规模、跨模型家族的验证，也缺少对”教师本身能力上界”的分析（如果教师本身在某些异常文本上也倾向于改写，蒸馏会传递这个偏差）。

  3. 与 RL 的耦合关系值得深挖。 GAD-RL 本质是在 GRPO 的框架里做条件化蒸馏，那么蒸馏项与 RL 项的相对尺度就变得很关键。衰减机制改变的不只是教师权重，还有整体梯度的量级结构。论文是否做了梯度范数层面的分析，原文摘要未说明。

  4. “保真度”与”可用性”的张力。 把异常文本原样转写出来（如乱码、错字）对下游任务未必总是最优。实际落地中往往需要”忠实转写 + 可选规范化”两阶段，而非让模型在单次生成中同时完成。GAD-RL 解决了前一阶段，后一阶段仍需要工程上的显式设计。

总体判断： 这是一篇方法清晰、动机扎实、机制可解释的工作。它提出的”教师监督应当随学生能力自适应衰减”这一观察，可能比 OCR 这个具体任务本身更有普适价值。如果你的 pipeline 里存在”大模型蒸馏小模型 + RL 后训练”的组合，这是一个值得试用的思路。不过在生产环境采用前，建议先在自己的数据上复现门控阈值与衰减曲线的敏感性，并确认教师模型自身在目标场景下的转写忠实度——否则你可能在向一个同样会”篡改”的教师看齐。

五、原文链接