让OCR不再「自作聪明」：GAD-RL 用门控衰减蒸馏提升转录忠实度
视觉语言模型在识别图像文字时，常常会「顺手」把看起来不合常理的文本改写成更像人话的表达——比如把乱码、错别字、异常符号自动「纠正」成通顺词句。这种能力在通用对话里是优点，但在 OCR（光学字符识别）场景中却是致命缺陷：转录的忠实度被牺牲了。
arXiv 上最新的一篇论文 《Improving OCR Faithfulness via Gated and Attenuated On-Policy Distillation》 针对这一问题提出了新方法 GAD-RL，试图在「让学生模型自己探索」和「让老师模型指导」之间找到更聪明的平衡点。
问题出在哪？
研究团队指出，序列级任务奖励（sequence-level task rewards）和局部教师指导（local teacher guidance）本来是互补的：前者告诉模型整体输出好不好，后者在每一步提供更细的监督信号。但一个关键矛盾是——同一个老师给的指导，并不总是随着学生变强而同样有效。
离线分析显示，随着学生模型不断进步，来自固定老师的监督会「越来越不划算」：无论是在不同的训练检查点（checkpoints）上，还是在任务奖励不同的响应组（response groups）之间，固定权重的蒸馏都会逐渐拖后腿。
GAD-RL 的两个关键机制
基于这一观察，作者设计了 GAD-RL，在联合后训练（joint post-training）过程中，根据学生当前的任务表现和局部分布，自适应地调节教师监督的强度。具体来说：
- 门控（Gated）：如果一个响应组里出现了任务奖励 ≥ 0.95 的输出，就直接关闭蒸馏——学生已经做得足够好，不需要老师再插手。
- 衰减（Attenuated）：随着组平均奖励升高，蒸馏强度持续衰减，避免老师「过度指导」。
- 前向 KL 加权：用学生对老师 Top-1 token 的概率来加权前向 KL 散度。当学生对某个候选词的支持度很低时，就减弱这一步的辅助更新，防止强行把学生的分布拉向老师。
这种方法的核心逻辑是：老师该退场时就退场，该闭嘴时就闭嘴。
实验结果
在 Qwen3.5-2B 上，GAD-RL 在 CHAOS-Bench 上取得了 59.92% 的 Micro Recall，分别比 GRPO 和 GRPO+OPD（固定权重） 高出 8.45 和 4.43 个百分点。在 OmniDocBench v1.6 上，整体得分达到 91.18。
为什么值得关注
OCR 忠实度问题在文档数字化、票据识别、无障碍阅读等场景中影响直接。模型「自作聪明」地改写原文，可能导致关键信息失真。GAD-RL 的思路——让蒸馏强度随学生能力动态变化——不仅适用于 OCR，也可能为更广泛的视觉语言模型后训练提供参考：老师不是越强越好，而是要在合适的时候出现、在合适的时候退出。
