文档敏感度分类基准测试：经典模型与Transformer模型的对决
在组织文档管理中，自动敏感度分类是一项关键但常被忽视的任务。分类错误可能导致监管违规或安全漏洞。尽管基于AI的方法为人工审查提供了可扩展的替代方案，但其可靠性高度依赖于训练数据的完整性。然而，该领域普遍存在一个被低估的问题——标签泄漏：文档中残留的分类标记使得模型能够利用表面捷径而非学习真正的内容信号，从而产生虚高且不可靠的性能评估。
针对这一问题，研究人员提出了Strategic 16K，一个精心构建的、控制泄漏的语料库，包含来自维基解密美国外交电文库（PlusD）的16,000份外交电文。他们系统性地评估了六种模型架构，涵盖经典机器学习和基于Transformer的方法。通过扩展的泄漏移除协议，他们识别并消除了三类残留分类标记。在干净的基准测试上，BERT表现最佳（准确率89.14%，F1分数89.33%），其次是ELECTRA（准确率88.57%，F1分数88.90%）。在经典模型中，TF-IDF结合逻辑回归以显著更低的计算成本取得了最强性能。
这些结果构成了首个在明确泄漏控制条件下从WikiLeaks PlusD构建的可完全复现的敏感度分类基准。
背景与挑战
组织文档的敏感度分类是信息安全的重要防线，但传统人工审查成本高昂且效率低下。AI模型的应用虽能提供规模化解决方案，却面临一个隐蔽的陷阱：训练数据中的标签泄漏。如果文档中残留了分类标记（如“机密”字样），模型可能会依赖这些表面线索，而非学习文档内容的语义特征，导致在真实场景中性能大幅下降。
研究方法
研究团队从WikiLeaks PlusD中选取了16,000份外交电文，构建了Strategic 16K语料库。他们设计了一套严格的泄漏移除协议，系统性地识别并清除了三类标记：格式标记、元数据标记和内容中的分类词汇。随后，他们对比了六种模型：经典方法包括TF-IDF与逻辑回归、朴素贝叶斯和支持向量机；深度学习方法包括BERT、ELECTRA和RoBERTa。
主要发现
在清理后的基准上，BERT和ELECTRA展现了优越性，但经典模型也表现出色。TF-IDF与逻辑回归的组合在准确率和F1分数上接近最佳深度模型，却无需GPU训练，推理速度更快，资源消耗更低。这提示我们，在资源受限的场景下，经典模型仍具竞争力。
意义与展望
这项研究不仅提供了首个可复现的泄漏控制基准，还强调了数据质量在AI系统中的重要性。它提醒我们，模型性能的评估必须建立在干净的数据之上，否则可能会误导实际部署决策。未来，如何将泄漏检测自动化，以及如何在更广泛的文档类型上验证这些发现，将是值得探索的方向。
