FedPref:联邦偏好学习助力结构化放射学报告提取
放射学报告是医生用自由文本记录影像所见与病灶位置的关键文档,但下游的检索与分析却需要将这些信息转化为固定结构。由于不同医院的标注资源分布不均——小医院本地证据少,数据集中又可能涉及隐私与合规问题——这一任务面临独特挑战。
来自新加坡科技设计大学、ETH Zürich等机构的研究者提出了 FedPref,一种基于联邦学习的偏好学习方法,让数据不足的机构也能从协作中获益,且无需共享原始报告或标注。相关论文已被 ELAMI 2026(与 MICCAI 2026 联合举办)接收,并将发表于 Springer 论文集。
核心思路:让模型"挑"出最佳提取结果
FedPref 的设计巧妙:它利用冻结的公开语言模型(如 Qwen)生成多个候选的 JSON 提取结果,本地标注员对这些结果进行排序,形成"偏好对"。随后,各站点仅共享模型更新(而非数据),协同训练轻量级的 Qwen3-8B 适配器。
为增强模型的鲁棒性,研究团队还引入了异构教师池——当单一模型的重复采样出现坍缩时,多个不同模型的输出能提供跨模型对比,避免偏好信号单一化。
实验结果:小医院获益最明显
在模拟的六家医院数据上(数据量和疾病流行率不均),FedPref 相比各站点独立训练,将客户端平均 F1 提升 2.49 个点,最差站点 F1 提升 9.10 个点,且数据最少的站点提升幅度最大。相比之下,若将偏好数据集中训练,客户端平均 F1 仅比 FedPref 高 2.66 个点。
在锁定的 400 份人工验证黄金测试集上,FedPref 达到 68.68 F1,集中训练为 71.67,两者性能排序一致。这表明 FedPref 在不共享数据的前提下,几乎达到了集中训练的效果,尤其对资源匮乏的机构意义重大。
意义与展望
FedPref 提供了一种隐私保护下的协作范式,尤其适用于医疗等敏感领域。它表明,即使数据分布极不均衡,通过偏好学习和联邦机制,也能有效提升结构化信息提取的准确性。未来,该方法或可扩展至其他类型的临床文本,甚至非医疗领域,为跨机构协作开辟新路径。



