MedCalc-Bench 评测的真相：基准审计揭示其局限性，开放式评估或成新方向
MedCalc-Bench 作为评估大语言模型在临床计算任务上性能的常用基准，其有效性正受到挑战。一篇新论文通过系统审计发现，该基准存在超过20处从关键公式错误到运行时缺陷的问题，并指出其当前评估框架可能未能准确衡量模型的临床推理能力。
基准审计：揭示隐藏的缺陷
论文作者对 MedCalc-Bench 的计算器实现进行了系统性审计，结果令人惊讶：在 NeurIPS 发表的该数据集中，发现了超过 20 处错误。这些错误范围广泛，包括：
- 关键公式不准确：直接影响计算结果的正确性。
- 运行时缺陷：在代码执行过程中可能引发问题。
这些发现意味着，此前基于该基准的模型性能分数（例如，在 HELM MedHELM 排行榜上，最先进的直接提示方法在 Verified 分割上的准确率徘徊在 35% 左右）可能建立在有缺陷的基础之上。
开放式提示：简单干预，效果显著
研究提出了一个简单的干预措施：在推理时为模型提供计算器规范，即采用 “开放式提示” 方法。实验结果显示，这一方法无需任何微调，就能大幅提升模型性能：
- 在 GLM-4.6V 和 GLM-4.7 模型上，准确率从约 52% 跃升至 81-85%。
- 这一成绩甚至超过了所有已发表的结果，包括那些使用 强化学习与可验证奖励 训练的系统（此前最佳公开方法准确率为 74%）。
性能上限与核心问题
研究还利用 GPT-5.2-Thinking 模型探索了该任务的理论性能上限，达到了 95-97%。剩余的误差主要归因于：
- 基准真值问题：数据集中标注的“标准答案”本身可能存在错误或不一致。
- 数据集模糊性：部分任务描述或数据可能存在歧义，影响模型判断。
重新审视基准的价值
综合这些发现，论文的核心论点在于：MedCalc-Bench 目前主要衡量的是模型对特定公式的记忆能力和算术精度，而非真正的临床推理能力。
这意味着什么？
- 评估偏差：如果一个模型仅仅因为记住了更多公式或算得更准而获得高分，这并不能证明它在复杂的、需要综合判断的真实临床场景中表现更好。
- 方向误导：专注于在此类基准上刷分，可能让研究偏离提升模型实际临床理解与应用能力的目标。
未来方向：从“闭卷考试”到“工具使用评估”
论文主张，应将 MedCalc-Bench 更好地定位为 “工具使用评估” 的基准。在现实世界中，医生也会查阅手册、使用计算器或咨询专业数据库。因此，评估模型能否正确、有效地利用给定的工具规范（如计算器公式）来解决问题，比评估它能否凭记忆复现这些计算更为关键，也更具实际意义。
开放式评估（允许模型在推理时访问必要知识）或许更能反映模型在辅助诊断、治疗方案计算等实际医疗场景中的潜在效用。
小结
这项研究不仅暴露了一个广泛使用基准的技术缺陷，更引发了关于如何更有效地评估AI医疗能力的深层思考。它提醒业界：
- 基准审计至关重要：依赖的评测数据集需要持续验证与维护。
- 评估框架需与时俱进：随着模型能力演进，评估方式也应从单纯的知识记忆测试，转向更贴近实际应用场景的能力考察。
- “开卷”可能比“闭卷”更有意义：在专业领域，获取并利用外部知识的能力，往往是智能的核心体现之一。
未来，如何设计能更好衡量临床推理、决策过程而不仅仅是计算结果的基准，将是AI医疗评估领域的一个重要课题。