精选8天前0 投票
MedCalc-Pro：用LLM智能体攻克复杂医学计算难题
大型语言模型在医学计算领域的应用正面临新的挑战。现有基准测试多基于简化场景，每个病例仅对应单一计算器，且查询中明确指定所需工具。然而，真实临床环境往往需要多个计算器联合评估、嵌套尺度计算，以及不直接指明目标计算器的模糊查询。针对这一痛点，研究团队提出了 MedCalc-Pro——一个全新的医学计算基准测试，涵盖三种难度递增的任务设置：单计算器、多计算器和嵌套计算器。该基准包含 2,268 个真实临床案例，覆盖 14 个临床科室的 77 个医学计算器。
为了应对复杂临床场景下现有框架和方法的性能局限，研究团队进一步提出了一种更具泛化能力的智能体框架。该框架支持多工具选择和嵌套工具调用，并通过结构化验证和证据审查抑制参数错误传播。研究者在开源、闭源及医学专用的大型语言模型上进行了系统对比，结果显示，所提出的框架在所有三种任务设置中均取得了最佳性能。
这项工作为评估和将LLM应用于具有挑战性的医学计算场景提供了新的基准和方法。