新上线9天前0 投票
黑盒大模型置信度估计新突破：利用数据集提升不确定性量化
黑盒大语言模型（LLM）在现实世界中的安全部署高度依赖不确定性量化（Uncertainty Quantification, UQ）。然而，现有方法多采用零样本（zero-shot）策略，在无需标注数据的情况下生成置信度分数，但实际应用中，部署前仍需在目标数据集上评估其性能。最新研究提出，通过利用这一数据集，可以显著提升UQ的表现，且几乎不增加计算开销。
该研究由Sokhna Diarra Mbacke、Mouloud Belbahri和Gabriel Loaiza-Ganem共同完成，论文发表于arXiv（编号2608.19323）。研究者发现，现有UQ方法（如口头化置信度、多次生成法等）虽各有优势，但往往未能充分利用部署时可得的数据资源。为此，他们提出构建一个简单的分类器，将现有UQ分数与相似查询的正确性作为特征，预测LLM响应的正确性。这一方法在多个基准测试上持续优于现有分数，且额外计算量极小。
核心思路在于：当面对一个新查询时，分类器会参考历史数据中相似查询的结果，结合当前UQ分数，做出更精准的置信度判断。这种“数据驱动”的增强方式，使得UQ不再局限于模型自身的输出，而是融入了经验证据，从而提高了可靠性。
实际意义上，该方法为UQ提供了一种廉价且直接的改进途径。在医疗、金融等高风险领域，准确的不确定性估计至关重要，而该研究让开发者无需复杂改造即可提升模型的可信度。不过，研究者也指出，方法依赖初始UQ分数的质量，若初始分数与正确性关联微弱，改进空间可能受限。
总体而言，这项工作揭示了数据集利用在UQ中的潜力，为黑盒LLM的安全应用提供了新思路。未来，结合主动学习或在线适应，或可进一步优化分类器性能，值得关注。
