精选今天0 投票
大语言模型的信息辨别能力：研究发现模型在来源可信度和事实判断上均存在显著缺陷
研究背景：当LLM成为信息中介，辨别能力有多重要？
随着大语言模型（LLM）越来越多地被用于接入互联网等外部知识源，一个关键问题浮出水面：这些模型能否像人类一样，根据信息来源的可靠性以及新信息是否接近真相来合理更新自己的判断？来自密歇根大学等机构的研究者将这种能力定义为信息辨别，并提出了一个名为 Learn2Discern（L2D） 的评估框架。
核心发现：模型在信息辨别上几乎等同于随机猜测
研究团队通过三项公理化的指标，对13个主流模型进行了近67万次测试，结果令人担忧：
- 来源辨别能力差：模型对可靠信源和不可靠信源的更新幅度几乎没有差异，表现接近随机水平。
- 事实辨别能力弱：当新信息能使模型更接近真实答案时，模型并不会比让模型更偏离真相时更新更多——两者更新幅度几乎相同。
- 偏爱“网红”而非权威：模型对来源“流行度”的依赖程度是对来源可靠性的两倍。
更值得注意的是，模型在自身先验知识已经最准确的数据集上，整合外部知识的效果反而最好。这意味着模型倾向于“巩固已有认知”，而非真正从外部信息中学习。
用户验证：真实用户同样认为辨别能力至关重要
为了验证这些指标的现实意义，研究团队进行了一项预注册的用户研究（n=299）。结果显示，真实LLM用户普遍认同上述三项公理，并且表示如果模型在信息辨别上出现失败，会显著降低他们的信任度和使用意愿。这从用户侧印证了该问题的重要性。
模型进化：扩大规模只能解决部分问题
研究对比了不同代际和参数规模的模型，发现一个有趣的“偏科”现象：
- 新模型和大模型在事实辨别上有进步，即它们更善于判断哪些信息能帮助自己接近真相。
- 然而，在来源辨别上，所有模型几乎毫无长进——模型复杂度似乎完全无法解决这一“盲区”。
这暗示着，单纯依靠Scaling Law（规模定律）可能无法让模型学会分辨信源的可靠性。
出路：推理时的轻量级干预
好消息是，研究团队发现了一些简单的推理时干预方法，能够同时改善模型在来源和事实两个维度上的辨别能力。这些方法不涉及昂贵的重新训练，为实际部署提供了可行的改进方向。
行业启示：LLM替代搜索引擎前必须跨越的障碍
随着LLM逐渐取代传统搜索引擎成为信息获取入口，其信息辨别能力将直接决定用户获取信息的质量。如果模型无法区分权威信源与谣言，无法判断新信息是否真的“更正确”，那么“AI搜索”带来的可能不是效率提升，而是系统性误导。
研究者已将数据集和调查问卷开源，希望为这一核心对齐属性提供标准测试床——用他们的话说，这个问题的重要性将“随着LLM取代传统搜索而与日俱增”。