精选今天0 投票
干预式接地审计：通过谓词替换对 LLM 思维链进行黑盒前提依赖测试
大型语言模型（LLM）生成的思维链（CoT）推理看似逻辑严密，但可能并未真正依赖其陈述的前提。一项新研究提出了干预式接地审计（Interventional Grounding Audits），这是一种黑盒、步骤级的前提依赖测试方法：通过将单个前提中的目标谓词替换为一个新符号，重新运行模型，并检查每个推理步骤的规范化结论（规范谓词形式）是否发生变化。
研究在 ProntoQA 基准上进行了评估，这是一个合成多跳演绎推理数据集，包含黄金证明树，其中步骤级前提依赖已知。应用于 50 个 ProntoQA 问题（使用 GPT-4o），该方法在检测证明树依赖时达到了 F1=0.806（谓词决定依赖的 F1=0.885，召回率=100%），显著优于自一致性基线（F1=0.343；95% 自助法置信区间无重叠）。
进一步分析发现，66% 的正确解答问题至少包含一个对齐步骤，该步骤在一致替换下对直接证明树依赖不敏感——所有这些都涉及实体引入前提，这是一致替换评估器的一个已知盲点。这种“答案正确但推理错误”的信号是被动方法无法发现的。
所有审计证书、原始输出和复现脚本均已公开在 GitHub 仓库中。论文同时讨论了该方法超出形式化、可解析基准的范围限制。该研究已被 ICLR 2026 大语言模型逻辑推理研讨会接收。