CARAT 基准拷问材料大模型：是在推理晶体结构，还是在背诵答案？
准确率掩盖的真相
当材料科学大模型回答一道晶体结构问题时，它究竟是从结构本身推导出答案，还是直接抄写了输入文本里已经印好的那个字段？准确率无法区分这两种情况——因为一段结构描述往往会把被评分的目标字段原样打印在输入中。
这正是 arXiv 论文 CARAT（arXiv:2609.38340）试图解决的问题。作者 Jiajun Wu、Jian Yang、Zixiang Ni、Zhenzhu Li、Bin Chong 构建了一套匹配视图基准：固定问题与标准答案不变，只改变结构信息的呈现方式，共设计八种匹配视图，并在 GraphSpace 中为每种结构关系单独命名。
三个关键发现
第一，有据可依的视图确实有用。 在基准中最难的题目族上，基于结构的视图比仅给化学式的输入高出 17.3 个百分点。这说明结构信息本身携带了可用的推理线索。
第二，作者把审视的目光转向自身。 GraphSpace 比普通周期图高出 19.3 个百分点，但这个差距其实是两种效应叠加的结果：当普通图已经包含问题所需的全部字段时，优势只有 1.96 个百分点；而当普通图完全缺失这些字段时，优势高达 46.7 个百分点。换句话说，这个亮眼数字主要衡量的是基线缺了什么，而非证据呈现方式有多好。
第三，对基准本身发起攻击。 一条跳过链接、直接读取列表的规则就能答对七个加固题族中的四个，作者因此重建基准，直到十一种此类捷径都接近随机水平。
模型在“引用”而非“使用”
最耐人寻味的结果来自配对推理测试：冻结的模型会引用那条结构链接，但当研究者把链接重定向后，它在 95.6% 的配对案例中给出相同答案——它复述了关系，却没有真正使用它。
经过匹配监督训练后，这一比例升至 99.8%；而删除链接后，准确率骤降至 23.4%，低于最佳捷径所能达到的 27.0%。这说明“引用”和“使用”两步都是可以学习掌握的。
为什么值得关注
这项工作对材料大模型乃至更广泛的科学 AI 评测提出了方法论警示：高准确率可能来自数据泄漏式的复述，而非真正的结构推理。CARAT 通过匹配视图、关系命名和捷径攻击，提供了一套更严格的诊断框架，也提醒研究者——在设计基准时，需要主动攻击自己的评测，否则很容易把“基线缺陷”误读为“模型能力”。
