构建快，评估慢：评估管线选择主导自动可解释性分数方差
稀疏自编码器（SAE）的可解释性评估正面临一场信任危机。一篇来自 arXiv 的新研究（论文编号：2607.19386）通过系统性实验揭示：当前广泛使用的自动可解释性分数，其方差主要来源于评估管线的选择，而非 SAE 架构本身的差异。这一发现对跨论文比较 SAE 可解释性的有效性提出了严峻挑战。
核心发现：管线方差压倒架构方差
研究团队在四个指标（simulation、detection、fuzzing、purity）、两个模型（Pythia-160M、Apertus-8B）以及四个方法论变化维度上进行了大规模实验。结果清晰显示：方法学方差在所有指标和模型上均集体超过架构方差。这意味着，当不同论文报告 SAE 可解释性分数差异时，这些差异很可能源于评估流程的不同（例如提示词设计、评分模型选择、特征采样方式等），而非 SAE 结构本身的优劣。
指标的稳定性差异
不同指标的稳定性表现各异：detection 指标最为稳定，在不同管线条件下结果波动较小；而 fuzzing 指标在所有条件下均不可靠，其分数几乎完全被管线噪声主导。simulation 和 purity 指标则处于中间状态。这一发现提醒研究者：并非所有可解释性指标都适合用于跨论文比较，选择不当可能导致误导性结论。
掩盖的“假稳定性”风险
更值得警惕的是，研究还发现一个“假稳定性”陷阱：top-k 特征排名在不同语料库和采样条件下并不一致，但平均分数却可能保持稳定。这意味着即使论文报告的平均分数看起来可复现，单个特征的实际可解释性可能已发生剧烈变化。单纯监控解释文本的相似性（如 BERTScore）无法检测到这种失败模式。
对 SAE 研究的影响
该发现直接关联到当前关于 SAE 实用性的争论。如果评估分数主要反映管线差异而非架构差异，那么基于这些分数的结论——例如“某种 SAE 架构更可解释”——可能站不住脚。在 AI 安全和对齐研究日益依赖 SAE 进行模型理解的背景下，不可靠的评估工具会拖慢整个领域的进展。
贡献与建议
为改善现状，论文贡献了三项实用工具：
- 方差分解方法：帮助研究者量化评估管线中各环节的方差贡献；
- 稳定性检查（Stability Check）：快速判断分数是否对管线变化敏感；
- 最低报告清单（Minimum Reporting Checklist）：规范跨论文比较所需的关键实验细节。
小结
这篇研究为 SAE 可解释性评估敲响了警钟。它呼吁领域内建立更标准化的评估协议，并提醒我们在解读自动可解释性分数时保持谨慎。对于致力于模型可解释性的研究者而言，理解评估管线的方差来源 或许比优化架构本身更为紧迫。