仅凭结构特征识别 AI 生成网页内容：Sitefire 团队发布 SlopShape 检测器
词级检测已经不够用了
当前主流的 AI 文本检测器几乎都盯着词——用词分布、困惑度、token 概率。这类方法在未编辑的原始 AI 文本上表现近乎完美，但一旦文本被改写、润色，检测效果就会明显下滑。更关键的是，一个词级分数既不能刻画文本本身，也无法回答「这是哪个模型写的」。
来自 Sitefire（YC W26） 的 Jochen Madler 在 arXiv 上发表论文 《SlopShape: Identifying AI-Generated Commercial Web Content》，提出换一个层级来识别 AI 内容：不看用词，看结构。
从「怎么措辞」转向「怎么组织信息」
研究团队的问题意识很直接：AI 生成的内容是否在信息呈现方式、叙述顺序、证据使用和语气上留下了可识别的结构性签名？
他们复现并扩展了 StoryScope（Russell 等，2026） 的工作。StoryScope 曾证明 AI 生成的小说存在此类结构模式，而 SlopShape 把这一思路搬到商业网页内容上：
- 2,250 篇来自 268 个企业域名的 ChatGPT 之前（pre-ChatGPT）人类博客文章
- 11,250 篇由五个前沿模型生成的 AI「镜像」文章
他们构建了一个 214 特征的检测工具，由 LLM 执行，并通过人工金标注进行验证（人与人的 kappa 为 0.928，人与模型为 0.946）。
结果：98% 的准确率，改写后几乎不变
最亮眼的数字是：仅依靠 187 个结构特征，在留出企业样本上就达到了 98.0 的 macro-F1。而当每一篇 AI 文章都被它自己的模型重新改写后，这个数字几乎纹丝不动——98.1。
这正好击中了词级检测器的软肋：改写能打乱词分布，却难以改变一篇文章组织信息的骨架。
研究还发现，AI 文章共享一种「整洁、自我宣告式」的形状，并且信号不仅能检测，还能归因——79.3% 的 AI 文章被正确对应到生成它的模型，而随机猜中的概率只有 16.7%。相对地，人类文章往往落在一些罕见的结构配置中。
为什么值得关注
如果结构信号真的如此稳定，那么它对内容生态的影响是双向的：
- 对检测方：搜索引擎、平台审核、营销团队多了一条不依赖词汇的识别路径，且更难被简单改写绕过。
- 对生成方：仅靠换词、换句式来「伪装」人类写作，可能不再足够。
- 对研究者：SlopShape 的所有效应都复现了 StoryScope 的方向，而且幅度更大，说明结构特征可能是跨文体通用的信号。
团队已放出流水线、检测工具、提示词、代码和聚合产物，供社区验证与复用。
需要保持的审慎
值得注意的是，这是一篇带有明确商业背景的研究——作者来自做营销推荐工具的 Sitefire，检测 AI 内容与其业务方向相关。此外，论文聚焦的是商业网页内容这一特定文体，结论能否推广到社交媒体、学术写作或对话场景，仍需更多独立验证。结构检测也并非不可规避：一旦生成模型被针对性地训练以模仿人类的结构分布，这场猫鼠游戏就会进入下一个回合。
