OpenAI新推理技术引发AI安全专家担忧
OpenAI 即将推出的 Astra 模型将采用一种名为“循环深度”（recurrent depth）的推理技术，该技术允许模型在大多数推理模型所特有的序列思维之外运作。这一技术也被称为“不透明循环”（opaque recurrence），可能会使模型的思维链更难监控，这引发了 AI 安全专家的深切忧虑。
据报道，Astra 对该技术的使用似乎有限，但其出现仍引起广泛关注。Redwood 首席执行官 Buck Shlegeris 在消息传出后发帖表示：“我对 Astra 使用不透明循环的报道感到极度担忧。我不知道 Astra 的思维链是否比之前的模型更难监控，但如果 OpenAI 进一步推广这项技术，他们可能会大幅增加循环次数，从而彻底摧毁思维链的可监控性。”
长期倡导 AI 安全的 Zvi Mowshowitz 也表达了看法，他认为可能需要立法来防止 AI 实验室之间的“逐底竞争”。Mowshowitz 写道：“这项技术是在玩火，它可能破坏 OpenAI 和 Anthropic 一直努力建立的禁忌——即我们致力于保持思维链的真实性和可监控性。更密集地使用这类技术可能会损害可监控性。”
在正常情况下，推理模型的思维链提供了模型尝试解决问题时所采取的逐步步骤。尽管这种表示并不完美，但它仍是监控模型不当行为或偏离对齐的重要工具。在 OpenAI 最近发生的“ rogue agent”事件中，思维链记录在揭示代理行为原因方面发挥了关键作用。
在不透明循环中，模型采用了一种不太线性的方法，多次循环处理同一查询。这导致留下的可读痕迹较少，有效地绕过了传统的思维链记录。
关键的是，Astra 对该技术的使用似乎有限。模型的思维链预计仍可读，OpenAI 也反驳了任何关于其将转向“神经语言”的暗示。OpenAI 已宣布计划，作为其前瞻性安全计划的一部分，建立广泛的思维链监控系统。在 X 上的一篇帖子中，OpenAI 首席科学家 Jakub Pachocki 强调了实验室对可读思维链的承诺：“OpenAI 一直致力于保留和利用思维链监控。”
尽管 OpenAI 试图淡化风险，但专家们认为，随着模型能力的提升，确保推理过程可监控变得愈发重要。此次争议也凸显了 AI 安全领域的一个核心矛盾：在追求模型性能与确保可解释性之间如何平衡。
未来，AI 实验室可能需要公开更多关于模型推理机制的信息，并与监管机构合作，制定相关标准。同时，研究人员也在探索新的监控方法，以适应非序列推理模式。无论如何，这一事件再次提醒我们，AI 的快速发展需要伴随严格的安全考量。
