SheepNav
精选17天前0 投票

AREX-2:用长程反思任务训练自我进化智能体,刷新多项基准

让智能体在测试时「越做越好」

大模型智能体的能力边界,正在从「一次性回答」转向「反复自我修正」。arXiv 上一项新研究 AREX-2 提出了一个颇具野心的目标:让 LLM 智能体具备自我改进(self-improving)能力,也就是在测试阶段不断迭代、把当前解逐步打磨成更优解。

研究团队把这种能力拆解为两个互补的部分:

  • 反思(reflection):能够产出一个比现有解更好的新解;
  • 长程执行(long-horizon execution):让这种迭代在几十上百轮之后依然有效,而不是几轮之后就「原地打转」。

关键假设:这两种能力与领域无关

论文的核心假设是——反思与长程执行并不绑定于特定领域,因此可以在「适合监督」的场景中被学习,再迁移到其他任务上。

为了验证这一点,作者从两类任务中合成长程改进轨迹:

  1. 机器学习任务(如 MLE-bench 类工程问题);
  2. 算法编程任务。

选择这两类领域的原因很直接:它们提供可验证的反馈(对错、分数、通过率可自动判定),并且奖励持续迭代——也就是说,智能体多跑几轮,理论上就应该拿到更好的结果。

成绩单:从 MLE-bench 到深度研究

AREX-2 基于 Qwen3.8-27B 构建,在多个基准上给出了相当亮眼的数字:

  • MLE-bench Lite:81.8
  • Frontier-CS:70.7
  • BrowseComp:84.0
  • HLE:52.6
  • GAIA:92.2
  • DeepSearchQA:93.8

更值得注意的是迁移能力。模型只在机器学习与算法编程任务上训练,却在**深度研究(deep research)**类任务上取得高分——这说明长程反思带来的不是某种「刷题技巧」,而是一种更通用的解题策略。

为什么「轮数」本身成了变量

论文强调,随着迭代轮数预算(budget of rounds)增加,性能持续提升。这一点在工程上意义重大:它意味着智能体的表现不再只由模型参数决定,还可以通过「给它更多思考轮次」来换取质量。对于需要高可靠性的场景(科研辅助、代码生成、复杂检索问答),这提供了一条可调节的算力—质量曲线。

行业视角

当前智能体赛道的一个普遍痛点是:多轮自我修正往往在几轮后就退化,模型开始重复错误或陷入无效循环。AREX-2 的思路是把「如何长程地改进」当作一种可训练的数据分布问题,而不是靠提示词工程临时拼凑。

如果这一路线可复现,它可能影响两件事:

  • 训练数据的组织方式:合成可验证的长程轨迹,可能成为智能体后训练的标准配方;
  • 推理时的算力分配:从「一次采样」转向「预算化迭代」,让 test-time compute 真正兑现价值。

论文作者表示代码与模型将会开源,具体链接已在论文中给出。目前结果均来自论文自报,后续社区复现情况仍待观察。

延伸阅读

  1. Ultracite v8 发布:为智能体开发而生的代码检查与格式化工具
  2. Earnote:在设备上书写讲义与会议笔记
  3. Craft Agents 发布:号称全球最强 AI 智能体,终于配上像样的用户体验
查看原文