AREX-2:用长程反思任务训练自我进化智能体,刷新多项基准
让智能体在测试时「越做越好」
大模型智能体的能力边界,正在从「一次性回答」转向「反复自我修正」。arXiv 上一项新研究 AREX-2 提出了一个颇具野心的目标:让 LLM 智能体具备自我改进(self-improving)能力,也就是在测试阶段不断迭代、把当前解逐步打磨成更优解。
研究团队把这种能力拆解为两个互补的部分:
- 反思(reflection):能够产出一个比现有解更好的新解;
- 长程执行(long-horizon execution):让这种迭代在几十上百轮之后依然有效,而不是几轮之后就「原地打转」。
关键假设:这两种能力与领域无关
论文的核心假设是——反思与长程执行并不绑定于特定领域,因此可以在「适合监督」的场景中被学习,再迁移到其他任务上。
为了验证这一点,作者从两类任务中合成长程改进轨迹:
- 机器学习任务(如 MLE-bench 类工程问题);
- 算法编程任务。
选择这两类领域的原因很直接:它们提供可验证的反馈(对错、分数、通过率可自动判定),并且奖励持续迭代——也就是说,智能体多跑几轮,理论上就应该拿到更好的结果。
成绩单:从 MLE-bench 到深度研究
AREX-2 基于 Qwen3.8-27B 构建,在多个基准上给出了相当亮眼的数字:
- MLE-bench Lite:81.8
- Frontier-CS:70.7
- BrowseComp:84.0
- HLE:52.6
- GAIA:92.2
- DeepSearchQA:93.8
更值得注意的是迁移能力。模型只在机器学习与算法编程任务上训练,却在**深度研究(deep research)**类任务上取得高分——这说明长程反思带来的不是某种「刷题技巧」,而是一种更通用的解题策略。
为什么「轮数」本身成了变量
论文强调,随着迭代轮数预算(budget of rounds)增加,性能持续提升。这一点在工程上意义重大:它意味着智能体的表现不再只由模型参数决定,还可以通过「给它更多思考轮次」来换取质量。对于需要高可靠性的场景(科研辅助、代码生成、复杂检索问答),这提供了一条可调节的算力—质量曲线。
行业视角
当前智能体赛道的一个普遍痛点是:多轮自我修正往往在几轮后就退化,模型开始重复错误或陷入无效循环。AREX-2 的思路是把「如何长程地改进」当作一种可训练的数据分布问题,而不是靠提示词工程临时拼凑。
如果这一路线可复现,它可能影响两件事:
- 训练数据的组织方式:合成可验证的长程轨迹,可能成为智能体后训练的标准配方;
- 推理时的算力分配:从「一次采样」转向「预算化迭代」,让 test-time compute 真正兑现价值。
论文作者表示代码与模型将会开源,具体链接已在论文中给出。目前结果均来自论文自报,后续社区复现情况仍待观察。


