分支策略优化：面向沙盒的原生语言智能体强化学习新方法
强化学习已成为训练与可执行沙盒交互的大语言模型智能体的主流范式。然而，当前最先进的算法如 PPO、RLOO 和 GRPO 在 rollout 拓扑上继承了 RLHF 的设计——对每个提示独立采样 N 条轨迹，并通过减去组基线来计算优势。这种设计忽略了沙盒的一个关键特性：确定性、可快照、可从中断状态恢复。来自香港城市大学等机构的研究者提出了一种名为 分支策略优化（Branching Policy Optimization, BPO） 的新算法，充分利用沙盒的这一特性，通过构造共享前缀的分支树来降低方差，提升训练效率。论文已被 WAIC Academic 2026 接收。
核心创新：从独立轨迹到分支树
BPO 的核心思想是改变 rollout 拓扑：不再生成 N 条独立的深度为 T 的轨迹，而是构建一棵具有 N 个叶子的单棵树，其中兄弟节点共享前缀。具体而言，BPO 会（i）在骨干轨迹的高熵决策点自适应地对沙盒进行快照，（ii）在每个分支点分叉出 K 个替代动作并独立执行至终止，（iii）从兄弟节点的回报而非独立提示计算每步优势。研究者证明，该优势估计器无偏，且方差严格低于轨迹级基线，方差缩减量等于前缀解释的回报方差部分。
实验验证：显著提升性能与效率
在 WebShop、ALFWorld 和 SWE-bench Verified 三个基准上，使用 Qwen2.5-7B 和 Llama-3.1-8B 作为骨干模型，BPO 在相同计算量下相比 GRPO 和 RLOO 将成功率提升了 3.6–6.1 个绝对百分点，梯度范数方差减半，并且仅使用 38% 的策略更新次数即可达到最佳基线性能。这表明 BPO 不仅效果更好，而且训练更稳定、更高效。
行业意义：智能体训练的新方向
当前 LLM 智能体训练多沿用 RLHF 的独立采样策略，但沙盒环境的确定性为更精细的探索提供了可能。BPO 通过动态分支和共享前缀，更有效地利用了计算资源，尤其适合需要多步推理和交互的复杂任务（如代码生成、网页操作）。这一方法有望推动智能体强化学习从“独立采样”向“结构化探索”演进，为未来更复杂的沙盒任务（如机器人控制、虚拟世界交互）提供新思路。不过，BPO 在高熵点选择、分支数量等超参数上仍需进一步自动化，且当前实验仅基于 7B/8B 规模模型，更大模型上的表现有待验证。