告别模式崩塌：用 GFlowNets 生成多样化专家对话合成数据
合成数据已成为大模型后训练阶段的关键燃料，但一个棘手的问题始终存在：直接提示 LLM 或按场景条件生成，往往产出高度同质化的内容，反复塌缩到少数几种「主流模式」上。一篇新论文提出用 生成流网络（GFlowNets） 来破解这一困境。
问题：合成数据的「模式崩塌」
在自适应 AI 应用中，模型需要学习多样化的专家策略与决策方式——比如辅导对话中如何引导、情感支持对话中如何回应。然而作者指出，当研究者直接用提示词驱动 LLM，或将其条件化到具体使用场景时，生成的数据多样性偏低，会塌缩到主导模式上，难以覆盖真实交互中的策略分布。
方法：用 GFlowNet 采样潜在对话结构
论文的核心思路是训练 GFlowNet 来生成潜在对话结构。具体而言，作者在关键交互特征上构建高斯混合密度——这些特征包括「困惑片段动态」（confusion episode dynamics）、「脚手架指令平衡」（scaffolding directive balance）等。
通过这种方式，模型能够按照各策略在训练数据中的实际流行度比例进行采样，而不是简单地复制训练数据或过度偏向某一种模式。
实验：两个领域、三类任务
作者在两个结构上截然不同的领域验证了该方法：
- 辅导对话（tutoring）
- 情感支持对话（emotional support）
结果显示，基于 GFlowNet 的合成数据生成方案在保真度、模式覆盖度与真实性三者之间取得了比强化学习和端到端 LLM 基线更好的平衡，且没有直接复制训练数据。
在下游评估中，作者用三类结果预测任务进行测试，发现基于 GFlowNet 合成对话训练的分类器，其提供的训练信号强于竞争性合成基线。
为什么值得关注
合成数据管线的多样性瓶颈，长期制约着后训练阶段对复杂人类策略的建模能力。GFlowNets 本身以「按奖励比例采样」著称，这篇工作将其从分子生成、组合优化等经典场景迁移到对话数据合成，提供了一条不依赖提示工程堆叠、也不靠简单拒绝采样的新路径。对那些需要模拟多元专家行为的 AI 应用——教育、心理健康支持、客服策略训练等——这一方向可能具有直接的落地价值。
论文以预印本形式发布，作者为 Sumit Asthana、Michael Ion 与 Kevyn Collins Thompson。
