新上线1个月前0 投票
RxnNano：通过分层课程学习训练紧凑型大语言模型，用于化学反应与逆合成预测
在药物发现和合成规划领域，化学反应预测一直是一个核心挑战。传统的数据驱动模型往往过度依赖参数规模和数据集大小，却忽视了化学反应的本质理解——如反应常识和拓扑原子映射逻辑。这些模型在评估时可能绕过反应表示的根本难题，导致其化学直觉薄弱，难以在实际应用中提供可靠指导。
RxnNano 的提出，正是为了扭转这一局面。它不再追求“更大即更好”，而是通过一套统一的框架，将化学理解置于规模之上。该框架包含三大关键创新：
- 潜在化学一致性目标：将化学反应建模为连续化学流形上的运动，确保可逆且物理上合理的转化。
- 分层认知课程：通过从语法掌握到语义推理的渐进阶段训练模型，构建稳健的化学直觉。
- 原子映射置换不变性：迫使模型学习不变的关系拓扑，并平衡多任务学习。
此外，该框架还引入了结构化计划推理，以进一步提升大语言模型的性能。
性能表现
最引人注目的是，RxnNano 仅是一个 0.5B 参数 的紧凑模型，却在严格的基准测试中，显著超越了微调后参数规模大十倍（>7B）的大语言模型以及所有领域基线模型。在不使用测试时增强的情况下，其 Top-1 准确率提升了 23.5%。这一成果有力地证明了，在特定科学领域，通过精心设计的训练策略和知识注入，小模型完全可以超越盲目追求规模的大模型。
行业意义与展望
RxnNano 的成功为 AI 在科学计算领域的发展提供了新思路。它表明，在专业垂直领域，模型的“智能”并非单纯来自参数数量，而是源于对领域知识的深刻编码和高效学习机制。这种“小而精”的路径，不仅能降低计算成本和部署门槛，加速 AI 在药物研发、材料设计等领域的实际应用，也可能启发其他科学领域开发更高效、更可解释的专用模型。未来，如何将这种分层课程学习和知识注入策略推广到更多科学和工程问题，将是值得关注的方向。