新上线26天前0 投票
OpsLLM：面向软件运维的端到端大模型构建框架
在软件运维领域，大语言模型（LLM）正受到越来越多的关注。然而，现有研究因数据质量低、知识碎片化和学习不充分，尚未实现高效、有效的端到端智能运维。为探索 LLM 在软件运维中的潜力，研究团队提出了 OpsLLM——一个支持基于知识的问答（QA）和根因分析（RCA）的专用大模型。
构建流程：从数据到模型
OpsLLM 的构建遵循一套完整的端到端工作流：
- 数据构建：引入人机协同（Human-in-the-Loop）机制，从海量运维原始数据中筛选并构建高质量微调数据集。
- 监督微调：基于上述数据集进行监督式微调，获得基础模型。
- 强化学习优化：在强化学习阶段引入领域过程奖励模型（Domain Process Reward Model, DPRM），专门针对 RCA 任务优化模型的准确性和可靠性。
性能表现：超越现有模型
实验在多种难度任务上进行，结果显示 OpsLLM 能够有效学习并对齐运维领域知识，在准确率上显著优于现有的开源和闭源 LLM：
- QA 任务：提升 0.2%~5.7%
- RCA 任务：提升 2.7%~70.3%
此外，OpsLLM 表现出强大的迁移能力。
开源计划
研究团队将开源三个版本的 OpsLLM，参数量分别为 7B、14B 和 32B，同时附带一个 15K 规模的微调数据集，以推动该领域的进一步研究。