任务中心化个性化联邦微调：FedRouter解决语言模型在异构任务中的两大挑战
联邦学习（FL）作为在分布式私有数据集上训练语言模型的潜力技术，正面临一个核心难题：当模型在异构任务上训练后聚合时，往往导致个体客户端性能下降。个性化联邦学习（pFL）试图为每个客户端的数据分布定制模型，但这通常缺乏两个关键维度的鲁棒性：泛化能力（客户端需对未见任务进行预测或面临数据分布变化时）和客户端内任务干扰（单个客户端数据包含多个可能相互干扰的分布）。
FedRouter：基于聚类的任务中心化pFL
为解决这两大挑战，研究团队提出了FedRouter——一种基于聚类的pFL方法，其核心理念是为每个任务而非每个客户端构建专用模型。FedRouter通过适配器（adapters）实现模型个性化，并采用两种聚类机制将适配器与特定任务关联：
- 本地聚类：将适配器与客户端本地的任务数据样本关联。
- 全局聚类：聚合来自不同客户端的相似适配器，以构建任务中心化的个性化模型。
此外，FedRouter引入了一个评估路由器机制，该机制能根据已创建的聚类，将测试样本路由到最合适的适配器。
性能表现与行业意义
在跨多任务数据集的实验中，FedRouter在与现有方法的对比中展现了强大的韧性：
- 在任务干扰场景下，性能相对提升高达6.1%。
- 在泛化评估中，相对改进高达136%。
这一突破对AI行业，尤其是隐私计算和边缘智能领域具有深远影响。随着数据隐私法规（如GDPR）日益严格，以及物联网设备产生海量异构数据，如何在保护数据隐私的同时，高效利用分散在各处的、任务多样的数据训练强大的AI模型，已成为关键挑战。传统的联邦学习或简单的个性化方法，在应对客户端数据“多任务混杂”或任务分布动态变化时，往往力不从心。
FedRouter的“任务中心化”思路，将优化目标从“客户端”层面提升到“任务”层面，更精细地建模了真实世界中的数据分布复杂性。它使得模型不仅能更好地服务于客户端的已知任务，还能更灵活地适应新任务或任务漂移，这对于实际部署中的自适应AI系统至关重要。例如，在医疗、金融等敏感领域，不同医院或银行的内部数据可能同时包含多种子任务（如不同的疾病诊断或金融产品风险评估），FedRouter有望在这些场景下实现更精准、更鲁棒的模型协作与个性化服务。
小结
FedRouter通过创新的任务中心化聚类和路由机制，有效应对了个性化联邦学习中长期存在的泛化与任务干扰难题。其显著的性能提升，为在复杂、动态的分布式环境中构建更强大、更实用的语言模型开辟了新路径，是联邦学习向更精细、更鲁棒方向演进的重要一步。