新上线1个月前0 投票
FedEMA-Distill：指数移动平均引导的知识蒸馏，打造更稳健的联邦学习
联邦学习（FL）在现实部署中面临两大核心挑战：一是客户端数据分布不均（非独立同分布，non-IID），导致模型训练时出现客户端漂移和收敛缓慢；二是部分客户端可能存在恶意行为（拜占庭攻击），破坏全局模型的可靠性。传统方法通常需要客户端上传完整的模型参数，这不仅带来巨大的通信开销，也使得模型异构性支持变得复杂。
FedEMA-Distill 提出了一种创新的服务器端解决方案，旨在同时应对这些挑战。其核心思想结合了两种技术：
- 指数移动平均（EMA）：服务器维护一个全局模型的EMA版本。EMA通过对历史模型参数进行加权平均，起到平滑模型更新、抑制噪声和异常值的作用，从而有效缓解客户端漂移，提升训练稳定性。
- 集成知识蒸馏：客户端无需上传庞大的模型权重，而是仅需在服务器提供的一个小型公共代理数据集上运行本地模型，并上传其输出的预测对数（logits）。服务器收集所有客户端的logits后，通过集成（如平均）形成一个“软目标”，然后利用知识蒸馏技术，指导EMA全局模型向这个集成目标学习。
关键优势与实验表现
这种方法带来了多方面的显著改进：
- 通信效率大幅提升：由于只传输压缩后的logits，而非完整的模型参数，每轮通信中客户端的上行数据负载降至0.09-0.46 MB，相比传输完整模型权重减少了约一个数量级。
- 收敛速度加快：在CIFAR-10、CIFAR-100、FEMNIST和AG News等数据集上的实验表明，在Dirichlet-0.1标签倾斜设置下，FedEMA-Distill达到相同目标精度所需的通信轮数减少了30-35%。
- 模型精度提高：与代表性的基线方法相比，其Top-1准确率提升了数个百分点，例如在CIFAR-10上提升高达+5%，在CIFAR-100上提升高达+6%。
- 强大的抗攻击能力：服务器在对logits进行集成时，可以采用坐标中位数（coordinate-wise median）或修剪均值（trimmed-mean） 等鲁棒聚合方法。实验证明，这能使训练在存在10-20%拜占庭客户端的情况下保持稳定，并在遭受攻击时产生校准良好的预测结果。
- 部署友好与兼容性：该方法对客户端要求极低。客户端运行标准的本地训练，无需修改其软件，并且支持客户端使用不同的模型架构（模型异构）。同时，由于只交换聚合或混淆后的模型输出（logits），它与安全聚合（Secure Aggregation）和差分隐私（Differential Privacy） 等技术天然兼容，便于构建隐私保护更强的FL管道。
行业意义与展望
FedEMA-Distill的研究为联邦学习的实际落地提供了有价值的思路。它将时序平滑（EMA）与仅logits聚合相结合，构建了一条高效、稳健且易于部署的FL技术路径。在边缘计算、物联网设备协同学习以及医疗、金融等对数据隐私和模型鲁棒性要求极高的场景中，此类减少通信负担、增强安全性的方法具有重要的应用潜力。它表明，通过巧妙的服务器端算法设计，可以在不增加客户端负担的前提下，显著提升联邦学习系统在复杂现实环境中的整体性能与可靠性。