缓解灾难性遗忘：联合类增量学习的全局与局部遗忘补偿

"联合类增量学习：解决全局模型灾难性遗忘的方法摘要" 联合类增量学习是一种新兴的机器学习方法，旨在应对联邦学习（FL）中出现的灾难性遗忘问题。联邦学习允许分布在不同设备上的客户端在保护数据隐私的同时，共同训练一个全局模型。然而，传统的FL方法通常假设所有类别的数据在整个学习过程中都是可用的，这并不符合实际场景，因为新类别可能会不断出现，而旧类别可能因存储限制而无法保存。 在这样的背景下，"全局类增量模型-局部遗忘补偿（GLFC）模型"被提出。GLFC模型主要关注两方面的问题：局部遗忘和全局遗忘。局部遗忘发生在客户端，由于类不平衡和有限的存储空间，旧类别的信息容易被新类别淹没。为解决这个问题，GLFC引入了类感知梯度补偿损失和类语义关系蒸馏损失，以保持旧类别的影响力，确保它们在新任务中得到平衡的学习，同时维持类别之间的关系一致性。 另一方面，全局遗忘是指当新的、未见过的类别加入到FL系统中时，全局模型对旧类别知识的遗忘。为应对这个问题，GLFC模型设计了一个代理服务器，它能选择最佳的旧全局模型作为参考，帮助重建丢失的类间关系。这种策略有助于减轻非独立同分布（non-I.I.D）类别的客户端造成的不平衡问题。 此外，GLFC模型还采用了一种原型的基于梯度的通信机制，以降低通信成本并增强隐私保护。通过这些创新，GLFC模型在代表性的基准数据集上表现出优于现有最先进的方法4.4%-15.1%的平均准确性。 这项工作对FL领域的贡献在于提供了一种有效应对类别增量和遗忘问题的解决方案，这对于现实世界中的FL应用，如自动驾驶、可穿戴设备、医疗诊断和手机应用等，都具有重要意义。代码可在https://github.com/conditionWang/FCIL找到，供研究者和开发者参考和使用。