深度学习增量学习综述：数据、模型与算法的最新进展

增量学习与深度学习是当前人工智能领域的核心研究方向，尤其是在不断演变的环境中，如何让机器学习系统持续适应新的类别挑战成为关键问题。本文由南京大学和南洋理工大学的研究团队合作撰写，提供了30页的深度综述，涵盖了249篇相关的学术论文，对深度类别增量学习进行了深入探讨。 深度学习模型，如卷积神经网络（CNN）和视觉Transformer，在封闭环境下的视觉任务中表现出色。然而，现实世界中的知识是动态的，新的类别会不断出现，这促使研究者关注类增量学习（CIL），它允许模型在遇到新类别时逐步整合知识，保持对所有已见过类别的一致性能。类增量学习的核心挑战在于避免“灾难性遗忘”，即在添加新类数据后，模型可能无法有效地保留对旧类别的记忆，导致整体性能急剧下滑。 本文从三个核心维度进行了深入研究： 1. **以数据为中心**：探讨了不同类型的数据处理策略，包括数据增强、迁移学习、样本选择和维护等方法，这些方法旨在减少新类别学习对旧类别知识的影响，通过有效的数据组织和管理来缓解遗忘现象。 2. **以模型为中心**：研究了模型架构设计和优化，如自适应模型结构、记忆模块和知识蒸馏技术，这些方法通过调整模型结构或引入额外机制来保护旧类别的知识，防止过度拟合新数据。 3. **以算法为中心**：综述了各种增量学习算法，如EWC（经验权重衰减）、GEM（gradient episodic memory）和IWANN（incremental weight normalization），这些算法通过调整学习过程中的权重更新策略，实现知识的稳定传递和保持。 文章还针对16种不同的图像分类任务中的方法进行了详尽的评估和比较，以便于了解各类算法的优势和局限性。通过对这些方法的深入剖析，研究者希望为未来的深度类别增量学习提供理论指导和技术参考，推动该领域的发展和实际应用，例如在机器人指令理解、舆论监控等领域。通过全面的综述和严谨的实验分析，这篇论文对于深度学习研究者和工程师来说是一份宝贵的参考资料。