类增量式新类发现：预训练模型与知识蒸馏的应用

"类增量式新类发现：基于预训练模型的未标记数据集中新类别的发现与基类特征原型和特征级知识蒸馏的联合利用" 类增量式新类发现（Class-Incremental New Class Discovery, class-iNCD）是一项针对深度学习模型的研究任务，旨在在未标记数据集中发现新类别，同时保持对已知基本类别的识别能力。这项工作受到增量学习方法的启发，特别是基于排练的增量学习策略，目的是防止模型在学习新知识时遗忘旧信息。 传统的机器学习和深度学习模型通常在有标签的数据集上进行训练，但这种方法在现实世界的应用中存在局限性，因为获取大量标注数据往往既昂贵又耗时。相反，类iNCD任务尝试利用预训练模型，这些模型已经在不相交但相关的标记数据集上进行了训练，以适应不断变化和扩展的类别空间。 类iNCD方法的核心在于联合使用基类特征原型和特征级知识蒸馏。特征原型是每个基本类别的代表性特征向量，它们捕获了类别的关键特性。而特征级知识蒸馏则是将预训练模型的原有知识转移到新任务的过程，以保持对旧类别识别的准确性。此外，文中还提出了一个自我训练的聚类策略，这有助于同时识别新类别和区分原有的基础类别，以及构建一个联合分类器，以应对类增量设置中的挑战。 为了评估类iNCD的有效性，研究人员在多个常见的基准数据集上进行了实验，并且结果显示，这种方法显著优于当前的最先进的技术。这表明类iNCD不仅能有效发现新类别，还能在不断学习新知识的过程中保持对已有知识的稳定性。 新类发现（NCD）作为一个研究领域，其目标是模拟人类的无监督学习能力，能够在已经学习到某些模式后，自动发现和理解新的概念。NCD的重要性在于，它能够在不需要大量未标记数据的情况下，帮助模型扩展其分类能力，这对于实际应用，如图像识别、文本分类等，具有极大的价值。 类增量式新类发现是深度学习和人工智能领域的一个重要进展，它结合了预训练模型的强大学习能力、无监督学习的灵活性以及增量学习的记忆保持机制，以适应不断变化的环境和任务需求。通过这种方式，模型能够持续学习并适应新出现的类别，从而更好地服务于现实世界的复杂场景。