无数据类增量学习：增量蒸馏策略与基准改进

"无数据类增量学习中的增量蒸馏策略及其对常见类增量基准的改进" 在当前的计算机视觉领域，模型需要不断适应新概念，但传统的离线训练方式容易导致灾难性遗忘。无数据类增量学习（DFCIL）正是为了解决这一问题，它允许模型在没有历史数据的情况下学习新任务，避免了存储和重放数据的需求。然而，这种方法在应对常见的类增量基准测试时面临挑战。 DFCIL的一个关键方法是利用学习者模型的冻结副本生成合成图像以模拟数据重放，但研究发现这种方法在标准蒸馏策略下效果不佳。为了解决这个问题，文章提出了一个创新的增量蒸馏策略。该策略结合了交叉熵训练和重要性加权特征蒸馏，有效缓解了模型在学习新任务时对旧任务知识的遗忘。 通过对现有方法的分析，作者揭示了传统策略失败的原因，并通过实验证明了新策略的有效性。相比于当前最先进的DFCIL方法，新方法在多个常见的类增量基准测试上提高了25.1%的最终任务准确性，甚至在某些情况下超越了基于存储图像核心集的重放方法。 这项工作的重要性在于，它为解决实际场景中存储和数据隐私问题提供了新的思路。由于许多计算机视觉应用在设备上运行，存储空间有限，且涉及敏感数据，因此无数据的学习策略具有显著的实际价值。此外，提出的增量蒸馏策略不仅适用于DFCIL，也可能对更广泛的持续学习和终身学习研究产生深远影响。 "无数据类增量学习中的增量蒸馏策略"是一个突破性的研究，它通过改进的学习策略增强了模型在不断变化环境中的适应能力，降低了对存储历史数据的依赖。这种方法为未来的计算机视觉系统提供了更高效、更灵活的学习框架，有望推动终身学习领域的进一步发展。代码已开源，供其他研究人员参考和使用。