在线学习模糊任务边界：多样性采样和鲁棒学习的持续学习方法

9275模糊任务边界Jihwan Bang1，2 Hyunseo Koh2，3 Seulki Park2，4 Hwanjun Song1，2 Jung-Woo Ha1，2 Jonghyun Choi2，5，*1NAVER CLOVA2 NAVER AI Lab3 GIST4首尔国立大学5延世大学{jihwan.bang，hwanjun.song，jungwoo.ha}@ navercorp.com，hyunseo8157@gm.gist.ac.kr，seulki.snu.ac.kr，jc@yonsei.ac.kr摘要在具有不正确标签的连续变化的数据分布下学习是理想的现实世界问题，但具有挑战性。然而，大量的持续学习（CL）方法，假设数据流与干净的标签，和在线学习的情况下，嘈杂的数据流尚未充分利用。我们考虑了一个更实际的CL任务设置的在线学习模糊的数据流与损坏的标签，现有的CL方法挣扎。为了解决这个问题，我们首先讨论了在持续学习模型的情景分类中，例子的多样性和纯粹性的重要性。为了平衡情景记忆的多样性和纯净性，我们提出了一种新的策略，通过标签噪声感知的多样性采样和半监督学习的鲁棒学习的统一方法来管理和使用记忆。我们对四个真实世界或合成噪声数据集（CI-FAR 10和100，mini-WebVision和Food-101 N）的经验验证表明，我们的方法在这种现实和具有挑战性的持续学习场景中显着优于 现 有 技 术 。 代 码 和 数 据 分 割 可 以 在https://github.com/ clovaai/puridiver中找到。1. 介绍持续学习（CL）是在连续和在线注释数据流下的实用学习场景[5，24，27]。由于连续变化的数据分布，已知CL方法由于灾难性干扰和对学习新信息的抵抗而遭受稳定性-可塑性困境[12，25]。此外，当CL模型被部署在诸如电子商务应用的现实世界中时，由于较少控制的数据策展过程，众包[36]。尽管数据标签在现实世界中可能由于人为错误而受到污染，但现有的*：通讯作者。CL研究在很大程度上假设给定的训练数据没有注释错误[19，27]，这可能会阻碍许多CL方法在现实世界应用中的实际使用。最近的一项工作[17]放宽了这一假设，提出了一个在线CL设置下的数据流不太可靠的标签。然而，他们假设了一个不相交的类增量场景，使得任务流之间没有类重叠，这在文献中被认为对于现实世界的应用不太实用[5，27]。为了进一步解决可能被错误标记的不断变化的数据分布，我们首先设计了一种新的CL任务，即在模糊任务边界上对受污染的数据流进行在线持续学习[27]，作为一种更现实和实用的持续学习场景。样本选择策略对于基于情景记忆的CL方法可以说是重要的[1，5，17，19，27]。具体而言，多样性感知的样本选择策略在在线模糊CL场景中是有效的[5]。然而，在受污染的数据流上，基于多样性的记忆构建可能会促进在情景记忆中包括许多具有损坏标签的示例，由于深度模型的非常高的容量过度拟合所有错误标记的示例，导致性能不佳[40]。为了解决这个问题，我们提出了一个统一的记忆采样策略框架，该框架将情景记忆的鲁棒学习和不可靠数 据 的 半 监 督 学 习 结 合 起 来 ， 称 为 PuriDivER（PurityandDiversityawareE pisodeR eplay）。图1示出了所提出的用于解决新CL任务设置的方法的概述。具体而言，对于记忆采样策略，我们提出了构建一个鲁棒的情景记忆，它保留了一组多样化和纯粹的训练样本。不幸的是，保持信息的多样性和纯度是一种权衡;由于深度神经网络的记忆效应，干净的例子大多表现出比噪声例子更小的损失（多样性更小）[4，33]。因此，强调内存采样中的纯度不会促进样本的多样性，反之亦然。为了解决这个难题，我们定义了一个9276任务N任务N+1…净噪声1类…3类批次样品（B）…+ 建筑（Sec.第4.1节）存储器批次样品（B+1）存储器批次样品（B+2）时存储器+ 建设净集+（第二建设（第二节）第4.1节）重标记集无标号集>莫里迪克·梅piso莫里迪克·梅piso莫里迪克·梅pisow（e，c）}，其中w（e，c）是相关联的分类FC层的权重参数其中元素e、其到FC层的输入以及类j。形式上，我们定义并使用示例xi的评分函数来选择样本，同时考虑纯度和多样性及其噪声标签yi，如下所示：纯度S（xi，y<$i）=（1− αk）xxi`，yi秒5.3.3.4.2. 情景记忆使用即使对于多样性和非纯样本的记忆，情景记忆也可能包括噪声样本，因为标签损坏的样本大多具有高多样性。然而，由于情节记忆的小尺寸，具有记忆的鲁棒学习不会带来显著的准确性提高。在这里，我们提出了一个混合学习计划，结合重新标记和unsu-¸1Σ多样性. X`（二）Σ˛用不可靠标记的例子进行监督学习。具体来说，我们首先将这些例子分成情节式的，+αk . M[yi].x<$i∈M[y<$i]cosfrel（xi;yi），frel（xi;yi），记忆分为干净和嘈杂的子集的基础上小-在处理噪声标签时广泛使用的损失技巧[3，哪里是当前的情景记忆，k是xi所属小批量索引，[i]是在内存中标注为yi我们使用余弦相似性（即，cos（，））来度量两个表示之间的相似性αk是多样性和纯度的平衡当分数高时，样品更有可能在标签中损坏，并且不有助于多样性很多。22]。然后，我们将GMM拟合到内存中所有示例的训练损失，以便估计示例为pG（）的概率[22]。给定一个带有不可靠标签yi的噪声示例xi，我们通过Gesthem的后验概率获得标签纯度的概率：p. G|（x，y|g）·p G（g），⑷具体而言，第一项（纯度）的高值意味着y=i可能是具有高概率的损坏标记第二项的高值（用于多样性）意味着存储器中用y_i注释的示例与x_i相似，这对训练模型的影响较小根据计算出的分数，我们通过丢弃一个其中g表示小损失示例的高斯模态，Θ表示模型的权重参数，m（xi，yi; Θ）=log（pm（xi，yi; Θ）），pm（xi，c）是类别c的模型的softmax输出。我们最终得到干净集C和噪声集N为：当我们从数据流中添加一个新样本时，单个示例的得分最高。找到一个合适的αk是另一个不平凡的问题。：=（xi，y<$i）：pGg<$（xi，y<$i; Θ）0.五、N：=。（xi，y<$i）∈M：pG.G|<$（xi，y<$i;Θ）<<$0. 5Σ。（五）自适应平衡系数我们认为，最佳平衡系数αk可以根据每个考试的标签噪声或学习难度而变化-Ple（Sec.5.3.3用于实证分析）。为了使算法对学习困难和噪声具有自适应性，我们还提出了一个自适应αk。正如课程学习文献[6，13]中所指出的，在模型训练的早期阶段，容易或干净的例子是受欢迎的。同样，我们推测，不同的例子是更重要的，在训练的后期阶段，更好的泛化。为了实现这种隐式地考虑学习难度和噪声比的想法，我们提出了一个在处理噪声标签的现代方法中[14，33，38]，只有干净的集合被用于以监督的方式训练模型，而噪声集合被丢弃用于鲁棒学习。然而，在持续学习中，由于情景记忆只包含少量样本，我们需要利用尽可能多的样本，而不是丢弃任何样本。使用它们的一个简单方法是净化它们。然而，考虑到存储器包含具有各种分类置信度的样本（即，模型的Logit值），如果我们使用低置信度的例子进行重新标记，它们可能被错误地重新标记（即，纯化）9279因为神经网络的感知一致性。[28]第10段。9280··C··联系我们R.Σx，x∈MciJreg|U|M我M我2U：=（xi，y<$i）∈N：pG.u|U（xi）≠<0。5分钟，CLS|CR|我 我J J‘purity’我、Σ我为了解决这个问题，我们进一步将噪声集分成两个子集;一个具有高置信度的子集用于重新标记，另一个具有低置信度的子集用于无监督学习然后，我们重新标记前者，但认为后者作为一个未标记的例子，并采用无监督从同一个人变成了：1Σ。Σ。Σ=.. ps（x）; Θ −pw（x）; Θ.. 、（10）xi∈U学习;具体来说，我们使用特别地，为了将噪声集分成两个集合，我们将预测不确定性定义为：U（x i）= 1。0−最大值Pm（xi，c;Θ）π，（6）其中s（）和w（）是强和弱增广函数的一个例子xi.我们使用AutoAugment [10]作为s（），随机水平翻转作为w（）。因此，我们在三个精心设计的子集上的最终损失函数，即干净集C，重新标记集R，未标记集U和M=C<$R<$U，可以写为：其 中 C1 ， . . . 、 C.根 据 我 们 的 经 验 分 析 （ 见 图 3-（b）），这两组的不确定性遵循双峰分布，类似于干净和噪声示例的损失分布。区分两种模式，（M）=5. 实验CLS（CR）+η·reg（U）。（十一）知道地面实况标签，我们再次将GMM拟合到噪声中（预期）噪声示例的不确定性集合N。类似于Eq。5，我们将噪声集分为R：=。. （xi，y<$i）∈N：pG.u|U（xi）≠0。5分钟，5.1. 实验装置数据集。我们在模糊CL设置[5]上使用损坏的标签对图像分类任务进行了经验验证。我们使用CIFAR-10，CIFAR-100 [20]，一个真实世界的大规模爬行食物图像的噪声数据Food-101 N [21]，以及由大规模网络图像组成的真实世界噪声数据的子集，其类别与其中u是低不确定性示例的高斯分量由于具有高不确定性的示例难以估计真实标签，因此我们将其视为未标记集，以防止错误监督[30]。重新标记。我们用低不确定性来简化这个例子（即，高置信度），其系数是其置信度混合物组分u的后验概率为：y∈i=pG（u|U（xi））·pm（xi）+1。0−pG（u|U（xi））·yi. （八）采用软重新标记方法，根据模型在训练过程中的预测演变，逐步细化给定的噪声标签因此，干净集（C）和重新标记集（R）的训练损失用它们的标签监督公式化为：ImageNet [11]; WebVision [23].噪声标签设置。在[14，22，32，38]之后，我们注入了两种类型的合成噪声，这两种类型的合成噪声在文献中广泛用于模拟CIFAR-10/100中的噪声标签;即对称（SYM）和非对称（ASYM）标签噪声。对称噪声以相等的概率将地面实况（GND）标签翻转为其他可能的标签，而非对称噪声以高概率将GND翻转为一个。为了进行全面的评估，我们将标签噪声的比例从20%调整到60%。我们使用Food-101 N和WebVision数据集中的真实标签噪声。 根据[34]，两个数据集的估计噪声比为20。0%。我们提供了在线CL的详细实验配置，补充材料中的噪声标签（第2）。指标. 作 为 一个主要的性能指标，我们报告了最后一次测试（或验证）的准确性，这是CL文献中最广泛使用的指标[8，14]，其中“最后”是指所有任务到达的时刻。为了定量地评估具有噪声标签的CL中的鲁棒性，我们提出了以下度量：=1·（（九）（xi，y<$i）∈C（xj，y<$j）∈R1（y半监督学习与U。我们终于学会了-形成不太自信的样品在美国。作为他们的-1Div. 为|M|2Σ||f（x）=0||、（十二）贝尔是非常不可靠的，重新贴标签可能不会纠正他们。Cc=1 |（|M c| −1）|−1)ij2C纯度=（xi，y<$i）∈M9281MM因此，我们将它们视为未标记数据，并使用一致性正则化，这在半监督学习文献中得到了广泛应用[7，35]。它通过惩罚两个示例之间的预测差异，帮助从没有标签的示例中学习有用的xixj其中f（xi）是通过联合训练（使用所有任务，而不是CL设置）模型的示例xi的表示向量，并且c是一个子集包括培训考试-其地面真值标签为c的ples，并且C是数字9282联系我们→表1. CIFAR-10（K=500）和CIFAR-100（K= 2，000）上SYM-20%、40%、60%和ASYM-20%的最后一次测试准确度。40%，其中K表示情景记忆的大小。CIFAR-100方法Sym.不对称Sym.不对称+SELFIE [32] 54.5±1.739.2±1.128.8±2.951.8±4.140.4±1.428.9±0.419.5±1.510.5±0.429.8±0.920.1±1.2+合作教学[14] 56.1±2.339.8±4.430.5±3.653.5±2.938.7±1.330.4±0.322.0±1.213.3±0.330.8±1.420.3±0.6+DivideMix [22] 56.1±1.343.7±0.335.1±1.956.1±0.638.9±2.530.5±0.723.1±1.613.1±0.530.2±0.520.1±0.7GBS [27] 54.8±1.241.8±0.927.3±2.154.2±1.740.4±1.128.0±0.218.8±1.710.2±0.829.5±0.920.3±0.5+SELFIE [32] 55.4±0.841.6±0.327.8±1.851.3±4.740.7±0.928.0±0.618.4±1.99.9±0.729.6±2.110.4±0.3+合作教学[14] 55.1±0.942.7±0.931.4±3.654.0±0.939.5±1.329.5±0.720.9±1.312.8±1.529.0±1.620.5±1.3+DivideMix [22] 57.8±1.948.8±1.934.3±1.357.4±0.644.6±5.529.6±0.821.4±1.113.2±0.228.7±0.719.6±1.1RM [5] 57.1±0.146.5±2.633.5±3.058.3±2.646.2±1.931.7±1.323.9±0.914.2±0.432.0±1.021.6±1.2+SELFIE [32] 56.8±1.344.8±0.631.8±4.457.9±1.546.9±1.932.1±0.822.1±1.012.4±0.731.7±0.420.9±0.9+合作教学[14] 57.5±1.847.6±0.735.1±2.058.5±1.545.9±2.031.9±0.922.8±0.514.4±0.232.4±0.421.3±1.1+DivideMix [22] 61.3±0.850.9±3.334.9±3.160.6±1.746.4±5.131.2±0.723.4±0.914.8±0.830.6±0.321.1±0.6PuriDivER（我们的）61.3±2.159.2±0.352.4±2.061.6±1.647.1±3.235.6±0.433.4±0.328.8±0.634.6±0.325.7±1.1的阶级。 我们描述了补充材料中纯度和多样性的权衡（第二节）。4）.基线。我 们 比较了我们的PuriDivER与代表性记忆采样方法的组合，连续学习和噪声标签的鲁棒学习方法。如SEC所述。2、记忆采样方法包括储层采样（RSV）[29]、贪婪平衡采样（GBS）[27]和彩虹记忆（RM）[5]。由于RM最初是按每个任务更新内存的，因此对于在线CL场景，我们在每个批处理时更新RM的内存。对于鲁棒学习基线，我们考虑了文献中用于解决噪声 标 签 的 三 种 广 泛 使 用 的 方 法 ; 重 新 标 记 方 法SELFIE[32]，样本选择方法Co-teaching[14]和半监督学习方法DivideMix[22]。我们将PuriDivER与它们相结合;三种仅记忆采样方法与三种鲁棒学习方法相结合，再加上三种仅使用记忆采样的方法，总共十二种。实施详情。 我们使用ResNet [15]系列作为所有比较算法的骨干; ResNet 18，ResNet 32，ResNet 34和ResNet34 分 别 用 于 CIFAR-10/100 ， Food-101 N 和WebVision。对于CI-FAR，我们使用初始学习率训练ResNet，0的情况。05与余弦退火和批量大小为16的256个时期，以下[5]。对于Food-101 N和WebVision，除了训练时期（256）之外，我们对CIFAR使用相同的训练超参数128）。 在所有实验中，我们用 1.0 表 示 方 程 中 的 η11 ， 并 使 用 CutMix [39] 和AutoAug- ment [10]进行内存数据扩充为了进行可靠的验证，我们使用单个NVIDIA P40 GPU重复所有实验三次，并报告平均结果。表2. WebVision（K= 1，000）和Food-101 N（K= 2，000）上的最后验证准确度，其中K是情景记忆大小。方法WebVision Food-101 NRSV [29] 18.4± 0.8 11.6± 1.0RSV+ SELFIE [32] 19.1± 0.4 11.1± 1.3RSV+联合教学[14] 16.5± 0.3 11.3± 1.0RSV+ DivideMix [22] 11.7± 1.1 7.3± 0.4GBS [27] 20.3± 2.1 10.5± 0.4GBS+ SELFIE [32] 20.0± 2.1 10.4± 0.3GBS+合作教学[14] 17.8± 1.8 10.5± 0.2GBS+DivideMix [22] 14.0± 0.6 6.9± 0.1RM [5] 23.1± 0.1 11.7± 0.2RM+ SELFIE [32] 21.4± 1.1 12.0± 0.2RM+合作教学[14] 21.8± 0.8 12.0± 0.4RM+ DivideMix [22] 18.2± 0.8 9.2± 0.9PuriDivER（我们的）25.8±0.7 13.4±0.35.2. 结果我们在具有不同对称和不对称噪声的两个CIFARs数据集上比较了所提出的PuriDivER与12条基线，并在表1中总结了结果。1.一、我们还比较了真实世界噪声数据集上的方法;表中的We- bVision和Food-101 N数据集。二、如两个表所示，PuriDivER始终优于所有其他比较方法。PuriDivER与其他方法相比，CIFARs的准确性提高了16%，WebVi- sion和Food-101 N分别提高了11%和3%。有趣的是，随着噪声比的增加或训练数据的难度从CIFAR-10增加到100，性能增益变大值得注意的是，SELFIE [32]在与三种内存采样方法相结合时并没有提高平均精度我们认为，SELFIE在在线学习设置中会产生许多错误的纠正，因为它需要大量的数据来重新标记，而不像情景记忆包含少量数据。20406020402040602040[29]第二十九话54.5±2.139.2±0.928.7±0.453.6±1.640.0±1.229.4±0.119.3±1.210.5±0.429.8±0.820.3±1.09283PuriDivERRSV+Div.MixGBS+Div.混合RM+ Div. Mix末次检测准确度内存纯度（%）NMCUCR601003555309045 25802035701525601010095857565151 2 3 45任务号501 2 3 45任务号51 2 3 45任务号551 2 3 4 5任务号(a) （b）CIFAR-100图2.当任务注入在SYM-40%的CIFAR-10/100上进行时，作为内存纯度函数的最后一次测试精度。我们在补充材料中提供了更多具有各种噪声比的结果（第二节）。（3）第三章。141210864200.00.20.40.60.81.0归一化损失65432100.00.20.40.6不确定0.81.0表3.CIFAR-10和CIFAR- 100上PuriDivER的消融研究，SYM和ASYM分别指对称和非对称标签噪声CIFAR-10（K=500）CIFAR-100（K= 2 000）鲁棒学习SYM ASYM SYM ASYM重新标记 一 致 性20 40 60 20 40 20 40 60 204061.855.446.960.646.433.126.818.631.5 二十一点三✓57.755.444.161.046.634.731.526.233.2 二十二点七48.6元46.231.352.136.731.724.318.129.9 20.3中国61.359.252.461.647.135.633.428.834.6 二十五点七图3.在CIFAR-10上用SYM-20%进行情景记忆训练的例子分布。Gestival通过损失有效地区分（左）干净和嘈杂的标签，以及（右）正确和不正确的预测的不确定性（等式2）。六、尽管使用了多个网络，但联合教学[14]略微提高了性能。与SELFIE和Co-teaching不同，DivideMix显著提高了CIFAR-10的准确性，但在具有不对称噪声和真实噪声数据集的CIFAR-100中却没有，这些数据集具有更真实的标签噪声。我们预计，当将整个数据集分为干净数据和噪声数据时，（预期）噪声数据集的大小会更大，因为噪声比变得更大或学习变得更困难。因此，由于情景记忆的大小太小，它具有太小的（预期的）干净数据来训练模型。在选项卡中。2，我们观察到，PuriDivER在现实世界的标签腐败中的嘈杂CL任务上表现出竞争力，同时优于可比方法。5.3. 详细分析5.3.1情景记忆我们首先研究了内存纯度对我们方法性能的影响。我们测量作为存储器纯度的函数的最后一次测试准确度（等式10）。第12段）。我们比较了我们的PuriDivER与RSV，GBS和RM与Di- videMix整合在图中。二、如图所示，我们的CIFAR-10和CIFAR-100在准确性和内存纯度方面都大大优于他们。特别是，随着更多任务的到来，PuriDivER和其他方法之间的性能差距逐渐增加，这是我们情景记忆增强的协同效应（第二节）。4.1）和内存使用方案（第4.2）。有趣的是，PuriDivER的性能增益增加了因为数据变得更加困难。这意味着其他基线的纯度在CIFAR-100中相对恶化，而我们的基线保持其显著的优势。在各种噪声比上有类似的增益，如柔软材料中所示（第12节）。（3）第三章。5.3.2鲁棒学习组件我们现在调查的贡献，提出的鲁棒学习方法的准确性的每个组件。图3的两侧示出了存储器中所有示例的损失分布和不确定性分布（等式2）。7）在（期望）噪声集中的例子。图3-（左）中的损失分布对于干净和有噪声的示例是双峰的，因此通过拟合Gyndrome可以清楚地将它们分开。同样，图3（右）中的不确定性分布也是双峰的，以确保模型预测的正确性。因此，使用模型对左高斯分量的预测某些示例）确保所提出的重新标记方法实现高精度。选项卡. 3总结了在PuriDivER中重新标记和一致性正则化的贡献单独使用重标记或一致性正则化在许多实验中并不能提高精度，因为重标记会产生许多错误校正，并且一致性正则化仅利用小尺寸的干净集。由于这些原因，随着噪声比的增加，它们也会大大降低性能。相比之下，与没有它们的基线相比，用未标记集的一致性损失训练干净和重新标记集通过使用这两种方法，由于大量的例子中，重新标记集合R将被正确地标记，R也可以被清洁噪音经验pdf正确不正确P红Pred末次检测准确度经验pdf内存纯度（%）9284= 0.1= 0.3= 0.5自适应RSV GBS RM普通SGD自拍合作教学DivideMixPuriDivERSPR60//555045//40////////{}CRUC表4.在CIFAR-10和CIFAR-100上使用SYM-{20%，40%，60%}和ASYM-{20%，40%}。 K是情景记忆的大小。CIFAR-10（K=500）CIFAR-100（K= 2 000）α20Sym.4060不对称204020Sym.4060不对称20400.1 五十七点四55.151.658.947.436.133.628.134.025.60.3 58.155.352.658.449.035.533.627.334.625.50.5 六十点五57.047.160.446.737.032.323.036.625.50.6 二十九点五30.324.436.033.725.318.913.526.718.21.0 26.119.419.333.028.115.210.57.220.716.6为了更好的概括训练阶段。因此，所提出的自适应策略允许PuriDivER针对各种噪声场景利用最佳α5.3.4时间成本在在线持续学习中，时间代价对于模型适应数据流分布变化具有重要意义。不幸的是，时间和时间之间有一个交易620.460.44580.4054500.36和准确性。在图5中，RSV、GBS和RM具有少量的训练时间但准确性差，而SPR花费太多的时间而不能用于在线设置。尽管额外355.07.510.012.515.0五十二点五总时间成本（小时）图5. CIFAR-10 SYM的总培训时间和准确性-40%，各种方法。4620 4060对称噪声比（%）0.322 3 4 5任务号与RSV和GBS相比，PuriDivER在存储器构建的时间成本方面表现出良好的权衡，图4. CIFAR-10上不同α的准确度，SYM-20%，40%，60% ;（左）使用和不使用自适应策略的最后一次测试准确率的比较，（右）使用自适应策略的每个任务的α平均值的比较利用干净集来更好地训练模型。 此外，当我们重新划分三组时，、和在每个时期，很可能许多数据将具有在时期上的重新标记和一致性正则化的效果，这导致进一步的改进。5.3.3平衡系数选项卡. 4说明了平衡系数α对精度的影响 如表所示，当α > 0时，测试精度急剧下降。5因为多样性主要影响记忆采样而不是记忆纯度。在存在标签噪声的情况下，这表明记忆纯度在性能中起着重要作用，而不是主要强调示例多样性的传统CL方法[5]。因此，我们将自适应平衡系数α的范围设置为（0，0.5）而不是（0，1）。此外，请注意，最佳α值取决于噪声比。一般来说，随着噪声比的增加，较小的α会带来更高的准确性，因为当标签噪声严重时，记忆纯度远比多样性重要。适应性策略的有效性。我们比较了使用和不使用所提出的自适应平衡系数策略的PuriDivER的性能，并在图中 总 结 了 结 果 。 4- （ 左 ） 。 具 有 自 适 应 策 略 的PuriDivER此外，如图4-（右）所示，PuriDivER使用三种不同噪声场景的自适应策略正确确定了α值除初始任务外，α随任务数的增加而增加。这意味着在鲁棒学习的早期训练阶段，小损失（干净）的例子更受欢迎，而在后期训练阶段，多样化的例子更受欢迎成本和时间成本，与其他人相比。6. 结论我们解决了带有噪声标签的在线和模糊CL的设置，这在现实世界的AI部署场景中经常发生具体来说，我们提出了一种方法来解决这个实际任务，通过自适应平衡多样性和纯度的情景记忆管理方案，然后通过一个强大的学习与半监督学习的额外的多样性和纯度执法的记忆使用年龄。我们还定义了一个自适应平衡系数，以适应各种噪声比和样本的学习效率。我们经验验证，我们的PuriDivER不仅提高了现有技术组合的准确性，而且有助于更好地进行记忆采样。限制. 虽然PuriDivER在很大程度上优于现有技术，但是在嘈杂的CL设置中开发方法还处于其初期阶段;例如，在任务进行时不添加新类。此外，扩大实证验证是重要的和可取的。潜在的负面社会影响。由于CL方法是将AI部署到更广泛的背景下，数据可以来自任何来源，因此可能会出现数据隐私问题。尽管所提出的方法无意允许这样的后果，但是该方法可能带来这样的负面影响。防止这种担忧的努力将是安全机器学习研究的重点谢谢。所有作者都感谢NAVER智能机器学习（NSML）[18]的实验环境。这项工作得到了韩国政府资助的韩国国家研究基金会（NRF）资助（MSIT）（No.2022R1A2C4002300）和韩国政府资助的信息通信技术促进研究所（IITP）资助（MSIT）（No.2020-0-01361- 003和2019-0-01842，人工智能研究生院计划（延世大学，GIST）和No.2021-0-02068人工智能创新