没有合适的资源?快使用搜索试试~ 我知道了~
6464长尾半监督学习彭汉宇,潘卫国,孙明明,李平百度认知计算实验室研究中国北京市西城区西北旺东路10号邮编:100193 Bellevue,Washington 98004,美国{hanyu.peng0510,wibergpian,sunmingming01,pingli98} @ gmail.com摘要半监督学习(SSL)通过简单地要求少量的标记样本和大量的未标记样本来减少显著的人工注释。研究界经常就平衡数据集的性质对SSL进行解释;相比之下,真实数据往往是不平衡的,甚至是长尾的。因此,研究不平衡下的SSL的必要性至关重要。在本文中,我们基本上扩展FixMatch(SSL方法)的不平衡的情况下。我们发现,在训练过程中,未标记的数据也是高度不平衡的;在这方面我们提出了一种基于有效数的重新加权解决方案。由于预测的不确定性导致伪标签数量的时间变化,我们创新地提出了一个动态的重新加权方案的未标记数据。实验结果表明,该方法简单有效 证据尤其 对 CIFAR-10、CIFAR-图1:CIFAR-10数据集上每类未标记数据的训练损失值之和,训练数据极其不平衡。监督学习(SSL)是一种非常有前途的解决方案。它的优势在于,只有有限的标记数据量,以及大量的unla,就可以提供令人印象深刻的性能。100,ImageNet127数据集,我们的方法提供了在不同的不平衡尺度上,与以前的方法相比,结果最强。1. 介绍众所周知,深度学习是数据饥饿的[13,9,27,23,5,11]。其在各个领域的压倒性成功是由于大量的标记数据[8,23,13,9,5],这通常是人工成本。这样的繁荣带来了巨大的开支在某些领域,例如视频注释[40,24,51,10]和自然语言,处理[44,32,35],这需要高语义丰富性。 鉴于走出困境,半卫国片的工作于2021年在百度进行。他目前是卢森堡大学的博士生。beled数据,有时甚至匹配的监督算法[2,1,37]。最先进的SSL例程是基于一致性的算法,依赖于数据扩增,目标是最小化扩增样本与输出空间中测量的原始样本代表性算法包括FixMatch [37]、MixMatch [2]、ReMixMatch [1]等。在大多数情况下,SSL算法的结构都是围绕着这样一个假设,即标记和未标记的数据是平衡的[42]。然而,不幸的是,真实世界的数据通常遵循长尾分布[3,19,15,18](同样可以声称是不平衡的)。如果模型在不平衡的训练集上被分解,但在平衡的测试集上被验证,则主要是这种情况[19,18,15,25]。少数人阶级的表现将是糟糕透顶的,而多数人阶级的表现在某种程度上更糟糕。6465有利的更糟糕的是,该问题将在SSL中被放大,因为与未标记的样本相比,SSL中标记的样本数量相对较少。在这方面的相关工作仍然很少,这一点,或几乎没有,考虑[20,42]让我们积极思考如何解决这个问题。本文重点介绍了一种流行的SSL模型Fix-Match,我们深入研究了FixMatch在训练过程中呈现的未标记数据的质量:不平衡和时间变化。虽然第一点是非常容易理解的,但如果标记的数据是不平衡的,则在未标记和标记的数据分布对齐的情况下,标记的数据理想地也是不平衡的。这种不平衡不仅表现在每个类别的数量上,而且还表现在未标记数据中每个类别的损失值之和上。在图1中,我们可视化了CIFAR-10未标记数据的损失值,我们可以发现损失值也显示出极不平衡的模式。可以设想,模型的优化将强烈地朝向头部类,而尾部类倾向于更少地被优化。还有一个意想不到的质量-我们发现的关于时间变化的问题。在这种情况下,我们建议借用有效数的概念来重新加权标记和未标记数据的损失函数。然而,由于未标记数据中的预测不确定性,伪标记也将在训练时期中发生变化。根据这一特点,我们提出了一个伪数,并在未标记数据的意义下重新表达了有效数。实验结果证明了该方法的 有 效性 , 取 得 了 迄 今 为 止 最 好 的 效 果 。总的来说,我们的贡献包括:• 我们发现,预测的不确定性会导致未标记数据的时间变化。因此,我们提出了一个动态的重新加权方案的未标记的数据。• 在有效数的基础上,我们可以对标记数据和未标记数据进行重新加权。此外,未标记数据中的伪数字会 演变在时间上动态。• 实证结果不仅突出了我们的方法的简单性和强大性,而且在现实世界的数据集上的表现也优于最先进的方法。2. 文献综述2.1. 不平衡分类最近,许多工作都集中在从数据中学习鲁棒的分类模型,不均衡分布。这些工作中的一些试图通过过采样少数镜头类或欠采样多镜头类来解决这个问题另一方面,已经提出了一些工作来直接用鲁棒模型来解决这个挑战。 Kang et [19]提出了一种两阶段的表征学习训练策略来解决不平衡问题。Jamal等人[15]从域适应的角度考虑了这个问题。同时,Kang et al.[18]进一步探索了从不平衡数据中学习时平衡特征空间的影响,并提出了一种基于自我监督学习的方法来学习更鲁棒的不平衡分类表示。此外,一些工作也试图提高模型或Meta学习[36,41]算法。2.2. 半监督学习随着深度学习领域的进步,SSL吸引了大量的关注。与传统的监督学习不同,它可以训练一个很好的泛化模型,几乎没有手动注释而没有大量的未标记数据。由于其节省标签费用的优势,SSL已应用于几个学习任务,如图像分类[46,7,45],对象检测[38,17],分割,[43],域适应[34,48]。最近,SSL方法通常使用由模型为未标记数据生成的伪标签[2,1,37]。具体来说,MixMatch [2]将mixup [49]应用于标记和未标记数据的数据增强。在MixMatch的基础上,提出了一种新的方法ReMix-Match [1],该方法通过增强锚定和分布对齐来进一步提高性能。之后,Sohn et al.[37]提出了FixMatch,它使用两种单独的数据增强方法来确保一致性正则化。此外,它还使用从模型中生成的伪标签对未标记的数据进行训练。在本文中,我们结婚SSL的不平衡的情况下。2.3. 半监督长尾学习近年来,随着SSL的发展和对长尾问题的深入研究,SSL领域出现了一个新的问题,即SSL中的长尾分布问题。试图解决这个问题的第一种方法之一被称为DARP [20],它试图通过分布对齐精炼方法为具有少量样本的类生成伪标签时减少由许多镜头类主导的偏差。之后,Wei等。[42]他说,6466JU·U·!H ··J2JJ}DDBNs,lCPCMaxs,lMaxD DSBlBl我我我{我1Xll=XH(y,f(X(x);X))(5)少数类的高精度,并在此基础上,他们提出了一种基于SSL的长尾分类方法,在选择未标记数据时为少数类的伪标签分配更多的置信度从未标记的集合中。3. 初步我们提供了符号定义,然后是长尾SSL的问题描述,然后我们概述了流行的SSL方法FixMatch [37],作为前奏,因为我们主要是将FixMatch扩展到不平衡场景。3.1. 符号在本文中,我们遵循以下符号约定。小写 字体字母 (x)代表标量,粗体字体字母(x)表示数据U={xu;j2(1,.,Bu)},标记数据X的损失函数可以表示为:BlL=H(y,f(n(x);n)),(1)i=1其中,(,)表示交叉熵损失函数,f(,):RdRC表示由y k参数化的神经网络,并且dk()是神经网络中的神经元。对于未标记的数据,一个类似的损失函数将遵循;但是,由于缺乏标签,无法按照正常培训程序进行培训为了解决这个问题,得到伪标签是众所周知的一般策略,伪标签过程的第一步是通过弱论证得到相应的预测。y∈u=f(n(xu);n),(2)矢量,粗体字体字母(X)表示j j矩阵3.2. 问题描述SSL, 作为 的 term 意味着其 培训 数据集在那里你我是一个很好的老师。通过如下计算yu的最大值,我们可以快速地访问hard_p_s_e_u_s_Ds=Ds,l[ Ds,u,Ds,l={(xs,l,ys,l)}Ns,l,Ds,u=uus,us,uNs,ui ii=1yj=max(yj)。(三)(xj ,y j )j=1通常包括标记为和未标记的数据,用于C类分类,放置维度d及其相关标签,其中s,l是标记的训练集,s,u是未标记的训练集。标记数据的高成本导致未标记数据的数量,通常很多基于此,用于计算硬伪标签和强增强软伪标签之间的距离的未标记损失可以表示为:u大于标记的值,也就是说,Ns,uNs,l,1Xu u u我们将用φ = Ns,u来表示两个的比值。 引用此外,我们表示每个类别的样本数Lu=Buj=1 (y∈j≥n)H(y∈j,f(A(xj);n)),(4)对于训练数据中的标记数据为Ns,l,即,其中,k是采用的标量超参数,Cc=1 Ns,l = Ns,l。一旦我们达到不平衡甚至作为阈值,在该阈值之上伪标签被重新标记。长尾作为数据分布的一种性质,不平衡可以表示为度量Rl= Ns,l 、NA(·)表示强增广方法,和(·)指示条件是否成立。 最终典型地,R11,这里Ns,l和Ns,l最小值min代表FixMatch的损失函数,通过引入辅助参数λ可以被提供为:猫占主导地位/少数的样本数量egories分别。相比之下,验证集和测试集v、t通常是均匀分布的。备选地,我们假设从这里,未标记数据中的不平衡R u的比例与标记数据中的比例一致。L=Ls+ λLu1升升Blii i=1Bu3.3. 快速回顾FixMatch+ λ1X(y<$u≥n)H(y<$u,f(A(xu);n)).(六)FixMatch [37]是一种用于SSL任务的基于伪标签的方法;它采用两种不同的数据扩充方法:弱增强和强增强,为未标记数据生成增强样本,目标是确保它们之间的一致性正则化。简而言之,给定由标记数据X={(xl,yl);i2(1,...,B1)}和未标记的6467Buj j jj=1这结束了FixMatch的配置文件。该方法在长尾域的扩展中,主要区别在于标记和未标记数据都支持不平衡甚至长尾特征。对于关联的样本x u,FixMatc h不可以简单地分配。这使得计算6468Ns,uuNs,uminCCCD2D!!2Cel 日志PCexp(y/s,l)在a处的未标记的集合中,集合的个数为N,本文称之为伪数我们定义被设计来处理未标记数据中的不平衡属性。更具体地说,我们已经在-R =最大值x最小值美国Max 和N个,u表示最大值,受有效数概念的启发,[6]。 这一概念的定义如下:最小最小C.定义1Ds,l的有效数。el=(1-4. 动机Ns,ls,ls,l在SSL中,未标记数据比标记数据多得多[37,2,1,20,42];因此,未标记数据是一笔巨大的财富,不应被忽视C )/(1-ε),其中ε =(Nc-1)/Nc.其中el表示标记集合中类别c的上述定义表示el随Ns,l呈指数增长。此外,委员会认为,这对于优化C C ++算法模型性能由于未标记数据的不平衡性质,这正是我们的动机。然而,这个问题在性能方面几乎没有得到解决。尽管如此,我们自然会想:在不平衡的情况下,在整个训练过程中,未标记数据的异常特征是什么?以及这些异常对模型的影响。反过来,我们应该做些什么来管理对绩效的负面影响?你不能立即想象出反应,另一方面,内在的品质只能通过试验和错误来理解。为了实现这个目标,我们在CIFAR-10 [22]数据集上训练 了 Wide ResNet-28-2 [30] 300 个 epoch , 其 中RI=150。我们还记录了中的eaccl的numbers值s、u和Ru每5个时期。图2显示了每个类的数量(单位:s),以及随着训练的进行,训练的时间间隔的变化。很明显,在左边可以看到子图,未标记的数据也支持来自IM的数据。Ø[0,1)塑造了这种增长的程度图3给出了有效数随时间的变化曲线。= 0和具体地说,=0意味着所有样本平等地做出贡献, 1相当于重新称重 通过类编号的逆频率。通过使适用的模型[0,1)适应各种任务和数据集,可以在这两种情况之间取得平衡。Cui等人[6]对此解释:随着样本量的增加,可能创建的新样本将与现有样本几乎相似。 此外,神经网络的训练与大量的数据增强,如随机裁剪,重新缩放和简单的转换,这是适用于输入数据。在这些情况下,所有增加的示例也被认为与原始示例相同。此外,在此基础上,他们提出了几个原型损失函数的类平衡损失,例如交叉熵损失函数,可以写为:平衡的自然。除此之外,在右边的子-事实上,这也是为了让我离开R&D,是一s,ls,l1 .一 、exp(y= l)!动态值,在不同的训练步骤。可以理解的是,在未标记的数据,除了一个可能会好奇,以为什么Résuuc挂起Sovertime.实际上,这也是合理的,因为模型参数在整个训练过程中不断变化,因此,相应地,每个样本的伪标签也将变化。ci=1i其中y∈s,l=f(xs,l;f)。通过这种方式,只有当数据被标记时,这些副本才保持有效。对于未标记数据,我们需要重新调整策略,以确定有效的样本数量。此外,我们将定义1中的定义扩展为如下给出:定义2Ds,u的有效数。 eu=(1-N美国美国5. 方法现在我们有时间正式讨论未标记数据中的不平衡问题。事实上,关于不平衡的文献充满了解决这个问题的潜在方案。在这方面感兴趣的工作出现在C)/(1-ε),其中ε =(Nc -1)/Nc.基于这个定义,同样地,我们将有效数合并到关于未标记数据的损失函数中,即Eq.(四)、 再进一步,可以容易地写出以下损失函数Bu第2.1节。下面,我们来解决这个问题。L=1X1e(y<$u≥n)H(y<$u,f(A(xu);n)).(八)用一种简单而强大的方法。其实也是可以将其与其他重新加权方法结合起来,u布uuj j jj=1cODS,如果可以结合动态重新加权特征的话。要知道,解决方案有很多,但所有我们可以通过调优Risk的值来调整未标记数据中的不平衡,,NH(y,y)=-C.(七)6469DCNs,uCBleBuCBlLc我我我1C≥≥--在我们的实验中,我们产生了长尾的ver-图2:对中的多个缓存的数据流进行优化s,uandRuoververtri n g iterations. 左图显示了在整个训练过程中,随着历元的变化,每个类别中的伪数。该数字显示了从ROM 50到该记录的最终值的R值变化。5.1. 限制我们发现,批量大小需要很大,最好是在一个批次中有更多的标记数据,可以指导未标记数据的学习。一个批量较小,包含的标记数据比必要的少,不能实现这一目标。现在我们有了一个64的批大小,我们发现更大的批大小产生更好的结果,但是需要更多的迭代和消耗更多的内存。6. 实验图3:在不同的Eq值下,类平衡项的可视化,以及地面真值类的样本数量的变化。度 另 外 , 我 们 提 到 过, 我 们 之 前 观 察 到 pse udonberNs ,uofea cc lassisimedyn am i c。因此,我们也可以动态地计算1-n的值。对于标记数据,我们同样1-羟色胺c使用定义1中的有效数字来解决不平衡。然而,差异来自于在本节中,我们首先介绍数据集和基线的设置。此外,我们还在附录中给出了基线方法和我们提出的方法的实现细节。在此之后,我们报告了我们提出的方法的主要结果的数据集与基线相比。此外,我们还对这种方法进行了一些参数研究和烧蚀研究。此外,我们也进行了实验,以比较与其他典型的再加权我们固定了Ns,l,在这里,没有方法,即焦点损失。最后,我们给出了可视化的-随着时间的推移任何变化。总的来说,我们的损失函数是损耗值的确定和测试精度。6.1. 数据集和基线L=1X1i=1(yl = c)H(yl,f(xl);f))(9)6.1.1数据集+ λ1X1Be(y<$u≥n)H(y<$u,f(A(xu);n)).(十)[22]第23话:[22]第23话:[22]第23话:[23]第24话:[24]监督数据集。具体地说,只要回忆一下我们的-u uj j jj=1c在我们之前,我们已经有了一个数字。训练集中的类别c的数据为Ns,l,其中c2为了提高算法的可见性,附录中概述了整个算法工作流程因此,我们将本文的方法命名为DRw(D_(?)1、…C和C是类的总数。为了不失去一般性,我们假定Ns,l..诺斯湖此外,在[6,20]之后,我们确定了标记集合中的类别数,这些类别数随不平衡比Rl而变化,通常Rl ≥ 1。也就是说,我们设置数据num-6470C≥11CC1C-11s,ls,ll-c-16.2. 主要结果c到Nc类的误码率=N1· RC-1。自然也不平衡可以由Rl调节,从而获得模型的推广程度。对于未标记的数据,同样地,我们将类c的数量表示为Ns,u,其中c2 { 1,.,我们假设,表1显示了我们的方法的主要评估结果以及CIFAR-10和CIFAR- 100数据集的基线。 结果表明,我们提出的方法优于基线。具体地说,Ns,u≥.≥Ns,u.正如[6,20]中的剖面,我们也用一个参数Ru来控制训练集中未标记数据的不平衡,其中Ru1表示为Ns,u=Ns,l·Ru-c-1. 这里,我们设置Ns,l方法在平衡比为50、100、150时效果最好,准确率为84.7%,分别为79.3%和74.1%,CIFAR的NS,u分别为1500和3000第二个最好的方法FixMatch + CReST与accu-10,CIFAR-100分别为150和300。 再说我们假设标记数据和未标记数据具有相同的不平衡比率,使得R1= R11,并且对于CIFAR-10,不平衡比率被设置为50、100、150,而对于CIFAR-100,不平衡比率被设置为10、20。在测试阶段,我们采用平衡精度(bACC)作为评价指标. 对于bACC的定 义 , 我 们 以 二 进 制 分 类 为 例 。 bACC = 0.5(tp/Np+ tn/Nn),Acc =((tp+ tn)/(Np+ Nn)),Np和Nn为阳性和阴性样本数,tp和tn为真阳性和真阴性样本数。 在不平衡分类的背景下,标准准确度可能偏向多数类别,因此bACC是一个更好的指标。此外,我们还报告了我们提出的方法的平均值和标准差以及基线。6.1.2 基线方法我们比较了我们的方法与1)香草:没有任何其他技术的基本骨干模型。2)重新采样[16]:一种监督学习方法,具有重新平衡采样策略,使每个类都能平等地进行训练。 3)LDAM-DRW[3]:一种监督学习重新平衡方法,具有标签分布感知的保证金损失,以鼓励少数类获得更大的4)cRT[19]:一种两阶段训练方法,用 于 分 别 学 习 长 尾 分 类 的 表 示 和 分 类 器 。5)VAT[29]:一种带有对抗学习的SSL方法。6)Mean-Teacher[39]:一种SSL方法,使用先前模型权重的集合来构建教师模型,以生成未标记数据的目标。7)MixMatch[2]:一种SSL方法,将mixup [49]应用于数据增强。8)FixMatch[37]:一种具有一致性正则化的SSL方法。9)DARP[20]:一种使用分布对齐精炼方法进行长尾学习的SSL方法。10)CReST[42]:一种用于长尾学习的SSL方法,通过为少数类生成的伪标签提供更多信心。在三个结余比率下分别有0.8%、1.9%及1.3%的显著改善。对于CIFAR-100数据集,在平衡比为10和20的情况下,我们的方法也具有最好的性能,准确率分别为 61.8% 和 57.1% 。 与 CIFAR-100 上 的 次 优 方 法FixMatch+DARP相比,在两种平衡率下,该方法的准确率分别提高了0.7%和2.2%。 为了进一步与CReST进行比较,我们的方法的可扩展性,我们通过添加LA(LogitAdjustment)来测试我们的方法的有效性[28]在Crest。我们的方法再次显示出更好的性能。我们同样希望在大规模数据集上展示我们方法的能力。类似于CReST,我们在ImageNet127数据集上进行了实验。ImageNet127将ImageNet中的1000个类合并为127个类。我们坚持相同的网络结构,我们将在CReST中的不平衡验证集上使用实例精度。请注意,iNaturalist和ImageNet-LT包含的少数民族类示例太少,无法得出可靠的结论。在实验中,我们使用ResNet50作为主干,并使用FixMatch作为基本方法。百分之十的训练样本被标记为标记数据。结果列于表2中,可以看出,我们的方法也提供了卓越的性能。6.3. 参数研究图4a显示了我们提出的方法的参数研究结果如图所示,每条线表示我们的方法在固定平衡比R1下关于平衡的评估结果。而且我们研究不同余额比率50、100和150的结果。从结果中我们可以看到,在不平衡比为50的情况下,我们的方法在不平衡比设置为0.999时实现最佳性能,并且当不平衡比设置为100和150时,我们的方法在不平衡比=0.995时实现最佳性能。我们建议从业者选择一个更大的beta,如果数据是非常不平衡的,和一个较小的beta,如果数据是不平衡的。在确定了一个合适的范围后,我们可以使用网格搜索来找到最好的范围。对于CIFAR-10数据集的结果, 我们提出的6471L--表1:在不同的不平衡比率RI下,在两个数据集CIFAR-10和CIFAR-100上与先进方法的比较SSL表示算法是否为半监督学习算法,RB表示是否使用CIFAR-10(Rl=Ru)CIFAR-100(Rl=Ru)SSL算法RBRl =50Rl =100Rl =150Rl =10Rl =20香草味--65岁2±0。05 58. 8±0。1355. 6±0。4355. 9±0。1249. 5±0。03[16]第十六话X64。3±0。48 55. 8±0。4752. 2±0。0554. 6±0。0548. 1±0。17LDAM-DRW [3]-X68。9±0。07 62. 8±0。1757. 9±0。2055. 7±0。7550. 4±0. 32cRT [19]-X67。8±0。13 63. 2±0。4559. 3±0。1056. 2±0。3650. 7±0。11[29]第二十九话-70 6±0。2962. 6±0。4057. 9±0。4254. 6±0。0648. 5±0。16[39]第三十九话-68 8±1。0560. 9±0。3354. 5±0。2254. 1±0。1348. 2±0。13美国[2]-73 2±0。5664. 8±0。2862. 5±0。3160. 1±0。3953. 4±0. 04[20]第二十话-75 2±0。4767. 9±0。1465. 8±0。5260. 9±0。2454. 8±0。27[42]第四十二话-78 4±0. 3670. 0±0。4964. 7±0。96--MixMatch+ CReST+[42]X-79 0±0。2671. 9±0。3368. 3±0。57--[1]第一章-81 5±0。2673. 8±0。3869. 9±0。4759. 2±0。0353. 5±0。03[20]第二十话-82 1±0。1475. 8±0。0971. 0±0。2759. 8±0。2054. 4±0. 07[37]第三十七话-79 2±0。3371. 5±0。7268. 4±0. 1560. 1±0。0554. 0±0。04[20]第二十话-81 8±0。2475. 5±0。0570. 4±0. 2561. 1±0。2354. 9±0。05[42]第四十二话-83 0±0。3975. 7±0。3870. 8±0。25--FixMatch+ CReST+[42]X-83 9±0。1477. 4±0. 3672. 8±0。58--固定匹配+CReST+ LA [42]X-85 6±0。3681. 2±0。7076. 5±0。40--DRwX-84号7±0。4179.3± 0.2774.1± 0. 5461.8± 0. 2957.1± 0。33DRw + LAX-86岁5±0。56 82.4± 0. 1677.8± 0. 4862.7± 0。3758.4± 0. 19(a)(b)图4:CIFAR-10和CIFAR-100数据集的准确度变化可视化验证数据集在此范围内。6.4. 与Focal Loss为了将我们的方法与其他重新加权方法进行比较,我们还在CIFAR-10数据集上使用典型的重新加权方法Focal loss [26]进行了实验。 焦点损失可以表示为焦点=中国(1)y=y由softmax激活函数生成。和是重新加权正和负的超参数,6472积极的样品。在我们的焦点损失实验中,我们修复了到1.0,然后用1和2调整表3显示了与我们的方法相比的焦点损失的结果。我们可以看到,我们的方法在具有不同不平衡比的不同设置下显著优于焦点损失。6.5. 消融研究为了评估不同的重新加权策略的影响,我们构建了以下变体647375.2DRW(a)(b)第(1)款图5:(a)CIFAR-10数据集上标记和未标记数据集的训练损失可视化。(b)CIFAR-10数据集上未标记数据集的损失和准确性检验的可视化。我们从epoch 200开始对未标记的数据表2:在ImageNet127数据集上的实验结果,表4:我们的方法的变体的强度10%的训练样本被标记为标记数据。使用ResNet-50作为主干模型。变体CIFAR-10(Rl=Ru)CIFAR-100(Rl=Ru)Rl =50Rl =100R l =150Rl =10 Rl =20数据集精度NRW81.875.570.461.154.9FRwL82.876.271.560.655.2FixMatch65.8FRwU81.575.871.360.854.9CReST+73.3表3:与CIFAR-10数据集上的经典方法焦点损失的比较,具有不同的不平衡系数RI。CIFAR-10蚁群算法在CIFAR-10和CIFAR-100数据集上的应用。结果表明,我们提出的DRw实现了最好的性能相比,固定的重新加权和没有重新加权的变种。6.6. 损失值和准确性的可视化算法焦点损失Rl =50Rl =100Rl =150= 1= 2= 1= 2= 1= 280.1 78.0 73.6 71.2 68.8 66.0图5a示出了标记的和关于CIFAR上训练时期的未标记数据-10.从图中可以看出,未标记数据的训练损失在epoch200时显著下降。图5 b说明了CIFAR-10上关于训练时期的测试损失和测试准确度。 的方法:1)无重新加权(NRw):没有任何重新加权策 略 的 变 量 。 2) 标 记 数 据 的 固 定 重 新 加 权(FRwL):一个变量与固定的 重新加权策略标记的数据。3)未标记数据的固定重新加权(FRwU):一种对未标记数据采用固定重加权策略的变体。4)标记和未标记数据的固定重新加权(FRwLU):对标记和未标记数据都具有固定重新加权策略的变体。5)动态重新加权(DRw):我们提出的动态重新加权方法,对标记数据使用固定重新加权,对未标记数据使用动态重新加权。表4示出了各种实施方式的评价结果。在200历元时,测试损耗显著降低,而测试精度显著提高7. 结论针对长尾半监督方法,我们提出了一种D-加权方法DRw更具体地说,我们对标记数据应用固定的重新加权方法。而对于未标记的数据,相反,我们提出利用动态重新加权方案来解决伪标签的时间变化问题,这为这项任务带来了一个新的解决方案。在CIFAR-10、CIFAR- 100和ImageNet 127数据集上进行了大量的实验,实验结果表明DRw方法优于现有方法。DRW84.779.374.1FRwLU82.177.070.761.354.8DRW84.779.374.161.857.16474引用[1] David Berthelot、Nicholas Carlini、Ekin D Cubuk、Alex Kurakin、Kihyuk Sohn、Han Zhang和ColinRael.Remixmatch:Semix-superisedearningwithithdistributionmatchingandaugmentation anchoring. 在学习代表国际会议上-,2020年。[2] 大卫·贝特洛,尼古拉斯·卡利尼,伊恩·古德费罗,尼古拉斯·帕帕斯诺,阿维塔尔·奥利弗,科林·拉夫费尔.Mixmatch:半监督学习的整体方法。 神经信息处理系统的进展,32,2019。[3] Kaidi Cao , Colin Wei , Adrien Gaidon , NikosArechiga,and Tengyu Ma.使用标签分布感知的边际损失学习不平衡数据集。神经信息处理系统的进展,32:1567[4] Nitesh V Chawla , Kevin W Bowyer , Lawrence OHall,and W Philip Kegelmeyer. Smote:合成少数过采样技术。人工智能研究杂志,16:321[5] Marius Cordts,Mohamed Omran,Sebastian Ramos,TimoRehfeld,MarkusEnzweiler,RodrigoBenenson , Uwe Franke , Stefan Roth , and BerntSchiele.用于语义城市场景理解的cityscapes数据集。在IEEE计算机视觉和模式识别集,第3213[6] Yin Cui,Menglin Jia,Tsung-Yi Lin,Yang Song,and Serge Belongie.基于有效样本数的类平衡损失在IEEE/CVF 计算机视觉和模式识别会议论文集,第9268-9277页[7] Dengxin Dai和Luc Van Gool。 包围投影半监督图像分类 。 在 Proceedings of the IEEE InternationalConference on Computer Vision,第2072-2079页[8] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei.Imagenet:一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议,第248-255页IEEE,2009年。[9] Mark Everingham , Luc Van Gool , Christopher KIWilliams , John Winn , and Andrew Zisserman.pascal视觉对象类(voc)的挑战。国际计算机视觉杂志,88(2):303 -338,2010。[10] Wolfgang Fuhl ,Nora Castner,Lin Zhuang,MarkusHolzer,Wolfgang Rosenstiel,and Enkelejda Kasneci.Mam:迁移学习用于全自动视频分析和专门的探测器创建。在欧洲计算机视觉会议上,第0-0页,2018年[11] Andreas Geiger,Philip Lenz,and Raquel Urtasun. 我们准备好自动驾驶了吗?Kitti Vision基准套件。在2012年IEEE计算机视觉和模式识别会议上,第3354-3361页。IEEE,2012。[12] 宫承岳,王帝林,刘强。Al-Phamatch:用Alpha-Divergence提高半监督学习的一致性 在IEEE/CVF计算机视觉和模式识别会议论文集,第13683-13692页,2021年。[13] Ian Goodfellow Yoshua Bengio和Aaron Courville深度学习MIT Press,2016.[14] Haibo He,Yang Bai,Edwardo A Garcia,and Shutao Li.Adasyn:自适应合成 采样 学习不平衡的方法。2008年IEEE神经网络国际联合会议(IEEE世界计算智能大会),第1322IEEE,2008年。[15] 穆罕默德·阿卜杜拉·贾迈勒、马修·布朗、杨铭轩、王立强、龚伯庆.从领域适应的角度重新思考长尾视觉识别的类平衡方法。在IEEE/CVF计算机视觉和模式识别会议论文集,第7610- 7619页[16] 纳塔莉·雅普科维奇类不平衡问题:意义和战略。在国际会议的过程中。人工智能第56卷Citeseer,2000年。[17] Jisoo Jeong,Seungeui Lee,Jeesoo Kim,and NojunKwak. 基于一致性的半监督学习目标检测。 神经信息处理系统的进展,32:10759 -10768,2019。[18] 康秉义,李玉,谢萨,袁泽桓,冯志志.探索用于表示学习的平衡特征空间。2021年,在国际学术会议上发表。[19] Bingyi Kang , Saining Xie , Marcus Rohrbach ,Zhicheng Yan , Albert Gordo , Jiashi Feng , andYannis Kalan-Ban. 长尾识别的解耦表示与分类器在2020年国际学习代表会议上[20] Jaehyung Kim,Youngbum Hur,Sejun Park,EunhoYang,SungJuHwang,and Jinwoo Shin.非平衡半监督学习中伪标签的分布对齐精炼。神经信息处理系统的进展,33,2020。[21] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的方法。2015年,国际学习表征。[22] A lexKrizhevsky,GeoreyHinton,etal. 从微小的图像中提取多层特征。2009年[23] AlexKrizhevsky,IlyaSutskver,anddGeoréreyEHinton. Imagenet分类与深度卷积神经网络。神经信息处理的进展切割系统,25:1097-1105,2012。[24] 库兹涅佐娃,塔拉提,罗怡文,西蒙斯,法拉利。有效 的 视 频 注 释 与 视 觉 插 值 和 帧 选 择 指 导 。 在IEEE/CVF计算机视觉应用冬季会议论文集中,3070[25] Shuang Li,Kaixiong Gong,Chi Harold Liu,YulinWang,Feng Qiao,and Xinjing Cheng. Metasaug:6475用于长尾视觉识别的Meta语义增强。在IEEE/CVF计算机视觉和模式识别集,第5212-5221页,2021年。[26] 林宗义,普里亚·戈亚尔,罗斯·格希克,凯明·赫,和PiotrDoll a'r。对于安全检测的要求。在IEEE计算机视觉国际会议论文集,第2980[27] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德·瓦·R·安·安·安、皮埃特罗·多莱尔和C·劳伦斯·齐特尼克。微软coco:上下文中的常见对象。欧洲计算机视觉会议,第740-755页。Springer,2014.[28] AdityaKrishnaMenon , SadeepJayasumana ,Ankit 辛格 拉瓦特 Himanshu 杰恩Andreas Veit和Sanjiv Kumar通过logit调整的长尾学习。arXiv预印本arXiv:2007.07314,2020。[29] Takeru Miyato、Shin-ichi Maeda、Masanori Koyama和Shin Ishii。虚拟对抗训练:用于监督和半监督学习的正则化方法。IEEE Transactions on Pattern Analysisand Machine Intelligence,41(8):1979[30] Avital 在我看来,Augustus天哪,科林林一Rael,Ekin Dogus Cubuk,和Ian Goodfellow。深度半监督学习算法的现实评估神经信息处理系统的进展,31:3235[31] 你是我的朋友,我是你的朋友,我是你的朋友,我是你的朋友。具有交叉一致性训练的半监督语义分割。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功