14421类感知对比半监督学习杨凡2* 吴凯1* 张 淑怡1蒋冠南4刘勇1冯铮3<$张伟4王成杰1<$曾龙21腾讯优图实验室2清华大学3南方科技大学4CATL摘要基于伪标记的半监督学习（SSL）在原始数据利用方面取得了巨大的成功。然而，它的训练过程遭受确认偏差，由于噪声包含在自我生成的人工标签。此外，模型为了解决这个问题，我们提出了一个通用的方法命名为类感知的对比半监督学习（CCSSL），这是一个下降的助手，以提高伪标签的质量，并提高模型的鲁棒性在现实世界的设置。我们的方法不是将真实世界的数据作为一个并集来处理，而是分别处理可靠的分布数据和类聚类，以混合到下游任务中，以及噪声分布数据和图像对比，以获得更好的泛化。此外，通过应用目标重新加权，我们成功地强调清洁标签学习，同时减少噪声标签学习。尽管简单，但我们提出的CCSSL在标准数据集CIFAR100 [18]和STL10 [8]上的最先进的SSL方法上具有显着的性能改进。在真实世界的数据集Semi-iNat 2021 [27]上，我们通过以下方式改进了FixMatch [25]：9.80%和CoMatch [19] 3.18%。代码可从https://github.com/TencentYoutuResearch/Classification-SemiCLS获得。1. 介绍原始数据利用以其高可及性和高可负担性成为研究的焦点。原始数据的定义是分布内数据（已知类别和平衡分布）和分布外数据[32]（未知类别或不平衡分布）的并集，如图所示。1.一、对于分布式数据集，半监督学习（SSL）在伪标签的帮助下实现了出色的性能[25][3][2][13]。基于伪标签的SSL的主要过程是-*同等贡献。†通讯作者。(a) 真实世界数据，包括分布内和分布外数据(b) 基于伪标签的SSL（c）类感知对比SSL（我们的）图1.用于类感知对比半监督学习的直觉图。（a）表示包含分布内和分布外数据（不平衡分布或未知类）的真实世界未标记数据。与（b）中的基于伪标签的半监督学习（其错误地对有噪声的分布外数据进行聚类）不同，（c）中的CCSSL通过对分布外数据进行图像级对比学习来降低噪声，同时保持对分布内数据的类感知聚类能力。创造性训练：1）在原始数据上创建自生成的伪标签，2）在伪标签上训练，3）重复1和2。在伪标签上训练的基本假设是，标记数据的分布是接近的到未标记的，并且未标记的数据集不包含任何新类别。在实际应用中，这种假设往往不成立，广泛的分布外的数据，其中包含不平衡的分布或未知的类。SSL由噪声伪标签引起的确认偏差[1]使SSL性能大幅恶化[26]。SSL使用了许多技术来减轻确认偏差，并在标准测试中取得了最先进的结果14422发行版基准，如CIFAR [18]和STL 10 [8]。一些方法通过 使 用 模 型 的 自 校 正 能 力 来 实 现 这 一 目 标 在[25][3][2][25]中，使用高置信度阈值来过滤不正确的伪标记数据。[34] [20] [29]使用self-ema教师生成伪标签，假设加权平均模型产生更稳定和更少噪音的预测。一些方法[28][31]试图通过预测的不确定性来缩小原始数据和标记数据然而，在不引入其他信息的情况下，通过模型的输出来证明模型特别是对于分布不均衡或未知类别的真实数据，模型的自校正效果面临着巨大的挑战。通过引入对比信息，我们的CCSSL在特征空间中消除了确认偏差，并对真实世界的数据表现出很好的去噪能力。另一个趋势是使用先验或后验信息来共同校正模型的预测。两者[11] [5]都使用预训练模型作为通用先验信息。在文献[21]中，通过知识嵌入图，语义信息被用于正则化特征学习。虽然上述方法被证明是有用的，但固定的先验很难融入下游任务，导致实际性能较差[19]通过构建预测图并从自监督学习（Self-SL）中引入对比学习来利用后验信息。然而，直接组合图像级特征排斥干扰SSL为了解决这一矛盾，在我们提出的CCSSL中，一个类感知的对比模块专门用于可靠的分布内数据聚类和噪声分布外数据对比，以更好地与下游分类任务集成。为此，我们提出了一个类感知的对比半监督学习（CCSSL）方法。CCSSL由半监督模块和类感知对比模块组成。任何端到端的基于伪标签的SSL都可以取代半监督模块，以受益于类感知对比模块与试图通过模型自身输出来消除噪声的自校正方法不同，CCSSL通过在特征空间中引入信息来规范训练过程。如图所示。1、CCSSL从两个强增广视图构造高维向量特征空间。CCSSL不是直接结合对比学习，而是在分布数据上使用类感知聚类来保持SSL此外，为了减少类感知聚类中引入的隐式噪声，我们引入了一个目标重加权模块，该模块强调对高概率分布内样本的学习，并减少不确定噪声样本的影响。我们发现在重新加权模块的帮助下，学习模型的预测置信度对于粗略地区分分布内和分布外数据是足够鲁棒的我们的贡献可以从三个方面来描述：我们提出了一种新的SSL学习方法CCSSL，它利用SSLCCSSL是一个插入式助手，可以改进任何端到端的基于伪标签的SSL方法，以减轻确认偏差并加快收敛速度。CC-SSL我们彻底分析了CCSSL与各种最先进的SSL方法对分布数据和真实世界数据的影响通过简单地组合CCSSL，可以进一步改进当前最先进的SSL方法。2. 相关工作在本节中，我们描述了基于深度学习的SSL和基于对比的Self-SL的最新趋势。然后，我们分析了具体的方法，旨在使用在现实世界的设置。2.1. 半监督学习基于深度学习的SSL主要包括伪标记和一致性正则化。基于伪标签的方法通过对自我生成的预测进行训练来利用未标记的数据。自我训练过程验证模型本身，也可以称为自我确认[9]。然而，使用伪标签会受到确认偏差[1]的影响，因为在训练过程中很容易过度拟合不正确的[25] [3]都使用高置信度预测来过滤噪声数据。[15]通过标签传播绕道而行，以在未标记的数据 上 扩 展 标 记 的 数 据 分 布 。 基 于 一 致 性 的 方 法[16][29][25]旨在基于流形假设对不同的图像视图产生一致的预测，即同一图像的不同视图应该位于高维空间中的同一点上。[25] [30]通过强增强来创建图像的不同视图，以模拟对象的图像最近，基于伪标签的一致性训练[25] [3] [2]，使用弱增强来创建伪标签，并使用强增强来进行一致性训练，已经占据主导地位并实现了出色的性能增益。然而，在现实世界的设置与广泛的分布外的数据的研究已经很少研究。通过对分布数据和真实数据的评估···14423X{∈}U{∈}图2.我们提出的CCSSL的框架。给定一批未标记的图像，弱增强视图将通过半监督模块，该模块可以从任何基于伪标签的SSL中借用以生成模型预测。使用伪标签，我们制作了一个只有类级信息的监督对比矩阵。然后，类感知的对比矩阵形成的图像级对比的分布外的数据，以减少确认偏差。通过应用重新加权模块，我们将学习集中在干净的数据上，并得到最终的目标矩阵。此外，特征亲和度矩阵由两个强增广视图构成。通过最小化亲和度矩阵和目标矩阵之间的交叉熵来构造未标记数据的类感知对比模块。2.2. 自我监督学习Self-SL在没有监督的情况下学习普遍表示有很长的历史。[12] [14]通过提出和改进噪声对比估计（NCE）来建立对比学习基于NCE，[22]提出了infoNCE，它激发学习表征来区分其他样本中样本的不同视图。Moco[11]和simCLR [5]训练siamses网络[6]，通过拉取相似的（正）样本并推开不同的（负）样本来学习图像特征[7]。受对比学习的启发，我们制定了积极对和消极对CCSSL的特征训练规则。然而，直接结合对比学习忽略了图像级特征排斥和SSL的类级特征聚类之间的内在冲突。通过合并类级别的信息，CCSSL可以无缝地融入下游任务。2.3. 真实世界的无标签数据学习真实世界的未标记数据通常包含分布外的数据，具有不平衡的类分布或未知的类。当前基于伪标签的SSL存在确认偏倚，原因是对类似未知类别或来自分布外数据的模糊图像进行了不正确的伪标签，导致性能低于监督基线[26]。开集分类是一个子领域of real-world unlabeled data learning focusing on novel cat-egories. [10]持续跟踪监督学习模型的效果，以防止性能风险。通过整合基于深度构建的表征学习，[33]学会区分未知和已知。开集分类方法在手写数据集或自构造数据集上被证明是有效的，但很少推广到真实世界的数据。[26]通过两个具有挑战性的数据集对最近提出的几种SSL技术在现实世界中的设置进行了系统评估，并表明与分布标准数据集相比，最近的SSL在现实世界数据集上的性能相形见绌。因此，本文进一步探索了现实世界的设置，并缩小了研究和现实世界的应用之间的差距，确认偏差缓解的分布外的数据。3. 方法3.1. 问题定义在半监督分类任务的设置中，令=（x i，y i）：i（1，…，B）成为一批标记数据，其中xi是第i个图像，yi表示其独热标签，并且=ui：i（1，.，µB）是一批未标记的数据，其中µ是确定X和U的相对比的超参数。 在现实世界中，未标记的数据14424U·····UU·Z {}∈∈L=−ΣΣµB包含分布内数据和分布外数据，这使得伪标签更容易受到确认偏差的影响[21]。3.2. 框架我们提出的CCSSL由一个可替换的半监督模块和一个类感知的对比模块组成，如图所示。二、我们的方法着重于引入类感知的对比信息，以减轻半监督模块的确认任何基于伪标签的SSL都可以作为半监督模块来享受这个好处。符号如下：数据增强提供单个图像的不同视图对于标记图像xi，弱增强用于监督学习。对于未标记的图像ui，我们ap-在Augw（）上做一个弱增广，在Augs（）上做两个强增广. Augw和一个Augs被发送到半监督模块，而所有Augs用于类感知的对比学习。编码器F（）用于提取表示r=F（Aug（x））对于给定的输入x。半监督模块可以由任何基于伪标签的半监督学习方法。该模块在训练期间生成伪标签，并在推理时通过分类头Pcls（）输出最终预测。为了简单起见，我们在方法中使用FixMatch[25]。类感知对比模块构建了一个嵌入式的通过投影头Pproj（）将高维表示r映射到低维嵌入z来定义空间。为了提高算法对分布外数据的鲁棒性和对下游任务的兼容性，我们提出了嵌入空间中的类感知对比学习。3.3. 半监督模块确认偏差[1]，并且在训练过程中很难通过模型本身来减轻。因此，我们提出了一种新的类感知的对比学习方法，它在特征空间中引入了无偏信息。3.4. 类感知对比模块在图2中，我们在特征空间中无缝地集成了聚类和对比，并为attentive训练应用了重新加权。给定一批未标记的图像，我们根据分布内和分布外的可能性将图像分为两部分，其中Tpush用作从模型的预测置信度中分离的阈值。对于高度可能的分布数据max（p）> T推送，我们在特征空间中应用类感知聚类，以无缝地融入下游任务。对于分布外的数据max（p） T推. |表示其基数和|denotes itscardinality and图2中的对比矩阵Wscon。但是，使用伪标签进行类式聚类是不安全的，因为|+1表示所有正对。|+1 represents all positive pairs. Lc，i如下：模型特别是对于分布外数据，如第1.一、因此，我们引入对比学习用于噪声注册。L=−logΣexp（zi·zi/τ）1J·zj/τ）（八）exp（z我我动词化我们使用Tpush作为聚类的阈值scon 是trans--对数wij·exp（zi·zp/τ），p∈P（i）2Nj=1iexp（zi·zj/τ）1JWclacon如图所示在图2中。对于模型 对于p Tpush，我们的公式退化为对比学习，其中只有相同图像的Augs是正对。每个Wclacon中的元素wclacon具有以下格式：1如果j= i，wclacon=1 如果zi和zj来自同一个子集y，其中zi是Augs的嵌入，而不是来自同一图像的zi我们计算最终的总损失方程。（9）使用监督损失x的加权和，半监督损失u和类感知对比损失C.x和你来自SEC。三点三λu和λc分别是半监督损失和类感知对比损失的权重。L=Lx+λuLu+λcLc（9）3.5. 应用ij和qi否则，而qj> T推，（五）CCSSL方法可以与任何基于伪标签的SSL一起使用，以减轻训练过程中的确认偏差其中i和j是用于扩增样本的z的索引。Qi表示第i个增强视图的伪标签置信度得分。虽然类感知对比在理论上是可行的，但直接使用T推送来判断数据的干净性是有问题的，因为T推送之上的图像也可能是分布外的数据。为了解决这个问题，我们提出了一个前景重新加权模块，以减少噪声对分布外数据的影响。前景重加权用于进一步强调对具有高置信度的分布内数据的训练，并削弱来自分布外数据的潜在偏差。我们通过用模型在8月w日预测的前景概率重新加权Wclacon来制定最终的目标矩阵Wtarget简单地通过将两个样 本 的 置 信 度 q 相 乘 ， 我 们 得 到 重 新 加 权 因 子wre=qiqj，其中i和j分别表示W目标中的row和列的索引W目标的每个元素w目标定义如下：将CCSSL应用于SSL方法很简单。我们将CCSSL应用于主流的SSL方法，如MixMatch [3]，FixMatch [25]和CoMatch [19]。MixMatch和Fix-Match基于伪标签，对无标签数据学习有很强的增强作用。我们为类感知对比模块创建了另一个八月，它用原始网络训练类CoMatch也包含对比学习，但不涉及类聚类由于CoMatch已经有两个Aug，我们直接将它们用于类感知的对比模块。我们在SEC的实验。4表明CCSSL不仅提高了SSL方法的性能，而且加快了训练过程。4. 实验在本节中，我们首先评估CC-SSL在分布内数据集上的有效性，这些数据集也可能包含模糊分布外情况。然后，我们展示了CCSSL的能力，证实偏见缓解现实世界的数据。最后通过目标.qi·qj·wclacon如果i=j，进行了定性比较Wij否则。类感知对比模块Lc的损失通过最小化等式中的S之间的交叉熵来公式化。（2）W目标。Lc的损失可以定义为：2Nj=1（六）144264.1. 数据集我们假设数据集越硬，它的噪声就越高，因此我们在以下不同噪声水平的数据集上进行实验。14427方法CIFAR100CIFAR10STL10400250010000402504000Mixmatch [3]32.39±1.3260.06±0.3771.69±0.3352.46±11.588.95±0.8693.58±0.1038.02±8.29ReMixMatch [2]55.72±2.0672.57±0.3176.97±0.5680.90±9.6494.56±0.0595.28±0.13-SSWPL [28]-73.48±0.4579.12±0.85----LaplaceNet [23]-68.36±0.0273.40±0.23--95.35±0.07-[19]第十九话58.11±2.3471.63±0.3579.14±0.3693.09±1.3995.09±0.3395.44±0.2079.80±0.38[19]第十九话51.15±1.7571.71±0.1177.40±0.1286.19±3.3794.93±0.6595.74±0.0565.38±0.42CCSSL（FixMatch）61.19±1.6575.7±0.6380.68±0.1690.83±2.7894.86±0.5595.54±0.2080.01±1.39表1.分布数据集（包括CIFAR100、CIFAR10和STL 10）的前1准确度在高噪声级别的数据集CIFAR100和STL 10上，我们只需将CCSSL添加到Fixmatch即可实现最佳性能。在具有较少噪声的更简单的数据集CIFAR10上，CCSSL仅提供边际性能增益。’-’means notOrigin FixMatch CCSSL CoMatch CCSSL（FixMatch）（CoMatch）表2.真实世界数据集的准确性- Semi-iNat 2021。我们评估了两种情况：具有严重噪声的随机开始和具有较少噪声的预训练开始。在噪声随机启动的情况下，CCSSL实现显着的性能增益的噪声缓解。在无噪声预训练的起始场景中，CCSSL实现了边际改进，因为噪声在开始时已被预训练模型降低。CIFAR10[18]是一个相对简单的分布式数据集，由10个类别的60K 32x32彩色图像组成，每个类别6K图像。有50K训练图像和10K测试图像。我们在40，250，4000个随机选择的图像上进行了三个不同的实验，按照[25]，如Tab。1.一、STL 10[8]是一个相对中等水平的分布数据集，包括10个类别。训练集有5K图像（10个预定义的折叠），100K未标记图像包含与训练图像相似的分布，每个类有800个测试图像。所有图像均为96x96像素。我们在[25]之后的所有折叠上进行实验，如表1所示1CIFAR100[18]是一个相对硬级别的分布数据集，包括100个类。训练集包含50K图像，而测试集包含10K图像。所有图像都具有32x32的固定分辨率我们以类平衡的方式对400，2500，10000个随机选择的图像进行了三个不同的实验，如下[25]，如Tab所示1.一、表3.通过Grad-CAM对有/无CCSSL的FixMatch和Comatch进行定性比较[24]。利用CCSSLCCSSL方法为蚂蚁图像找到所有蚂蚁，并捕获叶子图像上的正确位置。Semi-iNat 2021[27]是一个真实世界的数据集，旨在揭示现实环境中遇到的一些挑战，例如显著的类别不平衡，标记和未标记数据之间的域不匹配，以及大型未知类别。标记的训练和val部分各自具有9721和4050个图像。未标记的训练部分具有313248个图像。实验在Tab。24.2. 分销中数据评价对于CIFAR10，我们设置λ c=0。由于数据集的噪声水平较低且无分布外数据，因此Tpush=0。对于高噪声级STL 10和CIFAR 100，我们设置λ c=1。0，其中Tpush=0。由于收敛速度快，我们为所有实验训练了512个epoch。对于其他超参数，优化器和学习率计划，我们的设置与FixMatch [25]相同。我们将CCSSL与MixMatch [3]，ReMixMatch [2]，FixMatch [25]，SS-[28]，[29]，[29]，[29]。由于最后三种SSL方法可以被视为FixMatch的扩展，因此我们直接在FixMatch上应用CCSSL进行公平的在选项卡中。 1、我们发现CCSSL方法半自然2021从头关于MOCO预训练前5名前5名监督19.0935.8534.9657.11MixMatch [3]16.8930.83--+CCSSL19.6535.09--[25]第二十五话21.4137.6540.360.05+CCSSL31.2152.2541.2864.3[19]第十九话20.9438.9638.9461.85+CCSSL24.1243.2339.8563.6814428当任务是噪声的，并且涉及更多的确认偏差时，在CIFAR100和STL 10上，我们使用的噪声最大的分布数据集，我们只有通过在FixMatch上添加CCSSL才能CCSSL也与CIFAR10上最先进的方法不相上下。在CI-FAR 100上，对于400、2500和10000个标签，我们分别 实 现 了 比 origin FixMatch 高 出 +10.04%/ +3.99%/+3.26%的结果，以及比所有比较SSL方法中最好的方法高出+3.08%/ +2.22%/ +1.54%的结果。性能增益的下降可以解释为确认偏差水平随着训练数据的增加而下降。对于中硬STL 10，我们实现了比origin FixMatch高出14.62%，比所有比较的SSL方法中最好的方法高出0.2%。CCSSL在CIFAR 10上，我们比FixMatch实现了+4.64/ -0.07%/ -0.2%，比所有比较SSL方法中最好的实现了-2.26%/ -0.23%/ -0.2%。随着噪声水平的降低，我们的CCSSL的性能改进与针对分布数据集调整的SSL方法的其他变体相比相形见绌，但仍然有助于FixMatch。需要注意的另一件事是，当噪声 水平最 低时（ CIFAR 10具有 4000 个标 签），FixMatch通过最简单的结构实现了最佳性能-这意味着当数据清晰和足够时，SSL的结构变得不那么重要。4.3. 现实评估在Semi-iNat 2021上，我们模拟了两种具有不同噪声水平的情况-（高：从头开始训练，低：从预先训练的模型训练），如表1所示二、结果表明，CCSSL在两种情况下都能改善SSL，但噪声越大，改善越明显。对于Semi-iNat 2021，我们使用224 x224的图像大小，resnet 50主干，投影头尺寸为64，如[11]中所示，并在4 V100上训练，其中标记数据的批量大小为64，未 标 记 数 据 的 批 量 大 小 为 448 ， µ=7 对 于 FixMatch[25]，伪标签thresh τ=0。8达到了最好的结果，但与我们的方法相结合时为0.6。对于MixMatch [3]和CoMatch[19]，我们直接遵循他们的论文设置。我们设λ c=2。0，其中T push=0。9，由于分布外数据的高噪声水平。当从Self-SL预训练模型进行训练时，由于遗忘问题，我们冻结了resnet 50的前三个其他设置与[26]相同。在选项卡中。2从头开始训练，最先进的SSL方法只具有与监督基线相当的性能与分布数据集上的性能相比，伪标签中的噪声对SSL方法的损害很大。通过类感知的对比模块，我们能够在保持下游任务聚类能力的同时减轻对分布外数据的确认偏差当与CCSSL一起使用时，我们大幅提高了最先进的SSL（在MixMatch上为+2.7%/ +9.8%/+3.1%图3.在有/无CCSSL的情况下，Mix-Match和FixMatch的收敛速度和性能差异如图所示，CCSSL方法用更少的训练时期实现了更好的性能。分别为FixMatch和CoMatch实验表明，CCSSL可以成为基于伪标签的SSL的一个很大的帮助，以减少在真实世界数据集上从头开始训练时噪声预测的负面影响。在选项卡中。2，来自MoCo Semi-iNat预训练模型的训练模拟了SSL以较少噪声开始的情况[4]。CCSSL只提高+1.05%/ +0.91%/修复匹配和CoMatch 。结果表明，当一个模型以较小的噪声开始时，我们提出的CCSSL也可以减少训练过程中引入的噪声。4.4. 定性评价在选项卡中。3.给出了在有/无CCSSL的情况下FixMatch和CoMatch利用CCSSLCCSSL方法为蚂蚁图像找到所有蚂蚁，并捕获叶子图像上的正确位置。我们选择FixMatch和CoMatch进行可视化，因为在我们测试的SSL方法中，这两种方法在Semi-iNat上是最好的。4.5. 收敛速度在图3中，我们研究了在MixMatch和FixMatch上使用CC-SSL的收敛速度。我们观察到，CCSSL方法实现了最佳的性能，少得多的训练迭代。当在干净的伪标签上训练时，这种现象是相同的[19]，因为CCSSL的噪声消除效果更具体地说，早期阶段更好的伪标签有助于更好地指导学习过程并转化为更快的收敛。5. 消融5.1. 对比类感知重加权在选项卡中。4.研究了CC-SSL的三种主要技术，包括对比学习、类感知和基于FixMatch的重加权。我们观察到所有组件都是有用的。然而，直接使用对比14429比率（µ半自然Tpush= 0T push=0。9附，附过渡的重新表示加权类-意识半iNatCI-FAR100推不动半自然CIFAR100@l2500表4.对比学习、类感知和重新加权的不同组合的准确性223.0121.93423.8825.19525.3326.81622.3224.47723.1427.46表5. Semi-iNat上不同比例的未标记数据具有不同程度的类感知（T推送）。当Tpush= 0（不涉及对比）时，由于未标记数据中的噪声，较小的比率会获得更好的结果设置T push= 0后。9来正则化噪声，较大的比值可以达到更好的效果。学习降低了分布内数据集CIFAR 100的性能，而在很大程度上使具有大量分布外数据的真实世界数据集Semi-iNat 2021受益。CCSSL通过类感知的对比和重新加权找到了对比和聚类的平衡点，并在分布和真实世界数据集上大幅改进了FixMatch。5.2. 未标记数据如Tab.所示。5，我们在不同的μ值上进行实验，μ值定义了一个批次中标记和未标记数据的比例。我们观察到，当只使用类感知聚类而不使用对比正则化（ Tpush=0 ） 时 ， CCSSL 在 未 标 记 数 据 比 例 较 小（μ=5）的情况下获得了最佳结果。然而，在我们通过改变T push = 0来增加对比学习的效果之后。9（样本置信度0.9将进行对比学习），比率越大性能越好（μ=7）。<像CIFAR100这样噪声较小的数据集也受益于大的未标记数据率[21]。这种现象可以解释为较高的噪声量引入自生成的标签与未标记的数据的比例较大。利用CCSSL5.3. 类感知和对比的阈值我们发现，我们的算法是鲁棒的阈值T 推从0.6到0.9。然而，最优的表6.不同类别感知阈值的实验。我们的算法是强大的，不同的T推从0.6到0.9。Semi-iNat具有更大的噪声水平，需要更大的T推动，这证明了CCSSL用于类感知和对比学习的阈值在不同噪声水平的数据集上是不一致的。对于具有不平衡分布和未知类别的高噪声水平Semi-iNat，T push=0。9、取得最佳成绩。对于低噪声级CIFAR100，T push=0。4、达到最佳性能。结果证明了CCSSL6. 限制在我们的实验中确实存在潜在的有害训练波动：在图中，Semi-iNat的性能波动大于CIFAR 100。3.第三章。主要原因在于高噪声水平数据的伪标签质量较低增加类感知对比模块的权重或使用不同的种子进行训练以平均波动的影响可以缓解该问题。在我们的实验中，我们固定了重量和种子，以便进行公平的比较。7. 结论我们提出了CCSSL，一个通用的确认偏差消除方法的伪标签为基础的SSL方法。CCSSL通过构建另一个特征空间而不是使用模型的输出来通过类感知的对比度模块，我们应用图像级对比的分布外的数据的噪声消除和类级聚类的分布数据的融合到下游的任务。我们已经在不同噪声水平的数据集上进行了广泛的实验，包括分布数据集和真实世界数据集，以证明CCSSL的有效性。通过简单地替换半监督模块，我们通过大幅度地改进了最先进的SSL [25] [3] [19通过以上工作，CCSSL被证明有助于使SSL在现实世界中更加实用。潜在的负面社会影响CCSSL是一种基础技术，可以在现实世界中生成强大恶意使用分类模型对社会产生负面影响是可能的。✓✓✓✓✓✓✓✓21.4127.7329.4830.4931.2172.5472.3772.6775.8975.96023.8875.590.423.3875.960.624.4975.760.724.6475.90.823.6375.70.925.2175.7914430引用[1] Eric Arazo ， Diego Ortego ， Paul Albert ， Noel EO'Connor和Kevin McGuinness。深度半监督学习中的伪标 记 和 确 认 偏 差 2020 年 国 际 神 经 网 络 联 合 会 议（IJCNN），第1IEEE，2020年。一、二、四[2] David Berthelot、Nicholas Carlini、Ekin D Cubuk、AlexKurakin 、 Kihyuk Sohn 、 Han Zhang 和 Colin Raffel 。Remixmatch：具有分布对齐和增强锚定的半监督学习。arXiv预印本arXiv：1911.09785，2019。一、二、六[3] David Berthelot 、 Nicholas Carlini 、 Ian Goodfellow 、Nicolas Papernot 、 Avital Oliver 和 Colin Raffel 。Mixmatch：半监督学习的整体方法arXiv预印本arXiv：1905.02249，2019。一、二、五、六、七、八[4] MathildeCaron ， HugoTouvron ， IshanMisra ， Herve'Je'gou ， Julien Mairal ， Piotr Bojanowski ， and ArmandJoulin.自我监督视觉转换器中的新兴特性在2021年国际计算机视觉会议（ICCV）的开幕式上7[5] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁齐，和葛offrey Hinton.视觉表征对比学习的一个简单框架国际机器学习会议，第1597-1607页。PMLR，2020年。二、三、四[6] Xinlei Chen，Kaiming He.探索简单的连体表示学习。在IEEE/CVF计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集 ， 第15750-15758页3[7] Xinlei Chen，Saining Xie，and Kaiming He.训练自我监督 视 觉 转 换 器 之 实 证 研 究 。 arXiv 预 印 本 arXiv ：2104.02057，2021。3[8] Adam Coates，Andrew Ng，and Honglak Lee.无监督特征学习中单层网络的分析第十四届人工智能和统计国际会议论文集，第215-223页。JMLR研讨会和会议记录，2011年。一、二、六[9] 韦氏词典.韦氏词典网址：http：//www. MW. com/home.htm，8，2002. 2[10] 郭兰哲，张振宇，蒋元，李玉峰，周志华。安全的深度半监督学习，用于未分类的未标记数据。国际机器学习，第3897-3906页。PMLR，2020年。3[11] Kaiming He，Haoqi Fan，Yuxin Wu，Saining Xie，andRoss Girshick.用于无监督视觉表示学习的动量对比。在IEEE/CVF计算机视觉和模式识别会议论文集，第9729-9738页二、三、四、七[12] 杰弗里·辛顿通过最小化对比差异来训练专家的产品。神经计算，14（8）：1771-1800，2002。3[13] 胡子健，杨振宇，胡雪峰，拉姆·涅瓦蒂娅.简单：半监督分类的相似伪标签利用.在IEEE/CVF计算机视觉和模式识别会议论文集，第15099-15108页，2021年。1[14] AapoHy vérinen和PeterDayan。非正态化统计模型的评分匹配估计Journal of Machine Learning Research，6（4），2005. 3[15] Ahmet Iscen 、 Giorgos Tolias、 Yannis Avritis 和OndrejChum。深度半监督学习的标签传播在IEEE/CVF计算机视觉和模式识别会议论文集，第5070-5079页，2019年。2[16] Jisoo Jeong ， Seungeui Lee ， Jeesoo Kim ， and NojunKwak.基于一致性的对象检测半监督学习。神经信息处理系统，32：10759-10768，2019。2[17] Prannay Khosla ， Piotr Teterwak ， Chen Wang ， AaronSarna ， YonglongTian ， PhillipIsola ， AaronMaschinot，Ce Liu，and Dilip Krishnan.监督对比学习。arXiv预印本arXiv：2004.11362，2020。5[18] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。2009. 一、二、六[19] Junnan Li ， Caiming Xiong ， and Steven CH Hoi.Comatch：半监督学习与对比图正则化。在IEEE/CVF计算机视觉国际会议集，第9475-9484页，2021年。一、二、五、六、七、八[20] Yen-Cheng Liu ，Chih-Yao Ma ，Zijian He ，Chia-WenKuo， Kan Chen ， Peizhao Zhang ， Bichen Wu ， ZsoltKira，and Peter Vajda.无偏见的教师半监督对象检测。arXiv预印本arXiv：2102.09480，2021。2[21] Islam Nassar ， Samitha Herath ， Ehsan Abbasnejad ，Wray Buntine，and Gholamreza Haffari.并非所有标签都等同：通过标签分组和共同培训加强半监督，2021年。二四八[22] Aaron van den Oord、Yazhe Li和Oriol Vinyals。使用对比 预 测 编 码 的 表 示 学 习 。 arXiv 预 印 本 arXiv ：1807.03748，
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
