“标签匹配半监督目标检测的研究与实现”

14381标签匹配半监督目标检测陈彬彬2，陈伟杰1，2，†，杨世才2，宣云怡2，宋杰1，狄燮2，蒲世良2，宋明丽1，庄月婷1，†1浙江大学、2海康威视研究院{chenbinbin8，chenweijie5，yangshicai，xuanyunyi，xiedi，pushiliang. hri} @hikvision.com{sjie，songml，yzhuang}@ zju.edu.cn摘要随着平均教师驱动的自训练的发展，半监督对象检测取得了重大进展。尽管有希望的结果，标签不匹配的问题尚未充分探讨在以前的作品，导致严重的自我训练过程中的确认偏差。在本文中，我们深入研究了这个问题，并从两个不同但互补的角度提出了一个简单而有效的LabelMatch框架，即，分布层和实例层。对于前一种情况，根据Monte Carlo抽样方法，可以将未标记数据的类分布与标记数据的类分布近似。在这种弱监督线索的指导下，我们引入了一个重分布均值教师，它利用自适应的标签分布感知置信阈值来生成无偏的伪标签以驱动学生学习。对于后者，存在一个被忽视的标签分配歧义问题，跨教师-学生模型。为了解决这个问题，我们提出了一种新的标签分配机制，即建议自分配，它将学生的建议注入教师，并生成准确的伪标签来匹配学生模型中的每个建议。在MS-COCO和PASCAL-VOC数据集上的实验证明了我们提出的框架相对于其他最先进的框架具有相当大的优越性 。 代 码 将 在 https://github.com/HIK-LAB/SSOD上提供。1. 介绍监督学习在过去几年中推进了对象检测，受益于大量的标记训练数据[5，17，26，28，34]。然而，收集准确的注释是极其昂贵和耗时的作为一种替代方案，半监督对象检测（SSOD）被提出来使用少量的标记数据，†通讯作者图1.MS-COCO数据集上的标签不匹配问题1)分布水平不匹配：在自训练期间，由单个置信度阈值产生的伪标签与地面真值标签（GT）之间存在偏差，如蓝色条和橙色虚线的关系所示。2）实例级不匹配：在以前的SSOD框架中，对于未标记的数据有两种训练模式。一种是与监督学习一样，同时使用分类和箱回归进行优化，这会过拟合质量较差的伪标签，导致定位精度较低。为了避免不正确的盒回归，另一种方法仅利用分类对象[22]，这将由于相似的分类分数而带来歧义，从而混淆非最大值抑制（NMS）的后处理。使用大量未标记的数据来优化检测器[14，22，31，37，40]。最近，SSOD在对象检测社区中获得了越来越大的兴趣。自我训练在SSOD中已被证明是有用的，特别是平均教师框架[22，37]，它通过逐渐发展的教师注释未标记的数据，并以互利的方式指导学生的学习。作为平均教师的关键过程，现有的伪标签方法[22，37，40]简单地利用手工制作的置信度阈值来过滤掉低质量的伪标签，分布级失配实例级不匹配基于IoU的标签分配培训NMSCLS+REGIoU：0.70伪标号对应建议只有CLSGT模棱两可分类评分评分：1.00IoU：0.65评分：1.00随机IoU：0.90*NMS评分：1.00IoU：0.75相似分数，不同IoU低本地化IoU相似的分数，相似的IoU评分：1.00IoU：0.70评分：1.00IoU：0.70评分：1.0014382直接将剩余的标签视为可靠的伪标签。但不可避免地会遇到标签错配问题，导致自我训练时出现严重的确认偏倚[1]在本文中，我们从两个角度来研究这个问题，即。、分发层和实例层。从分布级标签误匹配问题的角度来看，由于类别不平衡的数据分布，通过使用单一且固定的置信阈值来生成无偏伪标签以匹配具有一致类别分布的地面实况标签是极其困难的如图1，伪标签的数量在一些类中远远从实例级标签不匹配问题的角度来看，现有方法直接遵循监督对象检测[28]进行标签分配。然而，在半监督学习中情况完全不同，因为伪标签的质量不能得到保证，导致如图1所示的标签分配模糊问题。特别是在平均教师驱动的自训练框架中，研究如何将平均教师生成的伪标签分配给学生网络生成的建议而不是基于粗略的IoU的标签分配方式是至关重要的[28]。基于两个不同但互补的粒度中标签不匹配的上述挑战，我们开始研究并开发LabelMatch框架。为了解决第一个挑战，我们提出了一个非常简单的重新分配平均教师。假设通过蒙特卡罗抽样从整个数据库中选择以这种方式，未标记数据的标记分布可以从标记数据的标记分布近似。事实上，我们已经评估了几个流行的SSOD数据集的标记和未标记数据的标签分布，它们都满足这一假设，这可以作为伪标记的弱监督线索。在此启发下，与单一的和固定的置信度阈值相比，我们利用自适应标签分布感知置信度阈值（ACT）来生成无偏的伪标签的未标记的数据，由标签分布在标记的数据的监督。ACT是特定类别的，并且在自我训练期间自适应地更新。为了解决第二个挑战，我们提出了一种新的建议自我分配方法。在介绍我们的方法之前，我们应该强调，由于伪标签的质量较差，将所有伪标签设置为硬标签是不可行的，特别是在自训练开始时。在这种考虑下，我们分为可靠的和不确定的伪标签根据置信度得分。我们把可靠的标签作为硬标签的模型优化相同的监督方式，而开发的不确定性，通过建议自分配方法的软学习。详细地说，来自学生被注入到教师中进行建议校正，教师可以提供相应的软标签以相应地校正每个建议。此外，为了鼓励自我训练过程中的积极反馈，本文引入了可靠伪标签挖掘（RPLM）策略，旨在以课程化的方式将高质量的不确定伪标签转换为可靠伪标签，以进一步提高性能我们使用MS-COCO [20]和PASCAL-VOC [7]数据集（即COCO标准，COCO附加和VOC）将LabelMatch与Unbiased-Teacher [22]相同的实验设置进行基准测试。LabelMatch在所有基准测试中实现了新的最先进的结果。特别是在具有稀缺标记数据的设置中，即，，COCO标准，只有1%的标记数据和VOC，我们的方法可以超越以前的国家的最先进的大幅度。本文的贡献如下：• 本文从分布层和实例层的角度分析了标签不匹配问题，为SSOD提供了一个全新的研究方向。• 我们提出了一个简单而有效的LabelMatch框架来解决SSOD中的标签不匹配问题.在这个框架中，我们1）提出了一个重分布平均教师来解决分布级标签不匹配问题; 2）设计了一个建议自分配方案来解决实例级标签不匹配问题;3)介绍了一种可靠伪标签挖掘策略，用于在自训练期间进行伪标签重新校准。• LabelMatch框架在许多流行的SSOD基准测试中达到了新的艺术水平。此外，我们建立了一个基于MMDecection的半监督目标检测代码库的公平研究SSOD算法。2. 相关工作半监督分类。一般的方法可以大致分为两种类型。一个是一致性正则化，假设模型的预测是不变的，即使各种扰动的应用。有不同种类的扰动，包括模型级扰动[13，29，33]，图像增强[35]和对抗训练[23]。另一种是自我训练，又称伪标签，它将预测视为伪标签。例如，NoisyStudent [36]迭代地演化用于模型优化的伪MixMatch [2]使用混合增强并对不同的增强预测进行平均以生成伪标签。FixMatch [30]使用弱增强数据进行伪标记，同时利用强增强数据进行模型训练。半监督对象检测。SSOD中的技术继承自半监督分类，分为一致性正则化[14，32]和自训练[22，31，37，38，40]。在本文中，我们主要关注14383我--图2. LabelMatch框架概述。标记数据：仅适用于有监督损失的学生。未标记数据：由教师根据自适应标签分布感知置信阈值（ACT）进行标注以获得伪标签（PL），然后将其分为可靠标签和不确定标签进行单独优化。可靠的伪标签直接遵循基于IoU的分配策略，充当硬标签来训练学生模型。对于不确定的标签，建议自分配方法指导学生训练与教师中相应的建议预测所提供的监督此外，一个可靠的伪标签挖掘（RPLM）的策略是用来转换高质量的不确定的伪标签到可靠的训练继续下去。关于后者。STAC [31]首先通过预训练的模型生成伪标签，然后将它们反馈到网络中，并进行强大的增强以进行模型微调。为了简化这种离线伪标记，基于平均教师的方法[22，37，40]执行用于在线伪标记的弱数据变换和用于模型训练的强数据变换。然而，SSOD同时存在前景-背景不平衡和前景类别不平衡，这使得它比半监督分类更具挑战性。[22]第二十二话不求回报，但求回报。在许多无锚对象检测中[16，25，34]。最近，已经提出了许多自适应机制来促进标签分配，例如ATSS[39]、PAA [15]、Au- toAssign [41]、OTA [8]等。然而，这些方法都只应用于有监督的目标检测中，而SSOD由于情况复杂，在这方面还处于空白。为了解决实例级标签不匹配的问题，本文提出了一种新的标签分配，以促进自我训练3. 方法教师[37]使用焦点损失和软重量allevi-在SSOD中，标记图像集合D1={x1，y1}N1和分别解决了这些问题尽管取得了巨大的进步无标号图像u Nuvi i=1在伪标记期间的标记失配问题仍然存在于先前的工作中。与此相反，我们提出了一个标签匹配框架来解决这个问题，从分发级和实例级的角度。标签分配。有必要为对象检测中的每个建议或锚点分配分类和定位的目标，称为标签分配[8]，可以分为固定和动态变体[8]。基于IoU和基于中心的标签分配是两种常见的固定分配策略，其中第一种在RCNN系列[6，9，10，24，28]和单阶段探测器[19，21，26，27]，而第二个是流行的D u=xii=1，其中Nl和Nu表示标记的和未标记的数据，分别。注释y1包含类别和边界框信息两者。3.1. 概述LabelMatch框架的流水线在图2中示出，其源自基本平均教师框架。平均教师框架的主要思想是推动教师和学生在相互学习的机制中进化。然而，以往的基于平均教师的作品不可避免地会遇到标签不匹配的问题，我们将其分为两个粒度，包括分发级…法11.00C0.99…可靠的PL不确定PL建议法不确定未标记数据可靠RPLM弱Aug提案自赋值������刘LL+L标记数据强AugL法分布对齐未标记数据未标记数据标记数据0.33零点三二0.400.320.06…老师学生EMA更新老师建议14384Σn我LLCRl=i=1i，ru=j=1c，ru=i=1j=1i，我 我我 我=Psort[nl·我 我我 我C按降序排列。 为了有效地实施-1Cf1CfΣΣΣCccNln和实例级。为了解决这些问题，我们修改了平均教师框架，开发了一个LabelMatch框架，该框架由一个重新分布的平均教师来解决公式如下：argminDKL（[r1，...，rl，rl ]，[ru，.，ru，ru]）t1，…tC` ˛¸ x`x `˛¸x`x发行层标签不匹配问题和一个亲-实例级的自赋值方法S.T.Rl=f−fLc、f−bf−ff−b标签不匹配问题。 此外，这是有益的探索，更高质量的伪标签。 因此，我们进一步装备cCli=1iΣCnl（四）战略，以提高业绩。fNlΣNuPj>tci=1j=1我3.2. 英文名：Mean Teacher Framework我们的方法遵循的是坏老师的养生法，其中包含用于伪标签生成器的教师模型CCΣCF（Nu（Pj> t））（Nu （Pj> ti））Nu学生模型和改进教师模型更新知识。标记和未标记数据其中DKL表示Kullback-Leibler散度，在两个分布之间，nl表示共同构成了这批数据。在每次迭代中，教师模型首先在弱-的i我- 标记数据中的第类，C是整个前-地面类别编号，Pj是预测得分的列表，增强的未标记的数据，这是作为相应的强增强版本的监督信号，j中的第i类我-th未标记图像，f-f 表示锡永随后，学生模型在标记的数据和具有伪标签的强增强的未标记数据上进行训练。这样，最终的训练目标由监督损失和非监督损失组成：L1=Lcls（x1，y1）+Lreg（x1，y1），（1）我前景-前景类分布和f-b均值前景与背景的比例请注意，未标记数据中的所有预测均由NMS进行后处理tc是优化的变量，也就是过滤第c个类别的伪框的置信度阈值，确定为：NCCCNLLu=Lcls（xu，yu）+Lreg（xu，yu），（2）其中P排序是第c类的预测得分的列表其中cls是分类损失，reg是盒回归损失，并且yu是由教师模型注释的伪标签。总损失定义为：Ltotal=Ll+λLu，（3）其中λ是用于平衡无监督损失的权重，本文默认设置为2.0。在自我训练过程中，教师通过指数移动平均（EMA）策略逐渐更新学生的权重。3.3. 标签匹配我们认为，阻碍平均教师框架实施的主要障碍在于标签不匹配问题。所提出的LabelMatch框架采用相同的平均教师方案，但开发了一种重分布平均教师，该教师利用自适应标签分布感知置信阈值（ACT）因此，仅选择未标记数据的子集来估计用于阈值确定的分布。虽然模型在训练期间连续优化，但是先前的阈值对于伪标记是不精确的，未能与真值类分布一致因此，我们只需每K次迭代更新这些阈值，以动态调整到当前教师模型。这样，阈值是类别特定的和自适应最新的，称为自适应标签分布感知置信度阈值（ACT），我们确定为解决分布水平失配问题的关键步骤。提案自我分配。 值得注意的是，伪标签的质量不能得到保证，特别是在自训练的早期开始。受噪声标签学习[4，11]的启发，我们根据置信度将伪标签分为可靠标签和不确定标签。将α%定义为可靠伪随机数的预定义比例。标签，置信度阈值tr过滤可靠的伪以实现无偏伪标签。此外，一个建议的自我分配方法和一个可靠的伪标签挖掘策略，以纠正自我训练。重新分配意味着教师。在半监督学习中-标签为CC-th类别可以写为：tr=Psort[α%·nl·NU]，（6）ing，标记数据和未标记数据来自相同的数据分布。直觉上，我们可以通过最小化标记和未标记数据之间的类别分布差异来获得自适应阈值，这可以置信度高于tr的伪标签被视为硬标签，用于以监督方式进行学生模型优化。相比之下，其余的不确定的被视为软标签的软学习。建议的LabelMatch与一个可靠的伪标签min-我不u]，（5）我14385i，ci，ci，ci，ci，c我 我我 我我ΣΣ我显然，不确定的伪标签潜在地导致低定位精度。为了避免不良的盒回归，Unbiased-Teacher删除了未标记数据的盒回归损失，但导致标签分配的模糊性，如图1所示。例如，假设具有高于0.5的IoU重叠的提议被优化为相同的不确定伪标签，则它们在被ROIHead细化之后在分类得分上将趋于这些改进的建议对于NMS后处理具有不可替代的意义，这使得NMS随机地抑制冗余框。我们将这种情况称为实例级标签不匹配问题，在以前的SSOD作品中缺乏关注。为此，我们提出了一种新的建议自分配方法的建议重新校准。具体地说，我们利用学生生成的不确定伪标签匹配的建议与基于IoU的标签分配不同，学生中的每个建议通过这种方式，我们通过软分类损失来优化具有不确定伪标签的学生模型：(a)（b）第（1）款图3.选择5k幅图像来估计伪标签的质量。(a)IoU与地面实况和平均得分之间的相关性。（b）具有地面实况的IoU与平均IoU之间的相关性。橙色点表示平均得分大于0.8且平均IoU大于0.8平均IoU，并且IoU分数由NMS中被抑制的框和被选择的框之间的IoU确定我们认为，具有更高质量的伪标签通常对应于更高的平均得分和更高的平均IoU。图3中的实证研究证明了我们的假设。通过这种方式，具有大于Tscore的平均得分和大于Tiou的平均IoU的不确定伪标签将被转换为可靠伪标签。4. 实验npCLcls=−ptlogps，（7）i=1c =1其中np是与不确定伪标签匹配的相应建议的数目，C是类别数目，ps是来自学生模型的第i个建议中的第c个类别的概率，并且pt表示来自教师模型的与ps匹配的相应软标签。通过对伪标号的重分布平均教师和建议自赋值的分析，在Eq.（2）可以重新表述为：Lu=<$Lcls（xu，yur）+Lreg（xu，yur）+L<$cls（xu，yuu），（8）我其中yur和yuu表示可靠伪标签，4.1. 实验装置数据集。我们在MS-COCO [20]和PASCAL-VOC [7]数据集上评估了我们的方法。有三种设置遵循现有的作品 [22 ， 31] ： （ 1 ） COCO 标 准 ： train2017 集 的1%，5%，10%图像被采样为标记的训练数据，其余的作为未标记的数据。(2)COCO-additional：我们使用整个train 2017集作为标记数据，使用额外的COCO2017-unlabeled集作为未标记数据。(3)VOC：我们使用VOC07训练值集作为标记数据，VOC12训练值集作为未标记数据。的COCO设置和VOC设置中的验证集是分别为COCOval2017和VOC 07测试集我我不确定的伪标签。可靠的伪标签挖掘。为了借鉴教师模型的不断演化，鼓励教师在自我训练过程中的循环正反馈，提出了一种可靠的伪标签挖掘策略，将高质量的不确定伪标签转换为可靠的伪标签。首先，已知在NMS之后，一组相邻盒子将被抑制成一个盒子。在本文中，我们声称，这些相邻框前NMS可以用来评估质量的相应的伪标签后NMS。在这种方式下，我们提出了两个评价指标，在本文中，即。、mean score和mean IoU，它们是NMS之后匹配到相应边界框的这组相邻框的平均分类得分和IoU。请注意，我们使用教师的预测来计算平均得分，网络 为了公平比较，我们使用Faster-RCNN [28]与FPN[18]和ResNet-50骨干[12]作为检测器。我们的框架可以很容易地扩展到其他检测器。实施详情。我们用MMDecision实现我们的方法[3]。对于数据增强，我们应用随机水平翻转和多尺度进行弱增强。基于这种增强，我们然后添加随机颜色抖动，灰度，高斯模糊和剪切补丁以实现强增强，这与[22]类似。RPLM中的T得分和Tiou默认设置为0.8。更多培训和实施细节见附录。4.2. 结果COCO 标 准 。 我 们 评 估 所 提 出 的 方 法 COCO 标 准（表。1）。我们的方法始终优于-14386阈值1% 5% 10%监督[22]-9. 05± 0. 十六十八47± 0。2223 86± 0。81STAC [31]0.913. 97± 0。35（+4. （92）24. 38± 0。12（+5.（91）28. 64± 0。21（+4. 78）ISMT [38]0.918. 88± 0。74（+9. （83）26. 37± 0。24（+7.（90）30. 53± 0。52（+6. 67）即时教学[40]0.918. 05± 0. 15（+9。00）26. 75± 0。05（+8.（28）30. 40± 0。05（+6. 54）[22]第二十二话0.72075± 0。12（+11。（70）28. 27± 0。11（+9.（80）31. 50±0。10（+7. 64）[37]第三十七话0.92046± 0。39（+11。（41）30. 74± 0。08（+12.（27）34. 04± 0. 14（+10。十八）LabelMatch（我们的）第25幕。81± 0。28（+16。（76）32. 70± 0。18（+14。（23）35. 49± 0。17（+11。第六十三章）表1. COCO标准的实验结果（AP50：95）。所有结果均为所有5次折叠的平均值。第50章：我的天贝尔可以体现在三个方面： 1)精度2）前景-背景分布;[31]第三十一话39岁5−−0−。→3[22]第二十二话270k四十2−+−1−。→1个软T教师[37] 370k四十9−+−3−。→6LabelMatch（Ours）540k403−+−5−。→039岁241岁344.5四十五33）类分布（前台-前台分布）。我们将所提出的方法与基于单置信阈值的平均教师框架进行了比较。标签-匹配显示出优越的进步，我们归因于以下几个方面：表2. COCO-附加的实验结果。AP50AP50：95监督[22]72.6342.13STAC [31]77.45（+4.82）44.64（+2.51）ISMT [38]77. 第六十章）46.23（+4.10）、即时教学[40]79.20（+6. 第五十七章）50.00（+7.87）[22]第二十二话77. 74）48.69（+6.56）LabelMatch（我们的）85.48（+12.（85）55.11（+12。98）表3. VOC实验结果形成了具有不同百分比的标记数据的先前的最新技术水平。值得一提的是，所提出的方法在1%标记数据上实现了25.81 mAP，这甚至高于在10%标记数据上训练的监督基线。COCO-额外。我们验证了在100% COCO数据上训练的模型是否可以通过使用额外的未标记COCO数据来进一步改进。 如Tab.所示。2，我们的方法将监督基线 提 高 了 +5.0 mAP ， 而 现 有 的 SOTA 改 进 为 +3.6mAP。VOC。 我们评估所提出的方法PASCAL-VOC。如Tab所示。3，我们的方法在AP50上实现了85.48 mAP，这比以前的最先进的方法要好，+6.28绝对mAP改善。4.3. 消融研究在消融研究中，我们在1% COCO标准品（5倍之一）的设置中进行实验，如果未指定，则不使用对于所有实验，训练迭代更多实施细节和消融研究可参见附录。伪标签的质量伪LA的质量-14387• 更准确的伪标签。如图4a所示，当使用阈值=0.7和阈值=0.8时，伪标签的准确度降低。相比之下，LabelMatch的准确性有所提高。虽然准确率在阈值=0.9时达到最好，但前题的数量（召回率）远低于地面事实。• 无偏前景-背景分布。如图4b所示，我们的方法中的伪标签的数量几乎与地面实况相同，而基于单个置信度阈值的方法中的数量要低得多，特别是当阈值=0.9时。• 一致的类分布。图4c表明，LabelMatch保证前景-背景分布和类分布几乎与地面实况一致。当使用单一置信度阈值时，情况完全不同，这在许多类别中与地面实况产生了很大的差距。为了更直观地显示伪标号的性质，我们在表中给出了定量和定性的演示。图4和图5分别示出。从Tab。4.与单一和固定阈值相比，我们观察到利用LabelMatch在前20个尾部和头部类别上的AP明显增加。如图在图5中，存在阈值=0.7的许多假这些实验结果表明，La-belMatch的有效性，重新分配的伪标签分布，防止自我训练崩溃的优势类。更多定性结果见附录。ACT适应的必要性。我们随机选择一个未标记数据的子集，以确定我们实现中的每K个迭代的ACT。如第3.3，建议的ACT在培训阶段更新到进化的教师，避免了由14388∞(a)（b）第（1）款（c）第（1）款图4.伪标签质量的消融研究（a）训练阶段伪标签的准确性（注：IoU与地面真实值重叠大于0.5的伪标签被视为真阳性）（b）训练阶段中每个图像的伪标签平均数量。（c）在训练阶段中伪标签和地面实况之间的类分布的KL发散烤面包机吹风机剪刀微波牙刷停车收费表滑雪板轴承停车标志消防栓飞盘冰箱热狗烤箱飞机棒球棒棒球手套键盘床是说thr=0.70.00.07.437.94.831.91.847.617.630.233.836.714.82.011.915.96.916.424.421.818.2thr=0.80.00.07.737.24.732.03.051.532.446.244.844.533.74.618.534.811.124.021.827.124.0thr=0.90.00.05.337.92.217.62.848.453.446.844.837.831.71.216.833.112.423.726.826.623.5标签匹配4.60.016.537.54.634.99.549.950.449.247.445.034.48.517.739.313.221.029.332.327.3人车椅书瓶杯餐桌交通灯碗手提包鸟船卡车伞板凳牛香蕉车背包是说thr=0.739.130.59.22.120.324.012.519.422.24.316.114.43.520.07.731.88.93.127.43.816.0thr=0.839.031.810.32.125.826.314.120.225.64.118.113.68.620.011.432.18.33.928.04.817.4thr=0.932.026.67.11.013.619.914.917.823.01.114.98.112.715.410.324.26.61.824.52.513.9标签匹配38.831.911.71.925.626.114.620.829.24.817.913.214.821.213.639.09.14.927.46.118.6表4.前20个尾类别（上）和前20个头类别（下）的定量结果（AP50：95）。阈值=0.7阈值=0.9标签匹配图5.单置信阈值和我们提出的方法之间的定性比较。红色矩形突出显示假阴性，黄色矩形突出显示假阳性。可视化的评分阈值为0.6。过时的预测图 6a证明了ACT自适应的必要性，其中没有自适应的性能非常差（K= +）。在我们的实验中，我们简单地使用K=1000和未标记数据的子集（10，000）来重新刷新阈值。可靠比α的影响。 在训练阶段，我们分开根据置信度得分α%在这里，我们分析了不同比例的影响。如图6b所示，如果我们直接将所有候选伪标签设置为不确定伪标签（α=0），则性能比将一些伪标签拆分为可靠的更差然而，设置太多的伪标签作为可靠的伪标签也是有害的，这是由于嘈杂的盒子。我们在所有实验中使用α=20提案自我分配。我们比较了不确定伪标签的不同标签分配策略：1）忽略分配; 2）基于IoU的标签分配; 3）建议自分配。这里的忽略赋值意味着不确定的伪标签被直接设置为忽略标签。图6c示出了建议自分配策略相对于其他标签分配的优越性。对于忽略分配，存在前背景不平衡，背景在目标检测训练中占主导地位，这使得被忽略的目标在训练后倾向于被视为背景，类别索引比例（%）14389(a)(b)（c）第（1）款图6.消融研究：（a）ACT的更新间隔（2）可靠度α的影响。（c）不同的标签分配策略。在NMS之前，NMS之后图7. NMS后处理前后的预测可视化。基于IoU：基于IoU的标签分配训练模型;建议：基于建议自分配性能改进。对于基于IoU的标签分配，由于实例不匹配，它将在训练后产生许多模糊框，如图所示。7 .第一次会议。RPLM的效果 为了验证RPLM的有效性，我们在COCO标准的设置中对其进行了评估。如图8a所示，RPLM略微提高了性能，但缓解了可靠性比率α的灵敏度，并且即使α降至零也显示出明显的改善（图8a）。第8b段）。这意味着，在RPLM的帮助下，我们可以很容易地调整α，从而在没有专业技术的情况下实现稳定的性能改进。5. 结论和未来工作本文首先对现有的SSOD框架进行了实验诊断，指出了其共同的局限性，即标签失配问题。、分发层和实例层。为了解决上述问题，我们提出了LabelMatch框架。对于分布级不匹配，LabelMatch开发了一个重分布均值教师，以获得自适应的标签分布感知置信阈值（a）（b）图8. RPLM的消融研究。(a)RPLM在不同百分比的标记数据。（每个图像的挖掘伪标签数量。(b)RPLM在不同可靠度α下的变化。通过缩小标记和未标记数据之间的类分布差异，然后生成无偏伪标记。对于实例级不匹配，LabelMatch采用提案自分配方法，将学生生成的提案注入教师模型，监督提案修正。此外，引入了一种可靠伪标签挖掘策略，将高质量的不确定伪标签转换为可靠伪标签，促进了自训练过程中的正反馈循环。大量的实验结果验证了所提出的LabelMatch算法的有效性，该算法在PASCAL-VOC和MS-COCO数据集上都建立了一个新的最先进的LabelMatch算法局限性。虽然我们已经证明了La- belMatch的优越性，但仍然存在一个不可忽略的问题，即标记和未标记的数据被假设为遵循相同的分布。因此，LabelMatch依赖于类分布先验，这在某些情况下是不可访问的，例如，无监督域自适应目标检测。研究两个不同分布之间的标签失配问题是有益的，并且直观地将标签匹配推进到更复杂的情况，而不需要类分布先验，这是一个有趣的未来工作。确认本研究得到了国家自然科学基金（U20B2066，62106220）和海康威视开放基金的部分资助。基于IoU提案14390引用[1] Eric Arazo，Diego Ortego，Paul Albert，Noel E.奥康纳和凯文·麦吉尼斯深度半监督学习中的伪标记和确认偏差2020年国际神经网络联合会议（IJCNN），第1-8页2[2] David Berthelot 、 Nicholas Carlini 、 Ian Goodfellow 、Nicolas Papernot 、 Avital Oliver 和 Colin A. 拉 斐Mixmatch：半监督学习的整体方法。神经信息处理系统的进展，第32卷，第5049-5059页，2019年2[3] Kai Chen，Jiaqi Wang，Jiangmiao Pang，Yuhang Cao，Yu Xiong，Xiaoxiao Li，Shuyang Sun，Wansen Feng，Ziwei Liu ， Jiarui Xu ， Zheng Zhang ， Dazhi Cheng ，Chenchen Zhu ， Tian-heng Cheng ， Qijie Zhao ， BuyuLi，Xin Lu，Rui Zhu，Yue Wu，Jifeng Dai，JingdongWang ， Jianping Shi ， Wanli Ouyang ， Chen ChangeLoy，and Dahua Lin.Mmdetection：打开mmlab检测工具箱 和 基 准 测 试 。 arXiv 预 印 本 arXiv ： 1906.07155 ，2019。5[4] Weijie Chen ， Luojun Lin ， Shicai Yang ， Di Xie ，Shiliang Pu，Yueting Zhuang，and Wenqi Ren.用于无源无监督域自适应的自监督噪声标签学习CoRR，abs/2102.11614，2021。4[5] Weijie Chen，Di Xie，Yuan Zhang，and Shiliang Pu.您所需要的只是一些转变：设计用于图像分类的高效卷积在CVPR，2019年。1[6] 戴纪峰，易力，何开明，孙建。R-fcn：通过基于区域的全卷积网络的目标检测。第30届神经信息处理系统国际会议论文集，第29卷，第379-387页，2016年3[7] 放 大 图 片 作 者 ： Mark Everingham ， Luc Gool ，Christopher K.Williams ， John Winn ， and AndrewZisserman.pascal 视 觉 对 象 类 （ voc ） 的 挑 战 。International Journal of Computer Vision，88（2）：303-338，2010. 二、五[8] Zheng Ge，Songtao Liu，Zeming Li，Osamu Yoshie，and Jian Sun.Ota：用于对象检测的最优传输分配。在IEEE/CVF计算机视觉和模式识别会议论文集，第303-312页，2021年。3[9] 罗斯·格希克。快速R-CNN。2015年IEEE国际计算机视觉会议（ICCV），第1440-1448页，2015年。3[10] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语义分割。在CVPR3[11] Bo Han，Quanming Yao，Xingrui Yu，Gang Niu，MiaoXu，Weihua Hu，Ivor W. Tsang和Masashi Sugiyama.合作教学：对带有非常嘈杂标签的深度神经网络进行鲁棒训练。神经信息处理系统进展，第31卷，第8527-8537页，2018年。4[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。2016年IEEE计算机视觉和模式识别会议（CVPR），第770-778页，2016年。5[13] Pavel Izmailov，Dmitrii Podoprikhin，Timur Garipov，Dmitry P. Vetrov，and Andrew Gordon Wilson.平均权值导致更广泛的最优和更好的推广。在2018年第34届人工智能不确定性会议上，UAI 2018，第876-885页，2018年。2[14] Jisoo Jeong ， Seungeui Lee ， Jeesoo Kim ， and NojunKwak.基于一致性的对象检测半监督学习。神经信息处理系统进展，第32卷，第10758-10767页，2019年。一、二[15] Kang Kim和Hee Seok Lee用于对象检测的具有IOU预测的概率锚点分配。欧洲计算机视觉会议，第355-371页，2020年。3[16] Tao Kong，Fuchun Sun，Huaping Liu，Yunning Jiang，Lei Li，and Jianbo Shi.Foveabox：基于锚点的对象检测。IEEE Transactions on Image Processing，29：7389-7398，2020。3[17] 黑律和贾登。Cornernet：将对象检测为成对的关键点。国际计算机视觉，128（3）：642-656，2020。1[18] Tsung-Yi Lin ， Piotr Dollar ， Ross Girshick ， KaimingHe，Bharath Hariharan，and Serge Belongie.用于对象检测的特征金字塔网络。 2017年IEEE计算机视觉和模式识别会议（CVPR），第936-944页5[19] Tsung-Yi Lin ， Priya Goyal ， Ross Girshick ， KaimingHe，and Piotr Dollar.用于密集对象检测的焦点损失。IEEE Transactions on Pattern Analysis and MachineIntelligence，42（2）：318-327，2020。3[20] 林宗义、迈克尔·梅尔、塞尔日·J·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德韦·拉马南、皮奥特·多尔·拉尔和C.劳伦斯·齐尼克。Microsoft coco：上下文中的公共对象。欧洲计算机视觉会议，第740-755页二、五[21] 刘伟，Dragomir Anguelov，Dumitru Erhan，ChristianSzegedy ， Scott E. Reed ， Cheng-Yang Fu ， andAlexander C.伯格。Ssd：单发多盒探测器。第14届欧洲计算机视觉会议，ECCV 2016，第21-37页，2016年。3[22] Yen-Cheng Liu ，Chih-Yao Ma ，Zijian He ，Chia-WenKuo， Kan Chen ， Peizhao Zhang ， Bichen Wu ， ZsoltKira，and Peter Vajda.无偏见的教师半监督对象检测。ICLR 2021：2021年第九届学习表征国际会议。一二三五六[23] 宫人卓，前田新一，小山正则，石井真。虚拟对抗训练 ： 监 督 和 半 监 督 学 习 的 正 则 化 方 法 。 IEEETransactionsonPatternAnalysisandMachineInt