深度目标检测中的主动学习和自监督学习方法的标注成本与性能的比较

Ismail Elezi1*Zhiding Yu2Anima Anandkumar2,3Laura Leal-Taix´e1Jose M. Alvarez21TUM2NVIDIA3CALTECH144920并非所有标签都相等：理性化训练目标检测的标注成本0摘要0深度神经网络在目标检测方面取得了很高的准确性，但其成功取决于大量的标记数据。为了减少对标签的依赖性，已经提出了各种基于检测器置信度的主动学习策略。然而，这些方法偏向于高性能类别，并导致获取的数据集不是测试集数据的良好代表。在这项工作中，我们提出了一个统一的主动学习框架，考虑了检测器的不确定性和鲁棒性，确保网络在所有类别中都表现良好。此外，我们的方法利用自动标记来抑制潜在的分布漂移，同时提高模型的性能。在PASCALVOC07+12和MS-COCO上的实验证明，我们的方法始终优于各种主动学习方法，mAP提高了高达7.7％，标注成本降低了高达82％。代码可在https://github.com/NVlabs/AL-SSL上获得。01. 引言0深度目标检测网络[1,2]的性能严重依赖于标记数据集的大小。增加更多的标记数据有助于提高性能，但增加数据的成本也很高。因此，采用主动学习（AL）策略来选择数据集中最具信息量的样本进行标记，并在可能的情况下利用未标记数据进行自监督学习（SSL）是至关重要的。基于一致性的半监督学习（SSL）方法用于目标检测[3]，训练网络以最小化其预测之间的不一致性。然而，如图1所示，一些图像仍然给出不一致的预测，因此网络无法从中学习。自动标记使用自学习来标记高置信度的预测，即伪标签（PL），但由于网络校准不准确，它们可能生成错误的标签，潜在地损害训练。此外，通过针对高置信度的预测，它们忽略了低性能类别的对象。0* 在NVIDIA实习期间完成的工作。0未知0未知0未知0未知0未知0未知0图1.低性能类别（盆栽植物）的对象，原始图像为蓝色，增强版本为橙色。a）由于其低熵，基于不确定性的主动学习方法不会对图像进行标记。b）由于其高置信度，伪标签自监督学习方法错误地对图像进行伪标签，从而损害训练。c）由于其高不一致性，基于一致性的自监督学习方法无法从中学习。d）我们的方法选择该图像进行标记，并防止其被伪标签化。0当样本无法进行伪标签时，另一种选择是通过手动标注获得真实标签。目标检测的主动学习（AL）[4,5]是一种常见的方法，用于选择最有前途的样本进行标注以减少标注成本。选择是基于获取函数来评估图像的信息量，通常是基于网络的不确定性计算的。然而，如果网络对任务的训练不够好，获取函数就没有意义，这在早期的AL周期中经常发生。即使网络在大多数类别中表现良好，显著的类内变异性也可能导致某个类别的准确性较低，如图1a所示。在这些情况下，使用网络预测来计算获取函数可能导致性能比随机抽样还要差。此外，我们通过仅选择最不确定（困难）的样本来改变每个AL周期的数据集分布，直到它们不再类似于测试分布。在这项工作中，我们主张对标注问题采取整体观点，即选择哪些样本进行手动标注以及哪些样本可以自动标注的统一策略。我们从基于不确定性的AL开始144930框架并通过引入“鲁棒性”的概念来推广其获取函数，这在传统的主动学习中通常不存在。如果网络对图像及其随机增强（例如水平翻转）的预测不一致，则需要手动标记该图像。这种简单而有效的改变使我们能够选择低性能和高性能类别的信息丰富样本。这与经典的SSL设置不同，其中具有不一致预测的样本既不会被标记也不会被伪标记，因此其中包含的信息将不会被使用。我们仍然面临数据集分布漂移的问题，因此我们提出使用自动标记来不增加标记成本。对于每个主动学习周期，我们使用先前训练过的网络来挖掘易样本，即网络对其预测有信心的样本，并使用网络的预测作为标签。请注意，通常不会在主动学习周期中使用易样本。只有通过全面考虑哪些样本需要手动标记和哪些样本需要自动标记，我们才能充分利用整个数据集。总之，我们的贡献如下：0•我们提出了一种基于网络的鲁棒性的新型类别无关主动学习评分，使用一种新的不一致性评分。0•我们使用自动标记来利用信息较少的样本，免费扩展标记数据集。0• 我们在两个公开可用的数据集PASCALVOC07+12和MS-COCO上展示了我们方法的优势。与最先进的方法[4-8]相比，我们的方法在PASCAL-VOC和MS-COCO上的相对mAP改进率分别达到了7.7%和7%。重要的是，我们可以达到与基准相同的性能，但减少高达82%的标记成本。02. 相关工作0目标检测的深度主动学习（AL）。传统的主动学习方法是通过训练一组神经网络[9]，然后选择具有某种获取函数定义的最高分数的样本，例如熵[10]或BALD[11]。同时进行的工作[12,13]通过蒙特卡洛dropout[14]近似不确定性。这些方法进行了比较[9]，作者得出结论，集成方法在计算能力更强的情况下可以获得更高的结果。另一种贝叶斯方法[15]在真实样本和增强样本上训练变分自动编码器（VAE）[16]，然后选择具有最高重构误差的样本进行标记。另一种方法是核心集合[6]，它选择标记一组点，使得在选择的子集上训练的模型对于其余数据点具有竞争力。在[17]的工作中，作者提出了0使用[18]的不一致性方法进行主动学习。[19]的方法类似，作者使用基于网络不同检查点预测之间的差异的不一致性得分。这些方法与我们相似，但不同的是，它们是为基于分类的主动学习设计的，没有探索不一致性的最佳使用方式，也没有将其与熵的统一或伪标签的使用相结合。其他方法[20,21]将主动学习与半监督学习（SSL）相结合，但与我们的工作不同，它们使用标签传播而不是不一致性，不使用自动标记来平衡主动学习，并且仅关注图像分类问题。最近，一些方法专门针对目标检测任务进行了改进[6, 7,22-25]，其中一些方法基于核心集合方法，考虑了训练样本的多样性。然而，最先进的方法基于不确定性[4, 5, 8,26]。[26]的工作由一组目标检测器组成，为每个感兴趣的类别提供边界框和概率。然后，使用评分函数获得代表每个未标记图像信息量的单个值。[8]的工作计算基于实例的不确定性。另一项工作[4]提供了一种优雅的解决方案，与其他单模型方法相比取得了有希望的结果。作者在检测任务中训练网络的同时学习预测最终损失。在样本获取阶段，选择具有最高预测损失的样本作为最有趣的样本并进行标记。在最先进的方法[5]中，作者定义了类别和边界框级别的不确定性，并使用综合得分确定需要标记的图像。我们的工作与上述工作相关但不同。同样，我们将检测器的不确定性视为解决方案的一部分。与它们不同的是，我们发现检测器的鲁棒性作为获取函数更加可靠，特别是对于性能较低的类别。然后，我们将这两个得分统一起来，在大多数类别中实现高性能。深度半监督学习（SSL）用于目标检测是一种深度学习方法，它在神经网络训练期间将少量标记数据与大量未标记数据相结合。与仅在获取阶段使用未标记数据的主动学习不同，在SSL中，未标记数据在训练期间使用。一些方法已经展示了出色的结果[27-30]，通过将半监督学习问题视为正则化问题，实际上为未标记样本添加了新的损失。后续工作在目标分类[18,31-35]中显著提高了SSL的性能。虽然从半监督图像分类到半监督目标检测的过程具有挑战性，但最近的研究工作[3,36, 37]提供了一些有希望的方向。144940图2.我们方法的概述。我们首先以半监督方式训练网络。在主动学习过程中，对于每个图像，我们使用网络计算获取函数，并基于此决定是否主动标记图像，是否伪标记图像，或者是否仅将其作为下一轮训练的未标记数据的一部分。0其中作者们开发了最小化图像与其增强版本之间不一致性的损失函数。这些方法在PascalVOC数据集[38]上显著提高了mAP得分。我们的工作受到[3]的启发，但我们开发了一个获取函数，计算图像与其增强版本之间的不一致性，并且证明这样的得分比不确定性更可靠，特别是对于低性能类别。此外，我们添加了一个伪标签模块，免费为易图像标记。结合我们开发的主动学习方法，它确保我们获取的数据集是原始数据集的良好代表，从而改善了结果。03.方法0设D为一个数据集，分为一个标记集L和一个未标记数据池U。我们在第3.1节中描述了我们用于主动学习的获取函数。这包括从未标记数据池U中挖掘一部分样本，并将它们转移到标记集L中，产生标记成本。然而，仅仅通过添加困难样本来扩充集合L会导致训练数据的分布漂移。因此，我们建议使用伪标签的方式将易样本（即网络置信度高的对象）纳入训练中（第3.2节）。最后，我们在第3.3节中描述了训练过程。我们在图2中展示了该方法的高级描述。符号说明：设∆为图像的对象预测，∆i为其第i个对象预测。∆i由边界框bi和表示神经网络softmax层之后的概率分布ci组成。我们用cpi表示分布的第p个类别。边界框bi由中心位移和缩放系数组成，用元组[δx, δy, w,h]表示。给定原始图像的弱增强版本（例如水平翻转），我们定义ˆ∆为其对象预测的集合，ˆ∆i由边界框ˆbi和ˆci组成，表示第i个预测。03.1.基于不一致性的主动学习0大多数主动学习方法使用一些不确定性度量，例如熵，来计算获取函数。高熵的预测表明对象高度不确定。0与网络训练的图像不相似。因此，如果对其进行标记，它将为我们提供与我们已有信息不同的信息。然而，我们凭经验发现，仅使用基于不确定性的获取函数并不是一个理想的解决方案，特别是对于来自低性能类别的图像。正如我们在实验中所展示的，如果网络对某个类别的预测是错误的，那么计算获取函数也是不可靠的。基于不一致性的获取函数。为了解决这个问题，我们提出了一种基于网络的鲁棒性的AL得分，该得分基于图像及其增强版本之间的一致性。如果图像及其增强版本的预测非常相似，则说明网络对该图像具有鲁棒性。另一方面，网络不一致的图像提供了在训练过程中未捕获的信息，是标记的首选候选。通过关注鲁棒性，该方法在大多数类别中都表现良好且与类别无关。为了衡量网络的鲁棒性，我们首先定义了不一致性获取函数LconC。为此，我们将图像及其增强版本输入检测器。在我们的情况下，我们使用水平翻转作为增强方式。给定原始图像和增强图像的预测集合，我们首先需要将预测∆与ˆ∆匹配。我们通过计算它们的交并比（IoU）来实现：0∆ ′ i = argmax b i ∈{ b } IoU (b i, ˆ b i)。0对于每对匹配的 ∆ ′ i 和 ˆ∆ i，我们将它们的不一致性定义为：0L con C (c ′ i, ˆ c i) 102 [ KL (c ′ i, ˆ c i) + KL (ˆ c i, c ′ i)]。0其中KL表示Kullback-Leibler散度。不一致性越高，样本对于训练越具信息量，因此可能值得标记。通过聚合 ∆上的对象分数进行图像选择。给定 L con C，图像中每个对象预测的不一致性，我们通过聚合分数来定义图像的不一致性。具体而言，我们首先对其预测应用非最大抑制，然后将其不一致性定义为：0I(∆) = max i { L con C (c ′ i, ˆ c i)}。ˆypi =sypijlog(cpi ) −�i∈Neglog(c0i ), (7)(||δx′i − (− ˆδxi)||2 + ||y0′i − ˆy0i||2+||w′i − ˆwi||2 + ||h′i − ˆhi||2),(8)sypijlog(cpi )−�i∈Neglog(c0i ) −�i∈ ˆP osˆypijlog(cpi ),(10)144950同样，我们将图像的不确定性定义为：0H(∆) = max i { H(c i)}。0其中 H(c i) 表示分布 c i的熵。使用最大分数而不是其他分数（如平均分数）的背后原理是，独立于易对象数量的多少，标记至少包含一个困难对象的图像是有益的，因为存在困难对象。考虑到不一致性和不确定性分数处于不同的尺度上，我们通过将它们相乘来统一它们。对于 ∆ ，我们将统一的获取分数定义为：0A(∆) = H(∆) × I(∆)。0在对 U中的每个图像进行评分后，我们根据其获取分数对所有图像进行排序，并选择具有最高分数的 N/T个图像进行标记，其中 N 对应获取预算，T对应主动学习步骤的数量。请注意，我们会对所选图像中的每个边界框进行注释，无论该框的得分高低如何。我们将在T 个主动学习周期内重复此过程。03.2. 伪标签以防止分布漂移0上述主动学习流程针对最具信息量（难）的样本进行操作，忽略了自信样本。我们认为网络应该看到一些代表性的简单样本，以确保不会发生分布漂移。同时，我们希望避免标记自信样本以节省标记资源。因此，我们提出使用伪标签，即在上一个主动学习周期中训练的网络为当前周期训练的网络提供伪标签。如果网络自信，且置信度高于某个阈值τ，则我们会为对象进行伪标记：0如果 p = argmax(c i) 且 c p i ≥ τ0，则为1，否则为0。0然后我们使用伪标签作为当前网络训练的真实标签。我们注意到，在一张图像中，网络对于某些预测的边界框可能自信，而对于其他边界框可能不自信。举个例子，给定一张包含猫和狗的图像，网络可能对于猫自信并伪标记它，但对于狗可能不自信。如果我们不考虑这一点，标准的损失函数将惩罚网络对于包含狗的图像区域的预测。然而，因为该区域未标记，该对象的真实标签将被设置为背景，从而导致高损失，即使网络对于狗的预测准确（作为狗）。在下一节中，我们将介绍如何解决这个问题。03.3. 深度目标检测训练0在本节中，我们描述了我们统一框架中用于训练深度目标检测器的不同损失。首先，我们描述了多盒、一致性和伪标签损失，最后是整体训练损失。对于标记样本的多盒损失。对于标记的图像，网络使用标准的多盒损失进行类别预测的训练，并使用平滑的 L1损失进行边界框预测。给定网络的类别预测 c 和指示符 y pij = {0, 1}，用于将第 i 个框与其对应的第 j 个类别为 p的真实框进行匹配，多盒损失定义如下：0L 确信 ( c ,  y ) =  − �0| 类别| �0其中 Pos 定义了正样本边界框（包含物体），Neg定义了背景类别的边界框。对于无标签样本的一致性损失。我们的方法利用了检测器在获取函数中的不一致性。直观上，如果检测器在图像中具有很高的不一致性，它就无法以自我监督的方式从中学习，并且在主动学习循环期间标记该图像是学习该图像的唯一方法。在训练过程中，我们需要引导检测器提供一致的预测。为此，我们将主动学习过程镜像，并使用水平翻转将图像及其增强版本馈送给检测器。在匹配预测后，如方程式1所述，我们使用类别获取函数 L 一致 C作为类别不一致性的损失函数。为了稳定训练，我们计算定位不一致性损失如下[3]：0L 一致 L ( b ′ i , ˆ b i )=10其中，由于我们使用水平翻转，我们对中心 ˆ δx i的位移应用否定。我们通过对所有匹配的预测的损失进行平均来计算总一致性损失：0L 一致  =  E [ L 一致 C ( c ′ ,  ˆ c )] +  E [ L 一致 L ( b ′ , ˆ b )] . (9)0伪标签损失。我们的方法仅对检测器高度确信的图像中的对象进行伪标记，其余部分的图像不标记。使用方程式7中描述的损失会导致在没有伪标签的区域中的那些预测被视为误报。因此，我们修改了MultiBox Loss如下：0L 确信 ( c ,  y ,  ˆ y ) =  − �0| 类别| �0| 类别| �mixture of SSD, thus adds extra parameters. We also com-pare with two multimodel approaches, MC-dropout [12]and ensemble-based [9] active learning (consisting of threeneural networks). Finally, we compare to the consistency-based SSL method and to a pseudo-labeling method.We present the comparisons with AL methods forVOC07+12 in Fig. 3a. We observe that in the first activelearning cycle, our method has a relative improvement overthe random baseline by 10.5%, and over 8.2% compared tothe best overall active learning method [8]. We see that theperformance improvement of our method is maintained inthe other active learning cycles. In the last one, where weuse 7, 000 samples, 5, 000 of which are actively labeled, ourmethod outperforms the random baseline by 9.1% and thebest existing active learning methods by more than 2.8%[5]. Multi-model active learning networks, namely, ensem-ble [9] or MC-dropout [12] outperform single models at thecost of longer training and active learning time, and in thecase of the ensemble has 3 times more training parameters.Nonetheless, our proposed single model still reaches bet-ter results than multi-model methods, outperforming the en-sembles by 8% in the first AL cycle, and 1.8% in the last cy-cle. In Fig. 3b. we compare the results of our method, withthe two semi-supervised learning methods. In the first ALcycle, our method outperforms the consistency-based SSLby 5.6%, and the pseudo-labeling method by 2%. In the lastcycle, we outperform the consistency method by 3.4% andthe pseudo-labeling method by more than 3%.For MS-COCO, in Fig. 4a-b, we observe that in thefirst active learning cycle, our method outperforms the ran-dom baseline by 5.8%, the best-performing AL methodby 2.7% [5], the semi-supervised method by 5.4%, andthe ensembles by 5%. In the second cycle, our approachoutperforms all the other methods, including PM [5], byalmost 4% or more.We observe that this difference ismaintained in the other cycles, including the last activelearning cycle where our method outperforms the semi-supervised method, multi-model methods [9, 12] and thebest AL method [5] by 1.6%.144960其中 ˆ y 和 ˆ Pos表示伪标签的指示器和正样本边界框。整体训练损失。最后，为了训练深度检测网络，我们将multibox、L 1和一致性损失聚合为：0L 总  =  L 确信  +  L 一致  +  L 1 , (11)0其中 L 一致 在所有样本中使用，而 L 确信 和 L 1，即边界框的平滑 L 1 ，在标记和伪标记的样本中使用。04. 实验0在本节中，我们展示了我们的方法提高目标检测性能的有效性。对于所有实验，我们报告平均精度@0.5（mAP）作为主要指标，并使用两个公共数据集：PASCAL VOC07+12（VOC07+12）[38]和MS-COCOtrain2014[39]。VOC07+12包含16,551个训练图像和4,952个来自VOC07测试集的测试图像。MS-COCO包含83K个训练图像和valset2017包含5,000个测试图像。根据[4,5]，在VOC07+12上，我们首先随机采样2,000个图像。在更大的MS-COCO上，我们首先随机采样5,000个图像。我们进行了5个主动学习循环，在每个循环中，我们选择1,000个图像进行标记。为了确保网络不发散，我们将每个小批量的图像标记为一半。我们将伪标签阈值的置信度阈值设置为τ = 0.99用于VOC07+12和τ =0.75用于MS-COCO，基于第零个主动学习步骤的结果。我们将IoU阈值设置为≥0.5。为了与[4-7]进行公平比较，我们在所有实验中使用基于VGG [40]骨干的Single-ShotDetector300（SSD300）[2]。我们使用带动量的SGD训练模型，训练120,000次迭代。我们将初始学习率设置为0.001，并在80,000次和100,000次迭代后将其除以10。我们使用大小为32的批次和恒定的L2正则化参数设置为0.0005。我们使用相同的模型、超参数和相同的公共实现1。我们使用四个NVIDIA V100GPU训练所有网络。在所有实验中，我们使用相同的随机采样图像的初始拆分训练三个独立的网络，并报告均值。我们在补充材料中给出了均值和标准差的数字。04.1. 主要结果：与其他方法的比较01 https://github.com/amdegroot/ssd.pytorch04.1.1 消融研究。0主动学习和自动标记的影响。我们现在分析我们方法的每个模块，以便解开它们的贡献。在图3c中，我们展示了在不同获取函数（随机、熵、不一致性）下，基于VOC07+12的半监督模型的性能比较，以及我们统一方法的两个实例：带有伪标签和不带伪标签。我们看到在第一个主动学习周期中，熵和不一致性都没有显著优于随机采样的结果。然而，我们立即看到了一个显著的效果，即使用熵相对于0.9％的改进率。pling).The Pseudo-labeling module continues to give aboost in performance in all the following AL steps.In Fig. 4c, we provide a similar ablation study for MS-COCO. We again observe that the unified score outper-forms both the entropy and inconsistency scores in isola-tion. However, unlike in VOC07+12, we observe that us-ing only the entropy, the improvement is marginal over ran-dom sampling. On the other hand, we observe that inconsis-tency works significantly better than random sampling andentropy (we provide an explanation in the next section). Wefurther observe the effect of pseudo-labels. We see that inthe first AL cycle, adding pseudo-labels boosts the perfor-mance by 3.1% and the performance boost is maintained upto the last cycle. This is very different from the results ofpseudo-labeling alone, see Fig. 4b, where the performancegain is marginal. In other words, pseudo-labeling in isola-tion does not work well. However, pseudo-labeling comple-mented with the unified score reaches high results.Acquisition functions. We now focus on analyzing theeffects of aggregating the two acquisition functions. In Fig.5, we check the performance of every individual class in thezeroth and the last AL cycle in VOC07+12 dataset. We thenfocus on three best-performing classes (”Train”, ”Car”,and ”Horse”) and three worst-performing classes (”Bot-tle”, ”Pottedplant”, and ”Chair”). A first observation isthat for the best-performing classes, entropy-based AL, onaverage, tends to outperform inconsistency-based AL.144970图3.VOC07+12。左：与最先进的主动学习方法的比较；中：与本文中两种不使用主动学习的SSL方法的比较；右：对熵、不一致性、无伪标签的统一分数以及我们方法的消融研究。†表示集成方法；‡表示SSD的混合。我们在训练过程中还使用了未标记的数据。0图4.MS-COCO。左：与最先进的主动学习方法的比较；中：与本文中两种不使用主动学习的SSL方法的比较；右：对熵、不一致性、无伪标签的统一分数以及我们方法的消融研究。†表示集成方法；‡表示SSD的混合。我们在训练过程中还使用了未标记的数据。0在第二个主动学习周期中，使用熵的性能提高了0.9%，使用不一致性的性能提高了1.4%。我们看到性能的提高在下一个主动学习周期中变得更大，在第五个主动学习周期中，熵的性能提高了2.3%，不一致性的性能提高了2.4%。然后我们展示了我们的统一获取函数的结果。在第一个主动学习周期中，我们立即看到性能有显著提高。虽然熵（67.24mAP）和不一致性（67.39mAP）相对于随机采样的改进微不足道（67.19mAP），我们的获取函数达到了68.40mAP，比随机采样提高了1.5%。性能的提高在后续周期中变得更大：第二个周期提高了2%，第三个周期提高了2.5%，第五个主动学习周期达到了2.6%的峰值改进。在所有情况下，我们提出的得分优于基于单个获取函数的主动学习方法。我们进一步研究了在我们的框架中使用伪标签的效果。在图3c中，我们观察到在第一个主动学习周期中，添加伪标签会立即提升性能，相对于半监督学习中表现良好的获取函数，结果提高了3.7%（比使用随机采样的半监督方法提高了5.3%）。我们进一步观察到，在第二个周期中，相对于仅使用我们的获取函数，使用伪标签可以提高2.9%（比使用随机采样的半监督方法提高了4.7%）。伪标签模块在所有后续的主动学习步骤中都能提升性能。在图4c中，我们为MS-COCO提供了类似的消融研究。我们再次观察到统一得分在隔离中优于熵和不一致性得分。然而，与VOC07+12不同的是，我们观察到仅使用熵时，改进与随机采样相比较小。另一方面，我们观察到不一致性比随机采样和熵的效果要好得多（我们在下一节中给出了解释）。我们进一步观察了伪标签的效果。我们看到在第一个主动学习周期中，添加伪标签将性能提升了3.1%，并且性能提升一直保持到最后一个周期。这与仅使用伪标签的结果完全不同，参见图4b，其中性能提升微不足道。换句话说，单独使用伪标签效果不好。然而，伪标签与统一得分结合使用可以达到很高的结果。获取函数。我们现在专注于分析聚合两个获取函数的效果。在图5中，我们检查了VOC07+12数据集中零周期和最后一个主动学习周期中每个单独类别的性能。然后我们关注三个表现最好的类别（“Train”，“Car”和“Horse”）和三个表现最差的类别（“Bottle”，“Pottedplant”和“Chair”）。首先观察到的是，在表现最好的类别中，基于熵的主动学习方法平均而言往往优于基于不一致性的主动学习方法。144980图5.VOC07+12。在条形图中，我们展示了零周期和最后一个周期中使用随机采样的每个类别的准确率。我们展示了每种主动学习方法在三个表现最好（“Train”，“Car”和“Horse”）和三个表现最差（“Bottle”，“Pottedplant”和“Chair”）的类别上的结果。0（a）（b）0图6.MS-COCO。a）一个获取函数优于另一个的类别百分比；b）我们的统一获取函数在有和没有伪标签的情况下优于随机获取函数的类别百分比。例如：在y轴上选择“统一”条目，在x轴上选择“熵”，我们得到的值是0.69，这意味着“统一”获取函数在69%的类别中优于“熵”获取函数。0另一方面，我们看到在三个表现最差的类别中，基于不一致性的主动学习方法明显优于基于熵的主动学习方法。虽然基于熵的主动学习方法平均而言只略优于随机采样，但基于不一致性的主动学习方法在“Bottle”、“Pottedplant”和“Chair”三个类别中相对性能提升了24%、14%和18%。直观地说，可以认为这种现象是可以预料的。网络在预测方面表现不佳导致其类别预测对于任何基于不确定性的主动学习方法都不可靠。同时，一个更一般的只依赖于网络鲁棒性的获取函数更适合低性能的类别。最后，我们展示了我们的获取函数达到了最好的整体结果。0由于类别数量庞大，我们在MS-COCO数据集上汇总结果。在图6a中，我们展示了一个获取函数优于另一个的类别百分比。我们看到不一致性在62%的类别中优于熵，而我们的统一得分在60%的类别中优于熵。这解释了为什么在包含更多具有挑战性类别的MS-COCO中，基于鲁棒性的获取分数明显优于基于不确定性的获取分数。我们提供了实验结果。0图7. VOC07+12：与仅使用AL相比，伪标签对每个类别的影响。0在补充中的每个AL循环中的结果。我们需要SSL培训吗？不一致性获取函数计算获取池中每个图像的网络的鲁棒性。如果网络在图像中不一致，尽管它被训练为最小化该图像的不一致性，但该图像提供了未被SSL捕获的信息。我们现在检查如果网络没有在SSL中进行训练，因此它从未见过标记池中的图像会发生什么。在表1a中，我们展示了使用一致性损失和不使用一致性损失训练的网络的不一致性获取函数的结果。如预期的那样，使用SSL损失的结果明显优于完全监督的基准结果。有趣的是，不一致性AL的结果并不比随机的结果更好。显然，为了能够利用样本中的鲁棒性信息，网络需要在训练过程中尝试最小化它们的不一致性。每个类别的PL性能提升。我们现在研究伪标签是否只对某些特定类别有帮助，还是对所有类别都有帮助。我们从VOC07+12数据集开始分析。在图7中，我们绘制了每个类别的模块带来的性能增益，并将其与仅使用AL和随机采样的性能增益进行比较。164.2363.2667.39266.3365.7970.42367.5167.1672.43468.6068.6572.80569.2770.3374.90180.0491.1396.68284.0092.2196.01386.0093.3295.80487.5593.4195.61590.0594.6495.57144990在第一个AL循环中，我们看到伪标签在所有20个类别中都优于随机采样，仅使用AL在两个类别（“Pottedplant”和“DiningTable”）中给出负面影响。我们还发现，伪标签在所有三个表现最差的类别（“Bottle”，“Pottedplant”和“Chair”）中都优于仅使用AL。我们在其他循环中看到了类似的模式。在第二个循环中，与仅使用AL相比，伪标签模块在14个类别中优于AL，并且仅在一个类别（“Dog”）中给出负面影响，而仅使用AL在四个类别中给出负面影响。在第三个循环中，伪标签模块在11个类别中优于AL，并且在两个类别中给出负面影响（与AL相比，AL在五个类别中给出负面影响）。在第四个循环中，伪标签模块在15个类别中优于AL，并且在一个类别中给出负面影响（与AL相比，AL在三个类别中给出负面影响）。最后，在第五个AL循环中，伪标签模块在10个类别中优于AL，而类别“Car”则是一种平局，并且仅在一个类别中给出负面影响，与AL相比，AL在三个类别中给出负面影响。因此，我们得出结论，仅关注“困难”样本会对多个类别的性能产生负面影响。然而，添加伪标签可以减少这种影响，使网络更加鲁棒，从而防止数据集漂移。我们在更大的MS-COCO上进行了类似的分析，通过汇总结果，将结果显示在图6b中。虽然我们的统一获取函数在60%的类别中优于随机获取，但添加伪标签将这种情况发生的类别数量增加到72%，显示了伪标签的有用性。我们提供了补充材料中每个AL循环的实验结果。伪标签的比例。我们现在研究通过允许更多噪声伪标签来增加伪标签数量的效果。为此，我们将伪标签阈值τ从0.99降低到0.9和0.5。我们在图8a中呈现结果。我们观察到通过使用极高的阈值τ=0.99可以达到最佳的整体结果。将τ降低到0.9，从而允许更多伪标签，会损害性能。进一步降低到0.5，从而允许更多伪标签，实际上会损害整个训练。因此，我们得出结论，我们需要在选择伪标签时进行选择。为了理解伪标签模块训练的网络的性能改善为什么会在后续主动学习循环中减弱，我们研究了伪标签增益与整个标签的伪标签比例之间的关系。如图8b所示，在第一个主动学习循环中，伪标签带来了最大的增益（3.7%），大约一半的标签是伪标签。随着伪标签数量的减少，我们看到增益趋于降低。我们的直觉是，当伪标签数量很高时，尽管它们是嘈杂的，它们仍然有助于训练过程。一个有趣的事实是，虽然伪标签的总数减少了，但对于0循环 随机 无SSL SSL0循环 0.5 0.9 0.990（a）（b）0表1. VOC07+12.a）训练对SSL的影响。b）使用τ的伪标签正确性。0（a）（b）0图8. VOC07+12.左：选择伪标签的准确性作为τ的函数。右：准确性改进与整个标签的伪标签比例的关系