小样本稀有类别分类的积极半监督方法

18423在严格的标签预算下学习稀有类别分类器Ravi Teja Mullapudi2，4rmullapu@cs.cmu.eduFait Poms1fpoms@cs.stanford.eduWilliam R. 马可福音4billmark@google.comDeva Ramanan拉马南2，3deva@cs.cmu.eduKayvon Fatahalian1kayvonf@cs.stanford.edu摘要许多现实世界的机器学习部署面临着用小的标签萌芽训练罕见类别模型的挑战。在这些设置中，通常可以访问大量未标记的数据，因此考虑半监督或主动学习方法以减少人类标记工作是有吸引力的然而，现有方法做出了在实践中通常不成立的两个假设;（a）一个假设可以访问适量的标记数据以引导学习，以及（b）每个图像属于共同的感兴趣类别。在本文中，我们考虑这样的情况，即我们从一个罕见的类别的5个标记阳性和大量的未标记数据开始，其中99.9%是阴性。我们提出了一个积极的半监督的方法，在这个具有挑战性的设置，丁建立准确的模型我们的方法利用了两个关键思想：（a）在最有效的地方利用人力和机器的努力;人类标记用于识别“大海捞针”的阳性，而机器生成的伪标记用于识别阴性。(b)调整最近提出的表示学习技术，用于处理极不平衡的人类标记数据，以迭代地训练具有噪声的机器标记数据的模型。我们将我们的方法与之前的主动学习和半监督方法进行比较，证明了每单位标记工作的准确性的显着改善，特别是在紧张的标记预算上。1. 介绍训练图像分类模型的一个单一的（或少量的）罕见的类别是常见的在现实世界中的设置。例如，自主车辆开发需要在大型车队的视频日志 一种购物方式-1斯坦福大学2卡内基梅隆大学3Argo AI4谷歌研究应用程序可能需要识别特定类型的服装。生态监测需要识别珍稀动物物种。为稀有类别构建模型的一个主要挑战是获取训练样本-确切地说-因为它们是稀有的！幸运的是，在许多现实世界中，人们可以访问大量未标记的数据。如果没有大量的人工努力，天真地标记未标记的数据不太可能找到因此，一种自然的策略是通过结合[24，27，16，31，40，34]主动[32]和半主动[33]来交互式地挖掘监督[6，46，36，43]学习技术。然而，现有的主动和半监督学习方法作为sume访问适量的标记数据，并假设每个图像属于一个共同的兴趣类别（图1）。相比之下，我们感兴趣的是为罕见类别构建模型，这些类别仅从少数标记的阳性（少至5个）开始，并且大多数（多达99.9%）未标记的数据是背景。简单地说，我们的目标是在给定少量固定数量的人类标签（500典型的主动和半监督方法使用初始标记集来训练用于识别和标记相关数据的模型。然而，对于每个稀有类别，我们具有如此少的标记阳性，以至于难以仅使用初始标记集来训练在罕见类别设置中的先前工作诉诸于使用来自预先训练的深度网络的特征来训练简单的线性模型[29，11]。与这些方法不同，我们表明，使用主动和半监督学习的组合来改善具有有限数量的标记数据的深度特征是可行的，以解决以下挑战：• 由于人类只能标记完整数据集的一小部分，因此我们使用半监督学习来伪标记其他示例。伪标记阳性工作不佳，因为它们是罕见的。 我们让人类标记可能包含正面和负面的“硬”例子，让机器伪标记“容易”的负面。18424图1：问题设置：大多数主动和半监督学习方法都专注于平衡数据集，其中有100我们认为，在实际的机器学习部署中，人们通常希望从少量样本中学习一个罕见类别的模型（其中99.9%的数据是背景数据）。• 在大量的伪标记否定上训练会导致困难的、高度不平衡的学习。我们采用背景分裂[26]，这是一种最近提出的用于从高度不平衡的人类标记数据集学习的技术，用于使用人类和机器标签的迭代半监督学习。• 迭代学习（深度）特征显著地提高了准确性，但是在计算上是昂贵的，并且在模型更新和人类标记之间增加了显著的延迟。 为了减少模型更新和人类标记之间的总体计算成本和延迟，我们以低频率更新特征，但以高频率在缓存特征上训练线性模型，以选择用于查询人类的样本。图2显示了我们的方法的概述，该方法将这些关键思想合成到一个人在回路系统中，用于构建罕见类别的模型。与现有方法相比，我们的系统提供了每单位标记效率的准确性的显著改进，特别是在紧张的标记预算上。2. 相关工作我们的工作重叠了主动学习、半监督学习以及这两种方法与深度学习的交叉研究。与以前的工作不同，我们专注于罕见的类别，其中大多数可用的未标记的数据是背景，只有少数积极的样本可用于引导学习过程。主动学习选择要标记的数据的问题在主动学习文献[32]中已经广泛地研究了学习模型。 许多早期的工作都集中在训练一个分类器上的预定义特征，其中未标记的数据集具有平衡的类别分布，目标是建立一个模型来分类所有类别。在这种设置中，最先进的方法标记当前分类器模型混淆的数据（通过熵或边缘距离测量）[10]或具有最多信息增益的数据，通常通过预期模型梯度测量[32，39]。当未标记数据平衡时，均匀随机抽样等简单策略是非常有竞争力的[25]。先前的工作表明，均匀采样以及标准的主动学习技术在我们的不平衡环境中挣扎[3，2]。一些工作已经探索了不平衡/罕见类别设置中的主动学习[42，4，1]，其中未标记数据仅包含感兴趣的类别，与本文研究的实际设置（384- 10，000 ×）相比，研究的不平衡较小（2-99×）。我们的工作与Tropel系统[29]密切相关，该系统通过主动学习从稀有类别的几个样本开始训练稀有类别分类器Tropel使用来自预训练的深度模型的固定特征表示进行分类器训练。类似地，最近的工作通过将人类标记的候选者限制为已经标记的样本的最近邻居，在冻结的深度特征之上训练逻辑回归分类器[11]。相比之下，我们更新了活动进程中使用的深度特征表示。即使我们只有少量的人类标记数据，我们也通过利用未标记的数据使此更新可行。18425&在传统的主动学习方法中，分类器是在固定特征之上学习的，而当从主动获取的样本训练完整的深度模型时，目标是学习特征表示和分类器。这种差异需要对主动学习技术进行根本性的改变。最近的工作[25]表明，在公共类别集合中使用深度模型的主动学习因此，传统主动学习方法对训练深度模型的直接适应[31，17]在使用人类样本方面不如使用半监督学习来增强深度主动学习的方法[40，34，28，13]有效。这些组合技术基于前深度模型时代的早期工作[24，27，16，23]。半监督方法依赖于现有模型来使用代理标记或基于图的方法来推断未标记数据上的标记[28]。用于推断标签的现有模型必须相当准确，以便方法成功地改进模型。大多数现有的半监督方法在许多常见的类别设置中进行评估，并从100-1000个标记的示例开始然而，对于稀有类别，从如此大量的标记的正实例开始是不现实的。在仅用几个阳性实例训练初始模型的现实场景中，我们发现模型因此，我们将半监督标记仅限于被强烈预测为负的样本的子集，确认了经典设置中的先前结果[9]。我们使用的半监督方法是相对简单的代理标记方法的修改变体[28]。知识转移和表示学习技术，如知识蒸馏[7，44，30]，使转移知识从一个相关领域的模型，以学习更好的表示。我们依靠最近开发的一种基于蒸馏的技术，专门用于极不平衡的稀有类别设置[26]。最近，自监督表示学习技术已经成功地用于像ImageNet这样的平衡数据集[5，15，7，8]。我们发现使用这种方法学习的表示是很好的起点，但它们需要更新与感兴趣的稀有类别相关的关于主动学习的许多工作都是对数据的一小部分但相当大的一部分进行标记（例如，5%），足以使用合理的模型进行热启动[33，19]。在我们的设置中，我们假设每个类只有少量的初始示例（5）。该设置接近于主动学习中的冷启动设置[14，21]。我们的初始设置是类似于少量学习问题，通常侧重于学习一般表示[35]或积极的数据增强[41]。我们的方法不是专注于复杂的少量学习策略，而是专注于使用未标记的数据来学习良好的特征表示，这与最近的工作相呼应[37]。用于主动学习的异构模型主动训练深度模型可以产生更准确的模型，但计算成本很高。先前的工作表明，与深度CNN等复杂模型相比，线性分类器等简单模型可以快速训练，并且通常足以用于主动学习中的样本选择[22，12]。我们使用类似的方法，将线性分类器训练与深度模型训练交织在一起，以保留两者的优势。3. 方法我们的目标是在给定以下输入的情况下为罕见类别构建准确的模型：来自 目 标 域U的大量未标记数据（>99.9%的数据是负实例）;来自相关域的预训练模型Mpre;以及向人查询一组样本上的标签的能力。图2提供了我们的方法的概述，算法1给出了具体细节。在高层次上，我们的方法通过利用手头可用的最佳特征表示（F）和标记的阳性（Lp），阴性（Ln）和伪阴性（Wn）来迭代地构建模型，以快速训练线性模型。然后，我们使用线性模型对未标记的图像进行排名，并在排名R中的顶部图像上向人类查询标签。除了人类标记之外，线性模型还用于通过从排名的底部50%挑选图像来准确地伪标记大量容易的底片（Wn使用未针对任务训练的固定特征限制了线性模型的准确性。因此，通过用人类和自动标记的数据两者训练深度模型（M_d），以较慢的速率周期性地更新我们使用最近提出的背景分裂[26]技术来学习良好的表示，即使在训练数据中遇到极端不平衡。本节的其余部分详细阐述了我们方法的关键组件中的动机和由此产生的引导初始模型和排名。我们需要解决的第一个挑战是建立一个模型，用于使用我们称为原型阳性（Ip）的起始阳性集对未标记数据进行排名。仅给定原型阳性，难以训练分类器，因为手头上没有阴性。人们可以从未标记的数据中随机抽样否定，但我们发现随机抽样否定对于建立准确的分类并不有效18426预图2：概述：我们的方法通过在为人类选择未标记的样本进行标记和在标记图像的冻结深度特征之上训练线性模型之间交替（顶部循环）来构建稀有类别模型。我们的流水线通过使用线性模型对未标记的图像进行排名，并在高分未标记的图像上查询人类，将人类的努力集中在可能包含阳性的图像上。除了人工标签外，线性模型还用于通过从排名的底部50%中挑选图像来自动标记大量容易的底片使用未针对任务训练的固定特征限制了线性模型的准确性。因此，通过用人类和自动标记的数据两者训练深度模型，以较慢的速率（底部循环）周期性地更新深度特征表示。更好。相反，它是更有效的依赖于特征相似性的积极的情况下，寻找困难的负的例子。因此，我们生成一个基于特征相似性的排名使用原型的积极。缓存特性在每次迭代中寻求少量（B= 10）附加标签以更新排序模型（Ml）。例如，图2顶部示出了活动循环期间排名最高的未标记图像。大多数热门图片都是由(Line1）使用预训练模型Md预先计算这些模型在视觉上是相似，但只有一小部分未 标 记 数 据 中 所 有 样 本 的 特 征 F联 合 然 后 ，computeFeatureCentroid（第3行）将所有原型正例Ip的特征表示归一化，并计算罕见类别的平均特征表示c（类别原型）。最后，rankByCosineSimilarity（第4行）通过按类别原型c的余弦相似性对未标记图像进行排序，生成U中未标记图像的初始排名Rpos。在高排名样本上查询人类标签。给定初始自举模型c或后续迭代中的线性模型（Ml初始排名（第4行）基于相似性和表面数据，该表面数据在视觉上与感兴趣的类别相似。然而，排名可能是不可靠的（特别是对于细粒度分类），因为基于针对不同任务（ImageNet分类或自监督辅助任务）学习的表示，仅使用几个正实例（Ip）来即使在随后的迭代中，我们也只重新-这些图像属于感兴趣的类别，使得难以自动标记阳性。因此，我们将人类标记工作集中在排名中得分最高的正面内部循环j的每次迭代，queryHumanTopK（第10、12行）向人类查询B个排名靠前的图像上的标签，其中B是每次迭代的标签预算。将人类标记的阳性和阴性Hp、Hn添加到适当的标记的集合Lp、Ln中，并从未标记的数据池中移除。当我们在迭代过程中请求更多的标签并更新模型时，模型变得更准确，并且对容易的阳性结果进行高评分。一旦模型相当准确，标记更容易的阳性并基于这种直觉，我们使用一个简单的启发式估计模型的质量和自适应地选择一个策略来挑选人类标记的样本。关键的见解是，高质量的模型发现的积极因素比消极因素多我们的方法是跟踪184277fori←1toNdo910111213141516171819208forj←1toQdo如果|L p|<|L n|然后其Hp，Hn←queryHumanTopK（B，Rpos）Lp<$Hp<$Lp，Ln<$Hn<$LnHp，Hn←queryHumanTopK（B，Rent）←pseudoNegativeLabels（Rpos，fa）Ml←trainLinearModel（F，Lp，Ln，Wn）U←U −（Hp ∪Hn）Rpos←sortPositiveScore（Ml，U）M←trainBGSplitDRent←sortMarginDistance（Ml，U）我（M、Lp、Ln、Wn、Al）DF←cacheFeatures（M，U）Di−1我预一...... N预预预预|| |||| ||6M←M||||Dd算法一：我们罕见的类别活动方法。输入：U、Ip、Md、B、N、Q、fa输出：Md不用于生成罕见类别阳性的自动标签我们表明，即使是保守的伪标记阳性结果在较低的准确性，在积极的过程中，cess相比，我们的方法。1 F←cacheFeatures（M d，U）2 A l←辅助标签（M d，U）使用极端不平衡更新特征表示-3 c←computeFeatureCentroid（M d，Ip）ance. 训练具有小数目的深度模型M d。4 Rpos←rankByCosineSimilarity（c，F）5Lp←Ip，Ln←{}，Wn←{}0前我人工标注图像的误码率和大量的伪由于训练数据中的极端不平衡，标记的否定仍然具有挑战性。我们的方法缓解了这个问题，同时通过使用最近的深度模型训练技术（称为背景分裂[26]，旨在应对极端不平衡）从相关领域提取信息。trainBGSplit（第19行）使用所有人工标记和伪标记的数据加上使用预训练模型Md.到目前为止标记的阳性和阴性（Lp，Ln）。如果到目前为止标记的阳性图像的数量小于阴性图像的数量，则我们要求人类标记最可能的阳性图像（R_pos），否则我们要求人类标记最接近线性模型的边缘的图像在低等级样品上生成阴性伪标记。仅给定少量的人类标记图像（Lp，Ln），难以改进深度特征表示。我们的方法通过机器标记未标记图像的大子集来解决这个问题联合首先，我们的方法通过将伪标签限制为负数，更确切地说，限制为当前排名Rpos中不太可能是正数的低排名样本，来避免标记错误。其次，我们的算法采取了一个渐进的方法来机器标记的基础上，人类 标 记 的 阳 性 和 阴 性 （ Lp 和 Ln ） 的 数 量 。 例 程pseudoNegativeLabels（第14行）选择f a（L p+ 0.1Ln）从排序的下半部分均匀地采样为伪阴性。是标量超参数，其控制相对于算法使用的人工标记的数据的伪标记的量这种启发式算法的目标是保持相对于人类标记数据量的标签错误较低虽然简单的否定可以用简单的启发式自动可靠地标记，但类似的启发式可以-交错特征表示和排名更新。原则上，我们可以用每个人类标签更新深度模型，以最大限度地利用后续的人类努力。然而，频繁地更新深度表示在计算上是昂贵的，并且如我们在补充中所示的那样给出递减的回报。相反，在固定特征上训练线性模型在计算上是便宜的，但导致较低质量的模型。我们的方法通过将特征表示的低频更新（每QB人类标签）与用于更新排名的线性模型的高频训练（每B人类标签）交错来在两个极端之间取得平衡。外循环i对应于特征更新，内循环j对应于具有固定特征表示的排名更新。参数N和Q分 别 指 定 特 征 和 排 名 更 新 迭 代 的 数 量 。 例 程trainBGSplit从先前迭代的模型开始，并且仅在当前标记数据（Lp，Ln，Wn）上训练它几个时期。在活动迭代中连续训练深度模型，使训练成本接近于在所有数据上训练一次完全监督的深度模型的成本。每次更新后 ， 未 标 记 数 据 的 特 征 在 特 征 更 新 之 间 ， 例 程trainLinearModel使用当前特征来使用人类和伪负标签快速训练线性模型（Ml所得到的线性模型用于更新用于挑选用于人类标记的图像以及伪阴性的排名。4. 评价我们的方法有三个组成部分：对不平衡数据进行主动采样、伪标记和深度模型训练。以前的工作主要集中在个人组成，18428∼∼∼预假阳性伪阴性BG分裂列车特点主动学习学习的过程中有东西要找。在这种情况下，我们的◦✓（自适应）KD-Semi+✓（自适应）DeepProp×✓（自适应）Tropel-Deep△✓ ✓（最可能阳性）Tropel▽✓（最可能的积极）完全监督✓✓50 40302010050 100 150 200 250 300 350 400 450 500按类别（b）放置20个类别（每个类别占数据的0.19-0.27%）图3：与基线的比较。曲线图显示了我们的方法的平均F1准确度和50个iNatural- ist和20个地点类别的基线，作为人类标记工作的函数。我们的方法提供了更高的准确性，每人的努力相比，基线，特别是当一个小数目的图像标记。Tropel基线在固定特征上训练线性模型，并且在低数据状态 下与Tropel-Deep 基线竞争DeepProp和KD-除了阴性之外，半基线伪标记阳性。与我们的方法相比，伪阳性标签中的假阳性我们的方法。我们通过用先前的方法替换单个组件并评估整体性能来将我们的方法与先前的工作进行比较。我们还提出了消融研究的关键思想。4.1. 实验装置我们使用两个数据集来评估我们构建稀有类别模型的 方 法 ： iNaturalist [38]细 粒 度 物 种 识 别 数 据 集 和Places [45]场景分类数据集。我们从iNaturalist数据集中随机选择50个类别，从Places数据集中随机选择20个类别作为稀有类别进行评估。对于iNatural-个别类别的积极实例是极其在这两个数据集中都很罕见。对于iNaturalist，每个类别的阳性数量在50-1500的范围内（训练集的0.01-0.26%）。对于Places，类别分布更均匀，每个类别有3500-5000个实例（占训练集的0.19-0.27%）。对于每个类别，我们随机选择五个阳性作为初始标记集，并将其余的训练数据作为未标记的数据池。我们在每个数据集的完整验证集上评估训练模型。所有图像不在感兴趣的类别在我们的评估中被认为是否定的即，我们的验证集反映了训练集中的不平衡。我们使用F1度量进行评估，而不是分类准确性，因为分类准确性很容易通过仅将所有内容预测为阴性来针对罕见类别进行游戏。稀有类别主动学习基线：Tropel [29]是一种针对罕见类别的先验主动学习方法。Tropel通过标记来自当前线性模型的前k个评分预测来迭代地训练线性模型（在冻结的预训练深度特征之上）。我们还评估了一个新的变体Tropel-Deep，它在每次迭代时训练深度模型而不是线性模型。Tropel-Deep使用与我们在方法中使用的相同的增量深度模型训练。结果显示，我们的方法优于Tropel（因为我们训练了一个深度模型）和Tropel-Deep（因为我们的方法用伪标签增强了人类标签）。第二个结果提出了一个问题，即传统的半监督技术是否可以像我们的增强方法一样好地执行为了研究这个问题，我们基于标签传播[20，34]和知识蒸馏[7，44，30]实现了额外的基线。我们用这些生成自动标签的方法替换了我们的伪负标记方法，将它们命名为DeepProp和KD-Semi。对于DeepProp基线，我们不仅使用伪负Wn来训练深度模型，还使用通过标签传播生成的伪正标签[20]。对于KD-半基线，不是仅使用由线性模型产生的伪负Wn，而是使用来自未标记数据上的先前迭代的深度模型的高置信度预测有关基线的更多详细信息见补充资料。实 现 和 配 置 细 节 我 们 使 用 ResNet-50 模 型 [18] 在ImageNet上预训练或使用我们将随机选择限制在类别中，自监督方法）来初始化深度模型训练集中的实例超过50个，因此所有未标记的活动和计算特征表示（a）iNaturalist 50个类别（每个类别占数据的0.01-0.26%）50403020101002003004005006007008009001000按类别F1平均值方法F1平均值184290.80.60.40.20.050 100 150 200 250 300 350400按类别450 5004.2. 与基线的我们通过测量不同方法的模型准确性作为人类标记努力的函数，将我们的方法与先前的工作进行图3显示了我们的方法和几个基线的平均F1精度。的准确性是计算- puted对50和20类的兴趣iNaturalist图4：自动阳性分析。图显示了50个iNatural列表类别的由KD-Semi和DeepProp基线标记的自动阳性中的平均假阳性率使用KD-半降低自动阳性的置信阈值会增加假阳性率。高假阳性率显示了自动标记阳性的困难数据相同的ResNet-50模型用于生成背景分裂辅助损耗的标记。我们运行我们的主动方法及其变体，对于iNaturalist，N= 10，Q= 5，B= 10，对于Places，N=10，Q= 5，B= 20，除非另有说明，否则我们对所有方法中的每个类别使用相同的初始阳性（Ip）集合，并将fa在补充精神，我们表明，我们的方法是强大的范围内的值为fa。理想情况下，我们会评估我们的方法和所有的基线单独为每个类别.然而，由于计算限制，对于每个类别单独地用伪否定训练深度模型是不可行的。因此，我们一次运行十个类别的组的方法和基线，以降低计算成本。我们在所有实验中保持相同的类别分组。在训练深度模型时，我们对每个类别使用二进制交叉熵损失，而不是所有十个类别的交叉熵损失，并仅使用每个类别的二进制标签来监督模型。用于对未标记数据进行排序的线性模型针对每个类别独立地进行训练，并且针对每个类别分别询问人类的二进制标签。因此，图像可能仅被标记为十个类别中的一个。当训练深度模型时，我们通过掩蔽未标记的类别的相应二进制丢失来处理丢失的标签。当更新特征表示时，我们在活动循环中的当前标记数据上训练深度模型15个epoch。在N= 10，Q= 5和B= 10的配置中，我们因此运行了150个总的训练时期。然而，平均而言，我们的方法中的一个历元只使用了四分之一的未标记数据。因此，训练的总成本大约等于在整个数据集上进行40次训练。对于完全监督的基线，我们训练了50个epoch。有关培训时间表的更多详细信息，请参见补充资料。和Places数据集。我们衡量标签的努力，每个类别的二进制标签的数量与基线相比，我们的方法对于相同的人类标记工作具有更高的准确性，特别是当少量图像被标记时。Tropel基线在使用在ImageNet上预训练的深度模型计算的固定特征上训练线性模型。Tropel-Deep基线仅使用人类标记的数据来训练深度模型。当只有少量的人工标记数据可用于训练时，深度模型可能过拟合，导致低准确性。可以看出，当标记少量图像时，Tropel-Deep的性能比Tropel相比之下，我们的方法除了使用人工标记的数据外，还使用伪负，这允许 我 们 在 不 过 度 拟 合 的 情 况 下 更 新 特 征 表 示 在iNaturalist类别上，当每个类别标记500个图像时，我们的方法匹配完全监督的准确性，因为数据集包含每个类别的少于500个阳性在地点类别上，在完全监督的准确性方面存在显著差距，但这是预期的，因为每个类别有5000个阳性，并且我们每个类别只标记总共1000个图像。DeepProp和KD-Semi在未标记的数据上使用伪标签来更新深度特征表示。与我们的方法不同，这些基线不会将伪标签限制为简单的否定。DeepProp基于特征相似性图将标签传播到所有未标记的数据，并将权重分配给伪标签，而KD-Semi使用当前模型来预测未标记数据上的伪标签。DeepProp和KD-Semi都比我们的方法表现得更差，这是由于在阳性上传播的标签中的错误图4显示了KD-Semi和DeepProp在iNaturalist类别上的假阳性率高假阳性率是预期的，因为模型是从非常少的标记的示例中训练的。假阳性率不断增加的错误标签传播和扭曲的定义的类别。 KD-Semi可以通过增加标签被信任的置信度阈值来减少正伪标签中的错误。图4示出了在不同置信度阈值下KD-Semi的假阳性率即使置信度阈值高达0.98，假阳性率也是显著的，并且在置信度阈值较低的情况下甚至更差。将置信度阈值设置为高于0.98有效地导致几乎没有伪阳性标签，并且趋向于我们的策略的极限。Deep-Prop的性能比Tropel差，这是由于标签传播中的大量错误，这与图4所示的KD-Semi不同，难以控制。假阳性率KD-Semi 0.98KD-Semi 0.95KD-Semi 0.90DeepProp18430预402050 100 150 200 250 300 350 400 450 500按类别图 5 ： 消 融 研 究 。 图 显 示 了 我 们 的 方 法 在 50 个iNaturalist类别上的变体的平均F1准确度，作为人类标记工作的函数。省略伪负的No-Pseudo-Neg或背景分裂来处理不平衡的No-BG-Splitting导致较低的模型准确度，特别是当少量图像被标记时。仅每50个标记图像更新深度模型也会导致较低的准确性。4.3. 消融研究我们创建了我们的方法的变体来评估不同组件的影响。图5显示了我们的方法在来自iNaturalist数据集的50个类别上的变体的F1准确性，作为人类标记效果的函数。No-Pseudo-Neg和No-BG-Splitting分别是没有伪阴性和背景分裂的变体。如可以看到的，当更新深度表示时省略伪否定导致相同的人类标记工作的较低准确度。如人们所预期的，当标记少量图像时，伪负片和背景分裂的效果更明显。由于我们的方法只使用了一小部分简单的否定以及人类标记的阳性和硬否定进行训练，因此与使用所有数据的完全监督训练相比，它 还 减 少 了 阳 性 和 阴 性 实 例 之 间 的 不 平 衡 。 No-Linear-更新仅在每次表示更新时更新一次线性模型;这对应于参数设置N= 10，B= 50，Q= 1。跳过线性模型更新会导致相同标记工作的准确性较低线性模型更新使得能够快速适应用于选择用于人类标记的图像的排名，并且因此导致更好的整体模型。4.4. 使用自我监督表示到目前为止，我们已经使用ImageNet上使用监督标签预训练的模型评估了我们的方法作为图6中的Ours-Sup-ImageNet。相反，Ours-Self- iNat和Ours-Self-ImageNet使用在iNaturalist和ImageNet上训练的自监督模型，其中SwAV [5]为50 100 150 200 250 300 350 400 450 500按类别图6：自监督表示。图显示了我们的方法和Tropel在50个iNaturalist类别上的平均F1准确度，作为人类标记效果的函数。Ours-Self-iNat和Ours-Self-ImageNet使用在iNaturalist和ImageNet上训练的自监督模型作为起点。Tropel-Self-iNat和Tropel-Self- ImageNet使用自监督表示训练线性模型。我们的方法是更有效的标签，并 显 示 了 积 极 更 新 功 能 的 重 要 性 。 Ours-Sup-ImageNet使用ImageNet监督预训练作为起点，并优于自监督基线。我们的方法产生了更准确的模型，显示了使用主动标记的数据更新特征表示的重要性，即使从在相同数据上训练的自监督表示开始。这些结果表明，当与自我监督预训练相结合时，我们的方法然而，我们的方法在ImageNet上使用有监督的预训练表示生成了更好的模型。这表明自我监督表示学习方法有改进的空间。5. 结论在许多现实世界的场景中，通常需要从一个小的正集开始构建一个罕见类别的模型，该模型可以访问包含罕见类别实例的大型未标记数据集合。在这种情况下，我们表明，利用组合人类标签的阳性和硬阴性和机器标签的容易阴性是至关重要的，在紧张的标签预算下建立准确的模型。我们发现，在常见的多类别设置中工作良好的技术，如传播正标签或使用标准损失训练深度模型，并不适用于现成的，需要适应这种现实世界的设置。我们希望我们的工作展示了现实世界中罕见类别所带来的挑战，并鼓励未来的工作。致 谢 本 工 作 由 国 家 科 学 基 金 会 （ NSF ） 根 据 III-1908727 和 CCF-1937301 支 持 。 Deva Ramanan 和 RaviTeja Mullapudi预训练模型Md. 我们生成辅助标签由CMU Argo AI中心支持，用于Au-通过用自监督特征表示聚类iNaturalist数据来进行背景分 割 。 类 似 地 ， Tropel-Self-iNat 和 Tropel-Self-ImageNet使用固定的自监督表示来主动训练线性模型车辆研究。我们感谢Florian Schroff和Hartwig Adam对工 作 的 支 持 ， 以 及 Afshin Rostamizadeh 和 GiuliaDeSalvo对主动学习基线的建议。40302010我们的无伪负无线性更新无BG分裂关于ImageNet我们的自我ImageNetOurs-Self-INatTropel-Self-ImageNetTropel-自INatF1平均值F1平均值18431引用[1] UmangAg gar w a l，AdrianPopescu，andCe'lineHudelot.不平衡数据集的主动学习。 在IEEE Winter计算机视觉应用会议上，第1428-1437页，2020年。2[2] Josh Attenberg和Seyda Ertekin。班级不平衡和主动学习 。 不 平 衡 学 习 ： Foundations ， Algo- rithms ， andApplications，第101-149页，2013年。2[3] 乔什·阿滕伯格和福斯特·教务长当你可以搜索的时候为什么要贴标签？主动学习的替代方案，用于在极端类别不平衡下应用人类资源来构建分类模型。在Proceedingsof the 16th ACM SIGKDD international conference onKnowledge discovery and data mining，pages 423-432，2010中。2[4] 林茂森使用不平衡类示例生成的查询进行主动学习。2018年AAAI人类计算会议。2[5] Mathilde Caron ， Ishan Misra ， Julien Mairal ， PriyaGoyal，Piotr Bojanowski，and Armand Joulin.通过对比聚类分配的视觉特征的无监督学习神经IPS，2020年。三、八[6] Oli vier Chapelle，BernhardScho¨ lk opf，and Ale xander Zie n.半监督学习 麻省理工学院出版社，2006年。1[7] Ting Chen ， Simon Kornblith ， Kevin Swersky ，Mohammad Norouzi，and Geoffrey Hinton.大的自监督模型 是 强 半 监 督 学 习 器 。 arXiv 预 印 本 arXiv ：2006.10029，2020。三、六[8] Xinlei Chen，Haoqi Fan，Ross Girshick，and KaimingHe.通过动量对比学习改进基线。arXiv预印本arXiv：2003.04297，2020。3[9] Yukun Chen和Subramani Mani。在多模型和偏差的挑战中对不平衡数据的主动学习在主动学习和实验设计研讨会结合AISTATS 2010，第113-126页，2011年。3[10] Galen Chuang，Giulia DeSalvo，Lazaros Karydas，Jean-Fran coisKag y， AfshinRostamizadeh ， andATheeraphol.主动学习实证研究。NeurIPS 2019工作-学习与丰富经验的商店：学习范式的整合，2019年。可在研讨会网站www.example.com上查阅http://sites.google.com/view/neurips2019lire。 2[11] Cody Coleman ， Edward Chou ， Sean Culatana ， PeterBailis ， Alexander C Berg ， Roshan Sumbaly ， MateiZaharia和I Zeki Yalniz。相似性搜索用于有效的主动学习 和 稀 有 概 念 的 搜 索 。 arXiv 预 印 本 arXiv ：2007.00077，2020。一、二[12] Cody Coleman、Christopher Yeh、Stephen Mussmann、Baha-ran Mirzasoleiman 、 Peter Bailis 、 Percy Liang 、Jure Leskovec和Matei Zaharia。通过代理进行选择：深度学习的高效数据选择。ICLR，2020年。3[13] 高铭飞，张子昭，郭宇，SercanOüArık，Larry S Davis，和Tomas Pfister.基于一致性的半监督主动学习：标签成本最 小化。 欧洲计算 机视觉 会议 ，第 510-526页。Springer，2020年。3[14] Roman Garnett ， Yamuna Krishnamurthy ， XuehanXiong，Jeff Schneider，and Richard Mann.贝叶斯最优主动18432搜索和测量。arXiv预印本arXiv：1206.6406，2012。3[15] Je a n-BastienGrill ， FlorianStrub ， FlorentAltch e´ ，CorentinTallec，PierreHRichemond，ElenaBuchatskaya，Carl Do- ersch，Bernardo Avila Pires，Zhaohan Daniel Guo，Moham- mad Gheshlaghi Azar，etal. Bootstrap你自己的潜在：一种自我监督学习的新方法。arXiv预印本arXiv：2006.07733，2020。3[16] Mohamed Farouk Abdel Hady和Friedhelm Schwenker。基于委员会的半监督和主动学习相结合及其在手写数字识别中的应用在International Workshop on MultipleClassifier Systems，第225-234页中。施普林格，2010年。第1、3条[17] Elmar Haussmann 、 Michele Fenzi 、 Kashyap Chitta 、Jan Iva-necky 、 Hanson Xu 、 Donna Roy 、 AkshitaMittel、Nicolas Koumchatzky、Clement Farabet和JoseM Alvarez。用于对象检测的可扩展主动学习。arXiv预印本arXiv：2004.04699，2020。3[18] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE co