主动学习中使用未标记样本的影响来提升模型性能的算法

9274θi−∇主动学习Zhuoming Liu*†1，Hao Ding*†2，Huaping Zhong3，Weijia Li‡ 3，4，Jifeng Dai3，andConghui He31 University Southern California2约翰霍普金斯大学3商汤科技研究4香港中文大学-商汤科技联合实验室网址：liuzhuom@usc.edu，hding15@jhu.edu，网址：www.example.com，wjli@ie.cuhk.edu.hk摘要现有的主动学习方法通过评估样本的不确定性或其对基于不同任务特定或模型特定标准的标记数据集的多样性的影响来选择样本在本文中，我们提出了主动学习的影响选择（ISAL），选择未标记的样本，可以提供最积极的影响模型的性能。为了获得主动学习场景中未标记样本的影响，我们模型参数影响模型性能影响设计未训练的未标记样本影响计算（UUIC）来估计未标记样本的期望梯度，我们使用该梯度来计算其影响。为了证明UUIC的有效性，我们提供了理论和实验分析。由于UUIC只依赖于模型梯度，这可以很容易地从任何神经网络中获得，我们的主动学习算法是任务无关和模型无关的。ISAL在不同的主动学习设置中实现了最先进的性能，用于不同数据集的不同任务在CIFAR10、VOC2012和COCO上，与以往的方法相比，本文的方法分别降低了12%、13%和16%分别1. 介绍主动学习是一种旨在通过帮助模型来降低标注代价的采样算法用更少的标记训练样本实现更好的性能。在那些标注预算有限或需要大量标注样本的领域，主动学习发挥着重要且不可替代的作用。然而，与弱监督学习和半监督学习的快速发展不同，主动学习的发展*这项工作是在SenseTime Research实习期间完成的。†同等贡献。‡通讯作者图1：使用UUIC计算未标记样品的影响。如果选择这两个样本，则将其注释为在UUIC中，我们计算-通过计算样品的通量θl（R，θ）TH−1Gz.影响值越负越正对模型性能的影响。基于UUIC的结果，我们的ISAL算法选择样本z1进行标注.学习有限。特别是在计算机视觉领域，现有的主动学习算法大多局限于图像分类问题。给定一个未标记的图像池，不同的主动学习算法用不同的标准来评估每个图像的重要性，可以分为基于不确定性的方法和基于多样性的方法。基于不确定性的方法[19，14，34，8，40]使用不同的标准来评估图像的不确定性，并选择训练模型不太自信的图像。然而，神经网络对不熟悉的样本表现出过度自信[13]基于多样性的方法[24，39，10，31]旨在从整个未标记的数据集中选择一个子集分类器产品展示−���−������=[���. ，���的���。 ���，，���. ���]−������（������，）���−������ =-1.9���������������������Bird Pred Accc ：+0.5 狗 预 测 加 速度：+ 0.1猫预测加速 度 ： + 0.2 损 失积极影响Bird Pred Accc：−���犬预测加速度：-0.3负猫 预测加速度：-0.1影响损失：+产品展示−������= [−.，−������, ⋯ , −���.���]−−������������（= 1.1−������������分类器9275最大的多样性。这些方法不考虑模型状态。此外，它们中的一些需要测量每个标记图像和每个未标记图像之间的距离，这意味着它们的计算复杂度是相对于数据集大小的二次方。这种缺点在大规模数据集上将变得更加明显。除了图像分类之外，目标检测也是一个重要的应用领域。对象检测的数据集[20，35，6]的注释非常耗时。因此，主动学习的对象检测是很有必要的。然而，在用于对象检测的主动学习中的研究[30，15，4，11]是罕见的，并且大多数所提出的方法是针对特定 架 构 设 计 的 ， 例 如 ， 更 快 的 R-CNN [27] 或 SSD[21]。在本文中，而不是设计一个任务，甚至特定于体系结构的算法，我们提出了一个算法，可以普遍适用于不同的任务和体系结构。已经有一些成功的尝试，如基于多样性的核心集[31]和基于不确定性的学习损失[40]算法，这证明了主动学习的通用算法是可能的。与这两种通过测量特征距离或期望损失来选择样本的算法不同，我们的方法直接估计样本我们的方法，主动学习的影响选择（ISAL），选择具有最积极影响的样本，即。通过将具有完整注释的该样本添加到标记的数据集中，模型性能将得到最大的增强。影响测量首先由Cook[3]提出，用于稳健统计。然而，在我们的工作中的影响估计的情况是完全不同的。在我们的例子中，样本是未标记和未训练的 。 我 们 设 计 了 未 训 练 的 未 标 记 样 本 影 响 计 算（UUIC），通过估计其期望梯度来计算未标记和未训练样本的影响。当然。1显示了UUIC如何评估未标记的样本并帮助ISAL选择样本。由于UUIC只需要使用模型梯度，这可以很容易地在神经网络中获得，无论任务是什么，模型结构是多么复杂，我们提出的ISAL是任务和模型不可知的。ISAL在具有不同代表性数据集的常用主动学习设置中针对图像分类和对象检测任务的所有比较主动学习算 法 中 实 现 了 最 先 进 的 性 能 。 我 们 的 方 法 比CIFAR10[17]， VOC2012[6]和COCO[20]中的最佳比较方法分别节省了12%，13%，16%的注释。此外，只有当训练模型的性能远低于在完整数据集上训练的模型时，现有的对象检测方法才比随机采样更好，这表明某些选定的选择因此，我们将ISAL应用于一个大规模的主动学习设置的对象检测。当检测器达到在完整COCO数据集上训练的模型的94.4%的性能时，ISAL比所有比较方法至少降低了8%的注释成本。本文的贡献概括如下：1. 我们提出了主动学习的影响选择（ISAL），一个任务不可知和模型不可知的主动学习算法，该算法根据计算出的影响选择样本2. 我 们 设 计 了 未 训 练 的 未 标 记 样 本 影 响 计 算（UUIC），一种通过估计其期望梯度来计算未标记和未训练样本为了验证UUIC3. ISAL在不同的实验设置中实现了最先进的性能，用于图像分类和对象检测。2. 相关工作现有的主动学习方法[26]可以分为两类：基于不确定性和基于多样性的方法。它们中的许多是为图像分类而设计的，或者可以在不做太大改变的情况下用于分类。基于不确定性的方法。不确定性在主动学习中被广泛用于估计样本的重要性。它可以定义为预测类的后验概率[19，18，38]，第一和第二预测类之间的后验概率裕度[14，29]，或后验概率分布的熵[32，14，22，33]。除了直接使用后验概率外，研究者还设计了一些不同的方法来评估样本的不确定度。Se-ung[34]训练多个模型来构建委员会，并通过委员会的多个预测之间的共识来衡量不确定性。Gal[8]提出了一种主动学习方法，该方法通过使用Monte Carlo Dropout的多个向前传递来获得不确定性估计。Yoo[40]创建了一个模块，学习如何预测未标记图像的损失，并选择预测损失最高的未标记图像。Freytag[7]选择具有最大预期模型输出变化的图像，这也可以被视为基于不确定性的方法。多样性方法。它旨在解决批量查询中的抽样偏差问题为了实现这一目标，应用聚类算法[24]或求解离散优化问题[39，5，9]。核心集方法[31]试图通过构建核心子集来解决这个问题。除了使用k-Center-Greedy来计算9276\\∪函数L（θ）=1nj=1θ =arg minθ∈ΘnΣJ核心子集，其性能可以通过求解混合整数规划来进一步增强。上下文感知方法[10，23]考虑样本与其周围点之间的距离，以丰富标记数据集的多样性。Sinha[36]训练变分自动编码器和对抗网络来区分未标记和标记样本，这也可以被视为基于多样性的方法。主动学习用于目标检测。主动学习在目标检测中的研究较少，现有的方法大多需要复杂的设计。Roy[30]选择在中间层中预测的边界框（bbox）与SSD[21]模型的最后一层之间具有最大偏移的图像。Kao[15]提出使用Faster R-CNN[27]的区域建议网络（RPN）头和感兴趣区域（RoI）头预测的bboxes之间的交集（IoU）来测量图像的不确定性，或者通过在不同级别的数据增强下预测的bboxes的变化来测量图像的不确定性，并选择具有最高不确定性的图像。Desai[4]测量了bbox级别的不确定性，并提出了一种选择bbox而不是图像进行主动学习的新方法。Haussmann[11]在用于对象检测的大规模主动学习的场景中总结了不同的现有方法。他发现，达到最佳性能的方法选择具有更多bbox的图像，增加了注释成本，这与主动学习的目的相矛盾。事实上，大多数研究都忽略了目标检测的标注代价与bboxes数而不是图像数密切相关影响函数Cook[3]首先引入了稳健统计的影响函数。影响函数通过测量模型参数如何随着我们将该样本的权重增加无限小的量而变化来最近，Koh[16]使用影响函数来理解神经网络模型的行为。Ren[28]通过影响函数来评估半监督学习中训练好的未标记样本。然而，据我们所知，现有的出版物都没有在未经训练的样本上使用影响函数。此外，Cook因此，到目前为止，没有坚实的理论支持在未经训练的样本上使用影响函数。3. 方法在本节中，我们从V120L11L22···01评估和选择2评估和选择初始步骤步骤1步骤2图2：主动学习的管道。迭代将被重复，直到模型达到令人满意的性能，或者直到我们已经耗尽了注释的预算这个样品的通量。在第3.4节中，我们展示了我们提出的主动学习算法的影响选择。3.1. 问题定义在本节中，我们正式定义了主动学习的问题。我们专注于一些传统的计算机视觉任务，如图像分类和目标检测。在现实世界中，我们收集了大量未标记样本U0。我们从U0中随机选取少量的样本S0并进行标注，得到U1=U0S0. S0将被分成两部分，初始标记样本L1和验证集V，验证集V将用于测量训练模型的性能。L1将用于在主动学习迭代中训练第一模型M1然后，所有未标记的样本在U1将根据一些特定的标准进行评估。在该方法中，我们计算了未标记样本基于评估结果，将选择并注释新的未标记样本组S1。标记和未标记的数据集将被更新，U2=U1S1，L2=L1S1。然后L2将用于训练另一个模型M2，并评估U2并选择S2这个迭代将被重复，直到模型在V上达到令人满意的性能，或者直到我们耗尽了注释的预算。图2示出了主动学习的流水线。3.2. 未训练样本在主动学习的每个步骤中，除了初始步骤，我们有一个未标记的数据集Ui和一个标记的数据集Li。其中L1={z1，z2，...，zn}中的所有样本和损耗n参数θ ∈ Θ。该模型将收敛到θ∈Θ，主动学习 在第3.2节中，我们提供了一个推导其中def1Σnl（z，θ）。评估未训练样本的影响。在第3.3节中，我们引入了未训练的未标记样本影响计算（UUIC）来估计未训练的未标记样本的预期梯度，我们使用该梯度接下来，我们需要评估每个未标记的样本，并选择最有用的样本。我们首先测量由于添加新样本z ′而引起的模型参数变化∈Ui到标记的数据集中。我们评估z′ 与l（zj，θ），我们用它的j=19277L..Σ∇∈′∇θ∈Θ n+1个z′∪Li1：输入：stest，z′ε，znj=1θˆ.z第1章J假设我们已经有了它的基本事实贝尔参数的变化是θ′−θ，其中θ′=算法1未训练未标记样本影响计算arg min1Σz zl（z，θ）模型是耗时的，并且不可能为每个未标记的样本重新训练模型。受影响函数[3]动机的启发，我们可以通过增加一个小的影响来计算参数变化的近似值从 样 本 z′ 到 损 失 函 数 L （ θ ） ， 给 出 新 的 参 数θ′=argminθ∈θl（z， j，θ）+ε l（z，θ）。假设损失函数是二次可微的，并且在θ中严格地约束x，则样本z’对参数θ（的影响由下式给出：d θ′.θˆ2：F或将z′插入模型Mi3：如果任务是图像分类，则4：使用具有最高后验概率的类作为P5：否则，如果任务是对象检测，则6：用给定阈值7：选择剩余的bbox作为P8：其他9：基于任务生成伪标签P十： end if′I（z′）=ε，zdεn.ε=0θ=−H−1θl（z′，θ）（1）11：计算损失Lz′=l（z，P，θ（）12：回到Propag吃的z′并得到Gz′′其中−H−1=1Σn2l（z，θ）是Hessian，且为13：返回rnI（z，R）=−stest·Gz′通过假设确定的参见补充材料-详细推导的材料。然而，模型参数的变化并不能直接反映出模型性能的变化我们首先关注图像分类中的期望梯度期望梯度的最直观设计是使用前K个类{label，label，···，label}样本z′。因此，我们随机选择并注释一个子集未标记的数据集U0。这个子集称为参考集R，可以表示U0的分布.接下来，我们应用链式法则来评估样本z’对模型性能的影响，其通过参考集R上的模型损失的变化来评估：0 1K后验概率作为地面真值标签来计算损失。我们将损失反向传播到模型，并获得关于类标签i的梯度。然后，我们使用类标签i的后验概率predi作为权重来平均反向传播的梯度。期望梯度Gz′定义为I（z′，R）=dl（R，θθ）dε’）ε=0dθ（二）KGz′=θl（z，labeli，θ）·predi（3）i=1=θl（R，θ）Tε，zdε.ε=0我们在4.4.1中的实验表明，当K等于1，=−l（R，θ）TH−1l（z′，θ）使用Gz′ 计算未标记样本影响θθˆθ′对于主动学习，我们的算法实现了最佳性能。这表明我们可以使用伪标签PI（z，R）越负，模型越正性能影响z′可以提供。在实践中，我们选择在主动学习的第一步骤中创建的验证集V 我们在第4.4.3节中的消融研究显示，我们可以使用标记的数据集作为R来计算动作学习中的I（z’，R），尽管使用验证集作为参考集将执行得更好。3.3. 未训练未标记样本影响计算作为地面真值标签来计算样本z′的梯度作为Gz′在行动学习中的作用。 我们进一步应用这种简单的bute fect ive方法来计算目标检测中的Gz′，它也有助于我们的主动学习算法达到最先进的性能。在获得Gz′后，我们将θl（z′，θ¨）in2、没有经过训练的人的影响beled样本可被评估为I（z′，R）=−θl（R，θ）TH−1G′（4）在我们的主动学习设置中，我们需要评估一个未经训练的样本z′Ui，而不需要地面真值标签。因此，我们提出了未训练的未标记样本影响计算（UUIC）来计算未标记数据集中每个样本的影响。我们的目标是测量样本z的预期梯度G′，并替换由于在等式4中，Hessian矩阵Hθ（是对称的，并且θl（R，θ¨）和Gz′ 是向量，则乘法的顺序将不重要。在实践中，我们不计算Hessian矩阵的逆矩阵。相反，我们计算Hessian向量乘积的随机估计[1stest=<$θl（R，θ<$）H−1，这确保了计算′ ˆzθˆ等式2中的θl（z，θ）和Gz′用于影响计算。算法的时间复杂度为O（n）。看那柔软的-ε，z.然而，重新培训θˆj=1lation9278--∇有关S测试计算的更多实施细节的基本材料。 在得到stest之后，我们计算I（z′，R）=stestGz′。算法1显示未训练的未标记的示例影响计算。3.4. 主动学习的影响选择算法2示出了主动学习算法的影响选择如何使用UUIC从未标记数据集中选择样本。算法2用于主动学习的影响选择1：计算参考集θl（R，θ）上的模型梯度第二章： 用θl（R，θ）计算s检验3：f或Uido中的每个样本z′4：通过算法1计算I（z′，R），输入hstest，z′第五章： 端6：基于I（z’，R）对所有未标记的样本进行7：选择|SI|基于行动学习设置的样本4. 实验由于主动学习算法是一种采样算法，表明算法的性能可能对数据集敏感。因此，我们评估ISAL在不同的基准分类和对象检测，以显示其泛化能力，并将其与其他方法，一般可以适应这些任务。我们进一步评估ISAL的性能与对象检测数据集内的大规模设置，这还没有提到之前，据我们所知。最后，我们进行了可视化分析的消融研究。由于空间有限，主要实验结果以曲线图的形式提供。我们提供了表格，其中我们报告了补充材料中每个地块的性能平均值和所有比较方法的实施细节4.1. 图像分类图像分类是最常见的任务，在以前的作品中使用，以验证他们的方法。在该任务中，训练神经网络模型以识别输入图像的类别。在主动学习任务中需要对图像的类别进行标注。数据集。CIFAR10和CIFAR100都包含50000张用于训练的 图像和10000张用于 测试的图像。 SVHN 有73257张图像用于训练，26032张图像用于测试。我们使用训练集作为未标记集，并在测试集上评估模型性能我们使用分类精度作为评估指标。主动学习设置。对于CI-FAR 10上的实验，我们从unla随机选择1000个图像beled集作为初始标记数据集，并且在以下每个步骤中，我们将1000个图像添加到标记数据集。对于CIFAR100，我们首先从未标记的集合中随机选择5000个图像，并在以下步骤中添加1000 个图像。对于SVHN，我们随机选择2%的未标记集作为初始标记数据集，并且我们在以下每个步骤中添加相同数量的图像。我们模拟10个主动学习步骤，并停止主动学习迭代。我们使用pycls [25]中的默认数据扩充，其中包括随机翻转和裁剪。我们使用训练集的通道均值和标准差对图像进行归一化我们重复这个实验5次。目标模型。我们使用ResNet-18[12]来验证我们的方法，我们基于pycls实现了模型和不同的主动我们用128的小批量和0.1的初始在训练了160个epoch之后，我们将学习率降低到0.01。动量和重量衰减分别为0.9和0.0005。实施详细信息。对于所有数据集，我们使用ResNet-18中的所有参数来计算影响，并使用测试集作为参考集。在计算s测试时，我们从标记的集合中随机抽取250个图像。我们重复计算4次s检验，并使用平均后的值。我们将我们的方法与随机抽样，coreset抽样[31]和学习损失抽样[40]进行比较。结果关于CIFAR10、CIFAR100和SVHN的结果分别示于图3（a）、图3（b）和图3（c）我们展示了我们的方法在达到其他方法的最终性能时可以节省多少注释，即经过10次对于CIFAR10，我们的方法使用大约1200图像比coreset采样时，实现coreset采样的最终性能，节省12%的注释。与随机抽样相比，该方法在达到随机抽样的最终性能时节省了约2300幅图像对于CIFAR100，我们的方法使用大约400和1300图像少于coreset采样和随机采样，保存，ING 2.9%和9.3%的注释分别。对于SVHN，我们的方法使用大约1800和2100图像比coreset采样和随机采样，分别节省12%和14%的注释4.2. 对象检测对象检测旨在检测图像中某类语义对象的实例检测器被训练为通过绘制边界框（bboxes）并对边界框内的对象进行分类来定位对象。需要为特定类绘制bbox，并且需要在主动学习任务中注释bbox中的对象的类别。在实践中，我们发现每个图像的注释成本与其他图像有很大的不同9279ISALISAL±std随机随机±stdCoresetCoreset±std学习损失学习损失±标准差ISALISAL±std随机随机±stdCoresetCoreset±std学习损失学习损失±标准差准确度（%）准确度（%）65907560708055656070505545605040455035402 4 6 810图像数（k）（一）6 8 10 1214图像数（k）（b）第（1）款352 4 6 8 10 12 14图像数（k）（c）第（1）款图3：图像分类的结果CIFAR10的结果（b）CIFAR100的结果（c）SVHN的结果以COCO数据集为例，其中的图像最多有63个bbox，最少有0个bbox。因此，注释一组图像的成本与bbox的数量而不是图像的数量因此，在以下用于对象检测的实验中，我们绘制了来自三次尝试的边界框的平均数量和平均mAP/AP。数据集。我们选择VOC2012[6]，它已广泛用于其他主 动 学 习 方 法 中 的 对 象 检 测 [15 ， 40] ， 以 及COCO[20]，这是一种通常用于评估检测器性能的数据集VOC2012有5717张用于训练的图像和5823张用于验证的图像，我们使用训练集作为未标记的数据集，并使用验证集来评估训练模型的性能。我们使用mAP作为评估指标。COCO数据集有118k张图像用于训练，5000张图像用于验证。我们使用训练集作为未标记的数据集，并在验证集上验证模型性能。我们使用AP作为评估指标。 我们使用默认的数据准备流水线，包括随机翻转、使用通道均值和标准偏差的图像归一化、图像大小调整以及来自mmdetection的填充[2]。主动学习设置。对于VOC2012上的实验，我们从未标记的集合中随机选择500个图像作为初始标记数据集，并且在主动学习周期的以下每个步骤中，我们将500个图像添加到标记集合。我们模拟了10个主动学习步骤。对于COCO，我们首先从未标记的集合中随机选择5000个图像，并在以下步骤中添加1000个图像。由于不同方法选取的包围盒数量差异巨大，为了更清晰地进行比较，本文提出了一种基于边界元的包围盒选取方法。对比，我们继续主动学习迭代，直到训练的模型达到22±0。3%在AP。目 标 模 型 。 我 们 使 用 FCOS[37] 检 测 器 和 在mmdetection中实现的back-bone ResNet-50来验证我们的方法。我们还实现了主动学习流水线和不同的主动学习方法的基础上毫米波检测。我们训练了12个epoch，minibatch大小为8，初始学习率为0.01。在训练8和11个epoch之后，我们分别将学习率降低了0.1。动量和重量衰减分别为0.9和0.0001ISALISAL±std随机随机±stdCoresetCoreset±std学习损失学习损失±标准差准确度（%）9280分别实施详细信息。对于这两个数据集，当计算未标记数据的影响时，我们将损失反向传播到FCOS的最后一个卷积层中的参数我们使用验证集作为参考集。当计算- ING的s测试，我们随机抽样最多5000图像从标记的集合。我们重复计算s检验4次，并使用平均后的值。我们将我们的方法与随机采样，coreset采样[31]，学习损失采样[40]和本地化稳定性采样[15]进行比较。结果V0C2012和C0C0的结果分别示于图4（a）和图4 ⑹中。对于VOC2012数据集，当训练的模型在mAP中达到42%时，我们的方法比coreset采样少使用大约850个bbox，节省13%的注释，并且比本地化稳定性采样节省大约2000个bbox，减少26%的注释。由于VOC2012只有不到6000张图像，在主动学习的最后一次迭代中，不同的方法选择了相似的图像。因此，所有方法实现类似的性能。我们的方法变得更有效，当它被应用到一个大的数据集。对于COCO，当实现目标AP时，它比随机少花费15.3k的边界框，比学习损失采样少花费117k的边界框，分别节省16%和59%的注释。我们的实现表明，所有的比较方法执行比随机抽样，这意味着他们的报告的性能增强随机抽样主要是由选择的图像与更多的边界框。选择这些图像显著地提高了标注成本，这与主动学习的目的相矛盾。4.3. 大规模目标检测在本节中，我们在用于对象检测的大规模主动学习设置上进行实验。 它的目的是证明我们的方法可以是有效的，当训练的模型的性能接近的模型训练的完整数据集的性能本实验进一步验证了ISAL的优越性，它可以精确地选择相同的，9281ISALISAL±std随机随机±stdCoreset学习损失±标准学习损失学习损失±标准定位稳定性定位稳定性±标准ISALISAL±std随机随机±stdCoreset学习损失±标准学习损失学习损失±标准定位稳定性定位稳定性±标准AP（%）ˆˆθθˆ−∇θˆzθˆzz−∇−∇6022365034203240183030281620 261002 4 6 8 10 1214141240 60 801001201401601802002422100200300400500600700800bbox number（k）（一）bbox number（k）（b）第（1）款bbox number（k）（c）第（1）款图4：对象检测的结果（a）VOC2012的结果（b）关于COCO的结果（c）COCO在大规模环境中的结果对模型性能具有最积极影响的PLE数据集和实验细节。我们使用COCO训练集作为未标记的数据集，并在验证集上验证训练模型的性能。我们绘制边界框和AP的数量来显示模型性能。我们从未标记的图片中随机选择10%的图片首先设置并添加与以下步骤中的第一步相同数量的图像我们将一个主动学习管道迭代10次。我们继续使用FCOS检测器与骨干ResNet-50实现mm检测，以验证我们的方法。所有其他实验细节与我们在第4.2节中描述的相同。结果结果示于图4（c）中。当训练的模型性能在AP中达到34%时，这接近于在完整COCO数据集上训练的FCOS的性能，我们的方法使用的边界框比coreset采样少大约40k，这在所有比较方法中具有最佳性能，将注释成本降低了8%。这也表明，在完整的COCO数据集上训练的模型达到94.4%的性能，我们只需要60.7%的数据集注释。4.4. 消融研究在本节中，为了验证UUIC和ISAL的有效性，我们进行实验以讨论−θl（R，θ）TH−1G ′中的每个元素。我们进行所有的表1：K在Gz′中的作用方法CIFAR10图像10003000500070009000ISAL格拉德·西米45.5245.5267.7267.5481.2480.5485.9685.7289.2688.60表2：H-1对ISAL性能的影响。θ4.4.2H-1的影响在本节中，我们讨论H−1的影响。我们比较了ISAL和梯度相似性的性能。它们分别使用 θl（R，θ¨）TH−1G ′和θl（R，θ¨）TG ′来评估和选择未标记的样本。θl（R，θ¨）TGz′ 测量参考集上的梯度与未训练的和未训练的对象的预期梯度的相似性。未标记样品。选项卡. 2显示梯度相似性具有与ISAL类似的性能，尽管ISAL性能更好。在本质上，渐变相似性使用CIFAR10的消融研究所有的实验细节如第4.1节所述。4.4.1期望梯度在这一节中，我们讨论K在期望梯度Gz′中的影响，我们用它来计算未标记样本的影响选项卡. 1显示结果。当K是等于1，我们的主动学习算法在每一步都达到了最好的结果。我们的分析表明，在一些情况下，用第一预测类的标签计算的梯度向量的方向与用第二预测类的标签计算的梯度向量的方向正好相反。因此，当平均梯度时，′ISAL随机核集学习损失定位稳定性最大平均接入点AP（%）KCIFAR10图像10003000500070009000145.5267.7281.2485.9689.26245.5265.6581.2085.3788.15545.5265.1978.5285.4389.131045.5262.2672.2880.1483.039282ˆθ参考集来评估模型中的哪些参数没有被很好地学习，并且选择具有类似预期梯度的未标记图像以在下一步骤中进行训练。这将帮助模型获得特定模型参数上的最大反向传播梯度，从而快速移动到全局最优然而，一些具有不同预期梯度的未标记图像也对模型产生积极影响类似的现象还有男性--在[16]中。H-1帮助ISAL找到这些样本，并增强ISAL性能。4.4.3参考集在本节中，我们将尝试使用val的不同替代方法Gz′ 将被削弱，使得z的影响率不准确，不准确作为参考集。 我们尝试使用L1作为9283方法1000 3000 5000 7000 9000ISAL45.5267.7281.2485.9689.26ISALv245.5267.0680.5785.7188.92ISAL v345.5267.1280.1184.8888.71coreset45.5267.6679.9385.3688.61随机45.5267.5577.7783.0986.50表3：不同参考集的比较。迭代的每个步骤中的引用集，命名为ISALv2，并使用每个步骤L1的标记数据集作为参考集，命名为ISALv3。选项卡. 图3显示ISALv2和ISALv3的性能略差于ISAL，但它们仍然比随机抽样的性能好得多。本质上，参考集上的梯度表示模型参数是否符合数据分布。因此，为了确保计算的影响值能够精确地表示模型性能变化，参考集的分布需要与U0的分布相似。由于L1也是从U0随机采样的，因此ISALv2的性能比ISALv3更接近ISAL。但是，L1已经被训练过了。L1上的模型梯度变得小于验证集上的梯度，并且计算的影响值可能不精确，这解释了为什么ISALv2的性能比ISAL差。4.5. 可视化分析图. 图5示出了CIFAR10训练集的tSNE嵌入。红点表示ISAL选择的S1我们提出的方法倾向于选择更多的图像与猫，鸟和鹿。我们的分析表明，M1在这三个类中具有较低的准确性。因此，选择这三类图像可以对模型性能产生更积极的影响。此外，M1是在随机抽样的L1因此，从所有类别均匀地采样图像将导致数据冗余。相反，我们提出的方法选择样本的偏见，提高学习效率。图. 6示出了通过不同方法在S1我们提出的方法选择具有较少bbox的图像，而所选图像中的bbox此外，我们所提出的方法的所选图像中的bboxes具有较低的重叠率。这表明图像中清晰且大的对象有助于模型更有效地学习。在迭代的后期，我们提出的方法将选择具有更多对象和更复杂场景的图像，这将有助于模型逐步从容易到困难地学习。图5：CIFAR10训练集的tSNE嵌入。红点代表ISAL选择的S1影响选择随机学习损失图6：不同主动学习算法在COCO数据集中选择的图像5. 结论我们提出了一个任务无关和模型无关的主动学习算法，主动学习的影响选择（ISAL），帮助神经网络模型更有效地学习，降低标注成本。ISAL通过使用未训练的未标记样本影响计算（UUIC）来计算每个未标记样本的影响值，选择可以对模型性能提供最积极影响的样本ISAL在常用设置和新设计的大规模设置中实现了不同任务的最先进性能。我们相信ISAL可以扩展到解决其他领域的许多主动学习问题，而不局限于计算机视觉领域的任务。鸣谢：我们感谢Zheng Zhu实现了分类流水线，感谢Bin Wang和Xizhou Zhu帮助实验，感谢Yuan Tian和Jiamin He讨论了数学推导。飞机鸟鹿青蛙船汽车猫狗马卡车9284引用[1] Naman Agarwal、Brian Bullins和Elad Hazan。线性时间中的二阶随机优化。统计，1050：15，2016。[2] Kai Chen，Jiaqi Wang，Jiangmiao Pang，Yuhang Cao，Yu Xiong，Xiaoxiao Li，Shuyang Sun，Wansen Feng，Ziwei Liu，Jiarui Xu，et al.检测：打开mmlab检测工具箱和基准。arXiv预印本arXiv：1906.07155，2019。[3] R丹尼斯库克和桑福德韦斯伯格。回归中的残差和影响。New York：Chapman and Hall，1982.[4] Sai Vikas Desai和Vineeth N Balasubramanian。面向对象检测中主动学习的细粒度采样在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第924[5] Ehsan Elhamifar，Guillermo Sapiro，艾伦·杨和S·香卡·萨斯蒂主动学习的凸优化框架。在Proceedings of theIEEE International Conference on Computer Vision ， 第209-216页[6] M.埃弗灵厄姆湖，澳-地凡古尔角，澳-地K. I.威廉斯，J.Winn 和 A. 齐 瑟 曼 。 PASCAL Visual Object ClassesChallenge2012（VOC2012）http://www.pascal-network.org/challenges/VOC/voc2012/workshop/index.html啊[7] Alexander Freytag，Erik Rodner，and Joachim Denzler.选择有影响力的示例：具有预期模型输出变化的主动学习 。 在 欧 洲 计 算 机 视 觉 会 议 上 ， 第 562-577 页 。Springer，2014.[8] 亚林·加尔和祖宾·加赫拉马尼。Dropout作为贝叶斯近似：在深度学习中表示模型的不确定性。在机器学习国际会议上，第1050-1059页。PMLR，2016.[9] 郭玉红。通过矩阵划分的活动实例采样。在NIPS，第802-810页[10] Mahmudul Hasan和Amit K Roy-Chowdhury。活动识别模型的情境感知主动学习在IEEE计算机视觉国际会议的论文集，第4543-4551页[11] Elmar Haussmann、Michele Fenzi、Kashyap Chitta、JanIva-necky、Hanson Xu、Donna Roy、Akshita Mittel、Nicolas Koumchatzky 、 Clement Farabet 和 Jose MAlvarez。用于对象检测的可扩展主动学习。2020年IEEE智能车辆研讨会（IV），第1430-1435页。IEEE，2020年。[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[13] 马蒂亚斯·海因，马克西姆·安德里先科，朱利安·苦狼.为什么relu网络产生远离训练数据的高置信度预测，以及如何缓解这个问题。在IEEE/CVF计算机视觉和模式识别，第41[14] AjayJJoshi，FatihPorikli，andNikolaosPapanikolopoulos.图像分类的多类主动学习。在2009年IEEE计算机视觉和模式识别会议上，第2372-2379页。IEEE，2009年。[15] 高杰琦、李登育、森普拉迪普、刘明宇。用于对象检测的定位感知主动学习。亚洲计算机视觉会议，第506-522页。Springer，2018.[16] Pang Wei Koh和Percy Liang。通过影响函数理解黑盒预测。在International Conference on Machine Learning，第1885PMLR，2017年。[17] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。2009年[18] David D Lewis 和 Jason Catlett 。 监 督 学 习 的 异 质 在Machine learning proceedings 1994，第148-156页中。Elsevier，1994年。[19] David D Lewis和William A Gale。一种训练文本分类器的序贯算法。在SIGIRSpringer，1994年。[20] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议，第740-755页。Springer，2014.[21] Wei Liu ， Dragomir A