开集注释的主动学习框架——LfOSA

41K已知类未知类选择注释足球排球篮球滑雪火车…分类器开集标注宁坤鹏1* 赵迅2<$李宇3* 黄胜军1<$1南京航空航天2腾讯盈科应用研究中心3国际数字经济学院（IDEA）@ nuaa.edu.cnemmaxunzhao@tencent.comliyu@idea.edu.cn摘要现有的主动学习研究通常在闭集设置中工作，假设所有数据示例 被标记的是从已知类中提取的。然而，在实际的标注任务中，未标记的数据通常包含大量来自未知类的示例，导致大多数主动学习方法失败。为了解决这个开集注释（OSA）问题，我们提出了一个新的主动学习框架称为LfOSA，它提高了分类性能与有效的采样策略，以精确地检测示例从已知的类进行注释。LfOSA框架引入了一个辅助网络，无标号开集查询集使用高斯混合模型对每个样本的最大激活值（MAV）分布进行建模，该模型可以动态地从未标记集合中的此外，通过降低损失函数的温度T，检测模型将通过利用已知和未知的监督来进一步优化实验结果表明，与现有的主动学习方法相比，该方法能显著提高已知类的选择质量，并以较低的标注代价据我们所知，这是开集标注主动学习的第一项工作。1. 介绍深度学习的显著成功在很大程度上归功于收集具有人类注释标签的大型数据集[12，15]。然而，用高质量注释标记大规模数据是极其昂贵和耗时的[26，29]。因此，利用有限的标记数据进行学习是一个重大挑战。主动学习是解决这一问题的主要途径它迭代地从未标记的数据中选择最有用的示例，以便从oracle中查询它们的标签*本研究是在宁坤鹏和李宇在腾讯盈科应用研究中心工作时完成的†通讯作者。图1. 开集注释（OSA）问题的说明。未标记开集包含K个已知类（有边界的彩色图像）和L个未知类（无边界的灰度图像）。我们的目标是从已知的类中找到并注释用于训练分类器的示例实现有竞争力的性能，同时降低注释成本[10，26，28]。现有的AL方法通常在封闭集设置中工作，其中标记和未标记的数据都来自同一类分布。然而，在一些现实世界的场景中，未标记的数据通常是不受控制的，大量的数据示例来自未知的类。图1显示了为图像共享社交平台训练新的体育图像分类未标记开集中的大部分图像实际上来自不相关的类（例如，猫、钢琴等）。由于这些不相关的图像对于训练期望的分类器不是必需的，因此标记这些图像将导致注释预算的浪费。另一方面，现有的闭集人工智能系统不能精确地区分这些不相关的图像从未知的类，但往往选择它们进行注释，因为它们包含更多的不确定性或信息。因此，在现实世界的开集场景中，非常需要一种有效且实用的AL系统，其可以精确地识别非开集的示例42我∩∅k=1J∪J j=1UUNK--想要的类，同时从想要的类中查询最有用的案例来训练分类器。在本文中，我们制定了这个问题作为一个开集注释（OSA）的任务。如图1所示，未标记集合包含K个已知类和L个未知类，其中L>K。目标是精确地过滤掉未知类中的示例，同时主动选择包含尽可能纯的已知类中的示例的查询集为了克服这一挑战，我们提出了一个新的主动学习框架LfOSA（Learning fromO pen-SetAnnotation），它包括两个分别用于检测和分类的网络具体来说，检测器使用高斯混合模型[21]对每个示例的最大激活值（MAV）分布进行建模，以动态地将未标记的开放集划分为已知和未知集，然后从已知集中选择具有较大确定性的示例来构建用于注释的查询集。在标记之后，分类模型将使用来自已知类别的新示例进行更新。同时，由于查询集将不可避免地包括一些来自未知类的无效示例此外，通过降低交叉熵（CE）损失的温度T，进一步增强了探测器的可扩展性。在多个数据集上进行了实验，已知类和未知类的不匹配率。实验结果表明，与现有的主动学习方法相比，该方法能够显著提高已知类的选择质量，并以较低的标注代价获得较高的分类精度本文的其余部分组织如下。我们在第二节回顾了相关的工作，并在第三节介绍了所提出的方法。第4节报告了实验，方法通常基于闭集假设，即未标记的数据是从已知类中提取的，这导致开集注释（OSA）任务失败。开放式识别。开集识别（OSR）试图解决分类设置，其中推断可以在训练期间面对来自看不见的类的示例[13，23，24]。它的目标是学习一个开集分类器，该分类器具有拒绝此类未知示例的机制[6]。一种称为OpenMax的代表性方法在OSR问题上取得了显着的成果，该方法通过将极值理论与神经网络相结合，将深度神经网络用于OSR [1]。另一个后续工作提出了G-OpenMax，采用GAN [2，7]来生成与训练示例高度相似但不长于任何训练类的示例[4]。此外，[17]还努力在开集识别中使用主动学习。然而，这些OSR方法通常在OSA问题上失败，因为两者之间存在以下两个本质差异首先，OSR的训练过程具有丰富的标记数据，并且基于闭集假设，而OSA问题具有有限的标记数据，其未标记数据是开集。第二，OSR的重点是在训练后的测试阶段拒绝未知的例子，而OSA的目标是在训练阶段从未标记的开放集中找到更多的已知例子，以优化目标模型。3. 所提出的方法在本节中，我们首先将开集注释（OSA）问题形式化，然后详细介绍所提出的LfOSA方法。3.1. OSA问题设置在OSA问题中，我们考虑一个大规模的注释场景，具有有限的标记集DL和一个enor。多个无标号开集D，其中D={（xL，yL）}n然后是第5节的结论。和DU L={x U}nU . 设D= Xi i i=1X和2.相关工作主动学习。主动学习作为一种大规模的注释工具，在有限标记数据的学习方面取得了巨大的成功[8，20]。 它降低了标签成本 通过选择最有用的例子来查询它们的标签。大多数研究集中在设计有效抽样X kno X unk=，其中X kno和X unk分别表示来自已知和未知类的示例。每个标记的示例x L属于K个已知类Y=y kK中的一个，而未标记的示例x U可以属于不属于Y的未知类。LetXquery在每次迭代期间对查询集进行去注释，其中包括未知查询集X查询和已知查询集X查询，确保所选实例能够在即， X查询= X查询未知查询kno最能证明模型的性能[3]。在过去的几十年中，已经提出了许多选择示例的标准[3，5，9，16，19，22，27，32]。在这些方法中，其中一些方法更喜欢选择信息量最大的示例来降低模型的不确定性[16，27，32]，而另一些方法更喜欢选择最具代表性的示例来匹配数据分布[5，22]。此外，一些研究试图将信息性和代表性结合起来，以实现更好的性能[9，11]。这些标准的主动学习知道了。目标是有选择地构造包含尽可能多的已知示例的查询集。主动学习（AL）迭代地从未标记的数据集中选择最有用的示例，以便从oracle 中查询它们的标签[26]。 注释新选择的数据后，可以更新模型以获得更好的性能。具体来说，在第i次迭代中，我们在标记集合DL上训练具有参数θC的分类器fθC。然后，根据特定的准则选择一批b个实例X查询，UknoL43∪Σ不CΣkΣ激活层（1+ 1）查询集Softmax层（层）更新GMM注释器测试火车未标记数据温度调谐无效设置“未知”标记设置“已知”检测器分类器KK已知样品未知样品图2.LfOSA的框架它包括两个用于检测和分类的网络检测器尝试通过GMM建模构造用于注释的查询标记后，两个网络将被更新用于下一次迭代。当前的训练模型。在查询它们的标签后，ki已知的示例X查询被注释，并且标记的集合是3.2. 算法详细信息更新为kno查询查询LfOSA的框架如图2所示，D L= D LX kno，而具有未知类别的l i个示例X unk被添加到无效集合D I，其中b = k i+ li。因此，第i次选择中已知类的查全率和查准率可以定义如下，我我调用i=j=0，（1）恩克诺Ki它主要由检测器训练、主动采样和分类器训练三部分组成具体来说，我们首先训练一个网络，通过利用已知和未知的监督，同时使用低温机制来检测未知的例子。然后，通过使用高斯混合模型（GMM）对每个示例的最大激活值（MAV）分布进行建模，可以主动选择最确定的已知示例进行注释。最后精度i=ki+li 、（二）分类模型将使用来自已知类别的新示例进行更新在本节的下一部分中，我们其中，Nkno表示来自未标记集合中的已知类的示例的数量。查全率i计算在i次查询之后查询到多少已知示例，而查准率i表示第i次查询中目标示例的比例。显然，如果我们保持较高的精度，重新调用以准确地选择已知的例子，训练好的目标分类器会更有效。正如在引言中所讨论的，大多数传统的AL方法在OSA问题中效果较差，因为我们将详细介绍这三个组成部分。探测器培训。除了对K个已知类进行分类外，还扩展了检测器，增加了第（K+1）个输出来预测未知类。对于来自标记或无效集合的给定示例x，我们用独热p编码其标记c，即，将Pc的值设置为1，而将其它值设置为0。然后，我们用以下交叉熵损失训练检测器：K+1他们的选择策略倾向于选择具有较大不确定性的开集（未知）样本。这些来自未知类的示例对于训练目标模型是无用的，因此传统的AL方法可能会失败，哪里LD（x，c）=− pcc=1双对数（qc），（3）浪费注释预算。 幸运的是，我们应该Texp（ac/T）虽然这些例子对目标模型没有用，但可以用来改进检测器qc=J、exp（aj/T）用于从开集数据中过滤出未知类的模型。此外，我们发现网络的激活（倒数第二）层有很强的能力来区分未知类的基础上观察到的最大激活值（MAV）的开放集的例子往往远离平均MAV的封闭集的例子。通过解耦检测和分类，我们建议利用已知和未知类的例子来训练具有强可分辨性的检测器，同时训练目标任务的更有效的分类器。其中a c是最后一个全连接层的第c个激活值，T是温度，其被设置为具有较低值（T=0. 5）在类上产生更尖锐的概率分布T很明显，通过减少损失函数，已知类别的示例将在前K维上具有较大的激活值，而在第（K+1）维上具有较小的此外，我们发现，通过降低活化层的温度T，可以进一步增强活化层的可结晶性。44JCLD亚我我WW W W WLΣ|LDC12K↓{|{\fn方正黑体简体\fs18\b1\bord1\shad1\3cH2F2F2F }损失函数简要分析如下：算法1LfOSA算法D1 T1exp（ac/T）（四）1：输入：阿瓜=T（qc−pc）=T（qexp（a/T）−pc）。2：电流检测器fθD和分类器fθC3： 当前标记集合DL和无效集合DI当我们降低损失函数的温度（T）时，R，概率分布qT会更尖锐，因此，我们有：4：查询批量b和温度T5：过程：6：#识别器培训1↓ ↓↑，exp（ac/T）∂-p c↑↑。7：通过最小化等式中的LD来更新θ D 3个来自DL，DITTΣexp（aj/T）阿瓜8：#示例采样9：来自检测器θD的每个未标记的推断mavc阿斯特尔河C “知”的人，“知”的人我示例xi作为等式5对于激活值Ac，已知的类将更容易区分。主动取样。 如前所述，OSA任务的目标是从未标记的开集中精确地选择尽可能多的已知类示例。经过如上 所 示 的 检 测 器 训 练 后 ， 我 们 发 现 网 络 的 激 活（penulti- mate）层具有区分未知样本的能力，即未知类样本的最大激活值（MAV）往往与已知类样本的平均MAV形式上，对于具有预测类c的每个未标记的示例xi，其最大激活值mavc可以定义如下：10：当c = 1，2，...，K do11：#收集每个预测类c的MAV集12：mavc=mavcfθ（xi）=c，xi DU13：#通过GMM14：c=GMM（mavc，θD）15：结束16：#合并和排序所有类的概率集17：= sort（ 12.K）18：#获取查询集19：Xquery={（xi，wi）|wi≥τ，<$（xi，wi）∈（DU，W）}20：#向Oracleci21：查询它们的标签，得到X查询和X查询mavi= max ac.（五）C所有未标记的示例将被分类到K+1个类中kno22：#更新标记和无效集合23：DL=DLX查询，DI=DIX查询UNK根据电流检测器的预测来检测电流。我们可以kno24：#分类器训练UNK选择被预测为前K个已知类的样本用于下一过程，同时过滤掉被预测为“未知”的样本。然后，对于每个已知类c，我们使用期望最大化算法将两个分量GMM（一个用于已知类，另一个用于未知类）拟合到mavc，其中mavc是具有预测类c的激活值的集合。25：通过最小化等式中的C来更新θ C。9DL26：输出：下一次迭代的θ D、θ C、DL和DI。分类器训练。 基于当前标记数据D L，我们通过最小化标准交叉熵损失来训练K类分类器：W=GMM（mavc，θD），（六）nLL（x，y）=−y f（x;θ））， （9）其中Wc是c类的概率。对于每个未标记的c类的例子xi，其已知概率wi∈ Wc为C i ii i Ci=1后验概率p（g mavi），其中g是具有较大均值（较大激活值）的高斯分量然后我们对所有类别的概率进行合并和排序，W=sort（W W. Women）.（七）接下来，我们选择概率最高的前b个示例换句话说，我们可以通过在wi上设置阈值τ来获得查询集Xquery，其中τ等于第b个最大已知概率：Xque ry={（xi，wi）|wi≥τ，<$（xi，wi）∈（DU，W）}. （八）在查询它们的标签之后，将分别通过添加X查询和X查询来更新标记集合和未知集合。JJ45∈我其中（x i，y i）DL，并且nL是当前DL的大小。该方法的过程总结在Algo-rithm1.首先，给出一个小的标记数据集DL，查询批量大小b和温度T。然后随机初始化检测器θD和分类器θC，并将无效集合DI初始化为空集。在每次迭代中，我们通过最小化Eq.对于所有未标记的示例，3到推理mavc。接下来，对于每个类，我们收集由检测器的预测设置的MAV，并对每个示例MAV进行建模以获得已知的概率。然后，通过合并和排序这些概率，具有最高概率的前b个示例被选择作为请求注释的查询集因此，分类器θC、标记集合和无效集合可以被更新并输出用于下一次迭代。克诺乌克46图3. CIFAR 10（第一行）、CIFAR 100（第二行）和Tiny-Imagenet（第三行）上的选择召回比较，错配率为20%（第一列）、30%（第二列）和40%（第三列）。4. 实验为了验证所提出的方法的有效性，我们在CIFAR10，CIFAR 100 [14]和Tiny-Imagenet [31]数据集上进行了实验，这些数据集分别包含10，100，200个类别。为了构造开集数据集，我们将所有实验的失配率设置为20%，30%和40%例如，当失配率设置为20%时，在CIFAR 10、CIFAR 100和Tiny-Imagenet上，前2、20、40个类是用于分类器训练的已知类，并且后8、80、160个类分别被视为未知类基线。为了验证所提出的LfOSA方法的有效性，我们在实验中比较了以下方法。i）随机：它从未标记的池中随机选择样本进行标记。ii）不确定性[16，18]：选择预测不确定性最大的示例进行注释。iii）确定性[16，18]：它选择具有最大预测确定性的示例进行注释。四）Coreset[25]：它选择了潜水员的代表性例子浓度v）BALD[30]：它使用dropout作为主动采样的贝叶斯推断的近似值。vi）OpenMax[1]：一种代表性的开集识别方法。㈦LfOSA（我们的）：拟议的方法。积极的学习环境。在CIFAR 10、CIFAR 100和Tiny-Imagenet数据集上随机抽取1%、8%和8%的样本作为初始化标记集值得注意的是，标记的集合只包含已知的类。在每个AL循环中，我们训练一个ResNet 18模型100个epoch，采用SGD作为优化器，动量为0.9，权重衰减为5e-4，初始化学习率为0.01，批量大小为128，同时选择一批1500个样本来查询下一轮AL的标签。业绩衡量。我们将所提出的LfOSA方法与其他比较方法在选择召回方面进行了比较（如Eq. 1），精度（如Eq. 2）分类精度。此外，我们进行了4次运行的实验，并记录了4个种子（种子=1，2，3，4）的平均结果。47图4.CIFAR 10（第一行）、CIFAR 100（第二行）和Tiny-Imagenet（第三行）的选择精度比较，错配率为20%4.1. 性能比较我们评估了所提出的LfOSA的性能，并通过绘制曲线与查询的数量增加的方法进行比较。图3、图4和图5分别展示了召回率、精确率和准确率的平均结果第一、第二和第三行分别表示CIFAR10、CIFAR100和TinyImagenet上的结果。第一列、第二列和第三列表示错配率为20%、30%和40%的结果。可以观察到，无论使用哪个数据集或失配率，所提出 的 LfOSA 方 法 在 所 有 情 况 下 总 是 优 于 其 他 方 法LfOSA在AL过程中可以实现更高的选择召回率和精确率，同时实现更好的分类性能。i）对于召回的性能，所提出的LfOSA方法一致地优于其他比较方法，具有显著的优势。特别是在CIFAR 10和CIFAR 100上，当错配率分别为20%、30%和40%时，LfOSA和Random方法 的 平 均 误 差 分 别 为 68.8% 、 53.4% 和 35.7% ， 而Random 方 法 的 平 均 误 差 分 别 为 34.3% 、 26.7% 和20.5%。（二）为保证精度，提出的LfOSA方法始终保持比具有明显间隙的其他基线更高的选择精度。值得注意的是，添加无效示例可以显著提高检测能力（前三个查询的精度正在提高）。此外，随着已知示例数量的减少，精度被迫降低（第10个查询的精度在“CIFAR10 with 20% mismatchratio”上仅为20%，因为其召回率已达到96.7%）。iii）对于分类性能，LfOSA在所有情况下始终表现出最佳性能特别是在CI-FAR 100上，与其他AL方法相比，LfOSA分别实现了约20%，15%和12%的性能改善，错配率分别为20%、30%、40%。随着未知数比例的增加，LfOSA方法相对于其他方法的优越性越来越明显。这些结果表明，所提出的LfOSA方法可以有效地解决开集标注（OSA）问题。方法比较分析。有趣的是，观察到两种流行的AL方法，不确定性和BALD，在大多数情况下甚至比随机方法表现得更差。一个可能的原因是，这些基于信息的人工智能48图5.CIFAR 10（第一行）、CIFAR 100（第二行）和Tiny-Imagenet（第三行）的分类性能比较，失配率为20%（第一列）、30%（第二列）和40%（第三列）。图6.分类召回率（第一列）、精确度（第二列）、F1（第三列）在CIFAR100上的性能比较，失配率为20%。方法倾向于选择未知的类，因为这些未知的例子更有可能是信息量最大的另一方面，预测熵方法在OSA问题中也失败了，这意味着通过使用模型的预测熵来衡量示例的确定性可能不准确基于多样性的Coreset方法和开集识别方法OpenMax在OSA任务中表现出有限的有效性前者没有得到承认能力的未知类，后者缺乏足够的监督信息。4.2. 结果使用更多分类查全率、查准率和F1.为了进一步验证所提出的LfOSA方法的有效性，我们在CIFAR100上与其他方法在分类召回率，精度和F1方面进行了比较，49图7.准确率/召回率（10次查询后）与CIFAR100的开放性。20%的错配率。实验结果如图6所示。可以观察到，所提出的LfOSA方法在所有情况下总是显著优于其他方法。LfOSA能获得更高的分类召回率、准确率和F1得分。时 间 复 杂 度 的 比 较 。 LfOSA 的 时 间 复 杂 度 为 o（kn），其中n表示未标记数据的数量，k表示已知类的数量我们已经测量了CIFAR100上一个查询的不同方法的时间成本。如表1所示，LfOSA是最有效的方法之一。表1.时间复杂度的比较随机 确定性 OpenMAX Coreset BALD LfOSA2019年09月23日星期一星期五星期六星期4.3. 消融研究为了进一步分析所提出的LfOSA方法，我们在具有20%错配率的CIFAR100上进行了以下消融研究。开放的效果 我们研究了开放性对所有比较方法的影响，其中开放性表示未标记池中有多少开放集示例。通过在CIFAR100上将开放度从0%（闭集）增加到90%实验结果如图7所示。当开放度为0%或非常小时，LfOSA的性能比大多数闭集方法差。随着开放性的增加，LfOSA在准确率和召回率方面的优势变得更加明显。批量大小的影响。批量b的影响结果见图8。当b=500，1000，1500，2000，2500时，我们的方法始终达到最佳性能。各组分对LfOSA的影响。实验-LfOSA各组分作用的心理结果如图9所示。其中w/o温度和高温表示温度T分别设置为1和w/o Detector表示不使用检测器，这意味着它同时用于检测和分类任务。类似地，w/o Classifier表示不使用分类器。二分法是指使用二进制分类来代替检测器。w/o无效集表示检测器图8.准确率/召回率（10次查询后）与CIFAR100上的不同b，错配率为20%。不使用无效集合进行训练拆卸或更换LfOSA的组件会损坏其性能。图9. LfOSA各组分对CIFAR100的影响，错配率为20%。5. 结论在本文中，我们制定了一个新的开集标注（OSA）的问题，现实世界中的大规模标注任务。它介绍了一个实际的挑战，如何保持高召回率识别已知类的目标模型训练的例子从一个庞大的未标记的开放集。为了克 服 这 一 挑 战 ， 我 们 提 出 了 一 个 主 动 学 习 框 架LfOSA，通过解耦检测和分类来精确地选择已知类的示例通过最小化低温交叉熵损失，它利用已知和未知的监督来训练检测器，其激活值将被馈送到混合高斯模型中以估计每个示例的最大激活值（MAV）分布。基于MAV分布，我们可以区分已知类和未知类的未标记数据的例子分类器然后用标记的数据更新。各种任务的实验结果表明LfOSA方法的优越性。在未来，我们将把OSA问题扩展到其他计算机视觉任务中，例如，目标检测6. 致谢本 研 究 得 到 了 国 家 重 点 研 发 计 划（ 2020AAA0107000 ） 、 国 家 自 然 科 学 基 金（61732006）、62076128）和江苏省自然科学基金（BK 20211517）。50引用[1] Abhijit Bendale和Terrance E Boult。开放深度网络。在IEEE计算机视觉和模式识别会议论文集，第1563-1572页，2016年。二、五[2] Antonia Creswell、Tom White、Vincent Dumoulin、KaiArulkumaran、Biswa Sengupta和Anil A Bharath。生成对抗网络：概述。IEEE信号处理杂志，35（1）：53-65，2018。2[3] 傅一凡，朱兴全，李斌。主动学习实例选择研究。知识与信息系统，35（2）：249-283，2013。2[4] ZongYuan Ge ， Sergey Demyanov ， Zetao Chen ， andRahil Garnavi. 多类开集分类的生成openmaxarXiv预印本arXiv：1707.07418，2017。2[5] Stuart Geman，Elie Bienenstock和Rene 'Doursat。神经网络和偏差/方差困境。神经计算，4（1）：1-58，1992. 2[6] Chuanxing Geng，Sheng-jun Huang，and Songcan Chen.开集识别的最新进展：综述。IEEE Trans-actions onpattern analysis and machine intelligence，2020。2[7] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。《神经信息处理系统进展》，2014年第27期。2[8] 华贤生和齐国军。在线多标签活动注释：大规模的基于内容的视频搜索。第16届ACM多媒体国际会议论文集，第141-150页，2008年2[9] Sheng-Jun Huang，Rong Jin，and Zhi-Hua Zhou.通过查询信息性和代表性的例子进行主动学习神经信息处理系统的进展，第892-900页，2010年2[10] Sheng-Jun Huang，Jia-Wei Zhao，and Zhao-Yang Liu.具有主动模型适应的深度cnn的成本有效的训练。在第24届ACM SIGKDD知识发现数据挖掘国际会议论文集，第15801[11] 黄胜军和周志华不确定性和多样性驱动的增量多标签学习主动查询2013年IEEE第13届数据挖掘国际会议，第1079-1084页2[12] Sheng-Jun Huang，Chen-Chen Zong，Kun-Peng Ning，and Hai-Bo Ye.使用分布式标签查询的异步主动学习。1[13] Lalit P Jain，Walter J Scheirer，and Terrance E Boult.利用包含概率的多类开集识别。欧洲计算机视觉会议，第393-409页，2014年。2[14] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。2009. 5[15] Yann LeCun，Yoshua Bengio，and Geoffrey Hinton.深度学习nature，521（7553）：436-444，2015. 1[16] David D Lewis和William A Gale。训练文本分类器的顺序算法。在SIGIR二、五[17] 刘朝阳，黄胜军。无初始标注的开集分类的主动采样。在AAAI人工智能会议上，第33卷，第4416-4423页，2019年。2[18] Wenjie Luo，Alex Schwing，and Raquel Urtasun.潜在结构化主动学习。神经信息处理系统进展，26：728-736，2013。5[19] Ning Kun-Peng ，Lue Tao ， Songcan Chen ， Sheng-JunHuang. 通过主动查询自适应校正扰动水平提高模型鲁棒性在AAAI人工智能会议论文集，第35卷，第9161-9169页2[20] Buyue Qian，Xiang Wang，Jun Wang，Hongfei Li，NanCao，Weifeng Zhi，and Ian Davidson.大规模主动学习排名的快速成对查询2013年IEEE第13届数据挖掘国际会议，第607-616页，2013年。2[21] 道 格 拉 斯 · 雷 诺 兹 高 斯 混 合 模 型 Encyclopedia ofbiometrics，741：659-663，2009. 2[22] 罗伊和麦卡勒姆。通过减少误差的抽样估计实现最优主动学习。内部确认机器学习，2001年。2[23] Walter J Scheirer，Anderson de Rezende Rocha，ArchanaSapkota ， and Terrance E Boult. 开 集 识 别 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，35（7）：1757-1772，2012. 2[24] Walter J Scheirer，Lalit P Jain，and Terrance E Boult. 开集 识 别 的 概 率 模 型 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，36（11）：23172[25] Ozan Sener和Silvio Savarese卷积神经网络的主动学习：核心集方法。arXiv预印本arXiv：1708.00489，2017。5[26] 伯尔·塞特斯。主动学习文献调查。技术报告，威斯康星大学麦迪逊分校计算机科学系，2009年。一、二[27] HSebastianSeung ， ManfredOpper ， andHaimSompolinsky. 委 员 会 质 询 。 在 Proceedings of the fifthannual workshop on Computational learning theory ， 第2872[28] 孙丽丽和王喜照。关于主动学习策略的调查。2010年机器学习和控制论国际会议，第1卷，第161-166页，2010年。1[29] Ying-Peng Tang ， Xiu-Shen Wei ， Borui Zhao ， andSheng-Jun Huang.Qbox：带有主动查询的部分迁移学习 ， 用 于 对 象 检 测 。 IEEE Transactions on NeuralNetworks and Learning Systems，2021。1[30] Toan Tran 、 Thanh-Toan Do 、 Ian Reid 和 GustavoCarneiro。贝叶斯生成式主动深度学习。在国际机器学习上，第62955[31] 利昂·姚和约翰·米勒。使用卷积神经网络进行微小图像网分类CS 231 N，2（5）：8，2015年。5[32] 尤新戈，王如新，陶大成。相对属性的多样期望梯度主动 学 习 IEEE transactions on image processing ， 23（7）：3203-3217，2014. 2