9000OVANet：一种用于通用域自适应的Kuniaki Saito1，Kate Saenko1，21波士顿大学，2麻省理工学院-IBM沃森人工智能实验室[keisaito，saenko]@bu.edu摘要通用领域自适应（UNDA）旨在处理两个数据集之间的领域转移和类别转移，其中主要的挑战是在转移知识的同时拒绝现有方法基于验证或“未知”样品的预定义比率手动设置阈值以拒绝在本文中，我们提出了一种方法来学习阈值使用源样本，并使其适应目标域。我们的想法是，在源域中的最小类间距离应该是一个很好的阈值，以决定之间的为了学习类间和类内距离，我们建议使用标记的源数据为每个类训练一个一对所有分类器。然后，我们通过最小化类熵来使开集分类器适应目标域。由此产生的框架是联合国裁军事务厅所有基线中最简单的，对超参数的值不敏感，但性能大大实现可在github.com/VisionLearningGroup/OVANet 上获得。1. 介绍深度神经网络可以在给定大量训练数据的情况下学习图像识别任务的高度区分表示[6，30，14，26，12]，但不能很好地推广到新的领域。在新领域中收集大量的注释数据会导致高的注释成本。为了解决这个问题，域适应将知识从标签丰富的训练域转移到标签稀缺的新域[1]。传统的无监督域自适应（UDA）假设源域和目标域完全共享类别集合，即，闭集DA但是，这种假设在实践中往往不成立。有几种可能的情况：目标域包含源中不存在的类别（未知类别），即，开放集DA（ODA）[4，29];源域包括目标中不存在的类别（源优先级）。图1：现有的开集或通用域自适应方法通过手动设置阈值来拒绝未知样本，通过验证或关于目标域的先验知识来处理未知样本。如果设置不正确，它可能会错误地拒绝已知的类，如这里所示，汽车和卡车。相反，我们建议通过为每个类训练一个与所有分类器来学习vate category）;即，部分DA（PDA）[5]; ODA和PDA的混合物，称为开放部分DA（OPDA）。许多方法都是为特定环境量身定制的，但真正的通用域适应（UNDA）的任务被提出[37，28]来解释类别转移的不确定性。假设标记数据和未标记数据的标签由于估计未标记数据的标记分布在实际应用中是非常困难的，因此该设置是非常实用的。虽然我们在本文中专注于域转移问题，但该设置也适用于半监督学习问题[11]。在这个任务中，我们的目标是有一个模型，可以将目标样本分类到正确的已知标签或未知标签之一。主要的技术难点是没有监督来区分未知样品和已知样品;也就是说，我们不知道其中有多少是未知的，也不知道未知实例的属性。在没有手动标记的情况下获得这种先验知识在实践中是困难的。为了允许模型学习未知的概念，现有的UNDA和ODA方法采用各种技术：拒绝一定比例的目标样本[3]，通过使用标记的tar来验证阈值以确定未知。9001|−||∩||||∩||||−|得到样本[7]，并且合成地生成未知物质[15]。如果比率是准确的，则拒绝目标样本的某个比率很有效。但是，在没有标记的目标样本的情况下估计该比率是困难的。用标记的目标样品进行验证合成的未知实例定义了学习模型的未知概念，但调整生成过程需要使用标记样本进行验证，因为生成的数据不一定与真实的未知数据相似。总而言之，作为图的中心。1描述了，这些现有方法手动定义阈值以拒绝未知实例。为了实现一个实际的解决方案，我们需要一种方法，不需要未知样本的比例，也不需要任何验证来设置阈值。我们提出了一个问题来解决这个问题：我们可以利用源类别之间的类间距离来学习阈值吗？我们假设最小类间距离是确定样本是否来自该类的良好阈值，因为它定义了来自其他类的最小余量。如果样本和类之间的距离小于该边界，则该样本应该属于该类。如果样本不在任何类别的边界内，则应该是未知的。图1示出了该想法。汽车和卡车有相似的特征，但属于不同的类别。如果模型知道两个类之间的裕度，它就可以区分未知类，例如，汽车和卡车基于这种见解，我们探索一个简单而强大的想法：为所述源域中的每个类训练一个对所有（OVA）分类器。我们训练分类器将相应类别以外的输入分类为否定。分类器学习正类和负类之间的边界，即，采用类间距离来学习边界。如果所有的分类器都认为输入是否定的，我们假设输入是来自未知的类。因此，模型可以通过使用源样本来学习拒绝未知类的阈值。此外，我们提出了新的硬负分类器采样，更新开放集分类器的一个积极的和一个硬负类为每个源样本，有效地学习每个类的最小类间距离。该技术使模型可扩展到大量的类。对于未标记的目标样本，我们建议应用开集熵最小化（OEM），其中一个对所有分类器的熵最小化。这允许模型将未标记的目标样本与已知或未知的类别对齐。我们的方法比现有的方法明显简单，因为它只有一个唯一的超参数，控制源样本的分类损失和OEM之间的权衡，但表现出很大的鲁棒性，不同的标签分布的目标域。在实验中，我们广泛地评估我们的方法在通用域适应基准和不同的亲方法UAN[37]CMU [7]号HP阈值2验证3验证美国食品药品监督管理局[15]3合成未知样品ROS [3]4拒绝50%的目标数据舞蹈[28]3决定不。的类OVANet1按来源表1：开集和通用DA方法的比较。HP表示超参数。请注意，USFDA [15]利用合成生成的阴性，这需要一个复杂的过程来生成它们。共享类和未知类的一部分这种简单的方法优于各种显式或隐式采用未知样本比率的基线。此外，所提出的检测未知类的方法是有效的设置阈值，以拒绝未知类的半监督学习。2. 相关工作域适配。无监督域自适应（UDA）[27]旨在为给定标记源和未标记目标数据的目标域学习良好的分类器。设Ls和Lt分别表示源域和目标域的标签空间.闭集域自适应（LS=Lt）是UDA中的一项流行任务，分布对齐[9，32，17]是流行方法之一。开集DA（存在目标私有类，L tLs>0，L t L s=L s）[22，29]，以及部分DA（存在源私有类LsL t>0，L tL s=L t）[5]来处理类别失配问题。建议使用通用DA（UNDA）[37]来处理这些设置的混合。Saito等人[28]强调了测量模型对各种类别转移的鲁棒性的重要性，因为我们不能预先知道转移的细节先前的作品[37，7，28]计算已知类别的置信度得分，并且得分低于阈值的样本被视为未知。Fu等人[7]似乎使用标记数据来验证阈值，这不是一个现实的解决方案。Bucci等人[3]将置信度得分的平均值设置为阈值，这隐含地拒绝了大约一半的目标数据为未知。Saito等人[28]设置一个由源中类的数量决定的阈值，这并不总是有效。我们总结了我们的方法OVANet与表1中现有方法的不同之处。我们的方法通过使用源样本训练模型来学习阈值，并尝试将阈值适应目标域。我们的模型以端到端的方式进行训练，只需要一个超参数，并且对其值不敏感。开放式识别。开集识别[2] han-在训练期间给定已知样本的情况下，许多方法-9002D ∪ DD|| −∈{||}||我i=1我 i=1D{}图2：OVANet的概念概述。开集分类器是在标记的源样本（最左边）上训练的，我们试图通过对未标记的目标样本（中间和最右边）进行开集熵最小化来增加预测的置信度我们以一步一步的方式展示培训过程，以便更好地理解，但在实践中采用端到端的培训。3. OVANet图2介绍了OVANet的概念概述。我们的开集分类器采用学习到的类别之间的距离来识别未知样本（Sec.第3.1节）。学习的分类器通过开集熵最小化（Sec.3.2）。记法。 我们给出标记的源域Ds={（xs，y is）}Ns，具有“已知”类别L s和一个非样本中，更新正类边界和最近的负类边界。这是为了让分类器学习正类和最近的负类之间的距离。我们假设，距离应该是一个很好的阈值拒绝cus如何建立更好的异常测量[2]或让模型学习有效区分已知或未知样本的特征[36，25，20]。最近的工作表明，对比学习对于学习适合于检测分布样本的表示是有效的[31，35]。这些方法与现有的联合国裁军事务厅和官方发展援助方法有一个共同的问题。确定未知的阈值是经过验证的或预先确定的[10]。这些方法提供了一种有效校准不确定性分数的度量或训练方法，但仍然需要通过验证来确定相比之下，我们介绍了一种技术，学习阈值使用标记的样本，而不需要验证。采用One-vs-All（OVA）分类器将二元分类器应用于多类分类[8]，聚合二元分类器的输出。Padhy等人[21]提出通过训练神经OVA分类器来处理分布外检测与这项工作的一个关键区别是，我们通过让它们专注于硬阴性样本来训练开集分类器。开集分类器需要区分正样本和最近的负样本，以有效地识别未知样本。我们提出的硬负采样在构建阈值方面是有效的，如第2节所示。3.1和表4。标记的目标域t=（xt）Nt，其包含我们的目标是用Ls标签或“未知”标签之一来标记目标样本我们训练模型S测试和评估t.为了处理开集分类，我们引入两个分类器：（1）开集分类器O，用于检测未知样本，以及（2）闭集分类器C，用于将样本分类到L个标签中。C被训练为利用标准分类损失对源样本进行分类，而O被训练为利用下面解释的硬负分类器采样。在测试阶段，C用于识别最近的已知类，而O用于确定样本是已知还是未知。3.1. 硬负分类器采样（HNCS）我们的想法是训练一个分类器来学习每个类的内点和离群点之间的边界。然后，我们为每个类训练线性分类器。对于每个分类器，类被训练为正，而其他类为负。关键是如何挑选阴性样本，即我们建议挑选与该类别不同但与其相似的样本（硬负类别）。概述如图所示。3 .第三章。我们的开集分类器由Ls个子分类器组成，即，O j，j1，…L s.每个分类器被训练以区分样本是否是对应类的内点。子分类器输出2维向量，其中每个维度分别示出样本是内点和离群点的概率。Padhy等人[21]建议培训所有（L1）nega-的分类器给出了训练样本，但我们观察到图3：开集分类器训练概述。 为每个9003∈∈|||−−|j=1∈DΣjtjt当类的数量很大时，学习的分类器是无用的，这与[21]的观察一致。原因是开集分类器太容易对许多否定词进行以三个类为例：一只猫、一只狗和一只乌龟。我们假设乌龟的特征与猫和狗的特征非常不同为了学习猫的有效边界，模型应该关注狗而不是乌龟，因为猫应该在特征空间中更接近但是，如果乌龟被非常频繁地采样，则学习到的边界可能在猫和乌龟的中间因此，每个子分类器需要硬负样本来学习内点和离群点之间的边界。考虑到这一点，我们建议在给定样本的情况下训练两个one-vs-all分类器：一个分类器的积极和最近的消极类（图。（3）第三章。通过为每个样本选择最近的负类，我们可以让相应的分类器学习一个有效的边界来识别未知的实例。我们为每个子分类器利用线性分类器。在提取的特征之上采用开集分类器，即，Zk=wkGθ（x）R2，其中Gθ和wk分别表示用于类别k的zkR2的每个维度分别表示已知和未知的分数。令p（ykx）表示实例x是类k的内点的输出概率：p（ykx）=σ（zk） 0 ，其中σ表示softmax激活函数。我们将L〇 va（xs，ys）表示为样本（xs，ys）的开集分类损失：图4：训练和测试概述。0表示一对所有开集分类器，而C表示闭集分类器。F是特征提取器。上：我们提出了硬负分类器采样来使用源样本训练one-vs-all分类器（Sec. 第3.1节）。中间：我们将熵最小化与开集分类器一起应用于未标记的目标样本（Sec. 3.2）。下图：在测试阶段，最近的已知类由闭集分类器识别，相应的开集分类器ssj用于决定已知或未知（第第3.4段）。Lova（x，y）=−log（p（yx））minlog g（1p（y（x））.j=ys（一）这计算了正类和最难负类的损失，正如我们上面解释的那样。我们称之为硬负分类器采样（HNCS）的技术。计算损失的过程在图的顶部示出。4.第一章3.2. 开集熵最小化给定在源域上训练的开集分类器，我们建议增强未标记目标域的低密度分离由于目标样本具有与源不同的特征，因此它们可能相对于闭集和开集分类而被不正确地分类为了解决这个问题，我们提出了一种新的熵最小化方法，适应开集分类器的目标域。我们的想法是增加关于开集分类的预测的置信度，即，已知或未知。具体来说，我们应用熵最小化训练-ING所有开集分类器为每个xtt. 我们计算所有分类器的熵，取平均值并训练模型以使熵最小化，如中间的Fig. 4.第一章Lent（xt）=−|Ls|p（yj|xt）lo g（p（yj|xt））+（1−p（y|x））lo g（1−p（y）|x））通过这种熵最小化，已知的目标样本将与源样本对齐，而未知的目标样本可以保持为未知。与现有熵最小化[11]的一个明显区别是，我们能够将未知实例保持为未知，因为熵最小化是由开集分类器而不是闭集分类器执行闭集分类器的熵最小化必然将未标记样本与已知类对齐，因为不存在未知类的概念由于我们的开集分类器有未知的概念，该模型可以增加它的信心。3.3. 学习我们结合开集分类器和闭集分类器来学习开集和闭集分类。9004|∩||−|Ss不|∩||−||−||∩||−||−|不(a) Amazon转DSLR（b）Webcam转Amazon（c）DSLR转Webcam图5：开集域适应中的H分数和准确度。蓝色：OVANet（我们的）。我们使用Office改变未知类的数量（Ls Lt = 10，Ls Lt =0）。左侧和右侧分别示出H分数和准确度 OVANet在不同的开放性下表现出稳定的性能，而基线在某些设置中会大大降低性能。对于闭集分类器，我们简单地使用交叉熵损失在特征提取器之上训练线性分类器，我们将其表示为Lcls（x，y）。然后，总体训练损失可以计算如下：Lall=ELsrc（x，yi）+λ E我Lent（x），（2）我（xs，yis）Ds我xtx tLsrc（x，yi）=Lcls（x，yi）+Lova（x，yi）。（三）F、O和C的参数被优化以使损耗最小化。注意，OVANet只有一个超参数λ。该方法比现有的ODA和UNDA方法[28，7，3]简单得多，所有这些方法都需要手动设置阈值和/或多个训练阶段。3.4. 推理在测试阶段，我们利用训练的闭集和开集分类器。我们首先通过使用闭集分类器得到最接近的已知类，并采取相应的开集分类器的分数。该过程在图的底部示出。4.第一章4. 实验我们评估我们的方法在UNDA设置随着表2：使用Office的开放部分域适应（H-评分）。描述了在每个实验中用于划分类别的方法，每个表显示了LsLt/LsLt/LtLs，即，（共享类、源私有类和目标私有类）。请参阅我们的补充材料了解更多详情。评估指标。在评估通用或开集DA方法时，考虑为此，我们使用H-score [3]评估方法。H分数是常见类别的准确度（accc）和消融研究。为了评估对未知目标样本数目变化的鲁棒性，我们改变了数目H评分 =2accc·acctacc+ acc t.（四）并与其他基线进行比较。4.1. 设置数据集。我们在DA中使用流行的数据集：Of- fice[27] 、 OfficeHome [34] 、 VisDA [24] 和 Domain- Net[23]。除非另有说明，否则我们遵循现有协议[7，37，29]将数据集拆分为源私有数据集。（L sL t）、目标私有（L tL s）和共享类别（L s L t）。为了公平起见，Saitoet al. [28]建议在各种数量的未知和已知类上评估通用DA方法，这可以揭示为特定设置量身定制的方法我们遵循他们的政策，并提供experimental-imental结果不同的未知和已知类的数量。由于许多现有的方法进行了优化，以处理一个特定的基准，我们的目标是公平地评估方法的灵敏度，以不同的设置。简要仅当acc和acct都高时，评估度量才高。因此，H-评分可以很好地衡量UNDA方法的准确性。除非另有说明，否则我们在表格和图表中显示H分数。这种度量的缺点是识别已知类和未知类的重要性总是相等的。如果未知实例的数量因此，当数量很小时，我们还报告所有样本的实例准确度。实 施 . 根 据 以 前 的 工 作 [28 ， 37] ， 我 们 采 用 在ImageNet [6]上预训练的ResNet50 [13在分析中还使用VGGNet [30]进行了评估。我们用新的线性层替换最后的线性分类层。我们遵循[28]并使用逆学习率衰减调度来训练我们的模型。注意，我们设置λ=0。1所有设置。的s s s s ss我我我方法办公室（10 / 10 /11）A2D A2W D2A D2W W2D W2AAvgUAN [37]59.758.660.170.671.460.363.5CMU [7]68.167.371.479.380.472.273.1舞蹈[28]78.671.579.991.487.972.280.3DCC [16]88.578.570.279.388.675.980.2ROS [3]71.471.381.094.695.379.282.1美国食品药品监督管理局[15]85.579.883.290.688.781.284.8OVANet，不含OEM69.663.179.985.988.780.677.9我9005|∩||−|(a) 真实到艺术（b）真实到剪贴画（c）剪贴画到艺术（d）艺术到产品（e）产品到真实图6：开放部分域适应的H分数。蓝色：OVANet（我们的）。 我们改变OfficeHome中未知类的数量（LsLt=10，LsLt=5）。OVANet在不同的开放性下表现出稳定的性能，而基线在某些设置中会大大降低性能。方法DomainNet（150 / 50 /145）P2R R2P P2S S2P R2SAvgVisDA（6 / 3/3）办公室主页(15/ 5 /50）舞蹈[28]21.0 47.3 37.0 27.746.721.033.54.449.2UAN [37]41.9 43.6 39.1 38.9 38.741.030.556.6CMU [7]50.852.245.1 44.8 45.6 51.048.334.661.6DCC [16]56.950.3 43.7 44.9 43.3 56.249.243.070.2OVANet56.0 51.747.1 47.444.957.250.753.171.8表3：使用DomainNet、VisDA和OfficeHome的开放部分DA的H分数。请注意，CMU [7]和DCC [16]对不同的数据集使用不同的超参数，而OVANet在所有设置中使用相同的超参数。值由使用OF_fice的开集DA的结果确定（Amazon到DSLR）遵循DANCE [28]。基线。我们的目标是比较通用域自适应的方法，这些方法能够拒绝未知样本，例如DANCE [28]，UAN[37]，ROS [3]和CMU [7]。为了查看与使用闭集分类器的熵作为阈值的差异请注意，这些基线是不公平的，因为它们使用了经过验证的阈值或启发式决定的阈值。我们决定不包括标准域对齐基线的结果，如DANN [9]，CDAN [18]，因为现有的工作已经表明，这些方法在拒绝未知样本方面显着恶化了性能。由于CMU [7]没有发布完整的代码来重现结果，我们依赖于他们报告的结果来与该方法进行比较。结果概述。总之，我们的方法在所有不同设置中优于或可与基线方法相比，而无需优化每个设置的超参数。使用4个基准数据集的不同设置验证了这一事实。办公室图5显示了在Office上的ODA设置中改变未知类数量的结果。每个图的左侧和右侧分别示出了H分数和实例准确度。X轴表示未知类的数量。数量从2到20不等，而已知类别的数量固定为10。OVANet的性能始终优于或与基线相当。即使没有OEM，我们提出的模型始终表现良好。OVANet和OVANet w/o OEM之间的比较证明了OEM的有效性。由于ROS [3]设置了一个阈值，拒绝了大约一半的目标，样本为未知，当未知样本很少时，它的性能很差DANCE [28]对未知类的数量也很敏感表2显示了Office上OPDA设置的结果，其中OVANet的平均性能优于基线OfficeHome、VisDA和DomainNet。图1描述了在OPDA上改变开放度的结果。六、我们挑选了5个适应场景来覆盖各个领域，并改变未知类的数量。这种趋势与Office上的实验相似。OVANet的性能始终优于基线。表3总结了OfficeHome、VisDA和DomainNet上的OPDA结果，其中我们遵循CMU [7]划分类别。对于OfficeHome ， 给 出 了 12 个 适 应 场 景 的 平 均 值 。 在VisDA和DomainNet中，样本的数量和/或类的数量与Office和OfficeHome的数量有很大的不同。OVANet以较大的优势优于现有方法，在VisDA和OfficeHome中超过10分请注意，CMU [7]为每个数据集选择最佳阈值超参数，而OVANet在不调整超参数的情况下实现最佳H分数从这些结果中，我们观察到OVANet在不同的环境中工作良好。4.2. 领域自适应OEM和HNCS的效率如何？表4示出了在Office上的ODA（网络摄像头到亚马逊）、在OfficeHome上的ODA （ 真 实 到 艺 术 ） 、 以 及 在 Domain- Net 上 的OPDAACC close测量在没有拒绝的情况下重新识别已知样本的准确度，即，该度量评估闭集识别的能力。UNK是拒绝未知样品的准确度。AUROC措施9006|∩||−||−|||消融HNCS OEM干事h评分e（W2A）访问关闭(10/零UNK/11）AUROC办公室Hh评分一些（R2 A）（20/访问关闭UNK0 /45）AUROC域Nh评分et（R2P）访问关闭(150//下一页UNK（第50/145号决议）AUROC✓84.794.482.792.463.580.758.076.318.452.211.366.179.193.383.189.464.979.962.575.649.750.757.867.2✓87.494.790.394.767.581.368.477.651.953.574.467.6✓✓表4：消融研究。我们消融开集熵最小化（OEM）和/或硬负分类器采样（HNCS）。请注意，这两种技术都是实现良好性能所必需的（全消融与每次消融）。(a) OVANet（b）OVANet w/o OEM（c）DANCE图7：开集DA中的异常分数的直方图（Webcam到Amazon，LsLt=10，LsLt=0，LtLs=11）。红色：已知样本。蓝色：未知样品。开放集分类器的输出被用作OVANet中的异常得分，并且封闭分类器的熵被用于DANCE。请注意，已知和未知之间的阈值在每个图中都是蓝色虚线OVANet很好地分离了已知和未知样品，而DANCE失败了。已知样本和未知样本在给定开集分类器的输出的情况下如何分离我们有两点观察：应用开集熵最小化（OEM）可以有效地提高闭集精度和拒绝未知样本（w/o OEM vs FULL），而硬负分类器选择是训练分类器的合适方法（不含HNCS vs FULL）。在DomainNet中，硬负采样的有效性更加明显，因为数据集具有更多的已知类。当已知类的数量很大时，有许多无用的负类来训练我们的开集分类器。然后，在没有采样的情况下，模型不能学习已知和未知之间的有效决策边界，从而导致未知样本识别的显著退化。OVA分类器很好地分离了未知和已知样本。 图图7示出了异常分数的直方图，其中X轴是异常分数，并且y轴示出了异常分数的对应范围的频率蓝色虚线表示已知和未知之间的阈值。（b）表明学习的阈值很好地分离已知和未知样本。 应用OEM进一步增强了分离（（a）对（b））。(c)DANCE使用手动设置的阈值，并且在拒绝许多未知样品时失败。特征可视化。 图图8用对应的地面实况标签（a）和预测标签（b）来可视化学习到的虽然不是所有的未知样品都清楚地从已知的分离，大多数是正确的分类。OEM对超参数不敏感。图9a示出了对ODA中的超参数λ的灵敏度，(a) 地面实况标签(b)OVANet预测图8：使用t-SNE的特征可视化[19]。（a）真实标签和（b）OVANet的决定（ODA，Ama-zon到DSLR）之间的比较不同的颜色表示不同的类别。粉色图为未知样本，其他为已知样本。(a) 对λ的灵敏度（b）对L s的灵敏度图9：（a）对方程中的超参数λ的灵敏度3 .第三章。虚线是不含OEM的结果（b）对源类别数目的敏感性，其中|Ls∩Lt|=30，|Lt−Ls|在DomainNet中=45。DomainNet上的Office和OPDA。λ是OVANet特有的唯一超参数。OVANet在不同的λ值下表现出稳定的性能。不同的已知类。不同数量的源私有类之间的性能9007（|L s|）在9008方法A2d办公室（10 /0/A2W D2A D2W第十一章W2DW2a AvgOSBP [29]ROS [3]81.079.077.581.078.278.195.094.491.099.772.974.182.684.4OVANet89.584.989.793.785.888.588.7表5：使用VGGNet的结果。使用开放设置DA设置。(a) DomainNet（b）NAbird图10：使用OVANet w/o OEM增加已知类的数量。蓝色：已知样品的准确度。棕色：未知样品的准确度。当模型看到更多的已知类时，模型会拒绝更多的未知样本。图9b，由于存在更多的离群源类别，正确分类目标类别可能变得更难。虽然熵分离[28]对数量非常敏感，但OVANet显示出稳定的性能。更多的已知类导致更好的边界来拒绝未知。图10集中于OVANet w/o OEM在增加已知类别的数目同时固定未知类别的数目方面所用数据集的详细信息见附录虽然数量变大，但未知样本被归类为已知类别的概率更大。然而，拒绝未知类的准确度随着数量的增加而提高或不改变。这表明，给定更多已知类，模型更有可能正确地拒绝未知样本。这一观察结果与一对所有分类器的设计一致分类器需要看到硬负样本以建立良好的边界。当有更多的类可用时，会有更多的硬底片。OVANet 适 用 于 不 同 的 网 络 。 表 5 显 示 了 使 用VGGNet作为主干的Office上的ODA结果。请注意，ROS [3]改变超参数来训练他们的模型，而我们不改变OVANet的超参数。采用一对所有分类器的想法对于不同的网络是有效的。OVANet需要开集和闭集分类器。OVANet采用开集和闭集分类器，但另一种训练方法是只采用开集分类器。然而，如果我们在训练中不使用闭集分类器，我们会 这是因为开集分类器没有被训练来区分已知类别。训练目标只考虑将一个已知类与其他类区分开来，这不足以给出区分特征来分类已知样本。4.3. 半监督学习到目前为止，我们已经评估了OVANet在域适应的情况下。然而，检测一个[28]第二十八话舞蹈[28]3.88.81.94.632.234.081.982.1OVANet67.663.167.483.0表6：使用NAbird的开集半监督学习的结果[33]。Acc是所有样本的实例准确度。未知类不限于域适配。在实际应用中部署识别模型时，模型可能会遇到来自训练期间未见过的类的样本在半监督学习中，模型在训练过程中可能会遇到未标记的未知数据。能够检测未知样品的模型是期望的。在本节中，我们提供了半监督设置的OVANet的分析。OVANet在半监督设置中是有效的开集分类和半监督学习的一个有趣的应用是动物的分类。未标记的野生动物图像可以通过监控摄像机或网络爬行来采集。注释图像可能需要专业知识。因此，注释图像的数量然后，我们利用NAbird [33]，一个大规模的鸟类图像数据集，来评估我们的方法，其中300个类别是已知的，255个是未知的。一半的样本被标记为每个已知类，其余的被视为未标记的数据。未知类的所有样本被用作未标记的数据。OVANet在所有指标中均优于基线（表6）。该结果验证了OVANet的益处，而没有标记和未标记数据之间的域移位。5. 结论在本文中，我们提出了一种新的技术，OVANet，它训练一个One-vs-All分类器为每个类和decides已知或未知的输出。我们提出的框架是所有UNDA方法中最简单的，但在不同的环境中表现出强大的性能。广泛的评估表明OVANet6. 确认这 项 工 作 得 到 了 Honda ， DARPA LwLL 和 NSFAward No.1535797。方法NAbird（300 / 0/255）H评分UNK Accc Accc关闭9009引用[1] Shai Ben-David 、 John Blitzer 、 Koby Crammer 、 AlexKulesza 、 FernandoPereira 和 JenniferWortmanVaughan。从不同领域学习的理论Machine learning，79（1-2）：151-175，2010. 1[2] Abhijit Bendale和Terrance E Boult。开放深度网络。在IEEE Conf. Comput.目视模式识别，第1563-1572页，2016。二、三[3] 西尔维娅·布奇，穆罕默德·礼萨·洛格马尼，塔蒂亚娜·汤姆马西.开集域自适应图像旋转的有效性。 以Eur.Conf. Comput. 目视，第422Springer，2020年。一、二、五、六、八[4] Pau Panareda Busto和Juergen Gall。开集域自适应。在国际会议计算中目视，2017年。1[5] Zhangjie Cao，Lijia Ma，Mingsheng Long，and JianminWang.部分对抗域自适应。以Eur. Conf.Comput.目视，2018年。一、二[6] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。在IEEE Conf. Comput.目视模式识别，2009年。一、五[7] Bo Fu，Zhangjie Cao，Mingsheng Long和Jianmin Wang.学习检测通用域适配的开放类以Eur.确认补偿目视Springer，2020年。二、五、六[8] Mik elGalar， AlbertoFerna' ndez ， EdurneBarrenechea ，Hum-berto Bustince，and Francisco Herrera.多类问题中的二元分类器的集成方法概述：一对一和一对所有方案的实 验研 究。 Pattern Recognition ，44 （8 ）： 1761-1776，2011. 3[9] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无监督在Int. Conf. Mach Learn. ，2014年。二、六[10] Chuanxing Geng，Sheng-jun Huang，and Songcan Chen.开集识别的最新进展：综述。 IEEE Trans.模式分析马赫内特尔，2020年。3[11] Yves Grandvalet和Yoshua Bengio基于熵最小化的半监督学习。在高级神经信息。过程系统，2005年。1、4[12] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick.面具R-CNN。在国际会议计算中目视，2017年。1[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习 在IEEE会议Comput.目视模式识别，2016年。5[14] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。在高级神经信息。过程系统，2012年。1[15] Jogendra Nath Kundu，Naveen Venkat，and R VenkateshBabu. 通 用 无 源 域 适 配 。 arXiv 预 印 本 arXiv ：2004.04393，2020。二、五[16] Guangrui Li，Guoliang Kang，Yi Zhu，Yunchao Wei，and Yi Yang.域一致性聚类的通用域适应. 在IEEE会议Comput. 目视模式识别，2021年。五、六[17] Mingsheng Long ， Yue Cao ， Jianmin Wang ， andMichael I Jordan.使用深度适应网络学习可转移特征。在Int.Conf. Mach Learn. ，2015年。29010[18] Mingsheng Long，Zhangjie Cao，Jianmin Wang，and Michael I Jordan.条件对抗域适应。在高级神经信息。过程系统，2018年。6[19] Laurens van der Maaten和Geoffrey Hinton使用t-sne可视化数据。JMLR，9（11）：2579-2605，2008.7[20] Poojan Oza和Vishal M Patel。C2ae：用于开集识别的类条件自动编码器。在IEEE Conf.目视模式识别，第2307-2316页，2019年。3[21] Shreyas Padhy、Zachary Nado、Jie Ren、JeremiahLiu、Jasper Snoek和Balaji Lakshminarayanan。重新审视神经网络中预测不确定性和分布外检测的一对多分类器。arXiv预印本arXiv：2007.05134，2020。三、四[22] Pau Panareda Busto和Juergen Gall。开集域自适应。在国际会议计算中目视，2017年。2[23] Xingchao Peng ， Qinxun Bai ， Xide Xia ， ZijunHuang，Kate Saenko，and Bo Wang.用于多源域适应的矩匹配。国际会议补偿目视，2019年。5[24] Xingchao Peng ， Ben Usman ， Neela Kaushik ，JudyHoffman ， DequanWang ， andKateSaenko.Visda：视觉领域适应挑战。arXiv预印本arXiv：1710.06924，2017。5[25] Pramuditha Perera、Vlad I Morariu、Rajiv Jain、Varun Man-junatha 、 Curtis Wigington 、 VicenteOrdonez和Vishal M Patel。开集识别的生成-判别特征表示。在IEEE Conf. Comput.目视模式识别，第11814-11823页，2020。3[26] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。在高级神经信息。过程系统，2015年。1[27] Kate Saenko Brian Kulis Mario Fritz 和 TrevorDarrell使视觉类别模型适应新领域。以Eur.确认补偿目视，2010年。二、五[28] Kuniaki Saito ， Donghyun Kim ， Stan Sclaroff ，and Kate Saenko.通过自我监督进行通用域适应。arXiv预印本arXiv：2002.07953，2020。一、二、五、六、八[29] Kuniaki Saito 、 Shohei Yamamoto 、 YoshitakaUshiku和Tatsuya Harada。通过反向传播的开集域自适应。以Eur.确认补偿目视，2018年。一、二、五、八[30] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络。arXiv，2014. 一、五[31] 德智勋，穆尚宇，郑钟宪，申振宇。 C
我的内容管理
展开
