通用域自适应网络（UAN）解决视觉任务中的通用域自适应问题

2720通用域适配尤凯超1，龙明生1，曹章杰1，王建民1，迈克尔I。 约旦21 KLiss，MoE; BNRist;清华大学软件学院1清华大学大数据研究中心1工业大数据系统及应用2美国加州大学伯克利分校youkaichao@gmail.com，{mingsheng，jimwang}@tsinghua.edu.cn，jordan@cs.berkeley.edu摘要领域适应的目的是在存在领域差距的情况下转移知识。现有的领域自适应方法依赖于对源域和目标域标签集之间关系的丰富先验知识，这极大地限制了它们在野外的应用本文介绍了一种不需要标签集先验知识的通用域自适应算法（UDA）对于给定的源标签集和目标标签集，它们可以分别包含公共标签集和保持私有标签集，从而带来附加的类别间隙。UDA要求模型（1）如果目标样品与共同标记集中的标记相关联，则正确地分类目标样品，或者（2）否则将其标记为更重要的是，UDA模型应该针对广泛的共性（公共标签集在完整标签集上的比例）稳定地工作，以便它可以处理具有未知目标标签集的现实问题为了解决通用域自适应问题，我们提出了通用自适应网络（UAN）。它量化了样本级的可传递性，以发现公共标签集和每个域私有的标签集，从而促进自动发现的公共标签集中的自适应，并成功地识别一个彻底的评估表明，UAN优于国家的最先进的闭集，部分和开集域自适应方法在新的UDA设置。1. 介绍深度学习推动了计算机视觉的进步，并提高了各种视觉任务的最新性能，例如图像分类[13]，对象检测[30]和语义分割[12]。然而，深度学习算法的显著效果高度依赖于大量的标记训练数据，这需要繁琐的劳动力工作来收集标记数据。鉴于大规模的闭集DA偏DA开放集DA（Busto等人， 2017）开放集DA（Saito等人， 2018）通用DA？源域标签集目标域标签集图1.通用域自适应（UDA）和关于源域和目标域的标签集的现有域自适应设置（蓝色阴影表示共享标签）。只有UDA能够处理目标域的标签集未知的情况由于没有标记数据集，通常禁止注释足够的训练数据，以便我们可以训练一个泛化良好的深度学习模型。另一种方法是利用来自相关域（源域）的现成标记数据来改进感兴趣域（目标域）的模型与源域相比，目标域可能包含由不同传感器从不同视角或在不同照明条件下收集的数据，导致大的域间隙。域自适应[33]旨在最小化域间隙，并成功地将在源域上训练的模型转移到目标域。现有的领域自适应方法通过学习领域不变特征表示，通过生成目标领域的特征/样本或通过生成域之间的样本来2721模型他们假设标签集在域之间是相同的，如图1所示（闭集域适应）。这个简化的场景集中在领域适应的基本问题，并为未来的研究提供了有见地的想法。最近的作品试图通过提出开集域自适应[28，35]和部分域自适应[2，45]来放松如图1所示，部分域自适应[2，45]要求源标签集包含目标标签集，而Busto等人。 [28]在两个域中引入了“未知”类，并假设两个域之间的公共类在训练阶段是已知的。Saito等人 [35]修改的开集域自适应删除了源未知类的数据，使得源标签集是目标标签集的子集。Luo等人。 [24]允许部分共享标签集，并需要目标域中的一些标记数据，其中目标标签集是已知的。这些工作构成了宝贵的进展，实际领域的适应。实际情况要复杂得多，这些假设很容易被违反。例如，来自不同数据集的标记的模型是容易访问的。但是，如果我们想认识野生动物，我们面临着两个挑战：（1）背景可能与训练数据中的背景偏离，导致较大的领域差距;（2）一些本地物种在训练数据中不存在，同时，由于训练数据过于多样化，部署环境中的动物物种可能无法覆盖所有训练物种，导致较大的类别差距。总之，在存在大的域间隙的情况下，源域和目标域之间的标签集如果源标签集足够大以包含目标标签集，则部分域自适应方法是不错的选择;如果源标签集包含在目标标签集中，或者公共类是已知的，则开集域自适应方法是良好的选择。然而，在一般情况下，我们不能选择合适的域自适应方法，因为没有关于目标域标签集的先验知识。为此，我们提出了一个广义的设置，称为通用域自适应（UDA）。在UDA中，给定一个已标记的源域，对于任何相关的目标域，不管它的标签集与源域的标签集有何不同，如果它属于源标签集中的任何类，我们都需要正确地分类它的样本“通用”一词UDA提出了两个主要的技术挑战，在野外设计领域适应模型。（1）由于我们对目标标签集一无所知，因此无法决定源域的哪一部分应该与目标域的哪一部分匹配。如果我们天真地匹配整个源域和整个目标域，不同标签集的不匹配将恶化模型。（2）模型应能够将目标样本标记为“未知”，不属于源标签集中的任何类由于这些类没有标记的训练数据，分类器无法区分它们的详细类别。为了解决通用域自适应问题，我们提出了通用自适应网络（UAN），它配备了一个新的标准来量化每个样本的可转移性该准则将每个样本的领域相似性和预测不确定性集成到样本级加权机制中。随着可转移性增强UAN模型中，来自源域和目标域之间的公共标签集的样本被自动检测和匹配，而来自目标私有标签集的目标样本本文的主要贡献是：(1) 我 们 引 入 了 一 个 更 实 用 的 通 用 域 自 适 应（UDA）设置，不施加任何先验知识的标签集的源和目标域。考虑到我们在无监督域自适应中无法访问目标标签，并且有时甚至不可能知道目标标签集，更不用说它如何与源标签集重叠，这一点很(2) 我们研究了现有的域自适应方法在各种UDA设置下的性能，包括闭集，部分和开集域自适应。方法在UDA中，针对特定设置进行定制并不能很好地工作。这突出表明需要一个对《未成年人发展协定》友好的模式。(3) 我们提出了通用自适应网络（UAN），这是一种端到端的解决方案，它利用每个样本的域相似性和预测不确定性来开发一种加权机制，用于发现共享的标签集。这两个领域，并促进共同的类适应。仿真结果表明，UAN在不同的UDA环境下都能稳定工作，性能优于现有方法.2. 相关工作我们在本节中简要回顾了最近的域自适应方法。根据域间标签集关系的约束，这些方法分为闭集域自适应、部分域自适应和开集域自适应。2.1.闭集域自适应闭集域自适应侧重于减轻源域和目标域之间的域间隙的影响。闭集域自适应的解决方案主要分为两类：特征自适应和生成模型。特征自适应方法通过最小化特征分布上定义良好的统计距离来减少源域和目标域之间的特征分布差异早期的浅层适应方法[33，7，27，5，46，42]通常为开发现代深层适应方法[38，21，6，11，39，23，37，34，22]提供见解，而其他方法2722我|St| st深度自适应方法进一步探索架构设计[19，43，36，26，20，41，16，47，25，4，18]。Tzeng等人[38]和Long等人。 [21]首先提出最小化跨域深度特征的最大平均离散度（MMD）。Long等人。 [23]进一步利用残差传输结构，并在目标数据上引入熵最小化。Zellinger等人 [44]通过优化中心矩离散（CMD）实现分布对齐。Haeusser等人 [11]构造了一个二分图来强制集群内的特征分布对齐。Bhushan等人。 [1]通过最小化分布之间的地球移动器距离（EMD）来实现域适应。同时，随着生成对抗网[8]在图像合成方面取得的重大进展，提出了通过生成模型匹配特征分布的方法。它们学习一个域分类器来区分来自源域和目标域的特征，并迫使特征提取器在对抗学习范式中混淆域分类器[6，39，37]。基于生成模型的方法将标记的目标样本合成为数据增强和匹配域，ATI算法将目标样本映射到源类别，然后训练SVM进行最终分类。 Saito等 [35]通过不需要源私有标签集的数据来修改开集域自适应，并通过添加显式的“未知”类来扩展源分类器，并在类之间对抗地训练它。这些方法通过在预先已知公共类时丢弃“未知”类来解决域间隙。虽然局限于更广义的设置，他们揭示了设计实用的域适应模型。3. 通用域适配在本节中，我们正式介绍了通用域自适应（UDA）设置，并通过一个新的通用自适应网络（UAN）来解决它3.1.问题设置在通用域适配（UDA）中，源域Ds={（xs，ys）}，由ns个标记样本和a我我像素和特征水平[19，36，16，20，26，17，41]。随着Cycle-Consistent Generative Adversarial Network [48]在图像翻译中的令人印象深刻的结果，最近研究了基于CycleGAN的域自适应方法[15，32]。这些方法通常使用CycleGAN将源图像转换为目标图像，反之亦然，然后分别使用源图像和转换后的图像训练每个域的分类器闭集域自适应的尝试集中于解决分布匹配中的基本问题，并为域自适应的扩展提供了坚实的基础。2.2. 部分域自适应大数据的存在引起了部分域适应（PDA）[2，45，3]，它将学习者从一个大的源域转移到一个小的目标域。源域的标签集应该足够大以包含目标标签集。 为了解决部分域自适应，Cao et al. [2]利用具有类级和实例级加权机制的多个域鉴别器来实现每类对抗分布匹配。 Zhang等人 [45]建立一个辅助域，以量化在 训 练 时 提 供 n t 个 未 标 记 样 本 的 目 标 域Dt={（xt）}。请注意，源数据是采样的而目标数据来自分布q。我们用Cs表示源域的标签集，用Ct表示目标域的标签集C=Cs<$Ct是两个域共享的公共Cs=Cs\ C和Ct=Ct\ C分别表示源域和目标域私有的标签集pCs和pC分别用于表示具有标签集Cs和C中的标签的源数据的分布，并且qCt，qC分别用于具有标签集Ct，C中的标签的目标分布请注意，目标数据是完全未标记的，并且目标标签集（在训练）仅用于定义UDA问题。我们将两个域之间的共性定义为两个标签集的Jaccard距离：ξ=| CsCt|. 闭集域自适应是UDA的一种特殊情况，当k=1时。企业规模越小，知识共享程度越低，适应难度越大。UDA的任务是设计一个模型，该模型不知道可扩展性，但在广泛的可扩展性上工作良好。 它必须能够区分来自C的目标数据和来自Ct的目标数据，以及学习分类模型f以最小化目标源样本与目标域相似的概率。 Cao等人 [3]通过仅使用一个对抗网络并联合应用类级在共同标签集中的风险，即minE（x，y）<$qC[f（x）]3.2.技术挑战y]。对源分类器进行加权。部分领域自适应的努力推动研究领域适应问题走向更实际的设置。2.3. 开集域适配Busto等人 [28]提出了开集域自适应（OSDA），如图1所示。两个域私有的类被统一为他们使用在UDA中，出现了一个新的挑战，即两个领域之间的类别差距。类别差距的根源在于标签集的差异。如果我们天真地选择任何现有的闭集域自适应方法来解决UDA，则Cs中的源数据可能与目标数据匹配Ct。这种盲目对准是有问题的，因为它们的标签集没有重叠（CsCt=），强制匹配它们将导致许多目标专用数据2723GFzD'GFzD'D′培训阶段测试阶段EG^y^yws，wtargmax^yxd^'D^EDxwtED'D^未知conv层fc层损耗计算流程加权机制图2.为通用域自适应（UDA）设计的通用自适应网络（UAN）的训练和测试阶段在C中被预测为类，而它们应该被标记为“未知”。 如果我们转向局部或局部的定制方法，开集域自适应，我们必须面对的事实，Cs和Ct之间的关系是未知的。在缺少关于C、Cs和Ct的配置的情况下，很难在定制的域自适应方法中做出选择。因此，在本发明中，我们需要从C语言中自动识别源数据和目标数据，这样就可以在自动发现的公共标签集中进行特征对齐尽管存在类别差距，但领域差距仍然存在，D的目标是反向匹配的特征分布落入公共标签集C中的源数据和目标数据（注意，我们需要一种机制来检测公共标签集）。EG、ED′和ED分别表示标签分类器G、非对抗域ED′和对抗域E D ′domainEG=E（x，y）<$pL（y，G（F（x）（1）ED′=−ExplogD（F（x））UDA设置，即中的源数据和目标数据之间的-ExEqlog. 1−D′（F（x））Σ（2）公共标签集。 换句话说，pq和pC/=qC。ED=−Expws（x）logD（F（x））应应用域自适应来调整分布在公共标签集合C中的源数据和目标数据。UDA的另一个挑战是检测班 在实践中，置信度阈值，这标志着具有低分类置信度的样本为经常使用。尽管如此，这种简单的方法可能会在通用域自适应中失败，因为神经网络的预测通常过于自信[10]，但由于潜在的域间隙而缺乏区分力。3.3. 通用适应网络我们提出了通用适应网络（UAN）来解决UDA问题。如图2所示，UAN的架构由特征提取器F、对抗域CIDD、非对抗域描述器F、非对抗域描述器D和非对抗域描述器D组成natorD′和标签分类器G.从任一域输入x-Exqwt（x）log（1−D（F（x）（3）其中L是标准交叉熵损失，ws（x）指示源样本x属于公共标签集C的概率，并且类似地，wt（x）指示目标样本x属于公共标签集C的概率。C.关于ws（x）和wt（x）的细节将在下一小节中详细阐述。通过良好建立的权重ws（x）和wt（x），对抗域WMD被限制为区分公共标签集合C中的源数据和目标数据。相反，特征提取器F努力混淆D，从而在公共标签集合C中产生域不变特征。在这些特征上训练的标签分类器G可以安全地应用于目标域。UAN的训练可以写成一个极大极小博弈：max minEG−λED被馈送到特征提取器F中。所提取的特征DF、G（四）z= F（x）被转发到标签分类器G中，以获得x在源类别Cs上的概率y=G（z）。非对抗域D′获得域相似性d′=D′（z），量化x与源域的相似性对抗域最小ED′D′其中λ是在可转移性和可辨别性之间进行权衡的超参没有wtw0？是的2724数。我们利用Ganin等人提出的成熟的梯度反转层。[6]逆转2725不不CCSF和D之间的梯度，以优化端到端培训框架中的所有模块。UAN的测试阶段如图2的右图所示。给定每个输入目标样本x，其在源标签集Cs上的分类预测y∈（x），以及域标准在半监督学习和域自适应[9，23]，以执行决策边界在未标记的数据通过低密度区域。原则上，熵量化了预测的不确定性，较小的熵意味着更有信心的预测Wehypothesize：ExqCH（y）>预测dt′（x），我们使用等式计算wt（x）（8）（详情ExCH（y）>ExxpCH（y）>ExxpCsH（y）。在下一节）。 对于有效的阈值w0，类y（x）可以通过对y∈（x）w进行阈值化来预测。r.t. w0：.未知wt w0由于源域已标记，目标域未标记，预测对于源样本是确定的，对于目标样本是不确定的，ExqCH（y），ExqCH（y）>y（x）=argmax（y轴）wt≥w（五）ExpCH（y），ExpC H（y）。0其或者拒绝目标样本X作为“未知”类，3.4. 可转移性标准在本节中，我们进一步详细说明如何通过样本级可传递性准则计算权重ws=ws（x）和wt=wt（x）通过适当的样本级传递能力准则，可以对源域和目标域中的每个点进行加权，使得源域和目标域中的源分布和目标分布都可以被加权。可以最大限度地对齐公共标签集合C中的get数据此外，来自目标私有标签集合Ct的数据可以在样本级特征的帮助下被识别并标记为来自qC和pC的相似样本可以相互吸引因此，来自pC的样本的熵变得更大，因为它们受到来自qC的高熵样本的影响。尽管如此，由于Cs与Ct没有交集，来自pCs的样本不受目标数据的影响，并保持最高的certaint y。 因此，我们假设ExpCH （y）>ExpCsH（y）。类似地，Ct与Cs没有交集（数据来自qCt不属于C中的任何类），因此假设Ex<$qCtH（y）>Ex<$qCH（y）是合理的。通过上述分析，用于源数据点和目标数据点的准则可以分别定义为等式（Eq.（7）和等式（八）、H（y）可转移性标准因此，一个完善的样本水平的可转移性标准应满足方程。（六）：ws（x）=日志|Cs|-d′（x）（7）Expws（x）>Expws（x）Swt（x）=d′（x）−H（y）（八）ExCwt（x）>ExqCt wt（x）（6）日志|Cs|请注意，熵由其最大值这些不平等应保持在一个不可忽视的范围内。现在，我们需要构建样本级的可转移性标准。我们首先列出我们手头上关于每个输入的信息x：y，d，d′。 由于D在adversarial训练中是无效的并且因此是被愚弄的，所以它的输出数 据 不 具有足够的辨别力。We从而分析了y_n和d_n′的性质域相似性。由方程式（2），D ′的目标是预测来自源域的样本为1，并且预测来自目标域的样本为0。因此，d′可以被看作是对于每个样本的域相似性。对于源样本，较小的d′意味着它与目标域更相似;对于目标样本，较大的d′意味着它与源域更相似因此，我们可以假设（日志|Cs|），使它被限制在[0，1]和可比到域相似性度量d′。此外，权重在训练期间被归一化为区间[0，1]提出的通用自适应网络（UAN）利用样本级的可传递性准则，将C，Cs中的源数据和C，Ct中的目标数据分开。因此，类别差距缩小。通过在共享标签集合C中的域之间对齐特征，也减小了域间隙。4. 实验为了进行全面的评估，我们将UAN与针对各种领域适应的最先进方法进行了′ˆ′ˆ′ExpCd>ExpCd >ExqCd >Exqd′。多个数据集上各种UDA设置下的设置由于D′的性质，不等式Ex ≠pd′，ExpCd′>对于不同的反射率，|CsCt|、Ct和Cs。 然后，我们探索Ed′，ECsD自然是有的。由于p和q分享关于温度变化的性能，|CsC2Ct|SCt2726CtSC、xqCxqCtC CCt和Cs。 我们进一步提供全面的分析，相同的标签集，pC与qCt相比更接近qC，并且因此，假设Expd>ExpCd是合理的。的同样的观察也适用于ExqCd′>Exqd′。不确定性。预测y*包含关于输入的判别信息，但它仅在由标记数据保证的源域中是可靠为了充分利用未标记的数据，熵最小化被用作一种超参数敏感性和样本级可传递性准则的质量。代码和数据将在github.com/thuml上提供。4.1. 实验装置在本小节中，我们描述了数据集，评估协议和实施细节。2727表1.通用领域适应任务在ESP-Home上的平均分类准确率（%）（ESP-Home = 0. 15）数据集（ResNet）方法二-首页Ar→ Cl Ar→ Pr Ar→ Rw Cl→ Ar Cl→ Pr Cl→ Rw Pr→ Ar Pr→ Cl Pr→ Rw Rw→ Ar Rw→ Cl Rw→ Pr AvgResNet [13]59.3776.5887.4869.8671.1181.6673.7256.3086.0778.6859.2278.5973.22DANN [6]56.1781.7286.8768.6773.3883.7669.9256.8485.8079.4157.2678.2673.17[23]第二十三话50.4677.8086.9065.1273.4085.0767.8645.2385.5079.2055.5578.7970.91IWAN [45]52.5581.4086.5170.5870.9985.2974.8857.3385.0777.4859.6578.9173.39PADA [45]39.5869.3776.2662.5767.3977.4748.3935.7979.6075.9444.5078.1062.91[第28话]52.9080.3785.9171.0872.4184.3974.2857.8485.6176.0660.1778.4273.29OSBP [35]47.7560.9076.7859.2361.5874.3361.6744.5079.3170.5954.9575.1863.90UAN w/o d61.6081.8687.6774.5273.5984.8873.6557.3786.6181.5862.1579.1475.39UAN，无56.6377.5187.6171.9669.0883.1871.4056.1084.2479.2760.5978.3572.91UAN63.0082.8387.8576.8878.7085.3678.2258.5986.8083.3763.1779.4377.02表2.Office-31上的平均分类准确率（%）（= 0. 32），ImageNet-Caltech（= 0. 07）和VisDA 2017（λ = 0. 50）（ResNet）方法A →WD →WW →D办公室-31A →DD →AW →AAvgVisDAI →C C →IResNet [13]75.9489.6090.9180.4578.8381.4282.8670.2865.1452.80DANN [6]80.6580.9488.0782.6774.8283.5481.7871.3766.5452.94[23]第二十三话85.7087.8088.9182.6974.6483.2684.1871.9466.1553.92IWAN [45]85.2590.0990.0084.2784.2286.2586.6872.1966.4858.72PADA [45]85.3779.2690.9181.6855.3282.6179.1965.4758.7344.98[第28话]79.3892.6090.0884.4078.8581.5784.4871.5967.3654.81OSBP [35]66.1373.5785.6272.9247.3560.4867.6862.0855.4830.26UAN85.6294.7797.9986.5085.4585.1289.2475.2870.1760.834.1.1数据集Office-31[33]实际上用于视觉领域适应，在3个视觉上不同的领域（A，D，W）中有31个类别。我们使用Office-31和Caltech-256[7]共享的10个类作为公共标签集C，然后按照字母顺序，接下来的10个类作为Cs，重置后的11个类作为Ct。这里，= 0。三十二EQUIP-Home[40]是一个更大的数据集，包含4个不同领域的65个对象类别：艺术图像（Ar），剪贴画图像（Cl），产品图像（Pr）和真实世界图像（Rw）。按照字母顺序，我们使用前10个类作为C，接下来的5个类作为Cs，其余的作为Ct。这里，= 0。十五岁VisDA 2017[29]数据集侧重于特殊的域适应设置（模拟到真实）。 源域由游戏引擎生成的图像组成，目标域由真实世界的图像组成。这个数据集中有12个类我们使用前6个类作为C，接下来的3个类类为Cs，其余类为Ct。 这里，= 0。50块ImageNet-Caltech是从ImageNet-1K构建的，有1000个类，Caltech-256有256个类。与文献[2，3]一样，我们使用两个域共享的84个公共类作为公共标签集C，并分别使用它们的私有类作为私有标签集这个数据集nat-通常属于通用域适应范式。我们形成了两个通用的域适应任务：I→C和C→I。这里，= 0。07.这些数据集设置既符合现有配置[2，3，35，28]，又覆盖尽可能多的通用性级别，因为所有通用性组合的蛮力评估，|CsCt|，Ct和Cs是不可接受的。4.1.2评价详情比较方法。我们将所提出的UAN与（1）卷积神经网络进行比较：ResNet [13]，（2）闭集域自适应方法：域对抗神经网络（DANN）[6]，残差传递网络（RTN）[23]，（3）部分域自适应方法：重要性加权对抗网（IWAN）[45]，部分对抗域自适应（PADA）[3]，（4）开集主适应方法：分配和变换迭代（ATI）[28]，开集反向传播（OSBP）[35]。这些方法在其各自的设置中是最先进的（比较ATI-λ，并如[28]中所述推导λ研究这些方法在实际UDA环境中的性能将是有价值的评 价 方 案 。 我 们 采 用 了 Visual Domain Adaptation（VisDA 2018）Open-Set Classification Challenge中的评估协议，其中目标私有标签集被视为一个统一的“未知”类，并且所有标签集的每类准确度的平均值都是未知的。|C|+1类是最终结果。我们扩展了现有的方法的置信阈值。在测试阶段，如果预测符合-2728ResNetDANNIwanOSBPUANUANResNetDANNIWANATI-λ精度907090808070706060500 5 10 15 20 21目标专用标签集的大小(a) 准确度w.r.t. |Ct|5031 25 20 15 10 5 0通用标签集的大小(b) 准确度w.r.t.|C|60-1。0- 0 八比零六比零4- 0。200w0(c) 对w0的敏感性图3.（a）相对于 |Ct|在任务A → D中，n = 0。三十二（b）相对于 |C|在任务A → D中。（c）相对于阈值W0.当置信度低于置信度阈值时，输入图像被分类为实施详情。在PyTorch中实现，ResNet-50 [13]用作骨干网络。模型是从在ImageNet上预训练的ResNet-50中微调的当计算方程中的y时，我们将温度[14]设置 为10。 （7）由于对源数据的预测通常过于确定，熵值较低。当应用于Eq。（3），ws，wt在小批量中被归一化为在区间[0，1]内。4.2. 分类结果分类结果分别示于表1和表2中。UAN在平均每类准确度方面特别是，我们有一些关键的意见。在实际的UDA设置中，特别是在困难的数据集上，大多数现有方法的性能与ResNet相似甚至更差，这表明现有方法在UDA设置中容易出现负迁移，这意味着它们的性能比仅在源数据上训练而没有任何适应的模型更差。例如，图4（a）显示了与任务Ar→Cl上的ResNet。我们发现，在大多数班级中，DANN、IWAN和OSBP都存在负迁移现象，只能促进少数班级的适应。只有UAN促进所有班级的积极迁移。在这些不同的设置中，UAN优于所有提到的方法。这是因为UAN具有精心设计的样本级可转移性标准。它过滤掉来自特征对齐的Ct和Cs现有的置信度阈值方法。现有的方法在假设成立时表现良好，但在违反假设时表现较差以OSBP为例，如果手动删除源私有类（由于目标标签未知，因此操作无效），其准确率为89。1%的Office-31;然而，如果保持源私有类（违背其假设），则其准确性下降到67。百分之六十八由于UDA违背了以往开集DA方法的假设，所以其精度急剧下降4.3. 不同UDA设置Ct和Cs的大小变化。具有固定|CsCt|在Office- 31数据集上，通过对任务A → D的测试，考察了上述方法在不同规模的Ct（Cs也相应变化）下的通用领域自适应性能。如图3（a）所示，UAN在大多数Ct大小上优于所有比较方法。特别是当|Ct|=0，这是部分域自适应设置与CtCs，UAN的性能是可比的IWAN的性能。当|Ct|=21，这是具有C s C t的开集域自适应设置，UAN的性能与OSBP的性能相当。IWAN和OSBP都利用了标签集的先验知识，并设计了利用这些知识的模块然而，UAN仍然可以在他们的专业领域赶上他们。设置，表明UAN对不同大小的Ct和Cs是有效的和鲁棒的。在0和21的中间，其中Cs和Ct部分共享，UAN优于其他方法，具有较大的裕度。UAN可以产生令人印象深刻的结果，关于目标标签集的任何先验知识。图3（a）中的总趋势是，当|变得更大。|becomes larger. 这是很自然的，因为|Ct|意味着更小|Cs|并且对标签分类器的干扰更少。改变通用标签集C的大小。我们通过改变C的大小来探索通用域适应的另一个维度。这是在任务A的Office-31数据集中完成的→D.这里|C|+的|Ct|+的|Cs|=31。 为了简单起见，我们让|为|Cs| +1和变化|C|从0到31|from 0 to 31. 图3（b）显示了这些方法的准确性，|C|'s. 当|= 0时，源域和目标域在标签集上没有重叠，即|C t Cs =。Ct∩ Cs= ∅.我们观察到，UAN大大优于所有比较的方法，这是因为它们都假设在源域和目标域之间存在某个公共标签集，并且当所有目标样本都在私有标签集Ct中时不能很好地过滤掉目标样本。当|C|=31，这是闭集域自适应设置与Cs=Ct，我们看到，每-UAN的性能与DANN的性能相当这表明，ResNetDANNIwanOSBPUAN精度精度2729100-10-20-30100-10-20-30100-10-20-30100-10-20-300 1 2 3 4 5 6 7 8 9类−1 01−1 0 1(a)UDA中的负迁移（b）假设质量（蓝色为公共，黑色为私人）图4. (a)UDA中的负迁移影响（任务Ar→Cl）。(b)第3.4节中假设有效性的依据。UAN保留有用的样本，并且不影响闭集域自适应设置上 的性 能 。 注意 当 |C| 随着时 间的 推 移 ， DANN 和IWAN的性能急剧下降，只有UAN能稳定工作。4.4. 通用自适应网络分析消融研究。我们深入到建议的样本水平的可转移性标准的有效性进行消融研究，评估变异的UAN。(1)UAN w/o d是没有将域相似性集成到等式中的样本级可转移性标准中的变体。（7）和等式（2）UAN w/o y是未将不确定性标准整合到等式（8）中的样本水平可转移性标准中（7）和等式（八）、结果显示在表1的底行中。UAN的性能优于UAN w/o d和UAN w/o y，说明定义ws（x），wt（x）中的领域相似性成分和不确定性判据成分都是重要和必要的.此外，UAN w/o d的性能优于UAN w/o y，这意味着将不确定性标准集成到样本级可转移性标准中更为关键。假设依据。为了证明第3.4节中假设的有效性，我们在图4（b）中绘制了等式中权重ws（x）的不同分量的估 计 概 率 密 度 函 数 （ 7 ） 和 等 式 中 的 wt （ x ） 。（八）、结果表明，所有的假设是成功的证明，解释为什么UAN可以在各种UDA设置表现良好另一个观察是，不确定性标准和域相似性本身可以用来区分所有的例子从公共标签集和私有标签集。通过结合这两个组成部分，我们可以得到更有区别的可转移性标准。阈值灵敏度。我们探讨了任务I→C中UAN对阈值w0的敏感性。如图3（c）所示，尽管UANw.r.t. w0，它始终优于其他方法，在宽范围的w0.请注意，基线是完全调整的，这里比较了它们的最佳精度。5. 结论在本文中，我们介绍了一种新的通用域自适应（UDA）设置，其中不需要先验知识的标签集域之间的关系。我们提出了通用自适应网络（UAN）与一个精心设计的样本级的可转移性标准，以解决UDA。一个彻底的评估表明，现有的方法需要先验知识的标签集的关系不能很好地工作在一般的UDA设置，而建议的UAN工作稳定，并取得了最先进的结果。在实践中，如果想要将模型推广到新的场景，所提出的UAN可以是一个很好的候选模型。如果UAN将大多数示例分类为另一方面，如果UAN可以为大多数示例生成标签，则不需要为这种场景收集标签，并且域适配将执行该工作。也就是说，当我们遇到新的领域适应场景时，UAN可以作为试点确认本课题得到了国家重点研究发展计划（2005年）的资 助 。 2017YFC1502003 ） 和 国 家 自 然 科 学 基 金（61772299、71690231、61672313）。OSBPUANDANNIwan领域相似性转让性不确定源目标2730引用[1] B. Bhushan Damodaran，B.凯伦贝格尔河弗拉马里D. Tuia和N.库尔蒂Deepjdot：用于无监督域自适应的深度联合分布优化传输。在ECCV，2018年9月。[2] Z. Cao，M. Long，J. Wang，and M. I.约旦.选择性对抗网络的部分迁移学习。在CVPR，2018年6月。[3] Z.曹湖，加-地妈，M。Long和J.王.部分对抗域自适应。在ECCV，第135-150页，2018年。[4] Q. Chen，Y. Liu，Z.王岛，澳-地Wassell和K.切蒂用于非监督域自适应的重加权对抗自适应网络。在CVPR中，第7976- 7985页[5] L. 杜 安 岛 W. Tsang ， 和 D. 徐 域 转 移 多 核 学习.TPAMI，34（3）：465[6] Y. 加宁 E. 乌斯季诺娃， H. 阿贾坎 P·杰曼H. Larochelle，F.拉维奥莱特M Marchand和V。S.Lempitsky 神经网络的领 域对抗训练。JMLR ，17：59：1[7] B.贡，Y. Shi，F. Sha和K.格劳曼用于无监督域适应的测地线流核。CVPR，2012。[8] I. Goodfellow，J.普热-阿巴迪米尔扎湾，澳-地许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成性对抗网。在NeurIPS，第2672- 2680页[9] Y. Grandvalet和Y.本吉奥。基于熵最小化的半监督NeurIPS，第529-536页，2004年[10] C. Guo，G. Pleiss，Y. Sun和K. Q.温伯格现代神经网络的校准国际机器学习会议，第1321[11] P. Haeusser，T.Frerix，A.Mordvintsev和D.克莱姆斯关联域自适应。在ICCV，第2卷，第6页，2017年。[12] K.他，G.吉基奥萨里山口多拉尔河和娘娘腔。面具R-CNN。ICCV，第2980-2988页。IEEE，2017年。[13] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在CVPR，2016年。[14] G. Hinton，O. Vinyals和J. Dean.在神经网络中提取知识。[15] J·霍夫曼 E. 曾先生 T. 朴 J. Zhu，P. Isola，K. Saenko，A.A. Efros和T.达雷尔。苏铁：周期一致的对抗域适应.在ICML，第1994-2003页[16] L. Hu，M. Kan，S. Shan和X.尘用于无监督域自适应的双重生成对抗网络。在CVPR，2018年6月。[17] S.- W.黄角，澳-地T.林，S.-陈平，Y.- Y. Wu，P. -H. Hsu和S.- H. Lai. Auggan：跨域自适应与基于gan的数据增强。ECCV，2018年9月。[18] G.康湖，澳-地Zheng，Y.郑氏，中国科学院植物研究所所长。Yan和Y.杨无监督领域自适应的深度对抗性注意力对齐：目标期望最大化的好处在ECCV，2018年9月。[19] B. Konstantinos ， S.Nathan ， D.David ， E. 杜 米 特鲁，以及K. 迪利普无监督在CVPR中，第95-104页[20] Y.-- C. 刘玉-Y. 是的TC. 傅，S.-D. 王维C. Chiu和Y.- C.弗兰克·王。分离并调整：学习跨域解纠缠的深度表征。在CVPR，2018年6月。[21] M. 隆岛，澳-地Cao，J.Wang和M.I. 约旦. 使用深度适应网络学习可转移特征ICML，2015。[22] M.朗，Z. Cao、J.Wang和M. I.约旦.条件域对抗网络。NeurIPS，2018。[23] M.龙，H. Zhu，J.Wang和M. I.约旦.无监督域自适应残差传输网络。NeurIPS，第136-144页，2016年[24] Z. Luo，Y.Zou，J.Hoffman和L.F. 飞飞跨领域和跨任务的可转移表示的标签有效学习。在NeurIPS，第165[25] F. 玛丽亚·卡卢奇湖波尔齐湾Caputo、E.里奇和S. 罗 塔 布 洛 自 动 拨 号 ： 自 动 域 对 齐 图 层 。InICCV，Oct 2017.[26] Z. Murez，S. Kolouri、D.克里格曼河Ramamoorthi和K. Kim. 用于域适应的图像到图像转换。在CVPR，2018年6月。[27] S.潘岛W.曾俊泰Kwok和Q.