领域适应中的示例传输网络ETN和部分域自适应的研究

2985学习转移部分域适应的示例曹章杰1例，尤凯超1例，龙明生1例，王健民1例，杨强2例，KLiss，MoE; BNRist;清华大学软件学院1清华大学大数据研究中心1工业大数据系统及应用2香港科技大学{caozhangjie14，youkaichao}@gmail.com，{mingsheng，jimwang}@tsinghua.edu.cn摘要领域适应对于在新的和未知的环境中学习至关重要通过领域对抗训练，深度网络可以学习解纠缠和可转移的特征，这些特征可以有效地减少数据集在源和目标领域之间的转移，在大数据时代，大规模的标记数据集很容易获得，刺激了部分域自适应（PDA）的兴趣它将标准的域适应扩展到目标标签只是源标签的子集的场景。在目标标签未知的情况下，如何迁移共享类中的相关样例以促进正迁移，如何忽略源域中的无关样例以减少负迁移，是PDA的关键挑战。在这项工作中，我们提出了一个统一的方法PDA，示例传输网络（ETN），它联合学习跨域的域不变表示和渐进加权负迁移正+++正+++++++ETN转账+++++++正++计划量化源代码的可移植性在几个基准数据集上的全面评估表明，ETN在各种部分域自适应任务中始终达到最先进的结果。1. 介绍深度神经网络显著提高了各种机器学习问题[13，15]和应用[11，20，30]的最新性能。深度神经网络的一个共同先决条件是丰富的标记数据来训练高容量模型，使其具有足够的泛化能力。由于数据注释的巨大成本，这种丰富的监督在现实世界的应用程序中通常是禁止的。因此，为了降低标记成本，强烈需要开发能够利用丰富的标记的通用算法。按字母顺序，+源目标图1.部分域自适应（PDA）是一种广义的域自适应设置，其中源标签空间包含目标标签空间。PDA的技术挑战在于由离群源类（在这种情况下为“+”）引起的内在负转移提出的示例转移网络（ETN）设计了一个加权方案来量化源示例的可转移性，并且只转移与目标域相关的源示例（紫色圆圈和橙色三角形），消除离群源示例（绿色阴影）。源域和目标域分别用红色和蓝色圆圈表示。最好用彩色观看。来自相关源域的数据。然而，这种领域适应范式受到不同领域下的数据集转移的阻碍，这形成了使类别模型适应新目标任务的主要瓶颈[29，36]。正+ + +++++++++++2986现有的领域自适应方法的主要路线通过在没有目标标签的情况下学习领域不变特征表示来桥接不同的领域，即，无监督域自适应。现有方法假设源和目标域共享相同的类标签集合[32，12]，这对于将源训练的分类器直接应用于目标域至关重要。深度学习的最新研究表明，深度网络可以解开域背后变化的解释因素[8，42]，从而学习更多可转移的特征，以显着提高域适应性。这些深域自适应方法通常嵌入分布匹配模块 ， 包 括 矩 匹 配 [38 ， 21 ， 22 ， 23] 和 adversar-matching。ial训练[10，39，37，24，17]，进入深度架构，用于可转移表示的端到端学习。虽然现有的方法可以减少特征级域移位，但它们假设跨域的标签空间是相同的。在现实世界的应用中，找到一个标签空间与目标数据集相同的相关数据集通常是困难的，而目标数据集通常是未标记的。一个更实际的场景是部分域自适应（PDA）[5，43，6]，它假设源标签空间是目标标签空间的超空间，放松了相同标签空间的约束。PDA使知识转移从一个大的领域的许多标签到一个小的领域的标签很少。随着大数据的出现，大规模的标记数据集，如ImageNet-1 K [31]和Google Open Images [19]，可以很容易地访问数据驱动的人工智能。这些存储库对于目标域的子类别几乎是通用的，使得PDA对许多应用程序都是可行的。PDA也可以在目标数据属于有限类别的情况下工作。例如，蛋白质的功能是有限的。可以收集已知蛋白质结构的大型数据库，其中包括所有功能。对于一个新物种来说，蛋白质具有不同的结构，但它们的功能都包含在数据库中。预测新物种的蛋白质功能属于PDA问题。作为标准域自适应的推广，部分域自适应更具挑战性：目标标签在训练时是未知的，并且必须存在许多对于目标任务无用的“离群”源类。图1直观地说明了这一技术挑战，目标类（如紫色的现有的域适应方法。结果，学习者将有害知识从源域迁移到目标域，从而产生负迁移。负迁移是应用领域适应技术的主要障碍[29]。因此，匹配整个源和目标域作为以前的方法[21，10]不是PDA问题的安全解决方案。我们需要开发足够通用的算法，以便从多类数据集（源代码）中传输有用的示例域）到少数类数据集（目标域），同时对不相关或离群的示例足够鲁棒。三种部分域自适应方法[5，43，6]通过对域对抗网络中的每个数据点进行加权来在减少不相关样本对领域对齐的影响的同时，它们并没有消除离群类对源分类器的负面影响此外，他们评估源样本的可转移性，而不考虑潜在的歧视性和多模态结构。因此，它们仍然很容易将离群源类和目标类的特征对齐，从而导致负迁移。为了实现部分域自适应的安全方法，我们提出了示例传输网络（ETN），它通过学习传输有用的示例来改进以前的工作[5，43，6]ETN基于源示例与目标领域的相似性，使用可转移性量化器自动评估源示例的可转移性，该可转移性量化器用于权衡它们对源分类器和领域分类器的贡献特别是，ETN通过进一步揭示可转移性量词的判别结构，提高了先前工作的权重质量[43]通过这种方法，可以更好地检测和过滤掉不相关的源示例。ETN相对于先前方法的另一个关键改进是能够同时将源分类器和领域对抗网络限制在自动发现的共享标签空间内，从而促进相关示例的正迁移并减轻不相关示例的负迁移综合实验表明，我们的模型在几个基准数据集上实现了最先进的结果，包括Office-31，E-Home，ImageNet-1 K和Caltech-256。2. 相关工作域自适应域自适应是迁移学习的一种特殊形式[29]，它将不同分布的域连接起来，以减轻机器学习[28，9，44，41]、计算机视觉的[32，12，16]和自然语言处理[7]。领域自适应的主要技术难点是形式化地减少不同领域之间的分布差异。深度网络可以学习抑制数据背后变化的解释性因素的表示[3]，并在不同人群中表现出不变因素这些不变因素使知识能够在相关领域转移[42]。深度网络已被广泛探索用于域自适应[27，16]，相对于浅域自适应方法产生显著的性能增益。虽然深度表示可以解开复杂的数据分布，但最近的进展表明，它们只能减少而不能消除跨域差异[38]。因此，深度学习本身不能限制泛化风险，2987i ii=1j j=1目标任务[25，1]。最近的工作桥接了深度学习和领域适应[38，21，10，39，22]。他们通过添加适应层将深度网络扩展到域适应，通过这些适应层，分布的高阶统计量显式匹配[38，21，22]，或者通过添加域匹配器来区分源域和目标域的特征，而这些特征是通过对抗学习来欺骗极小极大博弈中的匹配器[10，39]。部分域自适应虽然标准域自适应进展迅速，但仍然需要保证源域和目标域共享相同的标签空间。部分域自适应（PDA）是从多类模型中开放集域自适应（OSDA）[4，33]处理训练和测试数据来自不同分布和标签空间时OSDA方法通常假设源域和目标域共享的类在训练时是已知的与OSDA不同，在我们的场景中，目标类在训练时完全未知。有趣的是，在所有目标类都是未知的一般假设下，将我们的工作扩展到开集场景。3. 示例传输网络部分域自适应（PDA）[5]的场景构成源域Ds={（xs，ys）}ns ns标记的域到少数类域。有三个有价值的努力对PDA的问题。选择性对抗网络（SAN）[5]采用具有加权机制的多个对抗网络来选择离群值类中的源示例。部分对抗域适配[6]通过仅使用一个对抗域适配来相关示例|Cs|类和目标域Dt={xt}ntof n tunlabeled examples from |Ct|班注意，在PDA中，源域标签空间Cs是目标域标签空间Ct的超空间，即CsCt。 源域和目标域分别取自不同的概率分布p和q。除了pq作为标准域适应，我们进一步有网络，并进一步将类级权重添加到pCt 在部分域自适应，f=q，其中表示源分类器。 重要性加权对抗网（IWAN）[43]使用辅助域分类器（不参与域对抗训练）的Sigmoid输出来导出源示例属于目标域的概率，该概率用于在域对抗网络中对源示例进行这些开创性的方法在部分领域适应任务中比标准方法获得了显着的性能增益这些努力减轻了由离群源类引起的负迁移然而，由于离群值类仅被选择用于域鉴别器，因此源分类器仍然使用所有类进行训练[5]，其共享类的性能可能会被离群值类分散。此外，用于获得重要性权重的IWAN[43]的域划分仅基于特征表示来区分源域和目标域，而不利用源域中的判别信息这将导致非歧视性的重要性权重，以区分共享类与离群类。本文提出了一种实例迁移网络（ETN），该网络在源分类器上进一步降低离群类的无关实例的权重，并采用判别域分类器来量化实例的可迁移性。开集域自适应与域自适应一样，研究一直致力于开集识别，目标是在测试期间拒绝离群值，同时正确识别内点。开集SVM [18]训练概率SVM并通过阈值拒绝未知样本。开集神经网络[2]通过引入OpenMax层将深度神经网络推广到开集识别，该层估计来自未知类的输入的概率并通过阈值拒绝未知点源域数据在标签空间Ct中的分布。PDA的目标是学习一个深度网络，该网络能够对可转移特征提取器Gf进行端到端训练以及自适应分类器Gy，其充分接近跨域的分布差异，并且限制目标风险Pr（x，y）=q[Gy（Gf（x））/= y]。如果直接使用-将用标准域自适应方法训练的源分类器Gy 训练到目标域。在部分域自适应中，难以识别源标签空间Cs的哪一部分与目标标签空间Ct共享。因为目标域是完全未标记的，并且Ct未知在训练阶段。在这种情况下，大多数现有的深域自适应方法[21，10，39，22]倾向于负转移，这是一种退化的情况，其中具有自适应的分类器比没有自适应的分类器执行得更差。负迁移的发生是因为他们假设源域和目标域具有相同的标签空间，并且匹配整个分布p和q，即使pCs\Ct和q是不重叠的，原则上不能匹配。因此，减少离群标签空间Cs\Ct中源示例的负面影响是减轻部分域适应中负迁移的关键此外，我们还需要减少pCt和q上的分布移动，以增强共享标签空间Ct中的正迁移。请注意，不相关的源示例可能会出现从离群类和共享类，从而需要一个通用的算法来识别它们。3.1. 可转移性加权框架域自适应的关键技术问题是减少源域和目标域之间的分布偏移。域对抗网络[10，39]解决了这个问题2988JJX我我我JΣIaJGyGy~GD~WGFGD图2.用于部分域适应的示例转移网络（ETN），其中Gf是特征提取器，Gy是源分类器，Gd是用于域对齐的域匹配（在自适应训练中被优化）;Gd是量化每个源示例的可转移性w的辅助域匹配（在自适应训练中被优化），并且Gy是辅助标签预测器，其将区分信息编码到辅助域匹配Gd。蓝色的模块是本文新设计的。最好的颜色。在一个两人极大极小博弈中学习可转移特征的问题：第一参与者是被训练以区分源域的特征表示与目标域的特征表示的域匹配器Gd，并且第二参与者是被同时训练以欺骗域匹配器的特征提取器Gf。具体地，在最小max优化过程中学习域不变特征f：通过最大化损失来训练特征提取器Gf的参数θf而域的参数θd通过最小化域的损失来训练。请注意，我们的目标是学习一个源分类器，它可以转移到目标，因此增加其对最终模型的贡献，以增强正迁移;否则，我们应该减少其对减轻负迁移的贡献。IWAN [43]，部分域自适应的先前工作，重新权衡了域丢失的源示例。我们进一步将权重放在源分类器Gy的损失中。这大大增强了我们减少使最终模型恶化的不相关源示例的能力。此外，目标标签的未知性会使共享类的识别变得困难，从而使部分域自适应变得更加困难。因此，我们认为，利用半监督学习的未标记的目标样本也是必不可少的。我们利用熵源分类器Gy的损失也被最小化。这导致最小化原理[14]。让你=Gy（Gf（xt））∈在[10]中提出的优化问题：R|Cs|本文通过对工程损失的分析，提出了工程损失的量化方法。eu n.确定的; intyfaE（θ，θ，θ）=1 Σ L（G（G（x）、y）目标示例ΣGyGft=fy dn2016年10月25日-|Cs|于特我知道了。sxi ∈Dsc=1j，cj，c-1Ld（Gd（Gf（xi）），di），nax∈D（一）可转移性加权框架如图所示ure2.通过加权源分类器Gy的损失，和使用可转移性的域其中Da= DsDt是源域和目标域的并集，n a= |Da|，di是域标签，L y和L dw（xs），并结合熵最小化准则，我们实现了以下目标：交叉熵损失函数EG=1sw（xs）L（Gy（Gf（xs），ys））虽然域对抗网络产生可靠的结果，对于标准域自适应，它们将在局部域自适应上引起性能退化，其中Cs≠ Ct。尹恩斯+γi=1ntH我..Gy Gf我我. tx，（二）这种退化是由中的异常值类Cs\Ct引起的。ntj=1不期望地匹配到源极区域的源极目标类别Ct.由于域间隙，即使源EG=−1sw（xs）log（Gd（Gf（xs）共享标签空间Dt中的示例可能无法很好地dns我我i=1到目标域。因此，我们需要设计一个新的框架，部分领域的适应。本文提出了一种新的可转移加权框架-1Σnt− ntj=1日志..1−GdGf. txj，（三）致力于解决部分领域适应的技术难题。用w（xs）表示每个源示例xs的权重，它量化了示例的可移植性。那么对于权重较大的源代码示例，我们应该其中γ是权衡标记的源示例和未标记的目标示例的超参数可转移性加权框架可以通过如下的极小极大优化过程来端到端地2989我我我我我c=1不得到一个鞍点解（θf，θy，θd）：（θf，θy）=argminEGy−EGd，θf， θy大于1;当类C的logitzc非常大时，将示例分类为类C的概率高。由于辅助标签预测器G_y在源示例和标签上训练（θd）=argminEGdθd（四）.源示例将具有被分类为特定源类C的更高概率，而目标示例将具有更小的logit和不确定的预测。因此，我们认为，3.2. 可转移性定量示例利用等式（2）和（3）中提出的可转移性加权框架，关键技术问题是如何量化每个源示例w（xs）的可转移性。对于源示例，Leaky-Softmax输出的元素和更接近于1，而对于目标示例，更接近于0如果我们把G定义为˜Σ|Cs|布拉奇iGd（Gf（xi））=Gy（Gf（xi）），（6）我们引入一个辅助整环，也被训练来区分源的表示c=1其中Gc（Gf（xi））是每个e示例xi的概率域从目标域，使用类似的损失作为等式（3），但去掉w（xs）。它不参与对抗训练程序，即，特征Gf不被学习以混淆Gd。这种辅助领域判别器可以通过Sigmoid分类概率粗略地量化源示例的可每个源示例xs到目标域。属于类c，则Gd（Gf（xi））可以看作com-假设每个例子属于源域。对于源示例，G_d（G_f（x_i））的值越小，它越有可能来自目标域，这意味着它更接近目标域并且更有可能在共享标签空间C_t中。因此G的输出适合于可转移性量化。伊贾德这样的辅助域dGd区分基于共享类Ct的源示例比离群类中的那些源示例更接近目标域的假设，我们用lea k y-softmax训练辅助标签预测器Gy，通过多任务损失超过|Cs|的one-vs-rest二元分类任务|Cs|- 类分类问题：Cs\Ct，因此具有更高的概率被预测为E=−λns|Cs|Σys logGc（Gf（xs））目标域。然而，辅助域判别-tor仅根据以下内容区分源示例和目标示例：金妍希.i=1c =1i，c y.我（七）ΣΣ域名信息。之间存在潜在的小差距+1 −ysΣ日志1−Gc（G（xs）），可转换和不相关源实例的G.i，cyfiD其中ys表示c类是否是地面真值标签特别是当Gd训练得很好的时候。所以这个模型仍然是暴露于混淆可转移和不相关源示例的风险，从而产生不令人满意的可转移性度量w（xs）。在部分域适应中，源Ct中的例子与Cs\Ct中的例子的区别主要在于i，c对于源示例xs，λ是超参数。我们还训练了辅助域WRGWRGd来区分源域和目标域的特征，1个月。ΣCt与目标域共享，而Cs\Ct没有EGd=−S日志Gf（xs）与目标域重叠因此，很自然地，我们的权重设计中加入了判别信息，以解决共享类和离群类之间的模糊性。受AC-GAN的启发[26]，它集成了标记的IN-i=11Σnt− nj=1日志...1−Gd GFΣΣΣJ.（八）形成的，我们的目标是将标签信息集成到辅助域的好极了然而，我们希望开发一个可转移性度量w（xs）与区别性信息和域信息两者一起生成用于源的清楚可分离的权重数据分别为Ct和Cs\Ct因此，我们添加了具有lea k y-softmax动作的辅助标签预测器Gy。 在G_f中，来自特征提取器G_f的特征被变换为|Cs|- 维度z。然后z将通过一个leaky-softmax活化如下，exp（z）从等式（6）到（8），我们观察到辅助域G_d的输出取决于辅助标签预测器G_y的输出。这就保证了G使用标签和域信息进行训练，解决共享类和离群类之间的模糊性，以更好地量化示例的可移植性。最后，在辅助标签预测器G.和辅助域G∈D，我们可以得出更准确和有区别的权重，以量化每个源示例的可转移性，w（xs）=1−Gd（Gf（xs））。（九）σ（z）=，（5）ii|C s|+的|exp（z c）|exp (z c)由于源e示例的G_d的输出更接近于1，Xn不2990w（）其中zc是z的第c维。漏液softmax这意味着非常小的权重，我们将权重归一化为w（x）其输出的元素和较小的性质每个小批量的批量大小B为w（x）←100亿Bx.B i=1i2991p3.3. 极大极小优化问题通过上述推导，我们现在制定我们的最终模型，示例传输网络（ETN）。我们将可转移性加权框架统一在等式（2）以及等式（6）用θy表示辅助标记预测器Gy的参数，所提出的ETN模型可以通过寻找鞍点的极小极大优化问题来求解模型参数的解θf、θy、θd和θy，由于大多数网络都是在ImageNet的训练集上训练的，因 此 我 们 使 用 ImageNet 验 证 集 的 图 像 作 为 Caltech（256）→ImageNet（84）任务的目标我们比较了所提出的ETN模型与国家的-深 度 学 习 和 （ 部 分 ） 领 域 自 适 应 方 法 ： ResNet-50[15]、深度自适应网络（DAN）[21]、域对抗神经网络（DANN）[10]、自适应判别域自适应（ADDA）[37]、残差传输网络（RTN）[22]、选择性对抗网络（SAN）[5]、重要性加权对抗网络[6]。（θf，θy）=argminEGyθ，θ-EGD，IWAN（英语：IWAN）[43]和部分对抗域适应（PADA）[6]。fy（θd）=argminEGd，θd（十）除了ResNet-50 [15]，我们还在Office-31数据集上评估了ETN和一些基于VGG[34我们（θy）=argminEGθy+EG.进行消融研究，以证明示例转移机制的合理性，一种新的方法是通过评估两种ETN变体：1）ETN w/oclassi- fier是在源分类器上没有权重的变体;2）ETN通过学习增强部分域适应，转移相关的例子，并减少源分类器Gy和域分类器Gd的离群值例子。它利用来自辅助的渐进加权方案w（xs）ETN w/o auxiliary是在辅助域上没有辅助标签预测子的变体。我们基于PyTorch实现了所有方法，并且很好-Replitune ResNet-50 [15]和VGG [34]在ImageNet上预先训练睫状结构域蛋白Gd和辅助标记预测因子很好地量化了源示例的可移植性。4. 实验新的层是从头开始训练的，它们的学习率是微调层的10倍。我们使用动量为0.9的小批量SGD和在DANN [10]中实现的学习率衰减策略我们进行实验来评估我们的方法，SGD期间使用η=η0调整速率（1+αp）β，其中p最先进的（部分）域自适应方法。代码和数据集将在github.com/thuml上提供。4.1. 设置Office-31[32]实际上用于域适配。它相对较小，有31个类中的4，652个图像三个域，即A，D，W，通过从ama-zon.com下载（A），从DSLR拍摄（D）和从网络相机拍摄（W）来收集。按照[ 5 ]中的协议，我们从Office-31和Caltech-256共享的10个类别中选择图像来构建新的目标域，创建六个部分域适配任务：A →W、D→W、W→D、A→D、D→A和W→A。请注意，源域中有31个类别，目标领域的10个类别。Node-Home[40]是一个更大的数据集，有4个不同风格的域：艺术，剪贴画，产品和现实世界。每个域包含65个对象类别的图像将它们记为Ar、Cl、Pr、Rw，我们得到12个部分主适应任务：Ar →Cl，Ar→Pr，Ar→Rw，Cl→Ar，Cl→Pr、Cl→Rw、Pr→Ar、Pr→Cl、Pr→Rw、Rw→Ar、Rw→Cl和Rw→Pr。对于PDA，我们使用来自按字母顺序排列的前25个类别作为目标领域，所有65个类别的图像作为源域。ImageNet-Caltech是一个由ImageNet-1K和Caltech-256构建的大型数据集。它们共享84个类，因此我们形成了两个部分域适应任务：（1000）→加州理工学院（84）和加州理工学院（256）→ImageNet（84）。是从0到1线性变化的训练进度。 的梯度反转层的翻转系数随着DANN [10]从0逐渐增加到1超参数通过重要性加权交叉验证进行优化[35]。4.2. 结果基于ResNet-50的分类结果在表1和表2中示出，其中ResNet-50对12个任务的分类结果为Bull-Home，6个任务的分类结果为Office-31，2个大规模任务的分类结果为ImageNet-Caltech。我们还在表3中比较了Office-31与VGG主干上的所有方法。ETN在平均准确度方面优于所有其他方法，表明ETN在不同数据集上与不同基础网络的表现良好。具体而言，我们有几点意见。1）ADDA、DANN和DAN仅在某些任务上优于ResNet，这意味着它们存在负迁移问题。2）RTN利用熵最小化准则，通过半监督学习来修正自身。因此，它比ResNet有一些改进，但仍然遭受负迁移的一些任务。3）部分域自适应方法（SAN [5]和IWAN [43]）在大多数任务上的表现优于ResNet和其他域自适应方法，因为它们的加权机制可以减轻离群类引起的负迁移4）ETN在大多数任务上的性能优于SAN和IWAN，显示了其准确区分离群类和共享类并转移相关示例的能力y2992表1.基于ResNet-50数据集的部分域自适应分类准确率（%）方法Ar→ClAr→PrAr→RwCl→ArCl→PrCl→Rw办公室-家庭Pr→ArPr→ClPr→RwRw→ArRw→ClRw→PrAvgResNet [15]46.3367.5175.8759.1459.9462.7358.2241.7974.8867.4048.1874.1761.35DANN [10]43.7667.9077.4763.7358.9967.5956.8437.0776.3769.1544.3077.4861.72ADDA [37]45.2368.7979.2164.5660.0168.2957.5638.8977.4570.2845.2378.3262.82RTN [22]49.3157.7080.0763.5463.4773.3865.1141.7375.3263.1843.5780.5063.07IWAN [43]53.9454.4578.1261.3147.9563.3254.1752.0281.2876.4656.7582.9063.56SAN [5]44.4268.6874.6067.4964.9977.8059.7844.7280.0772.1850.2178.6665.30PADA [6]51.9567.0078.7452.1653.7859.0352.6143.2278.7973.7356.6077.0962.06ETN59.2477.0379.5462.9265.7375.0168.2955.3784.3775.7257.6684.5470.45表2. Office-31和ImageNet-Caltech数据集（ResNet-50）上部分域适应的分类准确率（%）方法A→WD→WW→D办公室-31A→DD→AW→AAvg加州理工学院I→C C → IAvgResNet [15]75.59±1.0996.27±0.8598.09±0.7483.44±1.1283.92±0.9584.97±0.8687.05±0.9469.69±0.7871.29±0.7470.49±0.76丹麦[21]59.32±0.4973.90±0.3890.45±0.3661.78±0.5674.95±0.6767.64±0.2971.34±0.4671.30±0.4660.13±0.5065.72±0.48DANN [10]73.56±0.1596.27±0.2698.73±0.2081.53±0.2382.78±0.1886.12±0.1586.50±0.2070.80±0.6667.71±0.7669.23±0.71ADDA [37]75.67±0.1795.38±0.2399.85±0.1283.41±0.1783.62±0.1484.25±0.1387.03±0.1671.82±0.4569.32±0.4170.57±0.43RTN [22]78.98±0.5593.22±0.5285.35±0.4777.07±0.4989.25±0.3989.46±0.3785.56±0.4775.50±0.2966.21±0.3170.85±0.30IWAN [43]89.15±0.3799.32±0.3299.36±0.2490.45±0.3695.62±0.2994.26±0.2594.69±0.3178.06±0.4073.33±0.4675.70±0.43SAN [5]93.90±0.4599.32±0.5299.36±0.1294.27±0.2894.15±0.3688.73±0.4494.96±0.3677.75±0.3675.26±0.4276.51±0.39PADA [6]86.54±0.3199.32±0.45100.00±.0082.17±0.3792.69±0.2995.41±0.3392.69±0.2975.03±0.3670.48±0.4472.76±0.40ETN94.52±0.20100.00±.00100.00±.0095.03±0.2296.21±0.2794.64±0.2496.73±0.1683.23±0.2474.93±0.2879.08±0.26表3.Office-31数据集（VGG）上部分领域自适应的分类准确率（%）方法办公室-31A→WD→WW→DA→DD→AW→AAvgVGG [34]60.34±0.8497.97±0.6399.36±0.3676.43±0.4872.96±0.5679.12±0.5481.03±0.57丹麦[21]58.78±0.4385.86±0.3292.78±0.2854.76±0.4455.42±0.5667.29±0.2069.15±0.37DANN [10]50.85±0.1295.23±0.2494.27±0.1657.96±0.2051.77±0.1462.32±0.1268.73±0.16ADDA [37]53.28±0.1594.33±0.1895.36±0.0858.78±0.1250.24±0.1063.34±0.0869.22±0.12RTN [22]69.35±0.4298.42±0.4899.59±0.3275.43±0.3881.45±0.3282.98±0.3684.54±0.38IWAN [43]82.90±0.3179.75±0.2688.53±0.1690.95±0.3389.57±0.2493.36±0.2287.51±0.25SAN [5]83.39±0.3699.32±0.45100.00±.0090.70±0.2087.16±0.2391.85±0.3592.07±0.27PADA [6]86.05±0.3699.42±0.24100.00±.0081.73±0.3493.00±0.2495.26±0.2792.54±0.24ETN85.66±0.16100.00±.00100.00±.0089.43±0.1795.93±0.2392.28±0.2096.74±0.13表4.ETN及其变体在ResNet-50数据集上部分域适应的分类准确率（%）方法二-首页Ar→ClAr→PrAr→RwCl→ArCl→PrCl→RwPr→ArPr→ClPr→RwRw→ArRw→ClRw→PrAvgETN w/o分类器56.1871.9379.3265.1165.5773.6665.4752.9082.8872.9356.9382.9168.93ETN（不含辅助剂）48.3650.4279.1356.5745.8865.4956.3849.0777.5375.5758.8178.3261.79ETN59.2477.0379.5462.9265.7375.0168.2955.3784.3775.7257.6684.5470.45特别是，ETN在大规模ImageNet-Caltech数据集上的表现远远优于SAN和IWAN，这表明ETN对离群值类具有 鲁 棒 性 ， 即 使 在 具 有 大 量 离 群 值 类（ImageNet→Caltech中为916）的类（ImageNet→Caltech中有84个）。 ETN有两个优势-阶段：学习判别权重和过滤离群值类从源分类器和领域判别器中分离出来，提高了部分领域自适应性能。我们通过在表4中比较ETN变体的结果来检查不同模块的功效1）ETN优于ETN w/o分类器，证明加权机制在源分类器上进行分类，可以减少离群类样本的负面影响，并将源分类器集中在属于目标标签空间的样本2）ETN也比ETN w/o辅助的性能更好，证明了辅助分类器可以将标签信息注入到域分类器中，以产生有区别的权重，这反过来又使ETN能够过滤掉不相关的示例。4.3. 分析特征可视化：我们在图3中绘制了DANN、SAN、IWAN和ETN在A（31个类）→W（10个类）上学习的特征的t-SNE嵌入[ 8 ]，其中类为-2993丹·伊万SanETN共享类共享类403020100-10-20-30-40403020100-10-20-30-40403020100-10-2050403020100-10-20-50-30-20-100102030(a) DANN-50电话：+86-20 - 88888888传真：+86-20 - 88888888(b) San-30-60-40-20 0 2040(c) Iwan-30电话：+86-20 - 88888888传真：+86-20 - 88888888(d) ETN图3.通过DANN、SAN、IWAN和ETN学习的特征的可视化（类别信息用不同的颜色表示1001 .一、50901. 251 .一、501 .一、251 .一、00800751 .一、000的情况。75703130252015 100的情况。500的情况。250的情况。500的情况。25目标类别图4.通过改变#目标类实现准确性。0.30的情况。000 1 2 3 4 5 6 7 8 9 10 11 12W(a) Iwan0的情况。000123456789 10 11 12W(b) ETN图6.信源重要性权重的密度函数0.25共享标签空间中的示例C和离群标签空间C \C。ts不0.20.150.1050030006000 9000rates. 只有ETN收敛到最低的测试误差。这种现象意味着ETN可以比以前的领域自适应方法更有效和稳定地训练。迭代次数图5.目标测试误差w.r.t.到#iterations。在目标区域形成。我们观察到，DANN，IWAN和SAN学习的特征没有像ETN那样清晰地聚类，这表明ETN可以比比较方法更好地职业重叠：我们进行了广泛的部分领域适应不同数量的目标类。图4表明，当目标类的数量减少到小于23时，DANN的性能迅速下降，这意味着当标签空间重叠变得更小时，负迁移变得更严重SAN的性能缓慢而稳定地下降，表明SAN潜在地消除了离群类的影响。IWAN仅在标签空间非重叠非常大且负迁移非常严重时表现得比DANN好ETN的性能稳定，一致优于所有比较的方法，显示了ETN的优势，部分域自适应。当标签空间完全重叠时，ETN在标准域自适应中的表现也优于DANN，这意味着当没有离群值类时，加权机制不会降低收敛性能：如图5所示，所有方法的测试误差都收敛得很快，但基线误差很高重量可视化：我们绘制由IWAN生成的等式（9）中的权重的近似密度函数[43]以及图6中任务C1 →Pr上所有源示例的ETN。橙色曲线显示共享类Ct中的示例，蓝色曲线显示离群类Cs\Ct。与IWAN相比，我们的ETN方法为共享类和对离群类的小得多的权重。大多数离群类的例子权重几乎为零，这解释了ETN在这些数据集上的强大性能5. 结论本文提出了一种判别性强、鲁棒性强的局部域自适应方法--实例传输网络（ETN）该方法通过在迁移能力量化器中加入判别信息来量化源样本的迁移能力，并降低离群源样本对源分类器和域分类器的负面影响基于评估，我们的模型执行部分域适应任务。确认ETNIwanSanDANNResNet2994本课题得到了国家重点研究发展计划（2005年）的资 助 。 2016YFB1000701 ） 和 国 家 自 然 科 学 基 金（61772299、71690231、61672313）。2995引用[1] S. 本-戴维布利泽，K。克拉默，A。库莱萨河Pereira和J.W.沃恩从不同领域学习的理论。Machine Learning，79（1-2）：151[2] Abhijit Bendale和Terrance E.博尔特开放深度网络。在IEEE计算机视觉和模式识别会议，第1563-1572页[3] Y. Bengio，A. Courville和P。文森特表征学习：回顾与新 的 视 角 。 IEEE Transactions on Pattern Analysis andMachine Intelligence（TPAMI），35（8）：1798[4] P. P. Busto和J.胆开集域自适应。2017年IEEE国际计算机视觉会议（ICCV），第754-763页[5] Zhangjie Cao ， Mingsheng Long ， Jianmin Wang ， andMichael I.约旦.选择性对抗网络的部分迁移学习。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[6] Zhangjie Cao，Lijia Ma，Mingsheng Long，and JianminWang.部分对抗域自适应。在欧洲计算机视觉会议（ECCV）上，2018年9月。[7] R. Collobert ， J. 韦 斯 顿 湖 Bottou ， M. Karlen ， K.Kavukcuoglu和P.库克萨自然语言处理（几乎）从零开始.Journal of Machine Learning Research，12：2493[8] J. Donahue ， Y. Jia ， O. Vinyals ， J. Hoffman ， N.Zhang，E. tzeng和T.达雷尔。Decaf：用于通用视觉识别的 深 度 卷 积 激 活 功 能 。 2014 年 国 际 机 器 学 习 会 议（ICML）[9] L.杜安岛W. Tsang，和D.徐域转移多核学习。IEEETr