选择、标记和混合：部分领域自适应的鉴别不变特征表示学习

4210选择、标记和混合：部分领域自适应的鉴别不变特征表示学习Aadarsh Sahoo1Rameswar Panda1Rogerio Feris1Kate Saenko1，2AbirDas31 MIT-IBM Watson AI Lab，2Boston University，3IIT Kharagpur{aadarsh@，rpanda@，rsferis@us. }ibm.com，saenko@bu.edu，abir@cse.iitkgp.ac.in摘要部分区域自适应算法假设未知的目标标签空间是源标签空间的一个子集，在计算机视觉中引起了广泛的关注。尽管最近取得了进展，但现有方法通常遭受三个关键问题：负迁移，缺乏区分性和潜在空间中的域不变性。为了缓解上述问题，我们开发了一种新的首先，我们提出了一个有效的其次，“标签”模块使用标记的源域数据和针对目标域生成的伪标签来迭代地训练分类器，以增强潜在空间的可辨别性。最后，在部分域自适应的几个基准数据集上进行的大量项目页面：https：//cvir.github.io/projects/slm。1. 介绍深度神经网络最近通常通过利用大量标记数据在许多视觉任务上表现出令人印象深刻的性能。然而，它们通常不能很好地推广到与训练数据分布不相同的域。域适应[10，45]通过将知识从标签丰富的源域转移到标签稀缺或不可用的目标域来解决这个问题。然而，标准域自适应算法通常假设源域和目标域共享相同的标签空间[11，13，25，26，27]。以来大规模标记数据集很容易作为源域数据访问，一个更现实的场景是部分域自适应（PDA），它假设目标标签空间是源标签空间的子集，最近受到越来越多的研究关注[2，8，9，17]。已经提出了几种方法来通过重新加权源域样本来解决部分然而，（1）现有的方法由于存在离群源域类而存在负迁移，使得不可传递的知识无法进行域间迁移，（2）在没有标记的情况下，往往忽略目标域中的类感知信息，不能保证潜在空间的可区分性;以及（3）给定对异常值的滤波，来自源和目标域的有限数量的样本不足以单独学习用于这样的复杂问题的域不变特征。结果，主分类器可能错误地将未标记的目标样本与源域中不同类别的样本对齐，导致不一致的预测。为了解决这些挑战，我们提出了一种新的端到端的选择，标签和混合（SLM）框架，用于学习判别不变特征，同时防止部分域自适应中的负转移。我们的框架由三个独特的模块协同工作，即。，选择、标记和混合，如图1所示。首先，选择模块便于识别相关源样本，防止负迁移。具体来说，我们的主要思想是学习一个模型（称为选择器网络），该模型输出选择或丢弃每个源域样本的二进制决策概率，然后使用对抗性神经网络对齐源和目标分布由于这些决策函数是离散和不可微的，我们依靠Gumbel Softmax sampling [20]通过标准的反向传播与网络参数联合学习策略，而不像[8，9]那样采用复杂的强化学习设置。其次，我们开发了一种有效的自标记策略，该策略使用标记的源do- main数据和为目标do生成的软伪标签迭代地训练分类器4211选择：丢弃离群值样本标签：歧视表示混合：域不变性源域目标域改编前改编后资料来源：目标：离群值来源：域内混淆：域间混淆：分类器：适应：图1：我们方法的概念概述。我们提出的方法采用三个独特的模块，即选择，标签和混合在一个统一的框架，以减轻域转移和推广的模型到一个未标记的目标域的标签空间，这是一个子集的标记源域。我们的选择模块从源域中丢弃离群样本，以消除不可转移知识的另一方面，标签和混合模块分别确保了潜在空间的可区分性和不变性，同时在部分域自适应设置中使源分类器适应目标域最好用彩色观看主要是为了增强潜在空间的可辨别性。最后，混合模块利用域内和域间混合正则化[52]来生成两个域中的训练样本对及其标签的凸混合策略不仅有助于探索跨域的更多内在结构，从而导致不变的潜在空间，而且有助于稳定域判别器，同时桥接跨域的分布移位。我们提出的模块简单而有效，首次以端到端的方式在部分域自适应设置中探索了三个独特的方面。具体来说，在每个小批次中，我们的框架同时通过去除离群源样本来消除负迁移，并通过标记和混合样本来学习区分性不变特征。四个数据集上的实验说明了我们提出的框架在实现新的最先进的性能，部分域自适应（例如，我们的方法优于DRCN[22]18。在具有挑战性的VisDA-2017 [36]基准上的9%总而言之，我们的主要贡献包括：• 我 们 提 出 了 一 种 新 的 选 择 ， 标 签 ， 和 混 合（SLM）框架学习歧视性和不变的特征表示，同时防止内在的负转移部分域自适应。• 我们开发了一种简单有效的源样本选择策略，其中 选 择 器 网 络 与 域 自 适 应 模 型 通 过 GumbelSoftmax采样使用反向传播进行联合训练。• 我们在四个数据集上进行了广泛的实验，包括ImageNet31[38] ， ImageNet-Home[43] ，ImageNet- Caltech和VisDA-2017 [36]，以证明我们的方法优于最先进的方法。2. 相关作品无监督域自适应。无监督的自适应算法已经从多个角度研究了学习对未标记的目标域数据进行分类的域数据（参见综述[10，45]）。已经开发了各种无监督域自适应策略，包括减少跨域发散的方法[13，25，40，41]，增加用于对抗训练的域鉴别器[7，11，12，25，26，27，35，42]和图像到图像翻译技术[16，18，33]。UDA方法假设跨源域和目标域的标签空间是相同的，这与我们在这项工作中考虑的实际问题不同。部分域自适应。代表性的PDA方法通过加权训练域鉴别器[3，4，53]，或使用残差校正块[22，24]，或基于其与目标域的相似性使用源示例[5]。与我们的方法最相关的是[8，9]中的工作，该工作使用Rein-RobustLearning（RL）进行部分域自适应中的源数据选择RL策略梯度通常很复杂，训练起来很难，需要一些技术来减少训练过程中的方差。相比之下，我们的方法利用基于梯度的优化相关源样本选择，这是非常快速和计算效率。此外，虽然现有的PDA方法试图以某种形式或其他方式重新加权源样本，但它们通常不考虑目标域中的类感知信息。相反，我们提出的方法，通过在PDA的统一框架中考虑伪标记和跨域混合与样本选择，确保了潜在空间的可辨别性和用伪标签进行自我训练。已经提出了深度自训练方法，其专注于通过使用标记的源数据和生成的目标伪标签来迭代地训练模型，以对齐两个域[19，31，39，54]。大多数方法直接选择具有高预测置信度的硬伪标签。[55，56]中的工作使用类平衡置信度正则化器来生成用于无监督域自适应的软伪标签，这些软伪标签在域之间共享相同的标签空间我们4212企业网络 HSSEELLECCTTGumbel-Softmax二态选择域鉴别器D域名对抗性损失源图像源图像混合域名内混淆G特征提取器源要素混合特征域间混淆目标特征标签交叉熵损失分类器F通过软伪标签进行HFDGLHD̸GDGFGFGDHFDGLL我LLi=1我i=1D{}目标图像预测平滑标签丢弃源样本选择源要素最大化Hausdor距离最小化Hausdor距离目标特征选择选择1 - λ图像-Aλ一Bλ混合图像一B图像-B1 -λ分类器或域鉴别器交叉熵损失MMIIXX一B锐化输入要素目标域图像预测软伪标签分类器标签标签软交叉熵损失图2：我们提出的框架的说明。我们的框架包括一个特征提取器，它将图像映射到一个共同的潜在特征空间，一个分类器网络， 为了提供类的预测， 为了减少域差异，以及选择器网络，用于丢弃离群源样本（“选择”）以减轻部分域自适应中的负转移问题。我们的方法还包括两个额外的模块，即“标签”和“混合”，与“选择”模块一起工作，以确保潜在空间的可给定一小批源和目标域图像，所有组件以迭代方式联合优化。更多详情请参见第3节。最好用彩色观看。另一方面，通过将一个热伪标签平滑为PDA的保守目标分布，工作迭代地利用批内的软混淆正则化。混合正则化[52]或其变体[1，44]在虚拟示例上训练模型，这些虚拟示例被构造为输入和标签对的凸组合，最近被用于提高神经网络的泛化能力最近的一些方法应用Mixup，但主要用于UDA以稳定域扩展[47，48，50]或平滑预测[30]。我们提出的SLM策略可以被视为这条研究路线的延伸，通过引入域内和域间混合，不仅可以稳定分类器，还可以引导分类器丰富潜在空间的内在结构，以解决更具挑战性的PDA任务。3. 方法部分域自适应的目的是减轻域移位，并将模型推广到具有标记空间的未标记目标域，该标记空间是标记源域的子集。 形式上，我们定义la的集合-钟形源域样本作为D源={（xs，yi）}NSq分别表示数据在源域和目标域中的概率分布。 在部分域自适应中，我们进一步具有p = q和pLtarget = q，其中pLtarget是源域数据在目标中的分布。我们的目标是开发一种方法与上述给定的数据，以提高性能的模型D目标。3.1. 方法概述图2说明了我们提出的方法的概述。我们的框架包括一个特征提取器，一个分类器网络，一个域搜索器和一个选择器网络。我们的目标是提高组合网络的分类性能（）。））on目标当特征提取器将图像映射到一个公共的潜在空间时，分类器的任务是输出给定特征的类的概率分布。给定一个来自的特征，通过标识它所属的域（源或目标），域管理器有助于最小化域差异。选择器网络通过学习使用Gumbel-Softmax采样从源中 另一方面，标签模块利用预-F（G（. ））以获得目标的软伪标签和未标记的目标域样本作为目标=xtNT，其中标签空间源和目标，其中源代码锁定目标。NS和NT分别表示源域和目标域中设p和样品最后，混合模块利用伪标记的目标样本和源样本来生成增强图像，以实现潜在空间中的域不变性。在训练过程中，对于一小批图像，所有4213FGD源目标源源HD类目标目标∈HB-−GDDHFGLFG DH向前10使用连续softmax松弛的梯度为：exp（（logα+G）/τ）ArgMax我我我JJ对于i∈{0，1}（1）Y=0exp（（logα+G）/τ）10Softmax落后图3：使用Gumbel Softmax采样进行学习。Gumbel- Softmax技巧，用于为离散输出空间启用基于梯度的优化。最好用彩色观看。这些组件是联合训练的，在测试过程中，我们使用网络的分类准确度来评估性能（（. ））在目标域数据目标上。 下文讨论了各个模块3.2. 选择模块该模块是我们框架的核心，旨在去除源域中的离群源样本，以最小化部分域适应中的负迁移而不是使用不同的启发式设计的标准加权源样本，我们开发了一个其中Gi当τ >0时，Gumbel-Softmax分布是平滑的，因此可以相对于log- itsαi当τ接近0时，Yi变为单热且离散。学习丢弃离群分布。由于该决策问题的无监督性质，选择器网络的损失函数的设计具有挑战性。我们提出了一种新的基于Hausdorff距离的三重损失函数的选择模块，确保选择器网络学习区分源域中的离群值和非离群值分布。 对于给定一批源域图像Db和目标域图像Db，每个图像的大小为b，选择器产生源样本的两个子集Dsel={x∈Db：H（x）=1}和Ddis={x∈ Db： H（ x ） =0} 。该 想 法 是 将 所 选 择 的 源 样 本D_sel_target_sam-提出了一种新颖的选择器网络，该网络以源域图像为输入，进行实例级二值预测，B目标DdisDb更接近，同时推送丢弃的源样本在G.如图3所示，我们可以通过各种方法来获取相关的源样本进行调整。具体地，选择器网络通过为每个源样本提供0（丢弃）或1（选择）的离散二进制输出来执行鲁棒选择目标为了实现这一点，我们将损失函数公式化如下：dsel=dH（G（Dsel），G（Db））即，H：D源→{0，1}。我们利用Gumbel-Softmaxddis=dH（G（Ddis），G（Db））操作来设计选择器网络的学习协议，如下面所描述的给定选择，我们只将选定的样本转发到后续模块。使用Gumbel-Softmax采样进行训练。 我们专责模块决定源样本是否Lselect=λs max（dsel−ddis+margin，0）+Lreg（2）其中，dH（X，Y）表示特征集合X和Y之间的平均豪斯多夫距离λ。Lreg=x∈D是否属于异常值类。然而，事实上决策策略是离散的，使得网络不可微，因此难以通过标准反向传播进行优化。为了解决不可微性并以有效的方式实现选择器的梯度下降优化，我们采用Gumbel-Softmax技巧[20，29]并从参数为α 0，α 1的分类分布中提取样本，其中α0，α1分别是选择器网络的输出logit，用于选择和丢弃样本。 如图3所示，选择器网络将一批源图像（例如，大小为b的s）作为输入，并输出一个二维矩阵βRb×2，其中每行对应于图像的[α0，α1]。然后我们提取身份证。来自Gumbel（0，1）= log（log（U））的样本G 0，G1，其中U均匀[0，1]，并在正向传递中生成离散样本：X = arg maxi[log α i+G i]，导致硬二进制预测，而在反向传递期间，我们近似lent（pm）}，其中lent是entrop yloss，p是Soft-最大预测（（target）），pm是目标域的平均预测reg是一个正则化，用于限制也不会产生微不足道的全0或全1输出作为确保信心和多样化的预测（。））目标。 请注意，只有sel用于训练分类器，域搜索器，并由其他模块用于执行后续操作。此外，为了避免来自主干特征提取器的任何干扰，我们在做出这些决定时为选择模块使用单独的特征提取器总之，用于选择器模块的监督信号来自（a）直接地，（b）通过经由联合学习与其他模块的交互，以及（c）使用豪斯多夫距离的三重丢失。3.3. 标签模块虽然我们的选择模块有助于去除源域异常值，但它无法保证Logits企业网络：选择（非离群值）：丢弃（异常值）源图像Gumbel-Softmax样品j∈{0，1}λreg1b源H（x）log（ H（x））+λreg2 {plent（p）−4214混合ExDi我我目标LL LLDBBj=1I/Jα我我我|FG我我sel由于目标域中缺少类感知信息而导致的潜在空间。具体来说，鉴于我们的主要目标是提高目标域样本的分类性能，分类器必须学习目标域中的置信决策边界到给定新的增强图像，我们利用新的增强图像来训练分类器F和主分类器FMD，如下所示：Lmix cls=E（xi，yi）∈Dblce（F（G（xi）），yi）为此，我们提出了一个标签模块，提供额外的Lmix dom=ExDb[λlog（D（G（xi）目标域样本的自我监督出于信心引导自我训练的有效性[55]，我们I混合+（1−λ）log（1−D（G（xi）]为所述目标域样本生成软伪标记，所述软伪标记有效地衰减所述目标域样本引起的不想要的偏差+B内部混合+ExDblog（D（G（xi）log（1−D（G（xi）被虚假和嘈杂的“独热”伪标签所取代。 对于一个目标-主样本xt∈Dtarget，软伪标签yt是com-i内部混合测试L混合=L混合cls+L混合dom（6）K推测如下：K其中L混合cls 和L混合圆顶 表示分类器p（it1和域间映射。我们的混合策略y=t（i）K|xi)αΣ| L源|p（j）|xt）1（三）加上L混合不仅有助于探索更多其中p（jxt）=（（xt））（j）是给定x t作为输入的分类器对于类j的softmax概率，并且α是控制标签的软度的超参数。 软伪标记y_t然后被用于计算损失L_l标记，给定批次的目标样本Db如下所示同时桥接跨域的分布转移。优化. 除了为部分域自适应量身定制的上述三个模块之外，我们还使用了标记源数据上的标准监督损失和域对抗损失，如下所示：Llabel=Ext∈Dblce（F（G（xt）），yt） （4）i目标i iLsup=E（x，y）∈Dlce（F（G（xi）），yi）我在哪里 （. ）表示交叉熵损失。Ladv=ExsDsel+ExtDbwslog（D（G（xs）wtlog（1−D（G（xt）（7）3.4. 混合模块学习域不变的潜在空间是分类器从源域到目标域有效自适应然而，由于每批样本有限，并且在丢弃离群样本之后，它在防止过拟合和学习域不变表示方面变得更加困难。为了缓解这个问题，我们对选定的源样本和目标样本应用MixUp [52]，以发现建立中的根深蒂固的结构域不变性。 给定来自选择模块的Dsel，目标其中adv是熵条件域对抗损失，具有源域和目标域恢复的权重ws和wt总损失L总计为Ltotal=Lsup+Ladv+Lselect+Llabel+Lmix（8）其中select、label和混合分别由等式（2）、（4）和（6）给出，其中我们已经包括了相应的权重系数超参数。我们将所有模块集成到一个框架中，如图2所示B目标利用来自label模块的对应标签y*t，我们并联合训练网络进行部分域自适应。- 以三种不同的方式，即域间、源域内和目标域内，在像素级上执行属于这两个集合的图像的凸组合，以获得以下增强数据集合：D={（λxs+（1−λ）xt，λyi+（1−λ）y<$t）}4. 实验我们进行了大量的实验，以表明我们的SLM框架优于许多竞争的方法，以实现新的国家的最先进的几个PDA的工作台，内部混合器i jb s s标记数据集。我们还进行全面的消融Dintr amixs={（λxi+（1−λ）xj，λyi+（1−λ）yj）}D={（λxt+（1−λ）xt，λy<$t+（1−λ）y<$t）}实验和特征可视化以详细验证不同组件的有效性。内部混合测试iB bj i jB bD混合=D帧间混合=D帧内混合= D帧内混合= D帧间混合=D帧内混合= D帧内混合= D帧内混合跨域的内在结构导致不变的潜在空间，但也有助于稳定域区分，4215I/J∈DI/J4.1. 实验装置其中（xs，yi/j）∈ Dsel，而xtb靶标 关于Y数据集。 我们使用四个数据集来评估我们的方法-是相应的软伪标签。λ是混合-从贝塔分布中随机抽样的比率Beta（α，α）对于α∈（0，∞）. 我们使用α=2。在所有的实验中。德PDA设置，即31 [38]，31-家庭[43]，ImageNet-加州理工学院和VisDA-2017 [36]。ESP 31包含来自三个不同领域的31个类别的4,110个图像4216→即亚马逊（A）、Webcam（W）和DSLR（D）。在[9]之后，我们选择了10个类，这些类是由EST 31和Cal-tech 256 [14]共享的，作为目标类别。Bull-Home是一个包含来自四个领域的图像的chal-challening数据集：艺术图像（Ar）、剪贴画图像（Cl）、产品图像（Pr）和真实世界图像（Rw）。我们按照[9]选择每个域中的前25个类别（按字母顺序）作为目标类。ImageNet-Caltech是一个具有挑战性的数据集，由两个子集组成，ImageNet 1 K（I）[37]和Caltech 256（C）[14]。虽然源域分别包含ImageNet和Caltech的1，000和256个类，31岁九十六。8实际上，每个目标域仅包含84个跨两个域通用的类。VisDA-2017是一个具有挑战性的大规模数据集，包含两个领域的12个类别：一个由照片般逼真的图像或真实图像（R）组成，另一个由3D模型的合成2D渲染（S）组成。我们选择每个领域的前6个类别（按字母顺序）作为目标类别[22]。更多细节见补充材料。基线。 我们将我们的方法与分为两大类的几种方法进行比较：（1）流行的UDA方法（例如，DANN [12]，CORAL [41]），包括最近的方法，如CAN [21]和SPL[46]，它们已经显示出UDA设置的最新性能，（2）现有的部分域自适应方法，包括PADA [4]，SAN [3]，ETN [5]和DRCN [22]。我们还比较了最新的最先进的方法，RTNet [9]使用强化学习进行源数据集选择，BA3 US [24]使用源样本在部分域自适应中增强目标域实施详情。我们使用ResNet-50 [15]作为特征提取器的骨干网络，而我们使用ResNet-18作为选择器网络，使用Ima-geNet [37]预训练权重初始 所有权重都由源和目标域图像共享，除了BatchNorm层，我们使用特定于域的批量归一化[6]。在等式中2我们设λs，λ reg1和λ reg2为0。01，10。0和0。1所示。我们使用100的margin值。在所有的实验中。 我们使用梯度反转层（GRL）进行逆向训练的判别器。我们设τ=1。0在Eqn。1，α=0。1在Eqn。3，且λ=0。0作为初始值，并在训练过程中逐渐将τ和α降低到0，同时将λ增加到1.0，如[20]所示此外，我们使用标签平滑来处理涉及源域图像的特征提取器的所有损失，如[23，32]所示，其中k = 0。二、 我们使用SGD进行优化，动量=0.9，而选择器网络和其他网络的权重分别为1 e-3和5e-4。我们对选择器和分类器使用5e-3的初始学习率，而对其余网络使用5e-4，并按照余弦退火策略进行衰减我们使用64个批量用于M31和VisDA- 2017，而使用128个批量用于M31-Home，表1：1931年的性能。数字显示了不同方法在部分域自适应设置上的准确性（%）。我们强调每个转移任务的最佳和次佳方法。上部分显示了一些流行的无监督域自适应方法的结果，下部分显示了现有部分域自适应方法的结果。SLM在6个传输任务中的4个上实现了最佳性能，包括所有比较方法中最好的平均性能。加州理工学院。我们报告的平均分类精度和标准差超过3个随机试验。所有代码都是使用PyTorch实现的[34]。4.2. 结果和分析表1显示了我们提出的方法和其他竞争方法在1931数据集上的结果。我们有以下几点关键意见。(1)正如预期的那样，流行的UDA方法（包括最近的CAN[21]）未能优于简单的无自适应模型（ResNet- 50），这意味着它们由于部分自适应中存在离群源样本而遭受负转移。(2)总的来说，我们的SLM框架通过在6个传输任务中的4个上实现最佳结果而优于所有现有的PDA方法。在PDA方法中，BA3 US [24]是最有竞争力的。然而，SLM的表现仍然优于它（97。8%对98。4%），这是由于我们的两个新组件与离群值的去除协同工作：通过目标域样本的迭代伪标记来增强潜在空间的可辨别性，并通过混合正则化来学习域不变性。(3)我们的方法在源域图像的数量与目标域相比非常小的传输任务上表现得非常好，例如，在D A上，SLM的性能比BA3 US高1。百分之三。这表明，我们的方法提高了源分类器在目标领域的泛化能力，同时减少了负迁移。在具有挑战性的数据集上，我们提出的方法获得了非常有竞争力的性能，平均准确率为76。0%（表2）。我们的方法在12个转移任务中的6个上获得了最好的结果。表3总结了ImageNet-Caltech和VisDA-2017数据集的结果。我们的方法再次实现了最佳性能，超越了下一个竞争对手，方法A→WD→WW→DA→DD→AW→A平均ResNet-50七十六。5±0。3九十九。2± 0。2九十七7± 0。187岁5±0。287岁2±0。184. 1±0。388岁7DANN62. 8±0。652岁1±0。575. 7±0。275. 3八十5±1。2七十三。5±0。684. 4± 0.0七十一6± 0。4六十五2± 0。2九十五4± 0. 2九十七1九十九。0±0。0九十三1± 0。392. 0±1。4六十五6± 0。5六十四1± 0。7九十九。9±0。1九十八3九十八1± 0。089岁。3± 0。294 7±1。7六十五1± 0。7五十八0± 0。583岁4±0. 266岁。9七十七。1±0。9七十六。4±0. 484. 9±0。978岁9±0。3七十三。1±0。483岁6±0。1八十五6九十三6± 0。1七十七。6±0。1八十五6± 1。079岁。2± 0。4七十七。9±0。384. 3±0。1八十五791. 7±0。082岁8±0。286岁。4± 0. 8七十5珊瑚六十五1Adda87岁0RTN84. 8CDAN+E九十0JDDA82岁1可以88岁04217办公室-家庭方法Ar→Cl Ar →Pr Ar →Rw Cl →Ar Cl →Pr Cl →Rw Pr →Ar Pr →Cl Pr →Rw Rw →Ar Rw →Cl Rw →Pr平均ResNet-50四十七266岁。8七十六。9五十七6五十八462.5五十九4四十675. 9六十五6四十九175.861岁3DANN四十三261岁9七十二152岁3五十三5五十七9四十七2三十五4七十161岁3三十七0七十一755. 3珊瑚三十八岁。255. 6六十五9四十八452岁551岁3四十八9三十二667岁163岁8三十五969岁。852岁5Adda四十五268岁879岁。2六十四6六十岁。068岁3五十七6三十八岁。9七十七。5七十3四十五278岁362. 8RTN四十九4六十四3七十六。2四十七651岁7五十七750块441岁575. 5七十251岁874岁8五十九3CDAN+E四十七5六十五975. 7五十七1五十四163岁4五十九644. 3七十二466岁。0四十九9七十二8六十岁。7JDDA四十五863岁974岁151岁855. 2六十岁。3五十三7三十八岁。3七十二662. 5四十三3七十一3五十七7SPL四十六岁。4七十5七十七。261岁0六十五2七十三。2六十四344. 779岁。169岁。5五十八079岁。8六十五7PADA五十三269岁。578岁661岁762. 7六十岁。9五十六444.679岁。374岁255.1七十七。4六十四5San44. 468岁774岁667岁5六十五0七十七。8五十九844. 7八十1七十二250块278岁7六十五3Iwan五十三9五十四578岁161岁3四十八063岁3五十四252岁081. 3七十六。5五十六882岁963岁6ETN六十岁。4七十六。5七十七。2六十四367岁575. 869岁。3五十四283岁775. 6五十六784. 5七十5SAFN五十八9七十六。381. 4七十4七十三。0七十七。8七十二455. 3八十475. 8六十岁。479岁。9七十一8DRCN五十四0七十六。483岁062. 1六十四5七十一0七十8四十九8八十5七十七。5五十九179岁。969岁。0RTNet62. 779岁。381. 2六十五168岁4七十六。5七十855. 3八十五2七十六。9五十九183岁4七十二0RTNetadv63岁2八十1八十766岁。769岁。3七十七。2七十一6五十三984. 6七十七。4五十七9八十五5七十二3BA3美国六十岁。683岁288岁4七十一8七十二883岁475. 561岁686岁。579岁。362. 886岁。1七十六。0可持续土地管理（我们的）61岁184. 091.4七十六。575.081.874岁655.687岁882岁3五十七883岁5七十六。0表2：在THEO-HOME上的性能。我们强调每个任务的最佳和次佳方法。上部分显示了无监督域自适应方法的结果，下部分显示了现有部分域自适应方法的结果SLM在所有比较方法中实现了最好的平均性能各任务标准差见补充资料2017年加州理工VisDA大会方法I→C C →I平均R→S S →R平均ResNet-5069岁。7± 0。8713± 0。7七十5 六十四三 点四十五。3五十四8丹DANNADDARTNCDAN+E七十一666568岁7529七十一8± 0。5693± 0。4七十二2683七十二5± 0。一百七十二。0± 0。169岁。068岁447. 6七十三。八点五十一。0- -七十二九点五0五十八0六十岁。862. 4七十6−61岁5七十3七十二−- -2PADASANIWANETNSAFNDRCN75. 0± 0。4705±0。4七十七。8± 0。4753± 0。478岁1± 0。473。3± 0。583岁2± 0。2749±0。4- -75.3789七十二8七十六。553. 569岁。七点四十九9七十一3486- --67岁7±0。5七十三。2582六十五0七十六。575. 7−79岁。1−七十七。1−六十五7可持续土地82岁3± 0。81. 9七十七。5± 0。84. 64218→管理（我们的）1814± 0. 6891. 7± 0。8表3：ImageNet-Caltech和VisDA-2017上的性能。我们的SLM在两个数据集上都表现最好。方 法 ， 以 约 2 。 8% 和 18 。 在 ImageNet-Caltech 和VisDA-2017数据集上分别为9%。特别是对于VisDA-2017数据集上的任务SR，我们的方法显著优于SAFN[49]和 DRCN [22]， 增 加 了 24 。 1% 和 33。 分 别 为5%。请注意，在最具挑战性的VisDA-2017数据集上，我们的方法仍然能够从合成域到真实域提取更多的积极知识，尽管它们之间存在显著的域差距总之，SLM在所有四个数据集上都优于现有的PDA方法，表明我们的方法不仅在识别最相关的源类方面有效，而且还学习了更多的可转移特征用于部分域适应。4.3. 消融研究我们执行以下实验来测试所提出的模块的有效性，包括目标类的数量对不同数据集的影响。个别模块的有效性。我们进行实验，调查我们的三个独特的模块在三个数据集的重要性。例如，如从表4中所见，在家用电器上，虽然仅选择模块将普通性能提高了8%，但添加标签和混合模块逐渐改善了结果，以获得76的最佳性能。0%的百分比。这证实了这样一个事实，即除了去除源域离群样本之外，潜在空间的可区分性和不变性在部分域适应中起着关键作用离散选择的有效性。负迁移的不利影响促使我们采用相关源样本的强形式的离散选择，而不是许多先前工作中采用的使用软权重的弱形式的滤波[4，5]。 在表5中，我们用更强的Select模块（PADA w/ SEL）替换了PADA [4]中的权重模块，并获得了94的平均准确度。9%，即1。6%，比原来的PADA方法，显示出优越的选择，我们的选择模块。我们还采用了PADA [4]中的类 加 权 （ γ ） 方 案 ， 并 在 其 上 使 用 阈 值 （ SLMw/W+T）来取代SLM中的Select模块，并获得了94。0%的平均精度。 了4. 4%的下降表明仅基于目标预测过滤离群值的无效性以及具有专用选择模块的重要性，该模块根据源样本进行决策。与不同数量的目标类进行比较。我们通过改变目标标签空间来比较不同的方法。在图4中，SLM始终获得最佳结果，表明其在通过去除离群源样本来减轻负转移方面的优势。SLM优于所有4219→模块介绍-首页选择标签混合Ar→Cl Ar →Pr Ar →Rw Cl →Ar Cl →Pr Cl →Rw Pr →Ar Pr →Cl Pr →Rw Rw →Ar Pr →Cl Pr →Rw平均✗✓✓✗✗✓✗44.261675九点五十四。655265051037369664八点四十二四七一。4五十七7✗50块672.979.265四六七。271760八点四十六七七七。171九点四十九。四七七。0六十五8✗五十六 182489.874.273081670。八点四十八。487.080。1531817七十三。2✓✓✓61岁184091。476.575081874.655687. 882357.8835七十六。0表4：不同模块对家庭数据集的有效性。我们所提出的方法实现了最佳的性能与所有的模块共同工作，学习歧视性的不变特征部分域适应。31岁方法A→WD→WW→DA→DD→AW→A平均PADA86岁。3九十九。3一百块0九十491. 392. 6九十三3带SEL的PADA91. 8九十九。3九十六。6九十三894 2九十三594 9SLMw/ W+T九十8九十九。7九十八7九十三091. 8九十294 0SLM九十九。8一百块0九十九。8九十八7九十六。1九十五9九十八4表5：离散选择的有效性。图4：通过改变A → W任务中目标类的数量来获得的性能，这些任务来自1931数据集。最好用彩色观看。即使在完全共享空间的情况下（A31 W31），也比较了方法，这表明当没有离群值类时，它不会错误地丢弃不同的混合效果。我们研究了混合正则化对域搜索和分类器的影响。由于mixup regularizations对分类器和分类器都起作用，31岁方法A→WD→WW→D A→DD→AW→A平均SLMw/ CutMix九十九。6一百块0一百块0九十七4九十五7九十五5九十八0SLM（带混合）九十九。8一百块0九十九。8九十八7九十六。1九十五9九十八4SLMw/ MixUp+CutMix九十九。8一百块0一百块0九十八7九十六。1九十五9九十八4表6：使用CutMix的性能。距离A→D W →ACl→Pr Rw →Prdist（Ssel，T）0的情况。9990的情况。8930的情况。8190的情况。947dist（Sdis，T）1 .一、0131 .一、1441 .一、4181 .一、008表7：域之 间的Wasserstein 距离 。表显示了Office-31 和Office- Home中两个随机抽样任务的值。通过假设dist（Sall，T）的距离等于1来归一化这些值。000，其中Sall表示对应任务的所有源样本。域之间的距离根据[9]，我们计算目标样本（T）与选择器网络选择的（Ssel）和丢弃样本（Sdis）的概率分布之间的Wasserstein距离。表4.3显示，在两个随机抽样 的 适 应 任 务 中 ， dist （ Ssel ， T ） 小 于 dist（ Sall， T），而dist（Sdis， T）大于dist（ Sall，T）。实验结果表明，我们的选择器网络选择的样本更接近目标域，而丢弃的样本与目标域非常不相似。附加消融分析。我们提供了额外的消融分析，包括Hausdorff距离的影响、软伪标签、具有不同骨架的结果、使用t-SNE的特征可视化[28]等。在补充。5. 结论在Tumbl-Home数据集上的平均性能为76。0%的百分比。通过从域训练中去除mixup正则化，它减少到73。6%。类似地，通过从分类器训练中移除混合正则化，平均性能变为73。百分之九。这证实了这样一个事实，即我们的混合策略不仅有助于探索跨域的内在结构，而且有助于稳定域间的关系。我们还探索了CutMix [51]作为一种替代混合策略，它可以产生具有来自两个领域的信息的新在表6中，我们在Mix模块中将MixUp替换为CutMix（SLM w/ CutMix），并获得98的平均准确度。0%开启31几乎类似于使用MixUp（98. 4%）。 我们我 还 尝 试 在 MixUp 之 外 添 加 CutMix （ SLM w/MixUp+Cutmix），并获得类似的98值。4%，W→D任务略有改善。4220在本文中，我们提出了一个端到端的框架，学习歧视性不变的特征表示，同时防止负迁移的部分域自适应。虽然我们的选择模块便于识别相关的源样本进行适应，标签模块通过利用伪标签的目标域样本，提高了潜在空间的可辨别性混合模块使用混合正则化与其他两个策略，以加强域不变性的潜在空间。谢谢。这项工作得到了SERB赠款SRG/2019/001205和国防高级研究计划局（DARPA）的支持，合同号为2019/001205。FA8750-19-C-1001。本材料中表达的任何观点、发现和结论或建议均为作者的观点，不一定反映国防高级研究计划局的观点。4221引用[1] David Berthelot 、 Nicholas Carlini 、 Ian Goodfellow 、Nicolas Papernot 、 Avital Oliver 和 Colin A Raffel 。Mixmatch：半监督学习的整体方法。在神经信息处理系统的进展中，第5049-5059页[2] 西尔维娅·布奇安东尼奥·德诺森特塔蒂亚娜·托马西