4394无监督域自适应徐仁君，刘佩伦，王丽艳，陈超浙江大学，中国王进东微软研究院摘要近年来，人们对UDA问题进行了广泛的研究 其中，最优传输是对准源域和目标域的表示的有希望的度量。然而，现有的大多数基于最优传输的工作忽略了域内结构，仅实现粗略的成对匹配。 目标样本分布在边缘附近聚类的中心或远离其对应的类中心的聚类容易被从源域学习的决策界误分类。本文提出了一种用于无监督域自适应的可靠加权最优传输策略，包括收缩子空间可靠性和加权最优传输策略。具体而言，SSR利用空间原型信息和域内结构来动态测量跨域的样本级域差异。此外，采用基于SSR的加权最优传输策略，实现了精确的逐对最优传输过程，减少了目标域中决策边界附近样本带来的负RWOT还配备了判别式质心聚类开发策略来学习迁移特征。一个彻底的评估表明，RWOT优于现有的国家的最先进的方法标准域适应基准。1. 介绍深度学习最近在各种计算机视觉任务中取得了显着的成功，例如图像分类，对象检测和语义分割，并借助大规模标记数据集[43]。不幸的是，收集大量的标记数据总是昂贵且耗时的。为了避免标记工作，域自适应[26]是一种有前途的解决方案，可以提高标签稀缺域（即目标域）通过从标签丰富的域（即，源域）。目标域可以*通讯作者：rux@zju.edu.cn包含从不同角度或由不同传感器收集的数据，导致大的域间隙。对于无监督域自适应，主要工作线通过学习域不变特 征 表 示 来 减 少 域 间 隙 ， 例 如 最 大 平 均 离 散 度（MMD）[38，30]，相关性对齐（CORAL）[36，24]和Kullback-Leiber发散（KL）[51]。除此之外，另一个有前途的方向是基于对抗训练[1，37]，其中训练域分类器（domain classi- fier）以区分源和目标表示。同时，由于其在分布中编码类结构的能力，最小化分布之间的全局运输努力或成本的最优运输已被广泛用于减少复杂分布下的域移位[5，33，47，40]。然而，域自适应中现有的最佳传输方法不考虑两个域的域内结构[44]，仅实现粗略的成对匹配。此外，在特征空间中跨域显著不相似的一些图像可能在光学传输过程期间引起总体不匹配，从而导致负传输。为了解决上述问题，我们提出了一个可靠的加权最优传输（RWOT）域自适应。受原型网络的启发，原型网络在域自适应方面取得了显着的性能[27]，我们利用特征空间中的原型信息来减轻错误的传输过程。此外，我们还考虑了区分性特征学习以提高自适应性能，这已被广泛用于学习深度不变特征[49，52]。因此，我们提出的RWOT由收缩子空间可靠性（SSR）和加权最优运输策略组成，如图1所示。此外，我们证明了收缩子空间可靠性的必要性和加权最优运输策略的过程。RWOT还配备了一个歧视性的质心开发策略，以提高传输性能。本文的主要贡献是：(1) 我们提出了收缩子空间可靠性来衡量样本水平的领域之间的差异，通过开发空间原型信息和域内结构动态。该方法可以作为一种预处理方法，4395（一）（b）第（1）款（c）第（1）款（d）其他事项源目标源目标源目标源目标图1.概述拟议的RWOT方法。彩色：源样本;灰色：目标样本。彩色假想线：从源域学习超平面。红点：共享班级中心。不同种类的形状：不同的班级(a)一个无监督域自适应的例子，其中硬对齐的目标样本分布在决策边界附近，导致负转移。(b)以前方法的分类结果。(c)RWOT利用了空间原型信息和域内结构，具有收缩子空间可靠性和区分性质心损失。(d)最后一种情况，我们的建议在源域和目标域中实现了类内紧致性和类间可分性。最好用彩色观看。针对现有的域自适应技术的处理步骤，显著提高了效率。(2) 我们设计了一种基于收缩子空间可靠性的加权最优传输策略，以实现精确对最优传输，减少目标域中决策边界附近样本带来的提出了一种区分性质心利用策略来学习深度区分性特征。(3) 我们分析表明，收缩子空间可靠性和最优传输策略的结合可以使深层特征更加突出，并显着提高鲁棒性和有效性。实验结果表明，RWOT在各种数据集上都能稳定工作，性能优于现有方法.2. 相关工作大多数基于差异的对齐方法是基于最小化测量源和目 标 分 布 之 间 的 差 异 的 差 异 。 最 大 平 均 离 散 度（MMD）[38]对齐源域和目标域。域自适应网络（DAN）[21]利用多核策略[11]在计算MMD时，以获得更好的性能。深度相关对齐（Deep Correlation Alliance，简称Deep CORAL）[36] 对 齐 源 和 目 标 特 征 的 协 方 差 。 加 权 MMD（WDAN）[46]将特定于类别的辅助权重引入到原始MMD中，以利用源和目标域上的类别先验概率联合鉴别域自适应（JDDA）[4]声称区分特征表示可以增强域对齐的性能对比自适应网络（CAN）[17]优化了一个新的度量标准，以显式地对类内域差异和类间域差异进行建模。深度传输网络（DTN）[49]在条件对齐中使用伪标签。Easy-TL[43]程序域内结构和可传输原型网络（TPN）[27]利用原型距离[35]来避免错误分类。Wang等人。 [44，42，41]动态评估边缘的重要性以及用于分布对齐的条件分布。对抗性学习是另一个实现领域适应的关键类别.GAN [12]有一个捕获数据分布的生成器和一个预测样本是来自真实数据分布还是生成器的预测器。在此基础上，为了最大限度地混淆领域分类器，提出了带有特征提取器的领域对抗神经网络（DANN）[1]深度对抗度量学习[9]在对抗域适应中考虑距离度量后来，提出了几种扩展，例如多对抗域自适应（MADA）[28]和条件域对抗网络（CDAN）。[22]实现多模态分布的对齐。域对称网络[50]在域自适应中学习不变DANN [48]动态对齐对抗表示。最优传输已被应用于域自适应，以使源域和目标域中的表示Wasserstein距离引导表征学习（WDGRL）[34]使用Wasserstein距离作为核心损失，通过问题的对偶公式来促进最著名的尝试是深度联合最优传输（DeepJDOT）[7]，它应用耦合矩阵γ通过估计映射将源样本传输到目标域，在许多传输任务上实现了高精度。然而，仅采用纯平方根作为代价矩阵来计算耦合度γ是相当薄弱的，特别是对于较复杂任务中的硬对准样本。最近，研究人员提出了一种在最佳传输中实现的特征选择过程[10]，以利用域偏移，但它主要基于熵正则化，无法减少负传输。3. 可靠加权最优运输大多数现有的作品通过匹配源域和目标域的偏移边缘分布来解决无监督域自适应[22，23]。一个复杂的方法是正式定义一个统计距离的概率，4396我Ik我IkIk���ℒ���ℒℒ���������源������������������=绑捆绑捆绑捆绑瓶颈层目标ℒ���ℒ������ℒ反向传播（一）决定边界源目标（b）第（1）款决定边界源目标图2.给出了可靠加权最优传输（Reliable Weighted Optimal Transport，RWOT）的结构，其中Gf为特征生成器，Gy为自适应分类器，Lg为基于收缩子空间实性的加权最优传输损失，Lp为判别质心损失，Lcls为标准交叉熵损失;α和β是超参数。收缩子空间实值代价矩阵Q被设计为在训练过程中动态地平衡空间原型信息和域内结构的贡献：（a）从源域学习的决策边界对于分类目标样本是不可靠的，并且源样本被正确地推送到对应类的空间(b)判决边界获得了目标样本的可靠域内结构，取得了较好的性能。最好用彩色观看。度量空间，并学习最佳传输耦合以最小化该距离[7，5，33]。然而，尽管取得了巨大的成功，但这一工作有一个共同的内在限制：最佳传输是粗略的配对匹配。 每个图像作为一个整体被推理为要被转移或不被转移，而不利用其域内结构。在这项工作中，根据无监督域自适应的设置，我们定义了一个源域Ds=聚类的边缘或远离其对应的类中心容易被从源域学习的超平面误分类。受自标记领域自适应的启发[43]，我们利用从标记源数据中学习的每个类的空间原型来为目标样本分配考虑到目标样本分布在簇边缘附近所引起的负迁移，我们提出了收缩子空间可靠性算法。{（xs，ys）}ns具有n个标记的样本和目标域测量样本级域差异i i i=1Dt={（xt）}nt其中nt个未标记的样本。 源跨领域，包括空间原型信息我i =1和目标域遵循联合概率分布P以归一化原型距离和域内结构。和q，注意pQ.矛盾在于-ture计算目标样本i属于这两种分布之间的差异提出了领域适配的关键技术挑战。本文的目标是设计一个深度神经网络，使可转移特征生成器和自适应分类器的端到端训练能够最小化跨域的分布差异。根据早期的工作[7，4]，我们选择具有共享权重的双流连体CNN架构。我们提出了可靠的加权最优运输（RWOT），无监督域自适应，这是一个端到端的到K级。为了量化两个域中的空间原型信息，定义cs为源域中深层特征的类中心，且cs∈ RC×d，其中C表示Ds中的类数. d是瓶颈层中输出神经元的数量。空间原型信息由矩阵D∈Rn×C定义为：e−d（Gf（xt），cs））D（i，k）=C−d（G （xt），cs）），（1）学习特征生成器Gf和分类器m=1efim如图2所示。RWOT的主要部分是收缩子空间可靠性（SSR）和加权运算-其中d（G f（xt），cs））是目标之间的距离样本Gf（xt）和第k个源类中心cs，其中k∈Timal运输战略。收缩子空间可靠度ik利用空间原型信息和域内结构，这被证明是领域对齐和最终分类的巨大好处。基于SSR的加权最优传输策略实现了精确的成对匹配，减少了负迁移。此外，RWOT可以学习歧视性的转移信息，通过拟议的质心损失。在以下部分中，我们将介绍RWOT的详细信息。{1、2、… C}。n表示训练的批量大小Com-用单核方法来度量离散性，由于两个域的单调性，我们专注于多个内核[13]，以全面增强深度域适应的特征表示的可移植性因此，d（Gf（xt），cs））的多核公式可以定义为：d（Gf（xt），cs））=K（cs，cs）−2K（Gf（xt），cs）+ikkKiK3.1.收缩子空间可靠性（二）K（Gf（xt），Gf（xt）），在以前的研究[4]中，领域自适应方法忽略了目标样本分布在与特征图φ相关联的特征核，即核K（xs，xt）=φ（xs），φ（xt）φ，被定义为4397K我j..我我Xtm个PSD核{Ku}的凸组合：3.2. 加权最优运输.K=K= Σmu=1βuKu：Σmu=1Σβu=1，β u≥0，βu、（3）用于域自适应的最优传输执行源域和目标域中的样本表示的对齐。然而，现有的最佳运输策略-其中K表示多原型内核集。这个骗局对系数{βu}施加约束以保证导出的多核K是特征的。正如Grettonet al.[13]中，多核K可以使用不同的核以确保较低的测试误差，从而导致用于最佳原型距离表示的原则性方法为了通过目标样本的伪分类概率来表达域内信息的似然性，我们GIE不能利用域内结构，导致由模糊性粗配对匹配引起的负传递。因此，为了减少错误的成对传输过程，我们设计了加权的最优传输策略，利用所提出的 SSR 。 加 权 最 优 运 输 的 优 化 是 基 于 加 权Kantorovich问题[2]，该问题寻求Ds和Dt之间的一般耦合γ∈ X（Ds，Dt）：∫将锐化概率注释矩阵M定义为：..ΣΣGy（G（））γ=arg minγ∈X（Ds，Dt）Ds×DtR（xt，y（xs））C（xs，xt）dγ（xs，xt），M（i，k）=Py= k|Softmaxfiτ、（四）（六）其中X（Ds，Dt）表示概率分布为-其中M∈Rn×C，M（i，k）表示目标样本i属于标签类k的概率。τ是温度超参数[15]以获得区分概率并减少域移位。收缩子空间可靠性的目的是定量评估空间原型信息D（i，k）和目标样本M（i，k）。形式上，SSR由Q定义为：dA（k）D（i，k）+（2−dA（k））M（i，k）在Ds和Dt之间。y（xs）是源数据x s的标签，R（xt，y（xs））表示根据域内结构的基于深度可靠先验知识的自适应矩阵。成本函数矩阵C（xs，xt）=||xs−xt||k表示将概率质量从xs移动到xt的成本，其中k=2[7，6]。在我们的最优传输问题中，加权最优传输策略需要估计两个分布之间的自适应传输耦合γε，并通过最小化Q（i，k）=Cm=1.ΣdA（m）D（i，m）+（2−dA（m））M（i，m）γ的成本。 以下是离散重构：（五）其中Q（i，k）对目标样本的不确定性进行i属于k类。 数字的动机γ=arg minγ∈X（Ds，Dt）γ，Zγ∈X（Ds，Dt）γ，R·CF，（7）当D（i，k）和M（i，k）都测量目标样本i具有标签k的可能性时，D（i，k）是测量深度特征空间中的目标样本i到源域中定义的类中心cs的距离，并且M（i，k）由分类器G y测量。在早期训练阶段，D（i，k）比分类器Gy给出的伪标签可靠得多。幸运的是，我们可以使用A-距离d A来调整权重。A-距离dA（k）（Ds，Dt）=2（1−2<$（h k）），由定义其中γ∈Rn×n是加权理想耦合矩阵在源域和目标域之间，表示为联合概率度量。 其中，F是Frobenius点积，Z∈Rn×n是自适应代价函数矩阵. 选择不同的加权代价矩阵将带来完全不同的成对匹配[8]。 利用深度可靠的先验知识R（x，y）是至关重要的。考虑评估空间的SSR成本矩阵Q原型信息与域内结构K K[3，44]的作用，测量源域和目标域之间的差异k（hk）是区分两个域的线性SVM分类器hk的误差。背景下首先，我们提出了一个精确的对明智的操作，利用SSR分子标记技术研究植物的运输机制。自适应成本矩阵Z的离散公式可以定义为：迁移学习，在早期训练阶段，目标域预计与深特征空间中的源域完全不同，并且可以具有接近的....Z（i，j）=.. GF（xs）−Gf..2（xt）..·（1-Q（j，ys）），（8）完美分类器hk，或n（hk）→0和dA（k）→2。方程5中分子的第二项消失，网络主要通过第一项训练。最后，当两个区域的分布重合时，分类器h k不能区分两个域，因此，k（h k）=0。5且dA（k）=0。现在我们可以依赖Gy，第二项M（i，k）是主要贡献者。动态过程如图2所示。（1-Q（j，ys））的进一步约束有助于重新解决传统最优运输策略的配对模糊性。由于瓶颈层同时编码语义和空间信息，因此区分性表示可以低的传输耦合的快速计算具有显著的性能增益。通过上述分析，加权最优传输通过减少相同类别的样本距离4398Js s2我B然后，可以通过最小化以下目标函数来实现该问题的解决方案：ΣLg=γε（||Gf（xt）−Gf（xs）||2其中α、β表示分别权衡不同数据集下加权最优传输策略和判别域对齐的贡献的超参数训练过程如算法1所示。i、ji，j i j（九）+F1（Softmax（Gy（Gf（xt）），ys）），算法1RWOT的优化策略I j要求：源数据为Ds={（xs，ys）}ns，目标数据其中F1是交叉熵函数。当Dt={（xt）}nt时i i i=1我i=1。 T被设置为3.3.判别质心利用区分域对齐的动机是属于同一类的样本在特征空间中应该尽可能接近受中心损失[45]的启发，我们提出了不连续的判别质心损失Lp训练迭代，n表示训练Nb是计算公式11中的源类中心的样本数。1：初始化双流CNN架构。2：对于i=l至T，do3：随机选择N b个源样本{（xs，y s）}Nb。i i i=1如下所示的域自适应4：计算源域ac中的类中心csΣnLp=....G..（x）−cs..根据Eq.（十一）、5：随机选择源样本{（xs，ys）}n∈我是我的朋友 2Ds和目标样本{（xt）}ni i i=1不i=1我i=1∈ D.ΣC 你好.. 26：计算空间原型矩阵D，如下：+Q（i，k）.. Gf（xt）− cs..（十）当量（1）锐化概率注释矩阵Mk=1i =1ΣC..我k..2....2下式（四）、更新收缩子空间可靠性成本矩阵Q，如下等式：（五）、+λmax（0，ν-. cs−cs.. ）的情况下，k1，k 2=1，k1/=k 2k1k227：根据等式 计算Lg（9），Lp根据当量（10），并且L根据等式（11）cls（十二）、其中λ是超参数，ν是控制配对的类间样本之间的距离的约束裕度。而css作为源域中的第ys个类中心，可以8：根据等式（1）更新Gy和Gf的参数。（13）。第九章： 端伊伊通过平均以下深度特征来近似评估：几个批量样品，1千牛b4. 实验我们进行实验来评估我们的方法，cs=Gf（xs）φ（ys，k），（11）最先进的领域适应方法。kSi ii=1其中，如果ys=k，则φ（ys，k）=1，否则φ（ys，k）=0。4.1. 设置ΣNi i iS=i=1 φ（ys，k）和k∈ {1，2，· · ·，C}是-Digits包含三个标准的数字分类数据集：指示器理想情况下，类中心应该基于所有样本计算，但该过程很耗时。在这里，我们使用Nb 个样本计算类中心，其中Nb=mb×n，mb∈ {3，4，5}3.4. 培训在本节中，我们将介绍RWOT的培训过程。我们首先定义源域的标准分类损失来训练分类器，如下所示：[19][25][26][27][28][29][2 每个数据集由10类数字组成，范围从0到9。我们遵循前面的工作[4]，构造三个转移任务：USPS→MNIST，MNIST→USPS和SVHN→MNIST。Office-31 [32]是一个标准的领域自适应数据集，包含来自31个类别的4110张图像，具有三个领域：亚马逊（A），图像收集自ama-zon.com，网络摄像头（W）和数码单反相机（D），图像分别由网络摄像头和数码单反相机拍摄。通过排列这三个域，我们得到六个转移任务：Lcls=1sF1（Gy（Gf（xs）），ys），（12）A→W、A→D、D→W、W→D、D→A和W→A。nsi ii=1考虑到基于收缩子空间可靠性和区分性质心损失的加权4399最优传输，RWOT的总训练目标可以描述为：ImageNet-Caltech是一个由ImageNet构建的大型数据集，1K和Caltech-256。它们共享84个类，因此我们在两个域中选择相同的类，并形成两个传输任务：ImageNet （ 84 ） →Caltech （ 84 ） 和 Caltech （ 84 ）→ImageNet（84）。[39]是一个组织良好的标准基准minGy，GfLcls+αLp+βLg，（13）用于视觉域自适应，由15，500张图像组成4400u=1表1.Office-31和ImageNet-Caltech数据集上的分类准确率（%），用于无监督域自适应（ResNet）方法的歼-31图像网络-CAltechAvgA→WA→DD→WW→DD→AW→AAvgI→CC→IResNet [14]70.0±0.365.5±0.496.1±0.299.3±0.362.8±0.460.5±0.175.791.5±0.378.0±0.384.8DeepCORAL [36]83.0±0.171.5±0.297.9±0.298.0±0.263.7±0.364.5±0.279.892.0±0.485.5±0.288.8DANN [1]81.5±0.374.3±0.297.1±0.199.6±0.465.5±0.263.2±0.280.296.2±0.387.0±0.191.6ADDA [37]86.2±0.378.8±0.496.8±0.299.1±0.269.5±0.168.5±0.183.296.5±0.389.1±0.292.8CDAN [22]94.1±0.192.9±0.298.6±0.1100.0±069.3±0.171.0±0.387.797.7±0.391.3±0.394.5主题方案网络[27]91.2±0.389.9±0.297.7±0.299.5±0.170.5±0.273.5±0.187.196.1±0.290.8±0.393.5DeepJDOT [7]88.9±0.388.2±0.198.5±0.199.6±0.272.1±0.470.1±0.486.295.0±0.185.3±0.290.2RWOT-M92.5±0.189.5±0.299.2±0.2100.0±075.1±0.274.5±0.288.595.9±0.190.1±0.293.0RWOT-D93.9±0.192.4±0.399.4±0.3100.0±076.2±0.276.1±0.389.697.4±0.392.4±0.294.9RWOT-C94.7±0.294.0±0.299.4±0.2100.0±077.1±0.277.4±0.390.497.7±0.192.7±0.295.2RWOT95.1±0.294.5±0.299.5±0.2100.0±077.5±0.177.9±0.390.897.9±0.192.7±0.295.3表2.VisDA-2017数据集的分类准确率（%），用于无监督域自适应（ResNet）方法平面bcycl总线车马刀麦克伊克勒人植物斯克特布尔德火车卡车AvgResNet [14]70.651.855.88.967.97.648.354.571.127.964.65.654.5DANN [1]75.970.565.317.372.838.658.077.272.540.470.444.758.6社会福利署[20] 90.882.581.770.591.769.586.377.587.463.685.629.276.4主题方案网络[27]93.785.169.281.693.561.989.381.493.581.684.549.980.4DeepJDOT [7]85.473.477.387.384.164.791.579.391.944.488.561.877.4RWOT95.180.383.790.092.468.092.582.287.978.490.468.284.0表3.非监督域自适应（LeNet）Digits数据集的分类准确度（%）方法S→MM→UU→MAvgLeNet [19]68.3±0.365.3±0.566.2±0.266.6DANN [1]85.5±0.484.9±0.686.3±0.385.6ADDA [37]89.2±0.485.4±0.496.5±0.490.4DeepCORAL [36]88.3±0.284.1±0.393.6±0.288.7DeepJDOT [7]96.1±0.396.3±0.596.7±0.296.4RWOT-M97.2±0.297.5±0.396.8±0.497.1RWOT-D97.9±0.298.0±0.197.3±0.397.7RWOT-C98.5±0.198.5±0.297.5±0.298.1RWOT98.8±0.198.5±0.297.5±0.298.3在办公室和家庭环境中的65个对象类中，具有四个不同的域：艺术图像（Ar）、剪贴画（Cl）、产品图像（Pr）和真实世界（Rw）。VisDA-2017 [29]是一个大规模的计算机视觉数据集，有两个领域：从不同角度和不同照明条件合成的3D模型渲染;真实的，真实世界的图像。它有12个类的280K图像。这种规模给域适应带来了挑战。我们将所提出的RWOT模型与最先进的领域自适应方法进行比较：（1）ResNet-50 [14]. (2)领域对抗神经网络（DANN）[1]通过使不同的领域无法区分来匹配它们，ment（DeepCORAL）[36]在深度域适应中应用相关矩阵进行边缘对齐。(5)连续域对抗网络（CDAN）[22]设计了一个基于对抗学习的条件对齐网络。(6)深度联合分布最优传输（DeepJDOT）[7]在深度域自适应中采用最优传输策略。(7)可转移原型网络（TPN）[27]探索了区分特征对齐的原型信息。(8)切片Wasserstein距离（SWD）[20]在域比对中使用Wasserstein距离。4.2. 实现细节无监督域自适应的标准协议已经被遵循。对于Office-31和VisDA数据集，ResNet-50 [14]被用作骨干网络，并且模型是从在ImageNet上预训练的ResNet-50中微调的。对于数字数据集上的实验，我们使用了遵循先前工作的样本LeNet架构[4]。我们进行了五个随机实验，并记录所有传输任务的平均准确率。对于RWOT，我们采用高斯核K（a，b）=e×p（-||Gf（a）−Gf（b）||/σ），其中带宽σ被设置为训练数据上的中值成对距离。以下现有的作品[21，13]，我们考虑一族m高斯一个域名（3）对抗性歧视核{ku}m通过在2- 8σ之间改变带宽σu1领域自适应（ADDA）[37]设计了一个强大的两阶段无监督领域自适应模型，对抗性学习目标。（4）深度相关对齐-和28σ，乘法步长为22。多核策略可以测量原型距离和上限，真正有用的可转移信息。我们使用所有标有440160 60606040404040202020200000−20−20−20−20−40−40−40−40−60−80−60−80−60−60−60−40−20020406080(a) DeepJDOT−60−40−200204060(b) RWOT−60−40−20020406080(c) DeepJDOT−60−40−200204060(d) RWOT60 60606040404040202020200000−20−20−20−20−40−40−40−40−60−80−60−80−60−60−60−40−20020406080(e) DeepJDOT−60−40−200204060(f) RWOT−60−40−20020406080(g) DeepJDOT−60−40−200204060(h) RWOT图3. SVHN→MNIST和A→D任务的t-SNE可视化。 图（a-d）表示类别信息（每种颜色表示一个类别）。图（e-h）表示域信息（蓝色：源域;红色：目标域）。用于训练的源示例和未标记示例。我们使用随机梯度下降（SGD）优化器优化网络，动量为0.9，批量大小为128，即来自源和目标域的总共256张学习率和渐进式训练策略与[7]相同。注意，在整个实验中，作为质心聚类中的超参数的λ被设置为0.001，并且约束裕度ν被固定为50。 约束温度参数τ固定为0.5.对于权衡超参数α∈[10−3，1]和β∈[10−2，10]，我们选择α=0。01且β=0。1用于所有传输任务。我们选择mb=4进行类中心计算。在我们的实验中，我们比较了每种方法在五个随机实验中的准确性4.3. 结果和讨论六个Office-31和两个ImageNet-Caltech转移任务的无监督自适应结果见表1.一、为了进行公平的比较，大多数比较方法的结果来自其原始论文。我们可以观察到，RWOT在大多数任务上的性能明显优于所有以前的方法。值得注意的是，我们的建议大大提高了硬传输任务的分类精度，例如A→D和D→A，并且在容易的转移任务上实现了相当的分类性能，例如D →W和W→D，其中源和目标相似。与DeepJDOT相比，所提出的框架利用空间原型，典型信息，并对齐两个域的每个类中心的区别表示，实现类内紧凑性和类间可分性。VisDA-2017的结果见表2。由于源域和目标域之间存在较大的域间隙，我们观察到比较方法在某些类中的性能较差。RWOT方法总体上实现了性能提升，表明我们的AR-通过SSR的可靠重量最优传输架构能够传输更多不同的类别。考虑到VisDA-2017数据集的大规模，我们的建议获得了显着的改进。我们进一步比较了RWOT与Digits数据集上以前的方法，如表3所示。与Office-31数据集相比，Digits数据集具有更大的域大小。我们观察到RWOT在大多数传输任务上超过了所有比较方法，并实现了几乎最先进的性能。值得注意的是，我们的建议大大提高了分类精度的硬转移任务，例如。SVHN→MNIST，其中源域和目标域实质上不同（在尺度、背景杂波、模糊、倾斜方面）。显著的结果表明，RWOT是鲁棒的一个大的域差距，能够学习更多的可转移表示的无监督域自适应。由于篇幅所限，补充资料中仅列出了美国加州理工学院和美国加州理工学院4.4. 分析消融研究。为了区分加权最优传输策略和区分质心损失的单独贡献，我们在Office-31和Dig- its数据集上比较了RWOT与Deep-JDOT以及RWOT的三个变体：（ 1 ） RWOT-M ， 变 体 仅 具 有 可 靠 的 域 内 结 构（Ls+βLg，Q=M）。 (2)RWOT-D，仅具有空间原型信息（Ls+βLg，Q=D）。(3)RWOT-C，无质心丢失的变体（ Ls+βLg ） 。 不 带 SSR 的 RWOT-C 本 质 上 是DeepJDOT。由于RWOT-C和RWOT的所有变体在我们实 验 的 每 个 任 务 中 都 显 著 优 于 DeepJDOT ， 并 且RWOT-C在这些困难的任务上比RWOT-M和RWOT-D更好，这表明SSR加权最优传输对于匹配4402我我2.01.82.01.8β0.010.02零点零四分0.10.20.5131098951.61.41.21.0最大A距离平均距离1.61.41.21.00 20 40 60 80 100 120140迭代次数（x100）92898683800.0010.0020.0040.010.020.050.10.31α(a) 最大和平均差异(b) 平均偏差(c) 参数敏感性图4.区域差异与模型参数w.r.t.分析。A→D任务的α和β0.80.60.40.2010203040506070迭代次数（x100）0.80.60.40.2源DeepJDOTTPNCDANRWOT0 20406080100120140迭代次数（x200）RWOT的功能比比较的方法功能，这意味着有效地减少域差距。图4（b）显示了我们的方法通过A→D上训练过程的A距离的收敛性能。我们观察到，RWOT实现了快速收敛性能和显着降低A-距离，因为它考虑了训练中相同类的域内结构。图5. RWOT和其他最先进的方法在SVHN→MNIST（左）和A→D（右）任务上的收敛性能比较。与同一类相关联的源样本和目标样本。此外，RWOT还在所有三个变体和DeepJDOT上具有较大的空间，从而验证了加权最优传输策略和判别性质心损失的补充特征可视化。为了显示特征转移能力，我们在SVHN→MNIST和A→D任务上通过DeepJDOT和RWOT可视化瓶颈表示的t-SNE嵌入[18]。图3（a）-3（c）显示DeepJDOT针对不同类别学习的特征是混合的。图3（e）-3（g）显示了域没有很好地对齐，而更糟糕的是，目标样本与整个源数据对齐，可能是错误的类，造成负迁移。请注意，图3（f）-3（h）显示RWOT生成的表示在A→D任务上精确地实现了31个具有清晰边界的聚类。显着的可视化结果表明，我们的建议是能够匹配的复杂结构源域和目标域的最大化，并最大化不同类之间的余量。分布不一致。域适应理论[3]建议代理A-距离作为跨域的度量域差异。我们采用dA（i）（Ds，DT）=2（1- 1）参数灵敏度。我们评估了参数α，β的影响，分别平衡加权最优传输策略和判别质心损失的贡献图4（c）显示了A→D任务中平均准确度随α或β的变化结果表明，随着α或β的增大，准确度先增大后减小，这说明适当的权衡可以提高传输性能。广泛的显着性能验证了RWOT的鲁棒性和灵活性。收 敛 为 了 说 明 RWOT 的 收 敛 性 ， 我 们 评 估 了SVHN→MNIST和A→D任务上所有比较方法的测试误差，如图5所示。 结果表明，该算法在目标域上具有稳定的收敛性能和较低的测试误差收敛曲线的趋势表明RWOT考虑了空间原型信息和域内结构。这种现象意味着RWOT可以比以前的领域自适应方法有效和稳定地训练。5. 结论本 文 提 出 了 一 种 可 靠 加 权 最 优 传 输 算 法（RWOT），用于无监督域自适应，具有强大的收缩子空间可靠性（SSR）和自适应能力。我我2（hi））来分析两个域之间的距离。注意也就是说，k（hi）是区分源域Ds和目标域Dt的线性分类器h的泛化误差[22]。图4（a）展示了A→D任务的最大差异（maxidA（i））和平均差异（avgidA（i）），其中通过使用，观察到最大值或平均值的差异要小得多犯罪质心丢失它利用了空间原型信息和域内结构，以减少由目标域中的决策边界附近的样本带来的所提出的质心损失也实质上提高了硬对准样本在更困难的传输任务中的性能综合实验表明，我们的建议优于国家的最先进的结果在各种领域的适应数据集。源DeepJDOTTPNCDANRWOT源DeepJDOTTPNCDANRWOT测试误差来源DANN深海珊瑚DeepJDOTRWOT瞬间的测试误差平均准确度（%）瞬间的RWOTRWRWOT-COT-DRWBAOT-M席琳4403引用[1] HanaAjakan，PascalGermain，HugoLarochelle，Franc.领域对抗神经网络。arXiv预印本arXiv：1412.4446，2014年。一、二、六[2] Sigurd Angenent，Steven Haker和Allen Tannenbaum。最小 化 流 的 monge-kantorovich 问 题 。 SIAM Journal onMathematical Analysis，35（1）：614[3] Shai Ben-David ， John Blitzer ， Koby Crammer ， andFernando Pereira.域适应的表示分析。神经信息处理系统的进展，第137-144页，2007年四、八[4] Chao Chen，Zhihong Chen，Boyuan Jiang，and XinyuJin.用于无监督深域自适应的联合域对齐和判别特征学习。在AAAI人工智能会议论文集，第33卷，第3296-3303页，2019年。二三五六[5] 尼古拉斯·库尔提，雷米·弗拉马尔和德·维斯·图亚。具有正则化最优传输的域自适应在关于数据库中的机器学习和知识分发的欧洲联合会议上，第274-289页Springer，2014. 第1、3条[6] NicolasCourty ，Re'miFlamary ，DevisTuia ，andAlainRako-tomamonjy. 最 佳 传 输 域 适 应 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，39（9）：1853-1865，2016。4[7] BharathBhushanDamodaran ， BenjaminKellenber ger ，Re'miFlamary，Devis Tuia和Nicolas Courty。Deepjdot：用于无监督域自适应的深度联合分布优化传输。欧洲计算机视觉会议，第467-483页。Springer，2018. 二三四六七[8] Luca Dieci和JD Walsh III。半离散最优运输划分的边界方法和Wasserstein距离计算。计算与应用数学，353：318-344，2019。4[9] 段跃奇，郑文钊，林旭东，卢吉文，周杰。深度对抗度量学习。在IEEE计算机视觉和模式识别会议论文集，第2780-2789页，2018年。2[10] 我是高瑟龙，我是雷德，还有卡罗尔·拉蒂辛。使用最佳传输的无监督域自适应特征选择。在关于数据库中的机器学习和知识发现的欧洲联合会议上，第759Springer，2018. 2[11] Meh m etG ？ nen 和EthemAlpaydın。多核学习算法。Journal of Machine Learning Research ， 12 （ Jul ） ：2211-2268，2011。2[12] Ian J Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，Xu Bing ， David Warde-Farley ， Sherjil Ozair ， Aaron
我的内容管理
展开
