无监督域自适应：加权MMD模型的性能分析

2272注意类权重偏差：无监督域自适应加权最大均值离散算法严宏亮1，丁玉康1，李培华2，王启龙2，徐勇3，王梦左1，王伟1哈尔滨工业大学计算机科学与技术学院，中国哈尔滨2大连理工大学信息与通信工程学院，中国大连3哈尔滨工业大学深圳研究生院生物计算研究中心深圳yanhl@hit.edu.cn，dingyukang921@163.com，peihuali@dlut.edu.cn，qlwang@mail.dlut.edu.cn，laterfall@hitsz.edu.cn，wmzuo@hit.edu.cn摘要0.2在领域自适应中，最大平均差异（M-MD）被广泛采用作为源域和目标域分布然而，现有的基于MMD的领域自适应方法通常忽略了类先验分布的变化，即，跨域的类权重偏差。这仍然是一个开放的问题，但普遍存在的域适应，这可能是由于样本选择标准和ap的变化，0.160.120.080.040 1 23 4 5 6 7 8 9类应用场景我们发现，MMD不能解释类权重偏差，并导致域自适应性能下降为了解决这个问题，本文提出了一种加权具体来说，我们引入类特定的辅助权重到原始MMD利用类先验概率的源和目标域，其挑战在于，在目标域的类为了解决这一问题，我们提出了一种加权MMD模型，通过在源域中为每个类引入一个辅助权重来定义它，并通过在分配伪标签、估计辅助权重和更新模型参数之间交替进行，提出了一种分类EM算法。广泛的实验表明，我们的加权MMD优于传统的MMD域自适应。1. 介绍深度卷积神经网络（CNN）在各种计算机视觉任务中取得了巨大成功，如图像分类[21]，对象检测[12]和语义分割[24]。除了在模型和学习方面取得的令人鼓舞的进展外，CNN的成就无疑归功于大量标记数据集的可用性*通讯作者。图1.数字识别三个领域的类先验分布如图所示，跨领域存在阶级偏见。很自然地可以看到，0和1的类权重在邮政服务（USPS）中相对较高，而1和2的类权重在门牌号（SVHN）中相对S.对于在大规模数据集上训练的CNN [8]，虽然较低层的特征可以安全地转移，但学习的特征会沿着网络逐渐从一般移动到特定[40]。当源任务和目标任务显著不同时，在源任务上预训练的CNN可能无法很好地推广到目标任务。这种情况导致了一个新兴的主题，将CNN从源任务转移到具有增强和区分表示的目标任务[2]。在这项工作中，我们研究了一种特殊类型的迁移学习任务，即，域适应（DA）[30]。DA最富有成效的品系之一是基于MMD的方法[26，29，3，41，36]。尽管取得了很大的成功，现有的方法通常忽略了类先验分布的变化，被称为类权重偏差。 它对于域适应是普遍存在的，并且可以由样本选择标准[19]和应用场景[28]的变化引起。如图1、类先验分布（即，类权重）随用于Dig-It识别的域而变化。此外，类权重偏差的一个特殊情况是不平衡的跨域数据问题[28]。MNISTUSPSSVHN重量2273图2. 在类权重偏差下最小化MMD和WMMD正则化器的结果分别在（a）和（b）中示出。最小化MMD保留了源域中的类权重，因此目标样本将被错误估计，如黄色样本所示。相反，建议加权MMD消除类偏差的影响，首先重新加权源数据。其中源域中的几个类在目标域中不出现，如图所示。二、 [28]中的最近公共空间学习（CCSL）方法被建议用于不平衡和多个跨域视觉分类。然而，CCSL只是结合了传统的MMD和领域相关的MMD没有显式地考虑类权重偏差。对于基于MMD的方法，忽略类权重偏差会降低域自适应性能。在类权重偏差的情况下，可以通过学习域不变表示或保留源域中的类权重来最小化MMD。如示于图2（a），域自适应要求目标域的类权值与源域的类权值保持一致是不合理的我们的实证实验也揭示了MMD在处理类权重偏差方面的局限性（见图1）。4）.在本文中，我们提出了一个加权MMD（WMMD）的方法来解决类权重偏差的问题。对于DA，挑战在于目标域中的类标签是未知的。因此，我们首先引入类特定的辅助权重来重新加权源样本。以这种方式，期望重新加权的源数据与目标数据共享相同的类权重。通过最小化加权MMD的目标函数，对辅助权值估计和模型参数学习进行联合与MMD不同的是，基于加权MMD的目标函数包含额外的权重参数，我们提出了一种分类EM（CEM）方案来估计它。受[1]中半监督逻辑回归的启发，我们提出了一种加权域自适应网络（W-DAN），将加权MMD纳入CNN并考虑目标样本的经验损失CEM算法被开发用于分三步学习WDAN，即，E步C步M步在E-步骤和C-步骤中，我们计算类后验概率，为目标样本分配伪标签，并估计辅助权重。在M步中，通过最小化目标损失来更新模型实验结果表明，加权MMD可以学习到更好的领域不变表示，从而实现领域自适应.此外，基于加权MMD的模型也优于基于MMD的模型。总之，这项工作的主要贡献有三个方面：1. 提出了一种加权MMD模型，以减轻领域自适应中类权重偏差的影响。通过考虑类先验分布，加权MMD可以为域差异提供更好的度量。2. 使用多核MMD的无偏估计[15，17]，我们提出的加权MMD可以计算为具有线性时间复杂度的均值嵌入匹配，并被纳入CNN中进行无监督域自适应。我们进一步开发了一个CEM算法来训练加权MMD模型。3. 实验表明，加权MMD比MMD更适合于领域自适应.加权MMD优于MMD已在各种CNN架构和不同数据集上得到验证。在本文的其余部分，我们首先简要介绍第2节中的系统和相关工作。第三节在传统M-MD的基础上，考虑到类权重偏差，提出了加权MMD. 然后，在第4节中，我们应用加权MMD2274L¨M我¨i=1我i=1MN1（， ），-k（，）−k（，提出了一种无监督域自适应模型WDAN。第五节给出了大量的实验结果来验证我们提出的加权MMD模型的有效性，并对我们提出的模型进行了详细的实证分析。最后，我们在第6节中总结这项工作。2. 前期工作及相关工作在这一节中，我们首先回顾MMD及其在领域适应中的应用，然后概述几种用于测量领域差异的其他方法。大多数现有的域自适应方法[26，29，3，41，36]是基于在等式11中定义的MMD。（2）为了简单起见，只采用线性核。因为方程中的MMD的公式（2）是基于成对相似性的，计算时间复杂度为二次方，但它非常耗时，不适合在基于CNN的局部自适应方法中使用小批量随机梯度下降（SGD）。Gretton等人[16]进一步提出了一个无偏近似MMD1与线性复杂性。在不失一般性的情况下，通过假设M=N，MMD1然后可以被计算为，2.1. MMD及其在域自适应中的应用领域适应的目的是适应歧视性MMD2（s，t）=2百万/2Mi=1hl（zi），（4）在源域上学习的模型到目标域。取决于目标SAM的类标签的可访问性其中hl是定义在四元组zi上的运算符=xsxs xtxt2i− 1 2i2j− 1 2j在培训过程中，研究线可以分为三个h（z）=k（xs，xs）+k（xt，xt）类别：监督、半监督和无监督域适应在本文中，我们专注于学习无监督域自适应的可转移CNN特征，Li2i−12ixsxt2i− 12j2j−1 2jXs Xt2i2j−1）的情况。（五）在UDA中，所有目标样本的标签在训练期间都是与其他设置相比，UDA在实际应用中更普遍。由于目标域中标签的不可用性，UDA的一个常用策略是通过最小化域分布差异来学习域最大平均离散度（MMD）是一种有效的非参数度量，用于比较基于两组数据的分布[4]。给定两个分布s和t，通过将数据映射到再生核，Hilbert空间（RKHS）中，s和t之间的MMD被定义为，Eqn中的近似（4）采用求和形式，适合于以小批量方式进行梯度计算。基于[16]中的工作，Longet al. [25]通过将基于MMD1的适配层引入深度CNN中，提出了用于UDA的深度适配网络和残差传输网络然而，现有的基于MMD的UDA方法都假设源数据和目标数据具有相同的类先验分布，这在现实世界的应用中并不总是成立，如图所示。1.一、我们的实验表明，类权重偏差会导致性能下降的MMD为基础的UDA。2.2. 域不确定性2秒ΣtΣ¨2MMD（s，t）=sup��<$Exs<$s[φ（x）]−Ext<$tφ（x）<$，H除了MMD，还有其他几个指标用于测量-（一）其中Exss[·]表示关于分布s的期望，并且φH≤1定义了RKHSH的单位球中的一组函数。基于定义的统计检验通过MMD ，我们有MMD（s，t）=0当且仅当s=t。用D s={xs} M和D t={xt} N表示i.i.d.抽取的两组样品。分别来自分布s和t。MMD的经验估计可以由[16]给出，¨ ¨2¨ ¨2秒确保域差异。Baktashmotlagh等人[3]提出了一种UDA的分布匹配嵌入（DME）方法，其中采用MMD和Hellinger距离来度量源和目标分布之间的差异。代替嵌入分布，还引入了诸如域分类[11]和域混淆[35]的判别方法来学习域不变表示。然而，类权重偏差也尚未考虑在这些方法中，MMD（Ds，Dt）=？¨i=1φ（xi）−N j=1φ（xj）<$¨H、（二）耗氧物质几种样本重新加权或选择方法[13，其中，Φ（·）表示与k相关联的特征图能量映射k（xs，xt）=φφ（xs），φ（xt）. k（xs，xt）通常定义为L个基核kl（xs，xt）的凸组合[25]，19]类似于我们的加权MMD的精神，并有被提议匹配源和目标分布-S.这些方法旨在学习特定于样本的权重或为目标数据选择适当的源样本。不同k（xs，xt）=ΣLl=1βlkl（xs，xt），s.t.βl≥ 0，ΣLl=1β1=1。（三）t从他们，我们提出的加权MMD简化类通过为源数据分配特定于类的权重来消除权重偏差。22752i−12我StCj=1j=1wstümjé我3. 其中hl，w（zi）是定义在四元组zi上的算子，（xs ，xs，xt，xt），在本节中，我们将介绍所提出的加权MMD。用ps（xs）和pt（xt）表示概率密度2i−1 2i2j−1 2js s t t源数据xs和目标数据xt，ys的函数，yt分别是xs和xt其实hl，w（zi）=αys-αysαysk（x2i−1，x2i）+k（x2i−1，x2i）k（xs ，xt）−αysk（x，x）.Ps（xs）和Pt（xt）都可以进一步表示为类条件分布的混合，2i−12i−1 2j2i2i2j−1（十）pu（xu）==ΣCc=1ΣCc=1pu（yu= c）pu（xu|yu= c）wupu（xu|yu=c），u∈ {s，t}，（6）4. 加权域自适应网络到目前为止，我们已经介绍了我们的加权MMD测量域差异。但仍有两个问题有待解决。一方面，所提出的加权MMD，类似于MMD，应纳入一些领域自适应分类器。另一方面其中ws=ps（ys=c）和wt=pt（yt=c）表示目标域上的类分布通常是未知的C c类先验概率（即，类权重），并且C表示类的数量。注 意 ， 类 条 件 分 布 ps （ xs ） 之 间 的 差 |ys=c ） 和 pt（xt|yt=c）用作域差异的适当度量。然而，由于UDA中目标数据的类别标签不可用，因此通常采用ps（xs）和pt（xt）之间的MMD作为目标数据的类别标签。域差异度量。当ws=wt（c = 1，2，.，在训练期间。 在本节中，我们提出了一个加权的做-主适应网络（WDAN）模型，它本质上是半监督逻辑回归[1]的扩展，通过添加WMMD项并与CNN结合同时，我们采用CEM [6]框架，并展示了我们如何在没有目标样本标签信息的情况下优化所提出的WDAN。首先，基于[40，25]中的研究，随着层向顶部移动，特征逐渐变得特定于任务C cC），我们认为这是一个合适的选择。不幸的是，如图。1，假设ws=wt通常第一，导致更高层的数据集偏差增加的特征。因此，为了将CNN推广到域自适应，C c不是hold。在这种情况下，MMD不能处理跨域的类权重偏差。本文提出在ps，α（xs）上构造一个参考源分布，以比较源域和目标域之间的距离具体地说，我们要求ps，α（xs）与ps，α（xs）具有相同的性质，在以下情况下，在存储器中进行数据存储：站，加权的基于MMD的正则化器被添加到CNN的高层其次，半监督学习和领域自适应之间的关系已经在[33]中进行了研究。为了进一步利用目标域上的未标记数据，我们遵循[1]中的半监督CEM模型，从而得到以下WDAN模型，在源域中。令αc=wtws。为了消除c cs1M1ΣN我们定义函数ps，α（x）as，minn（xs，ys;W）+γ（xt，yΣCps，α（xs）=αcwsps（xs|ys= c）。 （七）W，{yj}N，αM我我i=1第2章Nj jj=1C+λMMD（Dl，Dl），（11）以D表示c=1={（xs，ys）}M源代码中的训练集l=l1l，w s tii i i=1域和Dt={xt}N，来自目标的测试集，其中W表示要学习的模型参数，并且j j=1main. 给定目标样本的类权重，EM-{y}N表示目标样本的指定标签。λ我们对MMDps，α（xs）和 dpt（xt）进行了优化和γ是两个折衷参数。 Dl和Dl表示S t可以由下式给出，源域和目标域的第l层特征。基于源数据D1来估计，即，2sc s2英寸 1厘米1ΣNS�wc =Mc/M，其中，Mc是MMD（D，D）=？αysφ（xi）−φ（xt）<$。 C级。Eqn的前两项（11）软顶？i=1αysi =1Nj=1¨H（八）源样本和目标样本上的损失项。第三项是加权MMD正则化，假设M=N，线性时间复杂度近似为加权MMD的值可以被计算为，式中定义的第11至第12层。（八）、接下来，我们解释了亲的优化过程，2l，w（Ds，Dt）=2百万/2Mi=1hl，w（zi），（9）MMD我2276WDAN模型遵循[6]中的CEM算法，WDAN模型通过在以下之间交替来优化(i) E-步骤：估计类后验概率2277J、）的内容JJJCcWCJJJj jjJJ{xt}N，（ii）C-step：assignin gpseudo-labels{y∈}N和以k=1为例，可以计算为，j j=1jj=1我阿利什湖估计辅助权重α，（iii）M步：更新模型参数W. 给定模型参数W，对于每个xt，我们首先基于softmax分类器的输出来估计类后验伪标签hl，w（zi）B.S. LS2i−1i，1fs，l2i−1S2ifs，lfs，l2我到yj是一个ssigned到xt基于最大后验概率2i−1k（fs，l2i−1、f、t、l）概率，然后基于p_eudo-l_abel估计辅助权重α。Given{yn}Nanddα，theconnven-S2i−12i−12我.（十七）B.S. Ljj=12i−1然后部署常规反向传播算法来更新同样地，阿夫勒（zl）我也可以计算其他kW. 在下文中，我们给出了关于E步骤、C步骤的更多细节步，M步。E步：固定W，对于来自目标域的每个样本xt，到第c个类的CNN输出表示为gc（xt; W）。 这里我们简单地定义类后验概率p（yt=c|xt）as，p（yt= c|xt）= gc（xt; W）.（十二）C-st ep：Withp（yt=c|xt），我们通过以下方式将eudo-labely_j发送到xt，y=argmaxp（yt=c|xt）。zLi，k价值观 因此，可以通过以下方式更新模型参数：用一小批四元组进行反向传播。此外，在[25，17]之后，多个内核参数β也可以在训练期间更新。上述算法实际上是分类EM的扩展。[6]中的C-步骤仅为每个未标记的样本分配伪标记，而在这项工作中，我们进一步估计具有伪标记的辅助权重α如[6]所示，这样的优化过程可以包括：jcjj（十三）接近稳定值。实验也是经验性的-Let1c（yj）是一种新的功能，.ly验证了我们的算法在估计辅助权重α方面的有效性。1c（yj）=1，ifyj=c（十四）0，否则。我们不想去的地方cannbeee stimat e dywt=5. 实验在本节中，我们首先评估我们提出的WDAN苏丹 ，c、 c、j1c（y∈j）N，其中N是一个整数的个数。 、如果α=w，则无法更新n个辅助变量.M步：固定α，W上的子问题可以表示为，在UDA中广泛使用的四个基准上，即，办公室-10+Caltech-10[14] ， ImageCLEF[5] 和 数 字 识 别 。 此外，我们还从三个方面对我们提出的WDAN模型进行了实证分析，超参数敏感性、对类别权重偏差的鲁棒性以及特征可视化。最小L（W）=1ΣMn（xs，ys;W）+γ1ΣN（xt，y遵循UDA中的通用设置，我们实现了我们的WDAN模型基于四个广泛使用的CNN架构，WMi ii=1Nj jj=1结构，即， LeNet [22]，AlexNet [21]，GoogLeNet [34]第2章+λMMD1，w（D1，D1）.（十五）和VGGnet-16 [32]。中建议的[25]第二十五话我们的方法基于预训练的AlexNet，VGGnet-16，S tl=l1由于Eqn中的三项的梯度 （15）是可计算的，W可以用小批量SGD更新。设zi=（xs，xs，xt，xt）是四元组，并且z l =（z l =（x s，x t，x t））是四元组。或 者 ImageNet 上 的 GoogLeNet ， AlexNet 的 conv 1 到conv 3层是固定的，GoogLeNet的in-c1到inc 3层是固定的。WDAN（LeNet）是从头开始训练的（随机初始化）。此外-2i− 12i2j−1 2ji i，1在这种情况下，辅助权重初始化为αc=1，fs，l，zl=fs，l，zl=ft，l，zl =ft，l）是第l层，2i−1我22i i，32i−1i，4 2i每个班级。 对于l1和l2，我们遵循[25]中的设置。er特征表示。给定z1，相对于第1层参数W1的梯度可以写为，具体来说，基于WMMD的正则化器被添加到AlexNet的最后三个全连接层，GoogleNet的最后一个接收和全=αy张晓飞（αy∂-αy2278i、j连接层，以及宽（W）1Σ2=中文（简体）i、j，yi，j;W）zlLeNet的最后一个全连接层所有实验是通过使用Caffe函数[20]实现的，并运行Wl2j=1zLi、jWl在配备NVIDIA GTX 1080 GPU的PC上，γΣ4中文（简体），yi，j;W）zlΣ4日（z）32G内存。我们将所有方法的批量大小设置为64+ 2j=3i、jzLi、ji，j+λWlk=1l，w我zLi，ki，k.Wl（十六）s，并独立地优化每个模型的学习率。 优化了折衷参数λ和γ 在集合{0，0. 03，0。07，0。1，0。四，零。七，一。四，一。7，2}和∂∂∂2279方法A→CW→CD→CC→AC→WC→DAvg.AlexNet [21]84.0±0.377.9±0.481.0±0.491.3±0.283.2±0.389.1±0.284.0[38]第38话我爱你83.6±0.677.8±0.580.6±0.492.1±0.381.6±0.487.8±0.483.9[36]第三十六话84.3±0.576.9±0.480.5±0.291.3±0.385.5±0.389.1±0.384.6丹麦（AlexNet）[25]86.0±0.581.5±0.382.0±0.492.0±0.392.6±0.490.5±0.287.3WDAN（AlexNet）86.9±0.184.1±0.283.9±0.193.1±0.293.6±0.293.4±0.289.2WDAN网络（AlexNet）87.1±0.285.1±0.385.2±0.293.2±0.193.5±0.394.5±0.289.8[34]第三十四话91.3±0.288.2±0.388.9±0.395.2±0.192.5±0.294.7±0.391.8[36]第三十六话91.4±0.288.7±0.389.0±0.495.3±0.293.0±0.194.9±0.492.1[25]第二十五话91.4±0.389.7±0.289.1±0.495.5±0.293.1±0.395.3±0.192.3WDAN（GoogLeNet）91.5±0.291.7±0.389.8±0.395.7±0.493.5±0.396.0±0.393.0VGGnet-16 [32]89.6±0.488.1±0.485.4±0.593.7±0.294.3±0.293.7±0.290.8丹麦（VGGnet-16）91.2±0.290.6±0.387.1±0.495.7±0.295.3±0.394.7±0.192.4WDAN（VGGnet-16）91.4±0.291.0±0.289.0±0.395.7±0.195.8±0.295.9±0.393.1表1.基于Office-10+Caltech-10上AlexNet、GoogleNet和VGGnet-16的不同方法的结果（%）。请注意，LapCNN，DDC和DAN的结果与[25]重复这表明源域和目标域中的地面真值类分布被用作先验。{0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0}通过交叉-验证，分别。5.1. 与最新技术水平的比较对于UDA，我们采用标准协议[25，23，27]，其中源域中的所有标记样本和目标域中的未标记样本用于训练。报告对靶结构域集的10次试验的平均结果以供比较。5.1.1Office-10+Caltech-10Office-10+Caltech-10[14]被广泛用于域自适应，它采用了Office-31[31]和Caltech-256[18]中共享的10个类。它由四个域组成，其中Amazon（A），Webcam（W）和DSLR （ D ） 来 自 Office- 31 ， 另 一 个 是 Caltech-256（ C ） 。 在 这 个 数 据 集 上 ， 我 们 基 于 AlexNet ，GoogLeNet和VGGnet-16进行实验，并利用与[25]相同的设置进行性能比较。我们将我们的WDAN与表1中列出的几种最先进的方法进行了比较，包括其MMD对应的DAN [25]。通过AlexNet、GoogLeNet和VGGnet-16，我们指出要针对特定任务对预训练的CNN模型进行微调。LapCNN [38]可以被视为CNN的变体，它首先表明可以通过联合学习嵌入与未标记数据来改进深度结构学习，然后利用嵌入作为正则化器。通过将单个内核MMD层嵌入CNN结构中，D-DC [36]开发了一个统一的深度框架，以联合学习语义上有意义的特征并执行跨域自适应。表1中的数值结果表明，我们的加权DAN实现了最佳性能，与所采用的CNN结构无关。此外，WDAN优于DAN 1。8%和0。7%，分别。我们贡献这个改进，我们的加权MMD模型可以减轻类权重偏差的影响。此外，相对于其他国家的最先进的方法的优越性证明了所提出的WDAN的有效性。最后，我们将源域和目标域中的地面真值类分布作为基于AlexNet的 WDAN 的 先 验 ， 在 表 1 中 表 示 为 WDAN网 络（AlexNet）。虽然WDAN学习算法可以进一步提高WDAN的性能，但两者之间的差距小于加权DAN和DAN之间的差距，验证了本文提出的学习和估计方法的有效性。5.1.2ImageCLEFImageCLEF[5]是为ImageCLEF域适应任务1开发的。该数据集收集了五个广泛使用的图像基准的图像，包括Caltech256[18] ， Bing ， PASCAL VOC 2012[9] ，ImageNet2012[7]和SUN[39]。这个数据集被认为是更困难的，因为一些域包含低质量的图像，使得这个基准很好地符合Office-10+Caltech-10，其中域更相似。不同于原始的实验设置，本文使用ImageCLEF的一个子集 ， 它 包 含 三 个 数 据 集 ， Caltech256 （ C ） 、 Bing（B）和PASCAL VOC 2012（P）。同时，我们利用每个子集中的所有图像，而不是遵循标准协议，为每个类采样相同数量的图像这样的设置导致六个域适应任务。我们将WDAN与三种相关方法进行了比较，1http://www.imageclef.org/2014/adaptation2280方法P→CB→CC→BP→BC→PB→PAvg.GoogLeNet91.0±0.592.4±0.361.2±0.455.3±0.361.2±0.258.1±0.369.9DDC [36]91.2±0.492.6±0.462.0±0.354.3±0.361.7±0.458.6±0.370.1丹91.4±0.293.0±0.162.5±0.354.5±0.262.2±0.359.0±0.370.4WDAN91.2±0.294.1±0.362.8±0.255.1±0.265.0±0.359.5±0.371.3表2. 基于GoogLeNet的不同方法的结果（%在ImageCLEF数据集上。方法M→SS→MM→UU→MAvgLeNet17.2±0.356.8±0.561.5±0.446.5±0.645.5美国[10]21.1±0.259.3±0.355.0±0.451.6±0.646.8丹19.3±0.465.2±0.369.1±0.560.5±0.753.5WDAN23.5±0.367.3±0.572.3±0.465.5±0.556.4表3.基于LeNet的不同方法的结果（%）数字分类。方法A→WD→WW→DA→DD→AW→AAvg.AlexNetDAN60.4±0.566.0±0.594.0±0.394.3±0.392.2±0.395.2±0.358.6±0.663.2±0.446.0±0.650.0±0.549.0±0.551.1±0.566.770.0WDAN66.9±0.295.9±0.299.0±0.164.4±0.253.8±0.152.8±0.272.1表4. 基于AlexNet的不同方法的结果（%Office-31数据集。在GoogLeNet上，即，GoogLeNet、DDC和DAN。我们使用作者2发布的代码来实现它们，并尽最大努力优化它们。结果表明，我们提出的加权DAN在大多数情况下都能获得最好的性能，达到1。4%、1. 2%和0。比GoogLeNet、DDC和DAN平均分别提高9%。上述结果表明，所提出的加权MMD模型有助于提高领域自适应任务的性能。5.1.3数字识别此外，我们还对领域自适应中常用的数字识别方法进行了实验。在本文中，我们只考虑三个基准点的训练图像，即，MNIST（M）、SVHN（S）和USPS（U）三个任务进行实验.由于LeNet [22]通常用于数字识别，因此我们实现了我们的WDAN和基于它的竞争方法。其中，SA [10]提出了一种用于域自适应的子空间对齐方法，其目的是学习一个特征映射以将源样本与目标样本对齐。为了公平比较，我们通过使用微调的LeNet的功能来实现SA表3中报告的结果清楚地表明，我们提出的WDAN在所有任务上都实现了最佳性能，并且比LeNet、SA和DAN的性能高出10倍。9%，9. 6%和2。平均9%。与同类方法相比，该方法具有显著的改进效果，表明了加权MMD模型的有效性和实用性.2https://github.com/longmingsheng/mmd-caffe图3.不同方法的性能（%）λ。5.1.4办公室-31最后，进一步进行实验，以评估WDAN在多类数据集。由于大多数DA方法都是在小于100个类的数据集上进行测试的，因此我们只在31个类的数据集上进行实验（即31个类）。Office-31）。有三个域，即，亚马 逊 （A ） 、 We- bcam （ W ） 和 DSLR （ D） ， 在Office-31中。在实验中，我们考虑了所有六个UDA任务，并使用Alexnet报告结果。表4列出了AlexNet、DAN和W-DAN的结果可以看出，所提出的WMMD取得了更好的结果比它的MMD对应，表明WMMD也很好地工作在具有更多类的数据集。总之，我们的加权MMD模型的有前途的性能可以在各种CNN架构上得到验证（即，AlexNet、GoogLeNet和LeNet）以及具有不同数量类的各种数据集5.2. 实证分析在本小节中，我们从三个方面对所提出的WDAN进行了实证分析。首先，我们评估了超参数λ对我们在Eqn中提出的WDAN模型的影响。（十一）、其次，与其基线相比，Alexnet和DAN，我们表明我们提出的WDAN对类权重偏差是鲁棒的。最后，我们对学习到的特征表示进行5.2.1参数λ的影响Eqn中的目标WDAN的（11）由三个项组成，即，源域和目标域上的传统经验损失，以及基于MMD的正则化。通常s峰化，经验风险项保持学习的深度特征在源域上是有区别的，而基于MMD的正则化器鼓励域不变特征表示。这两个方面对于域适应都是至关重要的。客观方程中的参数λ。（11）在这两个部分之间进行了权衡，并且可能极大地影响域自适应的性能参观一下2281图4. 不同方法的性能（%）类权重偏差这个参数，我们评估我们提出的WDAN基于AlexNet的任务W→C从Office-10+Caltech-10在各种λ下。如上所述，λ属于集合{0.0，0.03，0.07，0.1，0.4，0.7，1，1.4，1.7，2}。同时，我们还比较了我们的WDAN模型和不同λ下的DAN模型。AlexNet报告为基线，对应于λ=0的情况。结果如图所示。3 .第三章。从结果中可以得出明显的结论：（i）我们提出的WDAN始终优于DAN，表明在MMD中挖掘类权重偏差是有意义和有益的;（ii）WDAN和DAN实现了在λ = 0时最好。4且λ = 0。1，并且优于基线，即，AlexNet，当λ <1. 2和λ <1。0，表明适当的平衡很重要也是必要的5.2.2类别权重偏差为了进一步阐明类权重偏差对基于MMD的域自适应方法的影响，我们对基于ImageCLEF的任务V→C的变体进行了实验。在AlexNet上。具体来说，我们选择两个共享类，即飞机和摩托车，在源域PASCAL VOC2012（V）和目标域Caltech 256（C）中，这形成了两类分类问题。然后我们将源域上每个类的类权重固定为0.5，并通过逐渐改变目标域上的类分布来训练不同的方法，这可以解释为源域和目标域之间的类权重偏差的不同程度图4显示了结果-的WDAN，DAN和AlexNet在不同水平的类加权偏差。由此可见，类权重偏差对基于MMD的域自适应方法的性能有很大的影响。此外，传统的基于MMD的方法（例如，DAN）在处理类权重偏差方面受到限制此外，我们提出的WDAN是更强大的类加权偏差。图5. 不同方法的学习特征的t-SNE可视化。5.2.3特征可视化根据[25]中的工作，我们将WDAN和DAN在Office-10+Caltech-10的D→C任务中对目标域学习的特征可视化。对于特征可视化，我们采用t-SNE可视化方法[37]，其源代码提供3。DAN和加权DAN的特征可视化结果如图所示5（a）和图5（b）分别。如图中的橙色方框所示5、WDAN学习的特征比DAN学习的特征保留了更多的类差异距离根本原因在于WDAN通过考虑加权MMD正则化器，不像DAN那样最小化类权重偏差，这也说明加权DAN可以在各种无监督域自适应任务上优于DAN。6. 结论在本文中，我们专注于未调查的类权重偏差的问题，在UDA，这对基于MMD域自适应方法的不利影响。首先，我们提出了一种新的加权MMD，通过构建一个参考源分布的基础上的目标分布，以减少类权重偏差的影响对于UDA，我们提出了一个加权的DAN（WDAN）的基础上提出的加权MMD，并开发了修改的CEM学习算法，共同签署伪标签，估计辅助权重和学习模型参数。实验结果表明，我们提出的WDAN优于其MMD对应，即，DAN，在各种域适应任务中。今后，仍有几个问题需要调查：（i）对基于非CNN的UDA模型的加权MMD的评估，（ii）对其它任务的应用（例如，图像生成）。7. 确认这项工作得到了国家自然科学基金（61671182，61471082 和 61370163 ） 的 部 分 支 持 。 作 者 还 感 谢NVIDIA公司捐赠的GTX 1080 GPU。3https://lvdmaaten.github.io/tsne/2282引用[1] M.- R. Amini和P.加里纳利半监督Logistic回归。第15届欧洲人工智能会议论文集，第390-394页。IOS Press，2002. 二、四[2] H. Azizpour，A. Sharif Razavian，J. Sullivan，A. Maki和S.卡尔森 从一般到具体的深度表示- s的视觉识别。在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition中，第361[3] M. Baktashmotlagh、M. T. Harandi和M.萨尔茨曼用于视觉 域 自 适 应 的 分 布 匹 配 嵌 入 。 Journal of MachineLearning Research，2016。第1、3条[4] K. M. Borgwardt，A. Gretton，M. J. Rasch，H.- P. 克里格尔B. S choélkop f，anddA. J. 好的。用核最大平均偏差法对双Bioinformatics，22（14）：e49-e57，2006. 3[5] B. Caputo和N.帕特丽夏imageclef 2014域适配任务概述。在ImageCLEF 2014：结果概述和分析中，编号EPFL-CONF-201812，2014。五、六[6] G. Celeux和G.戈瓦特聚类的分类em算法及其两种随机版本。计算统计数据分析，14（3）：315-332，1992年。四、五[7] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。Imagenet：一个大规模的分层图像数据库。在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，第248-255页6[8] J. Donahue，Y. Jia，O. Vinyals，J. Hoffman，N. 张先生，E. tzeng和T.达雷尔。Decaf：用于通用视觉识别的深度卷积激活功能在Proceedings the International Conferenceon Machine Learning，第6471[9] M.埃弗灵厄姆湖，澳-地凡古尔角，澳-地K.威廉斯，J.Winn和A. 齐 瑟 曼 。 pascal 视 觉 对 象 类 （ voc ） 的 挑 战 。International Journal of Computer Vision，88（2）：3036[10] B. 费尔南多，A.哈布拉德M.Sebban和T.Tuytelaars 使用子空间对齐的无监督视觉域自适应。在IEEE计算机视觉国际会议论文集，第2960-2967页，2013年。7[11] Y. Ganin和V.Lempitsky 通过反向传播的无监督域自arXiv预印本arXiv：1409.7495，2014。3[12] R.格希克，J。多纳休，T. Darrell和J.马利克丰富的特征层次结构，用于准确的对象检测和语义分割。IEEE计算机视觉和模式识别会议论文集，第580-587页，2014年1[13] B. 龚，K.Grauman和F.煞用地标连接点：区分性学习域不变特征，用于无监督域自适应。在Proceedings theInternational Conference on Machine Learning ， 第 222-230页，2013年。3[14] B.贡，Y. Shi，F. Sha和K.格劳曼用于无监督域自适应的测地线流核。法律程序的IEEE计