14043基于分层梯度同步的胡岚清1、2阚美娜1、2石广山1、2、3陈西林1、21中国科学院智能信息处理重点实验室，中国科学院计算技术研究所，北京1001902中国科学院大学，北京1000493中国科学院脑科学与智能技术示范中心，上海，200031lanqing.hu @ vipl.ict.ac.cn{kanmeina，sgshan，xlchen}@ict. ac. cn摘要领域自适应试图通过从一个成熟的源领域借用知识来提高目标领域的性能。为了处理两个域之间的分布间隙，突出的方法endav-或提取域不变特征。众所周知，在完美的域对齐之后，两个域的域不变受此启发，本文提出了一种新的分层梯度同步方法来模拟局部分布片与全局分布片之间的同步关系，以获得更精确的域不变特征。具体而言，首先构造了包括类对齐、组对齐和全局对齐的层次化域对齐。然后，这三种类型的对齐被约束为一致的，以确保更好的结构保存。结果表明，所得到的特征具有区域不变性和内在结构保持性.作为广泛的做主要适应任务的评估，我们提出的方法实现了最先进的分类性能香草无监督域适应和部分域适应。1. 介绍机器学习的一般假设是训练数据和测试数据具有相似的分布，这使得在大规模标记数据上训练的模型在测试数据上表现良好。然而，在许多现实世界的应用中，我们通常只能访问与测试数据共享类似分布的有限数量的标记训练数据，这不足以训练足够好域自适应通过从一个复杂集合（即，源域），其中具有大量标记的数据但与测试数据处于不同的分布（即，靶域）。根据标注数据在目标域中的规模，域自适应可分为有监督、半监督和无监督域自适应。本文主要研究目标域中只有未标记数据的无监督域自适应问题。大多数现有的工作通过减轻边缘分布离散性（即，数据X的分布）或条件分布差异（即，给定用Y标记的类的数据X的分布）。此外，也有一些作品试图同时处理边缘和条件差异。在早期，大多数方法都试图通过使用实例重新加权来对齐源域和目标域的边缘分布，例如样本选择偏差[45，7，19]和协变量偏移[39，1]。这些方法适用于源域和目标域共享相同支持的场景，因此它们不能在野生场景中获得令人满意的性能。为了更好地处理复杂场景，出现了专注于提取域不变表示的常见子空间方法[14，13，37，12，38]。这些方法主要试图最小化两个域的边缘分布之间的差距。在测地线流核（GFK）[13]的方法中，无限数量的子空间被集成以模拟源域和目标域之间的域移位。在[12]中，一组地标，即，来自源域的具有与目标域最相似的分布的标记数据的子集被揭开以桥接源域和目标域。[24]和[28]中提出的方法将深度特征嵌入到再生核希尔伯特空间（RKHS）中，并最小化特征的最大均值差异（MMD）以进行自适应。JGSA [46]和PUnDA [11]联合缓解了几何结构间隙和分布偏移。[48]中的方法通过对齐14044(a) 局部未对准（b）预期组对中图1.说明（a）仅在方法中局部未对齐，全局分布对齐，以及（b）全局域和局部类的预期对齐。最好用彩色观看。跨域的RKHS协方差矩阵。在这些传统方法中，分布离散度通常用MMD、K-L离散度和Bregman离散度等度量来度量.近年来，对抗性损失作为一种更为有力的衡量指标，引起了人们的广泛关注.[9，10，41]中的工作通过增加梯度反转层或在目标域特征上采用adversarial目标来处理域偏移因此，混淆域分类器的特征通常是域不变的。之后，许多基于通过对抗学习进行域变换的方法[40，23，22，49，35]在分布对齐和域不变特征提取方面取得了非常有前途的性能。上述方法只考虑了两个域的边缘分布之间的差距。换句话说，这些方法只在全局上对两个域进行比对，而不考虑局部片段的比对是否正确结果，可能发生两个域很好地对准，但是局部块（例如，类别）的两个域是不匹配的，如图1（a）所示。近年来，一些方法试图最小化条件分布之间的差距（即，class-wise dis- tribution) of two domains, for betteralignment of the cate- gories between two domains.具体来说，在WDAN [44]中，每个类别的类别特定辅助权重被引入到原始MMD度量中，以利用源和目标域上的类别先验。MADA [31]利用多个对抗学习，每个类一个，在目标域上获得更多的性能改进。此外，基于这种多对抗框架，CDAN [25]新颖地设计了多线性条件反射，即，对特征表示和分类器预测之间的协方差进行对抗性学习，以隐式地对齐源域和目标域的条件分布，更精细地处理域分布对齐类似地，专门用于部分域自适应的方法（包括SAN [2]和PADA [3]）也显示了考虑类分布对齐的优势。还有一些其他方法[26，17，36，33，5，18，30，47]在训练过程中直接将目标域中未标记样本的类别标签预测为伪标签。利用目标领域样本的伪类别标签和源领域样本的那些已知真实标签，来自不同领域但相同类别的样本被隐式地拉近以共享相同的分布。在[47]中提出的SymNets中，域区分和混淆堆叠在源域和目标域的关联分类器上，从而促进域级和类别级特征分布混淆。MCDDA [34]和CAN [21]都是专注于明确校准两个域的类别级分布的方法MCDDA [34]在特征编码器和两个不同的分类器之间进行最小-最大博弈，以优化决策边界，然后消除类内域差异。CAN [21]显式地最小化类内差异，同时根据源域的标签和目标域的预测标签最大化域之间的类间差异通常，这些最近提出的方法考虑全局分布（域级）离散性和局部分布（类别级）离散性的对齐，从而实现有希望的性能。然而，在这些方法中，全局对齐和局部对齐-T以单独的方式实现，例如，最小化域级别和类别级别差异的加权和[6，31，25]。因此，所获得的结果只是全局和局部分布对齐的折衷，14045我Ss我CJJi i jj仍然存在不一致的分布对齐。从图1（b）中可以看出，在完美的域对齐中，局部类别的校准和全局域分布是一致的，即，校准方向大致相同。为了更好地考虑局部和全局分布对齐之间的内在联系，本文提出了一种通过约束局部和全局对齐的梯度同步来实现局部和全局分布一致性对齐的新方法，称为层次梯度同步域自适应算法（GSDA）.简而言之，这项工作的贡献有两个方面：(1)我们提出了一种新的方法，该方法考虑了全局和局部分布对齐的一致性据我们所知，这是第一个明确的全球和本地分布对齐之间的内在关系建模的工作。(2)通过新设计的分层梯度同步模块实现了全局和局部分布对齐的一致性（3）实验表明，该方法在无监督的领域自适应和部分领域自适应的情况下都达到了最佳的分类精度。2. 方法为了清楚地描述，我们首先给出一些定义。标记的源域图像和未标记的tar-get域图像表示为Xs={（xs，ys）}n，用于局部类分布对齐的对抗鉴别器而Dgrp表示用于分组对齐的对抗鉴别器，其中每个组由几个类组成特征提取器E被馈送源域数据和目标域数据，并且输出特征f其被期望为域不变的。然后，特征被馈送到分类器C中进行分类，并且还被馈送到对抗鉴别器D中进行域移位减少。特征提取器E和鉴别器D玩两个玩家的最小-最大游戏，以使来自E域的特征不变。In other words,the features fromE应该是域不变的，如果他们成功地欺骗域鉴别器D。2.1. 特征提取和分类特征提取器E如下将输入源或目标样本xs和xt编码到公共特征空间fs=E（xs），ft=E（xt），（1）其中E可以是任何类型的网络架构，例如几个连续的卷积层。然后将f∈{fs，ft}送入分类器C，以保证特征f是可区分的.特征提取器E和分类器C的参数分别表示为θE和θC对象分类器C的输出表示如下：ps=C（fs），pt=C（ft），（2）i i i=1Xt={xt}m。在无监督域中adap-s sj j=1其中pi是C的softmax输出，xi作为输入，站，源域和目标域，即，Xs和Xt，gen-pt是C的softmax输出，xt作为输入。考虑通常遵循不同的分布，但共享相同的cat-j jegories。源域中的样本被标记，类别标签表示为ys∈ Cs={1，2，···，r}，而真正的类别标签可用于源域，分类的交叉熵损失被直接应用并公式化如下：目标域中的样本是未标记的。在unsu-监督域自适应源域和目标域Ls= Σ。-是的 HCΣE（x），yΣ、（3）共享完全相同的类别，即，Ct=Cs，其中Ct和Cs是目标域和源域中的r还有一种特殊情况，其中Ct是Cs的子集，即，Ct-Cs，称为部分无监督域自适应，位置。 我们的方法适用于无监督的do-主自适应和部分无监督域自适应。为了更容易理解，我们在无监督域自适应的场景中引入了公式，c i ixs∈Xs其中H（·，·）表示交叉进入损失。对于目标域样本，类别标签不可用，因此传统的交叉熵损失是不适用的。因此，在[15]之后，利用条件熵损失来提高预测的确定性，即，使pt中只有一个元素占优势，在实验部分评估这两项任务除非其他如果不作规定，则在上标或下标中使用的符号s和t表示源域和目标域，抑制 形式上，条件熵损失Lc未标记的靶结构域样品如下：分别我们的方法的整个框架在图2中示出，其配备有特征提取器E、观测器E、以及特征提取器E。主题分类器C和三种对抗性鉴别器Lt= Σxt∈Xt.HC.E（xt）ΣΣ、（四）D= {D Dom，D组， D CLS{\f n方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F} 给你D14046JΣjDom表 示adve r-，其中H（·）是条件熵损失，其中H（pt）=R用于全局域分布对齐的Sarial算法--p t（k）log p t（k）。在ptindi中的第k个元素pt（k）k=1j j j j也就是说，域级对齐。Dcls表示将xt分配给第k个类的概率14047KK我我我我图2.说明我们的GSDA方法的整体框架。来自源或目标域的输入样本xi首先由共同特征提取器E编码。基于提取的特征，设计分类器C进行对象分类，设计对抗性鉴别器Ddom、Dgrp和Dcls分别从域级、组级和类别级的角度进行分布对齐。此外，三种类型的对抗鉴别器之间的层次梯度同步构造约束全局和局部对齐之间的一致性，以更好地保持结构最好用彩色观看总体而言，两个域的对象分类损失如下所示：Lc=Ls+αLt，（5）即使全局分布很好地对齐，两个域中每个类的分布也可能不对齐，如图1（a）所示，例如，第i类源域可以被对齐以C ckth（i（k）目标领域的类别，尽管这两个领域-将共同特征F约束为有区别的，有利于分类工作。2.2. 域分布对齐除了类别区分性之外，来自E的特征f还应该是域不变的，以加强从源域到目标域的知识转移。在一个完美的域不变特征空间中，不仅球，两个域的所有结构以及诸如每个组或甚至每个类的任何局部片段都应该很好地对齐。针对这一目标，分别针对域级、组级和类级分布对齐引入了此外，通过一种新的分层梯度同步模块来约束三种对齐方式的一致性。此同步模块可确保任何电源在全球范围内保持一致。这是因为全局域迁移约束只考虑了w孔域的差异，而没有考虑局部域的差异。为此，针对源域和目标域局部区域的分布差异，建立了局部对抗性鉴别器，该鉴别器由两类局部对抗性鉴别器组成：类智慧和群体智慧。首先，简单地说，构建类对抗性判别器来解决源域和目标域之间的每个类别内的差异源域的第i个类别应该与目标域的第i个类别对齐，而不是与目标域中的其他类别对齐。 形式上，类明智的对抗性dis--第k个类别的犯罪者表示为Dcls，其域歧视损失s的公式如下：局部片与全局对准结构一致ΣLcls=pkHclsKΣE（xi），di，与导致信息量更大的域比对。全局对抗鉴别器全局对抗鉴别器，即，域级对抗性判别xi∈Xs <$Xt.di=1，如果x是0，如果x∈Xs∈Xt，（七）Inator_D_dom被设计为如下区分具有交叉熵损失的源域和目标域：我其中di是域标签，类似于全局广告中的域标签。ΣLg=H（Ddom（E（x）），d），其中其中，k∈ {1，2，···，r}表示索引，我我xi∈Xs<$Xt.1，如果xi∈Xs，（六）并且pk是样本xi的损失权重，表示其属于第k类的概率，即，p的第k维输出，di=0，如果xi∈Xt，在等式（2）中， 注意，如果xi∈Xs我并且它属于kth类，pk=1且pj|j/=k=0，因为我我其中di表示每个样本xi的域标签。通过在E和这个参数记为θDdom的θDdom之间进行最小-最大对抗优化，E的两个区域的整个分布将变得全局不可分。xi∈Xs是确定的。 而对于xi∈Xt，由于它的标号是un-i，可用，对应的pk是等式（2）中的分类器C将xi∈Xt分类到第k同样，通过玩最小-最大对抗优化，D14048QQ我QQΣ我QKi k∈qiGRP为了实现上述目标，每个类别的两个领域的分布都很一致每个参数类局部θDcls表示为θDcls。KK除了每一个类别，任何地方组组成的服务器-所有的类也应该在完美的域对齐中很好地对齐。因此，可以通过建立组级对抗鉴别器来加强局部对齐。类似作为类方面的对抗性鉴别器，第q组的组方面的对抗性鉴别器Dgrp具有do-主要判别损失。公式如下：Lgrp=pqH组QΣE（xi），di，与xi∈Xs<$Xtdi=.1，如果x是0，如果x是∈Xs∈Xt，（八）图3.说明了它们之间的分层分布对齐和分层梯度同步。和当地的路线，这将危及路线-其中q∈ {1，2，· · ·，b}表示第q群的索引。聪明的对抗性博弈，pq表示概率，全局和局部对齐的方向不一致，导致不准确的分布对齐。xi的能力属于qth我组 这里的团体实际上，在一个完美的全局排列中，也应该很好地对齐，反之亦然：完美的结合简单地实现为所有类的随机划分，在等式（7）中定义。相应地，第q组的类别分组概率pq可以很容易地得到为pq=pk。一般来说，不同组中的类允许彼此重叠，而在这项工作中，所有组都是简单随机划分的，没有重叠。值得一提的是，当类的数目较大时，这些组可以是分层结构的组而不是扁平结构的组。类似地，通过使用上述目标进行最小-最大对抗优化，两个域的分布在每个组中局部对齐。 每个参数按组局部θDgrp表示为θDcls。每一个分组式局部矩阵Dq的参数表示为θDgrp。然后 将所有鉴别器的总 参数 表示 为θD={θDdom ，θDcls，θDgrp}.通过对所有局部对抗性鉴别器进行求和，分布对准被获得为：每个局部片的分割也形成最佳的全局对准。具体而言，每个局部片段的对齐方向和大小应与整个域的对齐方向和大小一致因此，直观地，全局和局部域对齐之间的一致性可以用来验证两个域是否对齐良好。反过来，如果将这种一致性公式化到分布对齐的过程中，则将有利于域对齐。考虑到这一点，对梯度的新约束被设计为分层梯度同步项，其在图3中呈现并且具体地在等式（10）和（12）中公式化。(11)下面具体地，分层梯度同步包括对抗鉴别器的三个级别之间的梯度同步，即，域级、组级和类级鉴别器，形成分层方式。类式比对和组式比对之间的梯度同步设计如下：布雷布尔. Σ.. 公司简介你 好...CLSL1=L组+Lcls，（9）...Q.... Lk.. -是的Qq=1Kk=1syngrp语法...xi∈.. （xi）..−2 k∈grpqxi∈.. （xi）.. -是的.. -是的二、其中b代表基团的数目，并且r代表XsXtXsXt（十）类的数量总体而言，三种类型的分布对齐（包括域级、组级和类级域分布对齐）形成了分层对齐结构，旨在全局和局部地更好地对齐源域和目标域。2.3. 分层梯度同步前面的全局和局部对抗鉴别器从全局和局部的角度处理域之间的分布对齐，但是在一个独立的 t的方式。这可能会导致全球DL=.14049上述方程（10）中的梯度同步目标试图使每个组的对准方向的大小与该组内每个类别的对准方向的大小之和一致。这里，第一项表示域中第q组的鉴别器的梯度大小，第二项表示域中第q个组中每个类别的鉴别器的梯度注意，这里我们只使用对幅度的约束，因为它可以影响方向和幅度，而和梯 度 方 向 将 抵 消 差 异 。 注 意 ， 在 第 二 项 中 ，xi∈Xs<$Xt仍然表示来自第k个类的样本，因为采样概率为14050K..GRPQ包含在Lcls中。类似地，按组和整个域对齐之间的梯度同步被公式化为如下：参数更新如下：β（Lg+βLsyn）θDg←θDg−η，θDg（十五）.. Σ..公司简介.我的宝贝-是的θDlβ（L1+βLsyn）←θDl −η，L syn=.....−..Q.. -是的、kk∂θDl东布拉格尔普..xi∈.. E（xi）..2q=1xi∈ .. （xi）.. - 是的K二、XsXtXsXt（十一）其中η是学习速率。给定D，特征提取器E和分类器C是op-其中，第一项表示disc的梯度幅度整个域的criminator，并且第二项表示每个组的鉴别器的梯度幅度。 注意，在第二项中，xi∈Xs<$Xt仍然最小化以使来自E的特征是有区别的和域不变的。这是通过最小化对象分类损失和混淆对抗性判别来实现的最小-最大博弈的结果如下：表示来自第q组的样本，因为采样概率包含在L组中。注意，虽然等式（10）和（11）是损失minθC，θE.Lc +βL syn -（LglΣ+（16）关于梯度，它们是一阶导数优化而不是二阶导数优化，这是有效的。参数更新为：Lc古老的 这是因为方程（10）中的梯度θC←θC−ηθ，.CΣ（11）是关于输入特征的，但不是关于关于网络参数。θE←θE−ηLcθC×θC+βθE中文（简体）θE（Lg+Ll）−θD×θD。θE之后，将所有层堆叠在一起，整体3-层分级梯度同步约束是nat-最终获得如下：3. 实验（十七）Lsyn=1个员额bbq=1syngrp语法syndomsoughtgrp .（十二）我们评估所提出的方法和其他相关的它既适用于无监督域自适应（源域和目标域共享相同的类别），也适用于部分域自适应（目标域的类别是一个子集在这种约束下，梯度的方向和大小期望全局和局部对准的梯度下降保持彼此同步。结果，可以更精确地对准两个域的分布利用等式（6）、（9）和（12）中定义的全局对准、局部对准和梯度同步，鉴别器D的总体目标函数最终被公式化如下：Ld=Lg+Ll+ β Lsyn.（十三）利用上述等式（13）中的目标，源和目标域被全局和局部对准，其中全局和局部分布对准之间具有一致性。结果，两个域被很好地对齐，并且区分结构也被很好地保留。2.4. 总体目标和优化通过遵循自适应学习机制交替地优化{E，C}和D来优化总体目标函数，这在下文中详细描述。在{E，C}中，对自适应鉴别器D进行优化，以通过最小化域鉴别损失来区分源域和目标域：源域的自适应）的目标分类基准，其中部分域的自适应结果将在补充资料中给出。此外，还进行了烧蚀研究，分析了各部分的贡献。3.1. 数据集和实验设置三个标准的基准无监督域自适应和一个部分域自适应，分别采用的评估。Office-31[20]是一个经典且广泛使用的领域适配基准，具有31个类别，由3个不同的领域组成，包括Amazon（A）2817张图像，Webcam（W）795张图像和D-SLR（D）498张图像。遵循[13，26，28，31]中定义的常用协议，来自三个域的所有31个类别都用于评估无监督域自适应，形成6个转移任务。[42] Node-Home是另一个经典的数据集，有65个类别，由4个不同的领域组成，包括艺术图像（Ar），剪贴画图像（Cl），产品，真实世界图像（Rw）。按照[13，26，28，31]中定义的常用方案，来自四个领域的所有65个类别都用于评价。minθDg，θDlLd=Lg+Ll+βLsyn，（14）L+L14051无监督域自适应，形成12个转移任务14052表1.我们的GSDA在Office-31（ResNet 50）上进行域适应的消融研究GLB CLS GRPGrad SyncA→WD→WW→DA→DD→AW→AAvgCCcCCcCCCC87.991.793.195.798.298.499.099.1100.0100.0100.0100.085.587.191.494.866.468.971.573.564.167.267.074.983.785.687.089.7VisDA-2017是一个更具挑战性的模拟到真实的任务，有两个不同的领域：从3D模型渲染的合成对象图像和真实对象图像。它包含152397个训练图像和55388个验证图像，跨越12个类。根据[34，25]中的训练和测试协议，模型在标记的训练和未标记的验证集上进行训练，并在无监督域自适应中的验证集上进行测试。Office-31-PDA最近，在Office-31上构建了用于部分域适配的新协议[20]。如[2，3]中所定义的，与标准非线性系统相同的三个域使用有监督的域自适应，但是对于源域和目标域具有不同的类别：来自这三个域的所有31个类别被用作源域，分别表示为A 31、D 31和W 31，而在Office- 31和Caltech- 256之间共享的10个公共类别被用作目标域，分别表示为A 10（958个图像）、W 10（295个图像）和D 10（157个图像）。实施细节为了公平比较，设置我们使用与COM方法相同的网络体系结构。具体来说，我们使用ResNet50作为所有实验的骨干。在Office-31-DA和Office- Home中，等式（5）中的超参数α和等式（13）中的β被设置为0。02和1。0的情况。在VisDA-2017和Office-31-PDA中，α和β设置为0。2和10。0，分别。在Office-31-DA和Office-31-PDA中，类被分为6个组.在家庭中，他们被分成13个小组。 在VisDA-2017中，它们被分为4组。为了更清楚地说明超参数的选取，在补充资料中给出了超参数的灵敏度分析。对于GSDA的稳定训练对于目标域，类标签不可用，因此仅使用具有高置信度伪标签的那些样本作为训练样本。3.2. 消融研究消融研究在无监督域适应设置（Office-31-DA）上进行简单地说，我们的GSDA由三部分组成，全局对齐，局部对齐，以及它们之间的层次梯度同步如表1所示，仅具有全局域比对（Glb）的方法比添加了类式比对（Cls）的方法执行得更差，这表明局部比对是表2. Office-31-DA（ResNet 50）上的对象分类精度。所有方法都遵循相同的设置，因此大多数结果都直接来自原始作品，除了MCDDA使用发布的代码进行调整。方法一↓WD↓WW↓D一↓DD↓一W↓一AvgResNet50 [16]68.496.799.368.962.560.776.1[29]第二十九话[第13话]72.772.896.795.099.698.274.174.561.763.460.961.077.677.5丹麦[24]80.597.199.678.663.662.880.4[第28话]84.596.899.477.566.264.881.6JAN [27]85.497.499.884.768.670.084.3DANN [10]82.096.999.179.768.267.482.2ADDA [41]86.296.298.477.869.568.982.9MCDDA [34]82.698.999.884.366.266.383.0MADA [31]90.097.499.687.870.366.485.2CDAN [25]94.198.6100.092.971.069.387.7SymNets [47]90.898.8100.093.974.672.588.4SAFN [43]90.398.7100.092.173.471.287.6BSP [4]93.398.2100.093.073.672.688.5GSDA（我们的）95.799.1100.094.873.574.989.7这对于在自适应期间保持有区别的结构是重要的然后用分组比对（Grp）方法构造模型，通过将多个类随机组合为一组，更精细地捕捉到了区分结构，从而使模型得到了进一步的改进。此外，通过考虑全局对齐和局部对齐之间的分层梯度同步，GSDA（梯度同步记为Grad Sync）实现了显著的改进，表明其有效性，这也说明了全局和局部分布对齐之间一致性的必要性。显然，我们的主要贡献，即，分组对齐和分级对齐同步显示出对于域自适应的有希望的益处。3.3. 无监督域自适应无监督域自适应是域自适应的最典型的设置，并且有许多相关的工作，例如传统的方法TCA [29]和GFK[13]，基于MMD标准的深度自适应工作，如DAN[24]，RTN [28]和JAN [27]，以及基于对抗学习的方法，包括DANN [10]，ADDA [41]，MADA [31]，[25]第47话，所有这些方法都与我们在第3.1节中介绍的Office-31实验结果示于表2、3和4中。可以看出，没有自适应的基线和传统的非深度方法表现最差，而14053表3.在ResNet50数据集上的对象分类精度。所有方法都遵循相同的设置，因此所有结果都直接从原始作品中复制。方法Ar↓CLAr↓PRAr↓RWCL↓ArCL↓PRCL↓RWPR↓ArPR↓CLPR↓RWRW↓ArRW↓CLRW↓PRAvgResNet50 [16]34.950.058.037.441.946.238.531.260.453.941.259.946.1丹麦[24]43.657.067.945.856.560.444.043.667.763.151.574.356.3DANN [10]45.659.370.147.058.560.946.143.768.563.251.876.857.6JAN [27]45.961.268.950.459.761.045.843.470.363.952.476.858.3CDAN [25]50.770.676.057.670.070.057.450.977.370.956.781.665.8SymNets[47]47.772.978.564.271.374.264.248.879.574.552.682.767.6SAFN[43]54.473.377.965.271.573.263.652.678.272.358.082.168.5GSDA（我们的）61.376.179.465.473.374.365.053.280.072.260.683.170.3表4. VisDA-2017任务（ResNet 50）的对象分类精度。所有方法都遵循相同的设置和编码器架构，除了使用ResNet 101标记的方法。结果直接从原始作品中复制。带下划线的结果意味着具有更深网络或多个数据增强（S-En）的四种标记方法的最高准确度。方法平面bcycl总线车马刀麦克伊克勒人植物斯克特布尔德火车卡车AvgResNet50 [16]70.651.855.868.977.97.693.334.581.127.988.65.655.3丹麦[24]61.754.877.732.275.080.878.346.966.934.579.629.159.8DANN[10]75.970.565.317.372.838.658.077.272.540.470.444.758.6MCDDA[34]87.060.983.764.088.979.684.776.988.640.383.025.871.9TPN [30]93.785.169.281.693.561.989.381.493.581.684.549.980.4S-En*[8]96.387.984.755.795.995.288.677.493.392.887.538.282.8BSP†[4]92.461.081.057.589.080.690.177.084.277.982.138.475.9[43]第四十三话93.661.384.170.694.179.091.879.689.955.689.024.476.1GSDA（我们的）93.167.883.183.494.793.493.479.593.088.883.436.781.5具有MMD标准的深度方法（例如DAN [24]和JAN[27]）受益于深度网络的可促进的非线性而表现得更好。此外，基于对抗学习的方法，包括DANN [10]，ADDA [41]，MADA [31]和我们的表现甚至比基于MMD的深度方法更好，这归因于对抗学习减少分布差异的更强大能力。在基于对抗性的方法中，DANN [10]和ADDA [41]是早期的方法，仅专注于全局分布对齐，其性能优于基于MMD的方法，但改进有限。MADA [31]、C-DAN[25]和SymNets [47]进一步考虑类级对齐实现更有希望的适应。然而，它们没有考虑局部和全局对齐之间的内在关系更进一步，我们提出的方法GSDA不仅考虑全局和局部（即，类方式和组方式）对齐，而且它们之间的分级梯度同步关系，导致更好的适应。此外，BSP [4]和SAFN [43]是最近提出的方法，从特征分布对齐的不同角度来看。BSP通过惩罚特征向量的最大奇异值来提高鉴别力，SAFN通过放大特征的范数来提高可移植性。与这两种新的方法相比，我们的方法仍然取得了最好的性能，证明考虑全局和局部分布对准关系的优点和必要性。4. 结论和未来工作为了更好地进行无监督域自适应，提出了一种新的方法GSDA，该方法将两个不同域的分布进行全局和局部对齐，并在它们之间进行梯度同步为了保证全局和局部分布对齐的一致性，更好地保持结构，建立了分层梯度同步模块大量的实验验证了该方法的优越性。全局和局部区域对齐之间的梯度同步在这项工作中取得了可喜的进步，这也意味着全局和局部分布对齐之间的关系值得深入分析和探索。确认本工作得到了国家重点研发计划（2005年）的部分支持&。2017YFA0700800）、国家自然科学基金（No.61772496）和UCAS联合博士培训计划。14054引用[1] S. Bic k el，M. B rückner和T. Sche f fe r.协变量移位下的判别式学习。Journal of Machine Learning Research（JMLR），10（9）：2137[2] Zhangjie Cao ， Mingsheng Long ， Jianmin Wang ， andMichael I.约旦. 选择性对抗网络的部分迁移学习在IEEE/CVF计算机视觉和模式识别会议（CVPR），2018年。[3] Zhangjie Cao，Lijia Ma，Mingsheng Long，and JianminWang.部分对抗域自适应。在欧洲计算机视觉会议（ECCV），2018。[4] Xinyang Chen ， Sinan Wang ， Mingsheng Long ， andJianmin Wang.可转让性与可辨别性：对抗域适应的批量频谱惩罚。在2019年国际机器学习会议（ICML）上[5] Z. Ding和Y. Fu.鲁棒迁移度量学习在图像分类中的应用。IEEE Transactions on Image Processing（TIP），26（2）：660[6] 丁正明、李胜、邵明、傅云。无监督域自适应的图形自适应知识转移。在欧洲计算机视觉会议（EC-CV），2018年。[7] M. 杜德克河E. Schapire和S.J. 菲利浦最大熵密度估计中样本选择偏差的修正神经信息处理系统（NeurIPS），2005年。[8] Geoffrey French，Michal Mackiewicz和Mark Fisher。视觉 域 自 适 应 的 自 组 装 。 在 国 际 表 征 学 习 会 议（ICLR），2018年。[9] Y. Ganin和V. Lempitsky通过反向传播的无监督域自适应。2015年国际机器学习会议（ICML）[10] Y. Ganin，E.乌斯蒂诺娃Ajakan，P. Germain，et al.神经网络的领域对抗训练。Journal of Machine LearningResearch（JMLR），17（1）：2096-2030，2016.[11] Behnam Gholami，Ognjen Rudovic和Vladimir Pavlovic。Punda：Probabilistic unsupervised domain adaptation forknowledge transfer across visual categories.在IEEE国际计算机视觉会议（ICCV），2017年。[12] B.龚，K. Grauman和F.煞用地标连接点：区分性学习域不变特征，用于无监督域自适应。2013年国际机器学习会议（ICML）[13] B.贡，Y. Shi，F. Sha和K.格劳曼用于无监督域适应的测地 线 流 核 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2012年。[14] R.戈帕兰河Li和R.切拉帕用于对象识别的域自适应：无监督的方法。IEEEInternational Conference on ComputerVision（ICCV），2011年。[15] Yves Grandvalet和Yoshua Bengio基于熵最小化的半监督学习。神经信息处理系统（NeurIPS），2005年。[16] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2016年。[17] Cheng An Hou，Yao Hung Hubert Tsai，Yi Ren Yeh，and Yu Chiang Frank Wang.具有标签和结构一致性的无监督域自适应。IEEE Transactions on Image Processing（TIP），25（12）：5552[18] 胡兰青，坎美娜，Shiguang Shan，陈西林。用于无监督域自适应的双重生成对抗网络。在IEEE/CVF计算机视觉和模式识别会议，2018年。[19] J. Huang，A. J. Smola，A. Gretton，K. M.博格沃特湾Schoülkopf，etal. 通过未标记数据校正样本选择偏倚神经信息处理系统（NeurIPS），2007年。[20] M. 弗里茨·K萨延科湾Kulis和T.达雷尔。使视觉类别模型适应新领域。欧洲计算机视觉会议（ECCV），2010年。[21] 康国梁、姜璐、杨毅和亚历山大·G.豪普特-曼。用于无监督域自适应的对比自适应网络。在IEEE/CVF计算机视觉和模式识别会议，2019年。[22] M. Liu，T. Breuel和J.考茨无监督图像到图像翻译网络。在神经信息处理系统（NeurIPS），2017年。[23] M. Liu和O.图泽尔耦合生成对抗网络。在神经信息处理系统（NeurIP-S），2016年。[24] M. 隆岛，澳-地Cao，J.Wang和M.I. 约旦. 使用深度自适应网络学习可转移特征。在2015年国际机器学习会议（ICML）上[25] Mingsheng Long ， Zhangjie Cao ， Jianmin Wang ， andMichael I Jordan.条件对抗域适应。在神经信息处理系统（NeurIPS），2018年。[26] Mingsheng Long ， Jianmin Wang ， Guiguang Ding ，Jiaguang Sun，and Philip S. Yu.具有联合分布适应的转移特征学习。IEEEInternational Conference on ComputerVision（ICCV），2014年。[27] Mingsheng Long，Jianmin Wang，and Michael I.约旦.使用联合自适应网络的深度迁移学习。2017年国际机器学习会议（ICML）[28] M.龙，H. Zhu，J.Wang和M. I.约旦.无监督域自
我的内容管理
展开
