可重新执行的对抗域适应：通过动态域标签重新激活域鉴别器来进一步驱动特征对准

9174用于对抗域自适应的辛金1蓝翠玲2*曾文军2陈志波1 *1中国科学技术大学2中国北京微软亚洲研究院jinxustc@mail.ustc.edu.cn{culan，wezeng} @ microsoft.comchenzhibo@ustc.edu.cn摘要许多无监督域自适应（UDA）方法利用域对抗训练来对齐特征以减少域间隙，其中特征提取器被训练来欺骗域鉴别器以便具有对齐的特征分布。域分类器的区分能力w.r.t.随着训练的进行，日益对齐的特征分布恶化，因此不能有效地进一步驱动特征提取器的训练。在这项工作中，我们提出了一个有效的优化策略，称为可重新执行的对抗域适应（RADA），其目的是通过使用动态域标签在训练过程中重新激活域鉴别器。特别地，我们在运行中将良好对齐的目标域样本重新标记为源域样本。这样的重新标记使得不太可分离的分布更可分离，并且因此导致更强大的域分类器w.r. t。新的数据分布，这又进一步驱动特征对准。在多个UDA基准测试上进行的大量实验证明了该算法的有效性和优越性。1. 介绍深度学习的快速发展帮助许多计算机视觉任务实现了重大改进这些学习模型通常在测试数据上具有高性能，这些测试数据与训练数据具有相似的特征，但在新环境中部署时会出现显著的性能下降[11，13，26，25]。在训练源数据（源域）和测试目标数据（目标域）之间存在域间隙此外，注释目标域的数据是昂贵且耗时的。为了在没有手动注释工作的情况下缓解臭名昭著的域间隙问题，最近广泛探索了无监督域自适应（UDA）[11，13，19，22，64，27，9]，其旨在从标记的源域和未标记的目标域中学习。*通讯作者。源数据目标数据重标记对象域目标样本分类器源源目标目标(a)先前方法(b)我们的方法图1：动机和我们的想法。(a)先前的方法通过用样本的静态域标签对抗性地训练域分类器来对齐域分布。域分类器的区分能力w.r.t.逐渐对准的特征分布随着训练的进行而恶化（即，例如，更多的样本是不可分离的），这又向用于对准的特征提取器提供较少的驱动功率，并且阻止了有效的优化。(b)我们提出了一种新的解决方案，允许动态域标签。我们将“对齐良好”的目标样本重新标记为源域，这使得两个不太可分离的分布更加可分离，从而导致更强大的域分类器，这反过来又对于域适应，本-大卫等的理论分析。[1]表明，减少源域和目标域之间的特征差异可以降低目标域误差的上限。许多域自适应方法倾向于学习域不变/可转移特 征 表 示 [15 ， 17 ， 14 ， 35] 。 受 生 成 对 抗 网 络（GANs）[16]的启发，对抗学习已成功应用于UDA[13，46，7，43，49，31，62，10]。对抗域自适应方法的核心思想是训练域鉴别器/分类器来区分源域和目标域，并训练生成器/特征提取器来最小化源域和目标域之间的特征差异，以便在最小最大两人游戏中欺骗鉴别器。期望主鉴别器的高鉴别能力，以便能够驱动特征对准。通常，域对抗神经网络9175基线我们转神经网络（DANN）[13]引入了用于对抗训练的梯度反转层（GRL），其中普通梯度下降用于优化域分类器，并且当通过GRL时梯度的符号被反转条件域对抗网络（CDAN）[31]通过在对象分类预测/似然性和提取的特征上调节域鉴别器来改进DANN所有这些方法都用源样本和目标样本的静态域标签来训练域鉴别器。然而，如图1（a）所示，随着对抗训练的进行，源域和目标域的特征分布越来越一致。域鉴别器/分类器w.r.t. 排列得越整齐的分布就越弱w.r.t.较早的较少对齐的分布。这种辨别能力的退化进而向用于对准的特征提取器提供较少的驱动功率，从而阻碍有效的优化，即使在特征空间中仍然存在未对准的样本。为了更好地理解正在发生的事情，在代表性基线方案CDAN [31]的顶部，我们通过计算每个训练时期的所有训练样本的域分类的平均熵来观察域判别器的判别能力的变化（参见图2（a）），其中时期是通过整个训练集的单次通过。如我们所知，更大的域分类熵（即。例如，鉴别器在样本的域类上具有较大的模糊性）指示域分类器的较差鉴别能力。我们还通过计算域差异测量最大平均差异（MMD）[30，2，55]（参见图2（b））来观察比对的程度。图2（a）揭示了基线方案的平均熵经历了一个快速下降然后缓慢上升的波动1)在早期时期，领域分类器的连续训练增加了其区分能力，从而熵减小。2)同时，随着训练的进行，源域和目标域的特征分布越来越一致，即。例如，域差异减小，如图2（b）所示。这可以不利地增加熵。3)特征提取器和域鉴别器的优化进程/步伐通常不相同。在大约5至15个时期，即使当辨别能力降低时，域差异也继续减小（即，当辨别能力降低时，域差异继续减小）。例如，熵增加）。这可能是因为特征提取器的优化滞后于域鉴别器的优化，因此特征提取器可以被进一步优化。4)域分类器的区分能力w.r.t.更对齐的分布变得比w.r. t更弱较早的较少对齐的分布（熵增加）。不断退化时代（a）（b）图2：训练中（a）域鉴别器的鉴别能力（通过域分类的熵测量）和（b）比对状态（通过MMD的域差异测量测量）的变化。对于基线方案CDAN [31]（由绿色标记），域鉴别器的鉴别能力取决于w.r.t.在熵的初始下降之后逐渐对准的分布，这又向用于对准的特征提取器提供较少的驱动相比之下，由于我们将对齐的目标样本重新标记为源样本的策略，我们的方案（由红色标记）可以提高域鉴别器的鉴别能力。例如，防止熵的增加），并因此进而进一步驱动特征对准。这些实验在设置为WA的Office-31上进行。请注意，更多的分析可在我们的补充文件中找到。反过来为特征提取器提供较少的驱动功率以用于对准，从而阻碍有效优化（其中对准状态在15个历元之后不能有效改善，请参考图2（b）中的绿色曲线）。因此，非常需要一种机制，其可以在运行中增强/改进域分类器的辨别能力以重新激励对抗训练。出于这一动机，在本文中，我们提出了一种新的优化策略，命名为可执行的对抗性域适应（RADA），其目的是在训练过程中重新激活特别地，代替使用用于源和目标样本的静态域标签来训练域分类器（参见图1（a）），我们提出利用动态域标签，其中我们重新标记例如，接近源域的那些，作为源域样本，在每个小批量中被优化/训练。如图1（b）所示，这使得两个不太可分离的分布更可分离，从而导致更强大的域鉴别器。这种重新通电的域鉴别器进而进一步驱动特征提取器的特征比对。从图2中，我们可以观察到，在使用我们提出的数据重新标记策略之后，域分类熵远低于基线方案的域分类熵。域差异也较小。我们将主要贡献总结如下：• 我们指出，流行的对抗域自适应方法一般面临优化困难，这是由恶化的歧视能力造成的。基线我们基线我们时代鉴别器熵领域差异9176随着特征分布在训练中变得越来越一致，域分类器的能力也越来越强。• 为了减轻域鉴别器的鉴别能力的恶化，我们提出了一种有效的优化策略，称为可执行的Ad- versarial域自适应（RADA），它能够在训练期间重新激活域鉴别器，从而进一步驱动特征对齐。我们通过将良好对齐的目标样本重新标记为源域样本来实现这一点，用于在线训练域鉴别器。我们将在多个广泛使用的基于对抗学习的领域适应基线之上证明所提出的RADA的有效性。RADA显著优于最先进的UDA方法。RADA简单而有效，并且可以用作现有的基于对抗学习的UDA方法的即插即用请注意，我们不对域鉴别器的网络架构进行任何更改，这使得RADA对许多对抗性域自适应方法友好。2. 相关工作无监督域自适应（UDA）。随着深度学习的发展，UDA取得了很大的进步[11，13，19，22，27，9]。这些UDA方法可以主要分为三类：基于像素级翻译的方法[5，4，29]，显式域对齐基于方法[17，30，32，44，55]，和对抗学习-基于方法[13，46，7，43，49，31，62，10]。第三类由于其优越的性能近年来占主导地位，我们将重点阐述它们。受生成对抗网络（GANs）[16]的启发，对抗域自适应已被广泛探索[7，43，49]。对抗性UDA方法的核心思想是训练一个域鉴别器来区分源域和目标域，并训练一个特征提取器来学习域不变特征以欺骗鉴别器。域对抗神经网络（DANN）[13]是一个代表性的工作，其中域分类器通过梯度反转层（GRL）连接到特征提取器。随后，提出了许多精心设计的对抗性UDA变体，例如ADDA [46]，CyCADA [21]，SBADA [40]，CDAN [31]，MCD [42]，MSTN [52]和TADA [50]. Symnets [62]构建了源和目标任务分类器的对称设计，域区分和域混淆训练基于此。TADA [50]也建立在对抗域自适应框架的基础上MSTN [52]通过额外利用聚类技术来对齐标记的源中心，从而改进了对抗性UDA框架。troid和伪标记的目标质心，其中同一类但不同域中的特征预计映射到附近。类似地，PFAN [6]在类别方面的原型之间执行特征比对，其中目标域样本的数量逐渐增加。CDAN [31]建议根据分类器预测（类似然）中传达的判别信息来调节域此外，为了安全传输，它优先于那些容易传输的样本，通过用熵感知的权重重新加权每个样本来对对象类进行有信心的预测（由熵测量）。最近，Cuiet al. [10]为对抗适应框架配备逐渐消失的桥（GVB）机制，其通过逐渐减少域不变表示中的域特定特征来降低传输难度，该想法类似于[14]，其中作者利用标记的源数据地标（即：例如，类似于目标域），以通过构造可证明更容易的辅助域适应任务来弥合域差距。这些辅助任务的解决方案形成的基础上组成的不变特征的原始任务。CMSS[56]引入了一个代理来学习动态课程，以软选择/重新加权最适合与目标域对齐的源样本。随着领域对抗自适应中最小最大博弈的优化进行，越来越对齐的特征分布将降低领域分类器的区分能力，这降低了特征对齐的驱动力。在本文中，我们建议将对齐良好的目标样本重新标记为源样本，以使可分离性较低的分布更加可分离，重新激活整个对抗优化。混淆技术。Mixup将两个样本及其标签混合以生成新样本，作为一种数据增强/正则化技术，在[59]中首次引入，并广泛应用于深度学习管道中以提高性能[20，8，58，18]。使用Mixup进行域适应的研究很少[53，51]，并且仍然是一个开放的问题。Xu等[53]提出了具有域混合的对抗域自适应（DM-ADA），以保证在更连续的潜在空间中的域不变性，其中两个样本（一个来自源域，另一个来自目标域）及其域标签被软混合以探索域间信息。Wu等[51]提出了一种用于UDA的双重混合正则化学习（DMRL）方法，该方法在像素级上联合进行类别和域混合正则化，以指导对象分类器增强样本之间的一致预测并丰富潜在空间的内在结构这些混合方法旨在探索域间信息。相反，我们的目标是在域的重新划分之后增强源域内的连续性，其中待混合的样本共享相同的源域标签。9177LLL−LDD我 我 i=1J j=1NtJ0000将样本预测为目标域的概率，以及SsSΣ1ΣS不Σ3. 可重新执行的对抗域自适应（RADA）我们提出了一种有效的领域自适应优化策略，称为可重新执行的对抗领域自适应（RADA），它通过使用样本域重新标记策略在对抗训练期间重新激活领域分类器/鉴别器。图3说明了我们的RADA优化的主要过程。随着对抗训练的进行，源和目标分布越来越一致。如图3（b）所示，一些样本已经被对齐，使得域分类器不能很好地区分它们，而一些其他样本仍然没有对齐。如图2所示，域分类器（给定固定模型大小）的区分能力由于对准的样本是不可分离的，因此更对准的分布恶化，这又导致用于特征对准的驱动功率更小。我们重新激活这个域鉴别器通过重新标记的对齐良好的目标域的样品作为源域，导致一个明确的边界的两个新的分布。特别地，如图3（c）所示，我们将良好对齐的目标样本重新标记为源域样本，并在更新的分区下训练域分类器。为了确定哪些目标样本将在训练中被重新标记，我们通过简单地考虑域分类器的预测的确定性（熵）来使用度量来评估目标样本与源域的对齐程度当熵较大时，它表明样本接近域分类边界，并且我们将重新标记它到源域。对于无监督域自适应分类，我们将源域定义为DS={（xs，ys）}Ns，其中Ns其中，F、C、D分别表示特征提取器、对象分类器和域鉴别器/分类器。ce是交叉熵损失。培训总目标如下：最小值，（3）Dminclsλadv，（4）F、C其中域分类器D被训练以区分域。相反，特征提取器被训练为提取使得域分类器难以区分域的特征，从而导致域不变性特征。λ表示用于平衡损失的超参数。连接特征提取器F和域鉴别器D的梯度反转层（GRL）[12]通常用于通过在反向传播到特征提取器期间将来自D的梯度乘以某个负常数来实现对抗函数3.2. 建议的培训策略在训练过程中，领域分类器的区分能力w.r.t.与日益对准的分布的关系恶化。这进而负面地影响了朝向特征对准的优化的有效性。因此，对于如（3）和（4）中的对抗性优化目标，网络收敛到低于最优的状态。即使分布不令人满意地/完全对准，域分类器的劣化的辨别能力也不能进一步有效地驱动特征对准。我们建议通过使两个分布更加可分离来重新激励域分类器。如图3（c）所示，我们重新标记（模棱两可的w.r.t.域分类器）目标域样本覆盖C类的标记样本和目标域如DT={xt}Nt 其中Nt个未标记样本属于作为源域样本。 这种重新贴标签的做法可分离的分布更加可分离，从而导致同样的C类。UDA的目标是在S和T方面进行培训，在目标域测试集上实现高精度。3.1.对抗域自适应对抗域自适应旨在通过对抗地训练特征提取器和域鉴别器/分类器来学习UDA的域对抗域自适应[13，31，62，10]可以是通过优化对象分类损失Lcls和域对抗损失Ladv[12，21，31]来实现：1NsL=L（C（F（x），y），（1）S更强大的域分类器，这反过来又进一步驱动特征对齐。如图2（a）所示，在使用我们的重新标记策略之后，结构域鉴别器的鉴别能力更强（即，在使用我们的重新标记策略之后，结构域鉴别器的鉴别能力更强）。例如，具有更小的熵）。目标样品的对准的测量。为了选择和重新标记如我们所知，当样本更对齐时，域分类器更难识别其域并且具有更高的不确定性w.r.t.这个sam请。 相应地，领域分类LCLSAdvN测i ii=1Ns=−NlogD（F（xi））i=11Nt- log（1−D（F（x），（2）j=1这个样本一般都比较高。 因此，我们测量通过简单地使用域分类的熵来确定目标样本与源域的对准程度H（p）=−p0logp0−（1−p0）log（1−p0），（5）其中p=[p，1−p]，p和1−p表示9178我J~源数据目标数据重新标记的目标数据领域分类器训练流程对齐的样本更容易分离对抗训练对抗训练（a）（b）（c）（d）图3：使用玩具示例说明我们的可重新执行的对抗性域适应（RADA）优化。(a)源和目标数据集的初始特征分布（b）随着在线对抗训练的进行，源和目标分布越来越一致。一些样本已经对齐，使得域分类器不能很好地区分它们，而一些其他样本仍然没有对齐。模糊样本会降低领域分类器的区分能力（c）我们将良好对齐的目标样本重新标记为源域样本，这使得可分离性较低的通过这种策略，我们有了一个可重新执行的领域分类器，它进一步重新激活了（d）中的领域对抗优化。源域。熵值越大，鉴别器在识别其属于哪个域时具有的模糊性/不确定性越大，并且样本越对齐。请注意，可能存在其他更准确或更高级的度量指标，但这不是本文的重点，我们在这里使用这个简单的度量指标。良好对齐的目标样品选择和重新标记。对于给定的目标样品，当它不能被域分类器很好地区分时，它可以被认为是近似对齐的。换句话说，当域分类器预测的熵大于阈值τ时，我们将其定义为τ是控制“良好对准”的定义的严格性我们将在第4节的实验中研究它的影响。什么时候开始RADA 直观地，我们可以开始我们的重新标记策略，以在域鉴别器的鉴别能力开始恶化时重新激励域鉴别器。通常，在早期训练阶段，域鉴别器的优化持续地提高其鉴别能力，如图2（a）所示，其中熵快速减小（在前5个时期中）。因此，没有必要启用重新激励策略。受流行的学习率（lr）调整算法[39，3]的启发，如果在“耐心”的时期数内没有看到改善，则调整学习率通过使用简单的域自适应方法，我们执行小批量级优化，其中一个批次由源和目标域样本组成。一旦RADA被激活，对于每个小批次，我们首先检查每个目标样品是否应该被重新标记为源样品，并且如果认为是这样，则重新标记然后在更新的域标签下执行对抗训练。通过最小化域分类损失（即，最小化域分类损失）来更新域分类器。例如，如（2）中的对抗性损失）。同时，训练特征提取器以欺骗域分类器。请注意，域重新标记对对象分类丢失没有影响。在更新的源集中混淆 为了促进更新的源集中特征空间的连续性，其中在新吸收的样本和先前的源样本之间可能存在低密度空间，我们利用混合技术[59]来柔和地混合先前的源样本和新吸收的样本之间的特征。在小批量中，我们从原始源集合中随机选择样本，并从重新标记为源的目标样本中随机选择样本，其中我们分别将它们的特征表示为fs和ft这样的混合生成新特征fs，其中域标签是源域：1秒秒tst设置为2到10），如果对于“耐心”数量的时期没有看到辨别能力的改善，则我们开始RADA，对抗训练。 如前所述，1https://pytorch.org/docs/stable/optim.html?突出显示=减少突出显示#torch.optim.lr scheduler.ReduceLROnPlateauf~=Mα（fi，fj）=αfi+（1-α）fj，（6）其用于训练域分类器和反向训练特征提取器。α是从均匀分布中随机选择的值，i.例如，αU（0，1）.重新贴标9179→→→→4. 实验数据集。1）Office-31[41]是视觉域自适应（DA）中使用最广泛的数据集，有4，652张图像和表1：我们的方案和相应基线的性能（分类准确度%）比较。“w/o所有方案都使用ResNet-50作为主干。从三个不同领域收集的31个类别：阿妈-zon（A）、Webcam（W）和DSLR（D）。我们对六个转移任务A W，D W，W D，AD，DA和WA，分别。2)Office-Home[48]是比Office-31 更 困 难 的 数 据 集 （ 具 有 相 对 较 大 的 域 差异）。它由办公室和家庭环境中的65个对象类的15，500 个 图 像 组 成 它 有 四 个 不 同 的 域 ： 艺 术 图 像（Ar）、剪贴画（Cl）、产品图像（Pr）和真实世界图像 （Rw ）。 在四 个域中 ，共 有12个 DA任务 。3)VisDA- 2017[37]是一个模拟到真实的DA数据集，在训练，验证和测试领域的12个类别中拥有超过280，000张图像。4)DomainNet[36]是大规模多源域适应的基准，它有六个域（Clipart，Infograph，Painting，Quickdraw，Real和Sketch）和345个类的0.6M图像5）Digit- Five由五个不同的数字识别数据集组成：MNIST（ mt ）[28]， MNIST-M （ mm ） [12] ， USPS （ up ）[23]，SVHN（sv）[34]和Synthetic（syn）[12]。根据以前的工作[10，56，24]，我们在前三个数据集上执行单源到单目标自适应。我们还在Digit-Five和DomainNet上进行了多源域自适应实验，遵循作品[33，36]中使用的留一法协议，其中一个域被选为目标域，而其余域被用作源域。实施详情。基线设置：我们基于两个代表性领域对抗性 领 域 适 应 框 架 构 建 我 们 的 基 线 网 络 ：[ 13 ][14][15][16][17][18]在[31]之后，我们还可以使用CDAN [31]中提出的熵调节（E）正则化，它根据对象分类预测的熵重新加权样本，以优先考虑易于传输的样本，以便于优化。我们将具有熵条件（E）正则化的格式记为CDAN+E，DANN+E。我们采用随机梯度下降（SGD）作为优化器，初始学习率为1 e-3，动量为0.9，以训练所有模型。我们的RADA设置：作为一种即插即用的优化策略，我们在上述两个代表性的UDA基线（DANN和CDAN）之上应用我们的RADAOffice-31和VisDA-2017的批量大小设置为36更多详情见补充资料。如第3.2节中所讨论的，我们执行“良好对准的”目标样品选择、重新标记以及在小批量级别用更新的域分区进行域鉴别器和特征提取器更新。我们在Office-31和Office-Home上训练了100个epoch的RADA方法，在更大的VisDA-2017数据集上训练了150个epoch。我们将阈值τ默认设置为0.35，K默认设置为5，这在我们的消融研究中进行了研究。方法Office-31 Office-Home VisDA-2017基线（DANN [13]）83.4260.0561.23DANN+RADA，不含MU85.2463.1465.91DANN+RADA86.7964.8167.29基线（CDAN [31]）87.9068.1170.82CDAN+RADA，不带MU89.5870.2575.62CDAN+RADA91.0871.3776.284.1. 消融研究我们进行了全面的消融研究，以证明我们提出的可重新执行的广告领域适应策略的有效性我们对两个代表性的对抗域自适应框架DANN[13]和CDAN[31]进行了实验。RADA的有效性。表1示出了在三个基准上的平均主自适应分类结果。我们有以下观察结果：1) 在基线DANN的基础上，我们的DANN+RADA w/oMU即使不使用mixup（对于更新的源集），在Office-31/Office-Home/VisDA-2017上的准确性也分别显著提高了1.82%/3.09%/4.68%。在更强的基线CDAN之上，我们的CDAN+RADA w/o MU仍然带来显著的改进，即：例如，在Office- 31/Office-Home/VisDA-2017上的准确率分别为1.68%/2.14%/4.80%2) 更新的源集合内的混合促进了更新的源集合中的连续性。 它在Office-31/Office- Home/VisDA-2017上的准确性比DANN+RADAw/oMU提高了1.55%/1.67%/1.38%。请注意，在VisDA-2017上，大部分收益来自我们的重新标记策略，即。例如，在DANN/CDAN上的4.68%/4.80%，而特定于我们更新的源集的混合带来了1.38%/0.66%的额外增益。3) 在VisDA- 2017上，我们的RADA相对于基线的改进大于其他两个数据集，这表明我们的方法在具有大域间隙的挑战性数据集（合成→真实）上是有效的。表2：与用于数字分类的多源域适应的重新加权相关方法的比较数字五方法MtmmSVsy起来Avg.DANN [11]97.970.868.587.393.483.6丹麦[31]98.473.771.587.894.785.2DANN + inverse-E98.774.472.488.696.486.1[60]第六十话98.274.272.988.995.886.0DANN+RADA，不含MU99.076.688.994.798.491.5DANN+RADA，带MU99.378.290.095.298.492.2与基于样本重新加权的方法的比较。我们比较RADA与一些样本（重）加权9180···转基于方案，包括基于熵的重新加权（E）[31]，IWAN[60]。 基于熵的重新加权（E）旨在优先考虑易于转移的样本以便于优化，在课程学习中共享类似的想法。IWAN [60]根据域鉴别器的输出对样本重新加权，域鉴别器将小权重分配给那些易于区分的源样本（一）（b）第（1）款域鉴别器，以排除源域中的离群值类。DANN+inverse-E表示在优化迭代的一半之后，我们将焦点（大权重）从容易转移的样本转向那些难以对齐的样本以实现硬挖掘的方案，通过调整基于熵的重新加权策略从ω（ent（））=1 +e−ent （ · ） 到 ω （ ent （ ） ） = 1/ （ 1 +e−ent（·）），其中ent（）表示预测对象类别的熵。我们在Digit-Five上进行了多源设置下的实验为了保证比较的公平性，所有竞争者都使用相同的网络架构（特征提取器由三个卷积层和两个FC层（Cov3FC2）组成），并建立在代表性领域对抗训练框架DANN [13]上。表2示出了结果。 我们可以看到所有的sam-多重重加权策略带来性能增益。我们的RADA策略优于所有这些策略的性能。本质上，基于重新加权的方法在优化期间调整样本的重要性水平（从课程学习或硬挖掘的角度）。它们都在优化中使用静态域标签。向“良好对齐”的样本赋予较大的权重将较小的权重给予“良好对准的相比之下，我们通过将那些“良好对齐的”目标域样本重新标记为源域样本来允许动态域标签一方面，这提供了更可分离的分布（与分配更大权重时的更对齐的分布相比）以重新激励域鉴别器。 另一方面，这使得能够充分使用“良好对准”的样品（相对于在分配较小权重时使用效率较低）。4.2. 设计选择为了清楚地分析，我们在我们的方案RADA w/o MU（i. 例如，不对更新的源集使用mixup），用于VisDA-2017的设计选择研究。阈值τ的影响。如第3.2节所述，我们采用超参数τ作为阈值来确定目标样品是否“良好对准”。我们在图4（a）中研究了其影响。我们可以看到，当τ在0.3 ~0.35范围内时，两种方案都有较好的性能。在其他数据集上也观察到类似的趋势。我们设置τ=0。35在所有的数据集。注意，对于所有的情况，我们设置K=5图4：（a）阈值τ和（b）K的影响。CDAN（基线）CDAN + RADA（我们的）图5：数字五上的t-SNE分布的可视化。与CDAN相比，对于我们的CDAN+RADA，不同域的特征更好地对齐，并且不同的类/数字被清楚地分离。这些对比实验。K的影响。如第3.2节所述，如果对于K个时期没有看到域分类器的辨别能力的改善，则我们开始我们的RADA。图4（b）示出了K的影响。我们观察到，当K的范围从4到6时，实现了优异的性能。在其他数据集上也观察到类似的趋势。我们为所有数据集设置K=5。当K太小时，没有改善的判断是不可靠的，这是对噪声敏感的当K太大时，该优化策略不能被充分利用。4.3. 可视化特征分布的可视化。在图5中，我们使用t-SNE [47]以mm、mt、sv、syn up设置在数字五上可视化特征的分布。 我们将特征分布与基线CDAN [31]进行比较，并观察到不同域的特征更好地对齐，并且对于我们的方案CDAN+RADA，不同的类别/数字被清楚地4.4. 与现有技术的我们将我们的方案CDAN [31]+RADA与最先进的无监督单/多源域自适应方法进行比较。 我们报告的结果从他们的起源-最终文件（如有）。为了公平比较，我们也报告了我们运行的基线方案CDAN的结果。SRDC [45]、CAN [27]和Symnets [62]倾向于鼓励分布的类别/组级一致性，以在最小化域差异时减轻数据的固有区分的损害。GVB [10]和CMSS [56]探索以当前方式减少域差异。我们的是概念上的互补的影响DANN+RADACDAN+RADA75.34七十五点六二73.2673.6671.0871.49七十块九十七65.67六十五点九一61.59六十二点零七分63.4862.34六十一点七八0.20.250.30.350.40.450.5的影响75.2875.6273.1872.1171.3665.6665.9163.3962.0861.42246810K准确度（%）准确度（%）9181CDAN（基线）NIPS'1868.1CDAN+RADA这项工作 71.4CDAN（基线）NIPS'1870.8CDAN+RADA这项工作 76.3CDAN（基线）NIPS'1888.7CDAN+RADA这项工作 93.2CDAN（基线）NIPS'1845.2CDAN+RADA这项工作 47.5表3：与Office-31上最先进的UDA方法的性能（%）比较。所有实验都基于在ImageNet上预训练的ResNet-50进行。方法地点A → DA → WD → WW → D DD → AW → AAvg。DANN [13] JMLRSimnet [38] CVPRMCD [42] CVPRCDAN [31] NIPSTADA [50] AAAISymnets [62] CVPRCAN [27] CVPRGVB [10] CVPRCDAN-GVB [10] CVPRSRDC [45] CVPRCDAN（基线）[31] NIPSCDAN+RADA此工作96.1±0.4 96.2±0.4 99.3±0.1 100.0±.077.5± 0.177.4±0.3 91.1表4：与Office-Home，VisDA-2017，Digit-Five和DomainNet上最先进的UDA方法的性能（%）比较对于所有这些方法，ResNet-50被用作Office-Home、VisDA-2017的主干，Cov3FC2被用作Digit-Five的主干，ResNet-101被用作DomainNet的主干有关更多结果，请参见补充资料(a) 办公室-家庭的比较(b) VisDA-2017上的比较(c) 数字5的比较(d) 比较DomainNet。这些方法。它们通常忽略了域鉴别器的鉴别能力的退化及其副作用。为了解决这个问题，我们提出了RADA，它可以重新激活域鉴别器，通过探索动态域标签，而不作任何改变的域鉴别器的网络架构。Office-31、Office-Home和VisDA-2017的结果对于单源到单靶适应，表3、表4a和表4 b示出了Office-100上的比较。31、Office-Home和VisDA-2017。 我们可以看到，在三个数据集上，我们的CDAN+RADA显著优 于 基 线 CDAN [31]3.2% ， 3.3% 和 5.5% 。CDAN+RADA也实现了最佳性能。Digit-Five和DomainNet上的结果。我们还进行了实验的多源单目标适应设置的数字五和DomainNet。在表4c和表4d上，我们的CDAN+RADA在数字五和域网上分别 比 我 们 的 基 线 CDAN 高 4.5% 和 2.3% 。 我 们 的CDAN+RADA也达到了最先进的性能。更多实验结果，包括不同单/多源UDA数据集上的各种子设置，可以在补充中找到。5. 结论在本文中，我们提出了一种有效的对抗域自适应优化 策 略 ， 称 为 可 重 新 执 行 的 对 抗 域 自 适 应（RADA），其目的是在训练过程中重新激活域分类器，进而进一步驱动特征对齐。我们通过将“良好对齐”的目标样本重新标记为源域来实现这一点多个基准测试，包括单源和多源域自适应，和不同的对抗域自适应网络，广泛的实验证明了我们的RADA策略对抗域自适应的有效性和泛化能力我们希望激发更多的作品，将更多的动态融入对抗领域适应，以进行有效的训练。6. 致谢这项工作得到了国家自然科学基金U1908209、61632001、62021001和Na-国家重点研发计划2018AAA0101400。DANN [13]JMLR'16 57.6中文（简体）CVPR'18 64.1CDAN [31]NIPS'1865.8Symnets [62]CVPR'19 67.2TADA [50]AAAI'19 67.6国家银行[9]CVPR'20 67.9CDAN-GVB [9] CVPR'20 69.0GVB [10]CVPR'20 70.4SRDC [45]CVPR'20 71.3方法会场Avg.方法会场Avg.方法会场Avg.方法会场Avg.DAN [30]ICML'15 61.6DANN [13]JMLR'16 83.6DANN [13]JMLR'16 32.7DANN [13]JMLR'16 57.4IWAN [57]ICML'19 86.0DCTN [54]CVPR'18 38.3GTA [43]CVPR'18 69.5MDAN [63]NIPS'1886.7中文（简体）CVPR'18 38.5CDAN [31]NIPS'1870.0中文（简体）CVPR'18 86.1MDAN [63]NIPS'1842.8MDD [61]ICML'19 74.6DCTN [54]CVPR'18 88.6M3SDA [36]ICCV'19 42.7CDAN-GVB [9]CVPR'20 74.9M3SDA [36]ICCV'19 87.6FAR [24]Arxiv'19 45.5GVB [10]CVPR'20 75.3CMSS [56]ECCV'20 90.8CMSS [56]ECCV'20 46.59182引用[1] Shai Ben-David ， John Blitzer ， Koby Crammer ， andFernando Pereira.域适应的表示分析。在NeurIPS，第137-144页，2007中。一个[2] KarstenM Borgwardt，Arthur Gretton，Malte J Rasch，Hans-PeterKri e gel ， BernhardScho¨ l k opf ， andAl exJSmola. 利用核最大平均差异对结构化生物数据进行整合。Bioinformatics，22（14）：e49-e57，2006. 二个[3] 我在博图。 随机梯度下降技巧。 在神经网络中：贸易技巧，第421-436页。Springer，2012. 五个[4] Konstantinos Bousmalis 、 Nathan Silberman 、 DavidDohan、Dumitru Erhan和Dilip Krishnan。无监督像素级域自适应生成对抗网络。在CVPR中，第3722-3731页，2017年。三个[5] Konstantinos Bousmalis ， George Trigeorgis ， NathanSilber-man，Dilip Krishnan，and Dumitru Erhan.域分离网络。在NeurIPS，第343-351页，2016中。三个[6] Chaoqi Chen ， Weiping Xie ， Wenbing Huang ， YuRong ， Xinghao Ding ， Yue Huang ， Tingyang Xu ，Junzhou Huang.无监督局部自适应的渐进式特征对齐。在CVPR中，第627-636页，2019年。三个[7] Qingchao Chen ， Yang Liu ， Zhaowen Wang ， IanWassell，and Kevin Chetty.用于无监督域自适应的重加权对抗自适应网络。在CVPR中，第7976- 7985页，2018年。第1、3条[8] Ekin D Cubuk， Barret Zoph ，Dandelion Mane ，VijayVasude-van，and Quoc V Le.自动扩增：从数据中学习增强策略。在CVPR，第113-123页，2019年。三个[9] 崔树豪，王树辉，卓俊宝，李亮，黄庆明，田琦.Towards discriminability and diversity ： Batch nuclear-norm maximization under label insuf- ficient situations.在CVPR，第3941-3950页，2020年。 一、三、八[10] Shuhao Cui ， Shuhui Wang ， Junbao Zhuo ， Chi Su ，Qingming Huang，and Qi Tian.逐渐消失的桥梁对抗领域的适应。在CVPR中，第12455-12464页，2020年。一、三、四、六、七、八[11] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的