轻量级校准器：无监督域自适应中的可分离组件

13736轻量级校准器：用于无监督域自适应的可分离组件叶少凯1吴凯璐2周牧3杨云飞2谭新华2徐凯迪4宋杰波1鲍成龙2马凯生2马1.跨学科信息核心技术研究所，中国;2清华大学，中国;3筑波大学，日本;4东北大学，美国摘要现有的领域自适应方法旨在学习可以在领域之间推广的特征。这些方法通常需要更新源分类器以适应目标域，并且没有正确处理源域和目标域之间的权衡。在这项工作中，而不是训练一个分类器，以适应目标域，我们使用一个可分离的组件称为数据校准器，以帮助固定的源分类器恢复在目标域的歧视权力，同时保持源域的性能。当两个域之间的差异很小时，源分类器（一）（d）其他事项（b）第（1）款（e）（c）第（1）款数字另外，该方法可以利用GANs生成的合成图像来提高性能，并在数字数据集和驱动场景语义分割方面实现最先进的性能。我们的方法还从经验上表明了主适应和对抗性攻击之间的潜在联系。 代码发布可在www.example.com上获得https://github.com/yeshaokai/校准-域-适应1. 介绍深度神经网络在解决各种机器学习问题方面取得了很好的性能。然而，当神经网络试图跨域泛化时，解决所谓的域转移问题是具有挑战性的[29，35，25]。在无监督域自适应方面已经做出了广泛的努力[29，6，38，32，13，37，12，20，30]。早期的领域自适应方法使用不同的距离度量或统计数据来调整神经网络的对抗域适应方法[6，37]利用两个玩家的对抗游戏来*通讯作者图1. 概念插图。(a)标记源域中的源分类器。(b)未标记目标域中的源分类器。(c)现有的方法被开发来学习域不变特征。(d)在现实世界中，测试集由源域图像和目标域图像组成。(e)该方法保持了源分类器的表示，并校准目标图像，以适应源分类器实现域自适应：领域分类器学习两个领域的特征分布之间的差异，而分类模型通过学习领域分类器无法区分的领域不变表示来最大化领域分类器的分类损失.除了特征级对抗游戏之外，还有另一种作品使用生成对抗网络（GAN）[8]来生成具有目标域样式的源域图像，玩像素级对抗游戏。然而，有些问题很少被讨论。考虑部署在设备中的神经网络，并且设备需要在不同的域之间移动。它从一个接近其训练源域的域移动到另一个没有标记数据的域。13737图2. 源域和目标域之间的性能权衡。 一些现有的方法以牺牲源域性能为代价来提高目标性能。相比之下，所提出的方法保持了良好的源域性能，并优于这些方法在目标域的性能。传统的无监督域自适应足以处理这种简单的情况。然而，设备可以自由地移动到其他域，包括源域。这个简单但更现实的场景给现有方法带来了问题。问题有两个方面：（1）现有的方法通常需要在领域自适应期间微调或训练新的分类器。如果模型是压缩和部署的，那么它是不灵活的[11，45]。(2)以前的方法忽略了显示源域性能和目标域性能之间的权衡。如图2所示，它们中的一些具有较差的性能权衡。因此，当环境不断变化时，现有的方法很可能具有性能下降并且不能以灵活的方式适应新的环境一些先前的作品试图改变域[39，1]。Bobu等人[1]提出了适应不断变化的目标领域和Wulfmeier等人。[39]建议逐步适应不断变化的领域。然而，他们的方法需要对模型进行微调，并且在模型部署之后，该方法不能正确地工作于未授权的新域。因此，我们提出了两个属性的域自适应方法应该有改变目标域与部署的模型。(1) 在源域和目标域之间进行良好的权衡。考虑到现实世界的复杂性，假设一个选定的目标域是最终的应用域是不现实的。现有的方法假设源域仅由合成图像组成，并且省略显示域适应后的源域性能，主要是因为假设源域不会再次遇到。一个反例是源域和目标域都由真实世界的图像组成，并且也会遇到源域。在这种情况下，牺牲源域性能是不可接受的。(2) 部署后可灵活适应任意新域。深度神经网络被广泛部署在专用加速器[10，34]或手机[21]（a）SVHN的源预测（b）MNIST的目标预测（c）我们在SVHN的预测（d）我们在MNIST的预测图3.SVHN到MNIST任务。源分类器LeNet在SVHN中训练（a）源分类器（b）源分类器（c）源分类器(d)源分类器并且在部署之前通过模型压缩方法[45，44，41，26]进行压缩，并且在部署之后不期望对其 据我们所知，所有现有的域自适应方法都需要对部署的模型进行微调，以应对新的环境。很自然地期望收集更多的数据将使神经网络学习通用表示，并且为收集更大的数据集进行了巨大的投资[5，16]。然而，发现数据集包含数据库偏倚[35，25]。针对大型数据集的训练不能保证模型在不断变化的环境下的性能。因此，适应不可预见的新环境将是必要的，缺乏灵活性将是一个问题。在这项工作中，我们采取了第一步，以减轻这两个限制，并制定了一种新的方式无监督域自适应。图1说明了以前的方法和我们的方法在概念级别上的区别。以前的方法通常更新源分类器13738当需要域自适应时加权，而我们的修改输入以实现域自适应。我们将现有的尝试学习跨领域模型的方法称为单片领域自适应方法。相比之下，我们提出了一个可分离的组件称为数据校准器来实现域自适应，这可以被看作是一个分布式域自适应方法。在我们的框架中，源分类器负责在监督训练下学习表示，数据校准器负责通过非监督训练实现域自适应我们的核心观察是，从源域学习的表示并不像我们想象的那么糟糕，如图3所示。通过对目标域图像进行微扰（我们称之通过对目标域图像应用校准，这些图像明显更好地拟合源分类器我们证明了我们可以训练一个轻量级的数据校准器，其参数数量仅为部署模型的0.25%至5.8%，并且我们可以使用它来使部署模型适应任意目标域。我们还想强调的是，我们的研究重点是源域和目标域共享公共标签空间的设置，否则源分类器将无法在目标域中正常工作。总结我们的贡献：• 我们提出了一个数据校准器来校准目标域图像，以更好地适应源分类器曼斯。我们在数字实验中将之前最先进的平均准确率从95.1%提高到97.6%，在GTA5到CityScapes的适应中，频率加权IoU从72.4%提高到75.1%。• 建议的数据校准器重量轻，可以小于1%的参数COM-在GTA5到CityScapes的适配中，该适配方法对已部署的模型进行自适应，并且是一种可分离的域适配方法，无需更新源分类器• 我们给出了新的见解是什么原因导致的性能下降下域转移，并显示如何应对它相应的。2. 相关工作无监督域自适应视觉域自适应可以追溯到[29]。早期的域自适应方法侧重于通过使用最大平均离散度（MMD）[24，38，19]来对齐两个域之间的深度表示，而深度相关对齐图（CORAL）[32]使用统计数据，如均值和协方差，以实现特征对齐。另一种方法是利用域类标识符的思想Torralba等人[35]使用“命名数据库”来证明数据库通常是有偏见的，甚至可以训练域分类器来正确地将图像分类到它们来自的数据库。直观地，如果域分类器可以从像素学习源域和目标域之间的差异，则域分类器也可以学习源域图像和目标域图像的深度表示之间的差异。一系列工作探索了训练分类器的想法，通过最大化域混淆损失来混淆域分类器[36，6，37，7，31，38]。除了试图混淆一个域分类器的特征级别，像素级自适应也进行了探讨。Hoffman等人[13]实现像素级自适应分割任务，但它使用神经网络我们的方法结合了像素级域分类器和特征级域分类器。我们使用的像素级分类器直接将像素作为输入，更接近“命名数据集”的精神生成对抗网络的另一条工作线利用了生成对抗网络的力量-works（GANs）[8]生成具有目标图像风格的源图像。第一种是CoGAN [18]，它通过强制两个GAN之间的权重共享来联合学习源域表示和目标域表示Bousmalis等人[2]使用GANs产生与目标域具有相似风格的图像，并使目标任务分类器训练两者的图像霍夫曼等。[12]建议使用语义一致性损失和循环一致性损失，并实现更好的域自适应性能。作为比较，我们的方法可以在不需要大量资源来训练GAN的情况下胜过这些方法。3. 一种可分离的无监督域自适应3.1. 方法概述在无监督域自适应中，我们可以访问从源域分布ps（x，y）中提取的源域图像Xs和标签Ys，以及从目标域分布p t（x，y）中提取的目标域图像Xt，其中没有标签。令Fs为源域图像的学习分类器我们工作的目标是设计一个数据校准器Gc，使得Fs_1Gc在源域和目标域数据上都达到由于分类器Fs仅在源域上训练，并且没有与目标相关的信息，因此数据校准器Gc必须满足：F s（G c（X t））<$F s（X s），F s（G c（Xs））<$F s（X s）（1）13739培训阶段特点）31）**，3$模型数据特征校准品）+，/Extractor）+3%32像素级别特征级别鉴别器鉴别器测试阶段SourceImages模特或目标图像特征分类器数据提取器校准品参数数量：~ 0.25%*NN加州输入图像校准图4. 培训、测试阶段和数据校准器架构。 在训练阶段，像素级鉴别器和特征空间校正器试图将图像区分为4组，而数据校正器试图欺骗两个鉴别器将校正图像视为源图像。在测试阶段，部署的模型将校准的图像作为输入。数据校准器的结构由下采样层、上采样层和跳过连接组成。其中Xt和Xs分别来自目标域和源域令Fs=Cs<$Ms，其中Ms是特征提取器，Cs是最终的分类器。 实现的宽松条件（1）是对Fs<$Gc施加Lipschitz条件，即kFs<$Gc（x）-Fs<$Gc（y）k <$Lkx-yk，对于某个常数L >0，这是一个稳定性条件。因此，对数据校准器施加以下两个约束由校准器学习扰动。然而，由于目标信息是盲的，因此最小化（3）是困难的，并且需要另一种方法来训练校准器Gc。3.2. 使用建议的Calibration进行对抗性域自适应在这项工作中，我们扩展了传统的对抗性域自适应方法[6，7，37]，并通过对抗性学习而不是最小化来训练所提出的算法（3）。传统的对抗域自适应方法在目标分类器Ft和fea之间进行对抗游戏，G c（X t）<$X s，G c（X s）<$X sMs（G c（X t））<$Ms（X s），M s（G c（X s））<$M s（X s）（二）Feat.由于它们更新Ft的权重参数以最大化域鉴别器的混淆损失，因此所得到的自适应模型缺乏灵活性。注意，Gc（x）表示Fs和Msde的输入。注意到特征图，这意味着两者源域和目标域数据的像素和特征级别。这激发了以下损失函数：最小H（X s||G c（X t））+H（M s（X s）||Ms（G c（X t））在部署后调整到新域的能力，并面临牺牲源域性能的风险相比之下，我们的扩展对抗域自适应方法的基本思想是，让像素级域和特征级域分别为GCH（X s||G c（X s））+H（M s（Xs））||Ms（G c（X s）），（三）D feat. 让数据校准器修改图像，域鉴别器Dpixel不能区分Gc（Xt）和Xs，也不能区分Gc（Xs）和Xs。平均值-其中H表示交叉熵。（3）损失函数鼓励数据校准器在保持源域性能的在这项工作中，0数据校准器设置为Gc=I+Gc，即 只有而标定图像的相应特征也混淆了D特征，使得特征级区分器不再能够区分Ms（Gc（Xs））和Ms（Xs），也不再能够区分Ms（Gc（Xt））和Ms（Xs）。后13740S当校准器被训练时，输入在被馈送到模型之前被馈送到校准器，如图4的测试阶段所示。如图4所示，所提出的方法的训练需要训练的源分类器Fs。让源头分类器F可以通过以下损失函数来训练：L源（fS，XS，YS）=-E（xs，ys）<$（XS，YS）像素级别的CXD像素与特征级别的CXD特征共享相同的架构，即两层全连接网络。对于像素级的四维像素来说，最大的挑战是它倾向于过度拟合训练集。根据我们在实验中的观察，当像素点的训练损失变得非常低时，验证准确度开始下降。事实上，如果校准器针对像素进行优化，XKk=1[k=ys]⇣对数σ⇣⌘⌘f（k）（xs）.（四）过拟合的水平拟合，它失去了泛化能力。因此，我们将以下技巧应用于像素级插值器的输入，以防止其过拟合：（1）A基于所学习的分类器Fs，提出像素级域鉴别器Dfeat和特征级域鉴别器D feat用于训练校准器，使得满足像素和特征级对准条件（2）。此外，为了在来自源域和目标域的图像和特征之间具有更精细的区分能力，我们将域区分器的输入分为4组，这是受到少数域适应的启发[22]。这四个群（Gi，i= 1，2，3，4）定义如下：G1表示源域图像Xs，G2表示目标域图像Xt。因此，学习区分来自G1和G2的图像和特征鼓励域鉴别器学习源域的分布和目标域。此外，为了给自适应游戏提供学习信号，将标定源图像 Gc （ Xs ）定义为 G3，标定目标图像Gc（Xt）定义为G4. 设yGi， i=1，2，3，4是每个群的群标号。特征级鉴别器。特征级判别器的目的是判别特征级分布Ms（Gi）.其目标是最小化分类交叉熵损失，如下所示：从图像中随机取出图像块（2）面片的像素在空间轴上随机重排。通过应用上述两个技巧，可以减轻过拟合数据校准 数据校准器的目标是通过以下损失函数来欺骗像素级DXD像素和特征级鉴别器D像素：LCalibrator=-E[yGllog（Dfeat（Ms（G3）+yG110g（Dfeat（Ms（G4）+yG1log（Dpixel（G3））+yG11og（Dpixe1（G4））]，（7）期望所学习的校准器从中学习源域和目标域中的知识并且满足（2）。我们的数据校准器的总训练损失可以分为两部分。当校准器试图欺骗域失-犯罪分子对待G3作为G1，校准器往往近似的身份映射。相比之下，当校准器试图欺骗域鉴别器将G4视为G1时，校准器将校准目标域图像以减轻域移位ResNet生成器[15]用作数字和GTA 5到CityScapes实验的校准器架构。它由下采样层、上采样层、Lfeat−D=-E”X4i=1#yGilog（Dfeat（M（Gi）、（五）ers和skip连接，如图4所示。应注意，当校准器网络变得更大时，性能不会简单地变得更好。此外，减小宽度可以在我们的工作中，特征级的ARID feat是一个简单的神经网络，只有两个完全连接的层。在训练过程中，特征层学习判别Ms（Gi）的特征分布.像素级鉴别器。仅使用的局限性要素级别扩展是指要素级别扩展在图像经由模型的池化层和跨越卷积层变换之后，不能完全捕获像素级的信息。因此，继原根据[35]的思想，通过以下目标函数，添加像素级pixel_Dpixel以学习Gi的像素级分布改进训练，因为据信它防止数据校准器在训练数据不充分时过拟合此外，校准器的输出受到预定义的L∞范数的约束，这在GTA 5到CityScapes的适配中起着重要的作用。我们将给出一个在第5节中更详细地讨论了这个约束。4. 评价和结果在本节中，我们在数字和驱动场景语义分割任务的非监督域自适应设置下评估我们的方法。数字我们评估我们的方法在三个常用的L像素−D=-E”X4i=1#yGilog（Dpixel（Gi））.（六）数字数据集：[ 17 ][18][19]我们使用与Hoffman等人相同的数据处理和LeNet架构。[12]并执行三个无监督域13741方法MNIST到USPSUSPS到MNISTSVHN至MNIST平均Acc.ADDN [37]90.195.280.188.5CoGAN [18]91.289.1--[第28话]97.695.076.189.6苏铁[12]95.696.590.494.2CDAN [20]95.698.089.294.3PFA [3]95.0-93.9-[40]第四十话92.997.693.394.6中文（简体）93.895.795.895.1我们95.697.197.196.6CyCleGAN+我们的97.198.397.597.6表1.无监督域自适应的数字数据集结果。我们的方法实现了最先进的性能，使用程式化的源图像。我们的方法可以通过使用风格化的源图像进一步改进（s-a）测试图像（GTA 5）（s-b）源预测（s-c）我们的预测（s-d）地面实况（t-a）测试图像（CityScapes）（t-b）源预测（t-c）我们的预测（t-d）地面实况图5.GTA5到CityScapes的语义分割结果（s-a）来自GTA5的测试图像（s-b）来自在GTA5中训练的模型的预测(s-c)我们的预测。(s-d)测试图像的地面实况注释。(t-a)来自CityScapes的测试图像。(t-b)在GTA5中训练的模型的预测。(t-c)从我们的方法预测。(t-d)测试图像的地面实况注释。适应任务：USPS到MNIST，MNIST到USPS和SVHN到MNIST。我们分别报告了使用Cy- cleGAN [46]产生的非风格化源图像和风格化源图像的结果GTA5到CityScapesGTA5 [27]是一个合成驾驶场景数据集，CityScapes [4]是一个真实世界的驾驶场景数据集。GTA 5数据集有24966个密集标记的RGB图像，大小为1914×1052，其中包含19个CityScapes常见类，如表2所示。CityScapes数据集包含来自27个城市的大小为2040-1016的5000个密集标记的在这项工作中，我们使用DRN-26 [43]作为源分类器。我们使用CyCADA[12]发布的DRN-26模型作为我们的源分类器，它是在风格化的GTA 5图像中训练的。所有组件都使用Pytorch实现对于dig- its实验，源分类器和其他组件使用Adam优化器以1 e-4的学习率进行训练我们使用来自每个域的128个样本的批次，图像以零为中心并重新缩放为[-1，1]。对于GTA5到CityScapes的实验，我们使用Adam优化器，学习率为1 e-4，批量大小为6。我们使用与CyCADA相同的LeNet架构进行所有 数 字 实 验 ， 并 使 用 DRN- 26 [43] 进 行 GTA 5 到CityScapes任务。我们最好的结果是在50个epoch内获得的数字和10个epoch内获得的GTA 5到CityScapes。有关其他组件的详细信息，如数据校准器和域鉴别器的架构，请参见附录。4.1. 数字实验如图3所示，源分类器的学习表示并不像我们想象的那么糟糕。为了证明这一点，我们证明了在不训练新的分类器或使用GAN生成的样式化源图像的情况下，我们可以只使用13742源仅42.7 51.7 5.5 6.8 13.8 23.6 6.9 75.5 11.5 36.8 49.3 0.9 46.7 3.4 5.00.05.0 1.4 21.7 47.4 62.5CyCADA 79.1 33.1 77.9 23.4 17.3 32.1 33.3 31.8 81.5 26.7 69.0 62.8 14.7 74.5 20.9 25.6 6.9 18.8 20.4 39.5 72.4 82.3我们83.5 35.2 79.9 24.616.232.8 33.1 31.881.7 29.2 66.363.0 14.381.8 21.0 26.58.5 16.724.0 40.5 75.1 84.0目标97.3 79.8 88.6 32.5 48.2 56.3 63.6 73.3 89.0 58.9 93.0 78.2 55.2 92.2 45.0 67.3 39.6 49.9 73.6 67.4 89.6 94.3表2.GTA5和CityScapes之间的适配。来源仅显示DRN-26 [43]在GTA 5中训练并在城市景观。Target仅显示在CityScapes中训练并在CityScapes中测试的DRN-26结果。 我们的方法优于CyCADA在平均IoU，频率加权IoU和像素精度。特别是，我们的频率加权IoU比CyCADA好2.7%源分类器在源域中训练，并训练数据校准器来修改图像以适合源分类器如我们在表1中所示，单独使用数据对于SVHN到MNIST这样的困难任务，我们可以通过使用风格化的源图像[46]作为源域来进一步提高我们的性能，与CyCADA相比，性能提高了7%4.2. 域之间的性能权衡正如我们在第1节中所讨论的，现有的方法忽略了显示源域性能和目标域性能之间的权衡在这一小节中，我们表明，许多现有的方法有差的源和目标域的性能权衡。我们使用来自Cy- CADA [12]，ADDA [37]和MCD [30]的发布代码，遵循它们的设置并训练它们的适应模型以获得类似的报告目标域性能。然后分别在源域和目标域上对改进后的模型进行测试，报告了域自适应前后的性能。我们从图2中观察到，虽然ADDA在USPS和MNIST上的性能与我们在目标域中的性能接近，但它的源域性能比我们的低5%。与ADDA相比，CyCADA具有更高的目标域性能，然而，它显著牺牲了MCD在性能权衡方面优于其他两种，但它使用的基线具有过度参数化的全连接层，并且当我们用其他方法和我们使用的相同的LeNet架构虽然我们的方法可以通过使用GAN生成的图像作为源域来进一步改进，但是单独使用数据校准器而不使用风格化图像已经可以在源域性能和目标域性能方面超过这些方法，如图2所示。4.3. GTA5城市景观GTA5 to Cityscapes是一个无监督的域自适应任务，更接近现实世界的设置。相比分类任务，分割任务更具挑战性，因为需要更精细的域自适应方法来减轻像素级别的域偏移。如表1所示，我们的方法在所有三个常用指标（如mIoU，fwIoU和像素准确度）上都有更好的结果。特别是，我们的fwIoU比CyCADA好2.7%。在图5中，我们可视化了语义分割结果。从（s-b）到（t-b）处的两行，我们观察到域移位带来的性能下降。(s-c)以及（t-c）示出了由我们的方法产生的分割结果。我们的方法在很大程度上减轻了目标域的性能下降，以及保持源域的性能。因为我们大幅提高了汽车的准确性，所以汽车的可视化非常接近地面实况注释。5. 讨论5.1. 傅立叶透视我们使用快速傅立叶变换（FFT）来分析添加校准前后的图像。在图6中可以看出，在图像与我们的数据校准器的输出相加之后，高频信息减少。高频信息通常与在不同领域中显著变化的纹理相关。Yin等[42]证明了自然训练的模型偏向于高频信息，这使得模型受到高频噪声的影响。我们的方法可能有助于从图像中去除这些高频信息，从而减轻域偏移问题。5.2. 对抗性攻击（Adversarial与其他训练分类器以适应目标域的方法相比，在我们的域自适应框架中，一旦在源域中训练，源分类器就不会更新，我们完全依赖于在源域中学习的表示来执行目标域中的任务。因此，我们的数据校准器产生的附加校准需要弄清楚如何将目标域图像转换为更好地适合源分类器表示的形式。路人行道建筑壁围栏极红绿灯交通标志植被地形天空人骑手车卡车总线火车摩托车自行车MioufwIoU像素加速13743a（清洁）a（校准）b（清洁）b（校准）c（清洁）c（校准）d（清洁）d（校准）SVHN MNIST图6. 图像从SVHN到MNIST适配校准前后的图像及其在频域中的视图。图像的外观没有太大的变化，不像风格转移GAN所做的那样。在频域中，高频信息被减少。但是，修改目标域图像以更好地适应源分类器的表示是什么意思呢？我们首先假设有两个候选解释数据校 准 器 的 作 用 ： （ 1 ） 数 据 校 准 器 作 为 风 格 转 换GAN，将目标域图像的风格转换为源域图像的风格，从而实现域自适应。(2)数据校准器学习操纵对神经网络有用但对人类有趣的非鲁棒特征[14]。我们的数据校准器可能会学习抑制这些非鲁棒特征，从而减轻域偏移带来的问题。从图6中可以看出，我们的校准器修改的图像不会以风格转移GAN通常的方式改变它们的外观我们还遵循对抗性攻击的惯例[9]来限制校准的L∞，并在附录中提供图我们在表2中的最佳结果是通过将校准的L∞限制为0.01获得的从本质上讲，我们的数据校准器被训练来产生一个扰动，用人类不可感知的扰动欺骗域鉴别器，这与对抗性攻击的行为非常相似[33，9]。总之，我们认为校准器学习抑制非鲁棒特征或学习执行不寻常的操作：风格传递非鲁棒特性。我们的研究结果表明，对抗性攻击和域适应之间存在潜在的联系，这应该是两个研究社区感兴趣的。5.3. 部署校准正如我们在第1节中所讨论的，外部域自适应方法的局限性之一是缺乏灵活性。据我们所知，大多数现有的域适配方法都需要在有新的目标域时更新已部署的模型然而，所部署的模型通常被压缩并存储在专用硬件中，因此使所部署的模型适应新的域需要长的、昂贵的过程，并且对于时间敏感的应用可能不够快。相比之下，我们的方法不需要更新已部署的模型，并且在需要适应新领域时具有更大的灵活性此外，校准器带来的开销适中。我们测试了分类器和数据校准器的参数数量。对于数字实验，LeNet的参数数为310万，而数据校准器的参数数为18万，仅为模型的5.8%对于GTA 5到CityScapes的实验，DRN-26模型有2060万个参数，而我们的数据校准器只有0.05万个参数，与DRN-26模型相比只有0.24%。因此，我们得出结论，建议的数据校准器是轻量级的部署模型相比，并没有带来太多的开销在部署过程中。6. 结论综上所述，该方法不仅在数字分类任务和驾驶场景语义分割任务的无监督域自适应方面达到了最先进的性能，而且适用于部署的模型适应新的域而无需更新其权重。该方法为在线无监督领域自适应提供了一种可行的解决方案。虽然社区正试图建立一个单一的模型，可以在尽可能多的领域工作，我们提出的可分离的方法也值得研究。7. 致谢本 课 题 得 到 了 国 家 自 然 科 学 基 金 项 目 IIISCT（InstituteforinterculturalInformationCoreTechnology）、国家自然科学基金项目（No.31970972和11901338）和清华大学自主科学研究计划。引用[1] 安德烈·博布，埃里克·曾，朱迪·霍夫曼和特雷弗·达雷尔。适应不断变化的领域。2018. 213744[2] Konstantinos Bousmalis 、 Nathan Silberman 、 DavidDohan、Dumitru Erhan和Dilip Krishnan。无监督像素级域自适应生成对抗网络。在IEEE计算机视觉和模式识别会议论文集，第3722-3731页，2017年。3[3] Chaoqi Chen ， Weiping Xie ， Wenbing Huang ， YuRong ， Xinghao Ding ， Yue Huang ， Tingyang Xu ，Junzhou Huang.无监督局部自适应的渐进式特征对齐。在IEEE计算机视觉和模式识别会议论文集，第627-636页，2019年。6[4] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集在Proceedings of the IEEEconference on computer vision and pattern recognition，pages 32136[5] J Deng ， W Dong ， R Socher ， LJ Li ， K Li ， and LImageNet Fei-Fei. 一个大规模层次图像数据库。2009年IEEE会议计算与模式识别，2009年。2[6] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无 监 督域 自 适 应 。arXiv 预 印 本arXiv ： 1409.7495 ，2014。一、三、四[7] Yaroslav Ganin 、 Evgeniya Ustinova 、 Hana Ajakan 、PascalGermain、HugoLarochelle、FrancçoisLa violette、Mario Marchand和Victor Lempitsky。神经网络的领域对抗机器学习研究杂志，17（1）：2096-2030，2016。三、四[8] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672第1、3条[9] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。8[10] Song Han，Xingyu Liu，Huizi Mao，Jing Pu，ArdavanPe-Peng，Mark A Horowitz，and William J Dally. Eie：基 于 压 缩 深 度 神 经 网 络 的 高 效 推 理 引 擎 。 2016 年ACM/IEEE 第 43 届 计 算 机 体 系 结 构 国 际 研 讨 会（ISCA），第243IEEE，2016.2[11] Song Han，Jeff Pool，John Tran，and William Dally.学习权值和连接以实现高效的神经网络。神经信息处理系统的进展，第1135-1143页，2015年。2[12] Judy Hoffman 、 Eric Tzeng 、 Taesung Park 、 Jun-YanZhu 、 Phillip Isola 、 Kate Saenko 、 Alexei A Efros 和Trevor Darrell。Cycada：周期一致的对抗性结构域适应。arXiv预印本arXiv：1711.03213，2017。一、三、五、六、七[13] Judy Hoffman，Dequan Wang，Fisher Yu，and TrevorDarrell.野生FCNS：像素级对抗和基于约束的适应。arXiv预印本arXiv：1612.02649，2016。第1、3条[14] Andrew Ilyas ， Shibani Santurkar ， Dimitris Tsipras ，Logan Engstrom，Brandon Tran和Aleksander Madry。相反的例子不是错误，它们是特性。arXiv预印本arXiv：1905.02175，2019。8[15] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694施普林格，2016年。5[16] Alina Kuznetsova ， Hassan Rom， Neil Alldrin ， JasperUijlings ， Ivan Krasin ， Jordi Pont-Tuset ， ShahabKamali，Stefan Popov，Matteo Malloci，Tom Duerig，et al.开放图像数据集v4：统一的图像分类，对象检测，并 在 规 模 视 觉 关 系 检 测 。 arXiv 预 印 本 arXiv ：1811.00982，2018。2[17] YannLeCun，Le'onBottou，YoshuaBengio，PatrickHaf fner等人。基于梯度的学习应用于文档识别。Proceedingsof the IEEE，86（11）：2278-2324，1998. 5[18] 刘明宇和昂塞尔·图泽尔。耦合生成对抗网络。神经信息处理系统的进展，第469-477页，2016年。三、六[19] Mingsheng Long ， Yue Cao ， Jianmin Wang ， andMichael I Jordan.使用深度适应网络学习可转移特征。arXiv预印本arXiv：1502.02791，2015年。3[20] Mingsheng Long ， Zhangjie Cao ， Jianmin Wang ， andMichael I Jordan.条件对抗域适应。神经信息处理系统进展，第1640-1650页，2018年1、6[21] Xiaolong Ma，Fu-Ming Guo，Wei Niu，Xue Lin，JianTang ， Kaisheng Ma ， Bin Ren ， and Yanzhi Wang.Pconv：在移动设备上实时执行的dnn权重修剪中缺少但理 想 的 稀 疏 性 。 arXiv 预 印 本 arXiv ： 1909.05073 ，2019。2[22] Saeid Motiian ， Quinn Jones ， Seyed Iranmanesh ， andGian-franco Doretto.少镜头对抗域适应。神经信息处理系统进展，第6670-6680页，2017年。5[23] Yuval Netzer ， Tao Wang ， Adam Coates ， AlessandroBis-sacco，Bo Wu，and Andrew Y Ng.使用无监督特征学习读取自然图像中的数字。2011. 5[24] Joaqui nQuinJumonero-Canadian ， MasashiSugiyama ，AntonSchwaighthorn，and N Lawrence.协变量移动和分布匹配的局部学习，2008年。3[25] Benjamin Recht，Rebecca Roelofs，Ludwig Schmidt，and Vaishaal Shankar. imagenet分类器能推广到imagenet吗？arXiv预印本arXiv：1902.10811，2019。一、二[26] Ao Ren ， Tianyun Zhang ， Shaokai Ye ， Jiayu Li ，Wenyao Xu ， Xuehai Qian ， Xue Lin ， and YanzhiWang.Admm-nn：使用乘法器的交替方向方法的dnns的算法-硬件协同设计框架。第二十四届编程语言和操作系统架构支持论文集，第925-938页。ACM，2019年。2[27] Stephan R Richter ， Vibhav Vineet ， Stefan Roth ， andVladlen Koltun.播放数据：从电脑游戏中得到的真相。欧洲计算机视觉会议，第102-118页。施普林格，2016年。6[28] 保罗·鲁索，法比奥·M·卡卢奇，塔蒂亚娜·托马西和巴尔巴拉·卡普托。从源到目标再返回：对称双向自适应GaN。在IEEE计算机视觉和模式识别会议论文集，第8099-8108页613745[29] 凯特·萨恩科，布莱恩·库利斯，马里奥·弗里茨，还有特雷弗·达雷尔.使视觉类别模型适应新领域。欧洲计算机视觉会议，第213施普林格，2010年。第1、3条[30] 斋藤国明，渡边康平，牛久义孝，原田达也.非监督域自适应的最大分类器差异。在IEEE计算机视觉和模式识别会议论文集，第3723-3732页一、六、七[31] Baochen Sun，Jiashi Feng，and Kate Saenko.回归简单的领域适应。在第三十届AAAI人工智能会议上，2016年。3[32] Baochen Sun 和 Kate Saenko 。 Deep Coral ： CorrelationAlignment for Deep Domain Adaptation.在欧洲计算机视觉上，第443施普林格，2016年。第1、3条[33] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna 、 Dumitru Erhan 、 Ian Goodfellow 和 RobFergus。神经网络的有趣特性。arXiv预印本arXiv：1312.6199，2013。8[34] Zhanhong Tan ， Jiebo Song ， Xiaol