广义无源域自适应方法的目标是在适应目标领域时保持源领域的性能

8978广义无源域自适应杨世奇，王亚星，王亚星，2*，王亚星，2*，王亚星，3华为麒麟解决方案，中国{syang，yaxing，joost，lherranz}@ cvc.uab.es，jui. huawei.com摘要领域自适应（DA）的目的是将从源领域学习到的知识转移到未标记的目标领域。最近的一些工作解决了无源域自适应（SFDA），其中只有源预训练模型可用于适应目标域。然而，这些方法没有考虑保持源的性能，这是在现实世界中的应用中具有很高的实用价值在本文中，我们提出了一种新的域自适应范式，称为广义无源域自适应（G-SFDA），其中学习模型需要在目标和源域上都表现良好，在自适应过程中只能访问当 前 未 标 记 的 首 先 ， 我 们 提 出 了 局 部 结 构 聚 类（LSC），旨在聚类的目标特征与其语义相似的邻居，成功地适应模型的目标域中的源数据的情况下。其次，我们提出了稀疏域注意力（SDA）算法，它产生一个二进制的特定域注意力来激活不同域的不同特征通道，同时在自适应过程中利用域注意力对梯度进行正则化，以保持源信息。在实验中，对于目标性能，我们的方法与现有的DA和SFDA方法相当或更好，具体地说，它在VisDA上实现了最先进的性能（85.4%），并且我们的方法在适应单个或多个目标域之后对于所有域都工作良好。代码可在https://github.com/Albert0147/G-SFDA上获得。1. 介绍虽然取得了巨大的成功，但深度神经网络通常需要大量的标记数据进行训练。然而，收集标记的数据通常是费力和昂贵的。为了解决这个问题，域自适应（DA）方法旨在将从标签丰富的数据集（源域）学习的知识转移到其他未标记的数据集（tar）。*通讯作者。得到域），通过减少标记的源域和未标记的目标域之间的域移位大多数DA方法中的一个关键要求是，它们需要在自适应期间访问源数据，这在许多现实世界的应用中通常是不可能的，例如在计算能力有限的移动设备上部署域自适应算法，或者在数据隐私规则限制访问源域的情况下。由于其相关性和实际利益，无源域自适应（SFDA）设置（其中仅源预训练模型而不是源数据可用）最近已经开始受到关注[14，15，18，20，46]。在这些方法中，SHOT [20]和3C-GAN [18]与本文最相关，其用于源域和目标域具有相同类别的闭集DA。3C-GAN [18]基于条件GAN的目标风格图像生成，SHOT [20]提出将源假设，即固定源分类器，到目标数据，连同最大化互信息。然而，在许多实际情况下，模型应该在目标域和源域上都表现良好例如，我们希望在城市环境中部署一个识别模型，该模型在按顺序使模型适应季节之后，对于所有四个季节（域）都能很好地工作如[47]所示，即使源数据总是在手边，一些DA方法的源性能也会在适应后降级而目前的SFDA方法通过微调源模型来关注目标域，导致对旧域的遗忘因此，现有方法不能处理上述情况。解决此设置的一种简单方法是仅存储源模型和目标模型，然而，我们的目标是内存高效的解决方案，其规模与域的数量呈次线性关系因此，在本文中，我们提出了一个新的DA范式，该模型预计在所有域无源域适应后我们将这种设置称为广义无源域自适应（G-SFDA）。为了简单起见，在本文中，我们将首先关注单个目标域，然后我们描述如何扩展到连续无源域自适应。8979在本文中，执行自适应目标域没有源数据，我们首先提出了局部结构聚类（LSC），聚类每个目标特征与其最近的邻居在一起。其动机是一个目标特征应该与它的语义近邻具有相似的预测。为了保持源的性能，我们建议使用稀疏域注意力（SDA），适用于特征提取器的输出，激活不同的特征通道，这取决于特定的源域注意力将用于在目标自适应期间正则化梯度，以防止忘记源信息。通过LSC和SDA，自适应模型可以在源域和目标域上实现优异的在实验中，我们表明，对于目标性能，我们的方法在几个基准测试中与现有的DA 和 SFDA 方 法 相 当 或 更 好 ， 特 别 是 在 VisDA（85.4%）上实现了最先进的性能，同时保持了良好的源性能。我们还将我们的方法扩展到连续无源域自适应，其中有一个以上的目标域，进一步证明了我们的方法的效率。我们将我们的贡献总结如下：• 我们提出了一种新的域自适应范式，称为广义无源域自适应（G-SFDA），其中源预训练模型在没有源数据的情况下适应目标域，同时保持源域的性能• 我们提出了本地结构聚类（LSC），以实现无源域自适应，它利用本地邻居信息的特征空间。• 我们提出了稀疏域注意（SDA）算法，该算法针对不同的域激活不同的特征通道，并在目标自适应过程中对反向传播的梯度进行正则化，以保持源域的信息。• 在实验中，我们表明，在现有的方法遭受遗忘，并在源域上获得不好的性能，我们的方法是能够保持源域的性能。此外，当聚焦于目标域时，我们的方法与现有方法相当或优于现有方法，特别是我们在VisDA上实现了最先进的目标性能。2. 相关作品这里我们讨论相关的域自适应设置。域适配。早期的域自适应方法，如[21，37，39]，采用矩匹配来对齐特征分布。受对抗性学习的启发，DANN [7]将领域适应制定为对抗性的两人游戏游戏. CDAN [22]训练以几个信息源为条件的深度网络。DIRT-T [35]执行do-main对抗训练，其中添加了一个惩罚违反集群假设的项。领域适应也从其他角度得到了解决MCD [31]采用多个可学习分类器之间的预测多样性来实现源域和目标域之间的局部或类别级特征对齐。DAMN [3]引入了一个框架，其中每个域经历不同的操作序列。AFN [44]表明，目标特征的不稳定区分源于比源特征中发现的小得多的范数SRDC [38]提出通过判别聚类直接揭示内在目标判别与我们的LSC最相关的论文是DANCE [29]，它用于通用域自适应并基于邻域聚类。但它们基于所有特征之间的实例区分[43]，而我们的方法仅在少数语义上接近的邻居上应用一致性正则化。无源域适配。正常的域自适应方法需要在自适应过程中访问源数据。最近，有几种方法研究无源域自适应。USFDA [14]和FS [15]探索了无源通用DA [48]和开集DA [32]，DECISION [2]是针对多源DA的。与我们的工作相关的是SHOT [20]和3C-GAN [18]，两者都用于近集DA。SHOT提出固定源分类器，通过最大化互信息和伪标签将目标特征匹配到固定分类器3C-GAN基于条件GAN合成标记的目标样式训练图像。最近，BAIT [46]扩展了各种基于分类器的域自适应方法，使其也适用于SFDA。这些方法虽然取得了较好的目标性能，但在自适应后无法保持源端性能除了这些方法，我们的目标是保持适应后的源域性能。连续域适应。 持续学习（CL）[13，19，23，25]特别关注在学习新任务时避免最近，一些作品[4，26，36]已经出现，旨在解决连续域自适应（CDA）问题。[4]使用样本重放来避免遗忘以及域对抗训练，[26]构建域关系图，[36]为每个域构建特定于域的内存缓冲区虽然这些方法实现了良好的性能，他们都要求访问源数据。和[16]是无源的，但他们专注于类增量单目标域适应，其中每个类只有一次标记的目标数据，而我们的方法与8980F {}我D我S {}我 i=1我J j=1LSCn我KCD {}CD {}1Σn源要素目标特征最近的社区源模型适应前适应后图1：局部结构聚类（LSC）。由于域偏移，来自源模型的一些目标特征将偏离密集的源特征区域LSC旨在通过其语义上接近的邻居（由黑线连接）对目标特征进行域增量学习，并且可以被部署用于连续的无源域自适应。3. 方法在本节中，我们首先提出了一种无源无监督域自适应方法。然后，我们介绍了我们的方法，以防止忘记的知识的源模型。接下来，我们阐述了如何统一这两个模块来解决广义无源域自适应（G-SFDA），并训练一个域分类器进行域不可知评估。最后，我们将我们的方法扩展到连续的无源域。3.1. 问题设置和符号我们将标记的源域数据表示为ns，将样本表示为s=（x s，ys）ns，其中ys是x s的对应标记，并且将未标记的目标域数据表示为t=x tnt。类的数量为C。在无源设置中，我们认为s仅在模型预训练期间可用。 我们的方法基于神经网络，我们将其分成两个部分：特征提取器f和仅包含一个完全连接层的分类器g。网络的输出表示为p（x）= g（f（x））∈ RC.3.2. 局部结构聚类大多数域自适应方法的目标是对齐源域和目标域的特征分布在无源无监督域自适应（SFDA）中，这并不明显，因为算法在自适应期间不再访问源域数据。我们识别了训练的源模型提供的关于目标数据的两个主要信息源：类别预测p（x）和类别预测p（x）。响应由于畴移而导致的密集源特征区域。这可能导致分类器的错误预测然而，我们假设同一类的目标特征聚集在一起.因此，目标特征的最近邻居具有高概率共享类别标签。为了利用这一事实，我们鼓励在特征空间中接近的特征具有与其最近邻居相似的预测。作为结果，在特征空间中接近的点的集群将联合地朝向公共类移动 如图右侧所示。1，该过程可以正确地分类否则将被错误分类的目标特征。为了找到语义上的近邻，我们建立了一个特征库=（f（xi））xi∈Dt，它存储目标特征. 这类似于无监督学习[43，10，50，40]或域自适应[29]中的方法。述的方法[29]用于通用域自适应，并考虑基于其损失函数中所有特征之间的实例判别[43]的相似性，并且[10，40，50]使用邻域信息执行无监督学习。工作[40]需要进行prefit训练，并且嵌入网络仅从prefit阶段检索一次最近邻图像以训练另一个分类网络，而[10，50]也基于所有目标特征之间的实例区分，并利用邻域选择来进一步提高聚类性能。与之不同的是，我们只使用特征库中的几个邻域对目标特征进行一致性正则化聚类接下来，我们建立一个分数库=（g（f（x i））xi∈Dt，存储相应的softmax预测分数。局部结构聚类是通过鼓励一致性实现的应用以下损失的k最近特征在特征空间f（x）中的位置。 我们的nKC背后的主要思想方法是我们期望目标域的特征相对于源域被移位，然而，我们L=−1ΣΣlo g[p（x）·s（N）]+ΣKL（p¯||q）期望类仍然在特征空间中形成聚类，因此，我们的目标是将数据点的聚类移动到它们最可能的类预测。N{1，..，K}={F}|top-K（cos（f（xi），Fj），Fj∈F）}，p¯=p（x），且q=1我们的算法如图所示。1（左）。一些目标特征（在适应开始时）偏离相应的特征。ncii=1{c= l，...，C} C（一）i=1k =1c=18981AANNN一一A AHSAAA∈R一RE∈RA− A∈Ⓢ向前后向梯度向前梯度正则化后向梯度...AsF...F...F(a) 源的向前和向后(b) 目标前进(c) 目标向后图2：（a-c）：两个域的向前和向后传递f、g表示特征提取器、分类器。s和t是稀疏源域和目标域注意力。在这里，我们首先基于余弦相似性为每个当前目标特征在特征库 我们最小化当前目标样本的预测分数x1与存储的预测分数s（k）之间的点积的负对数值，其是等式1中的第一项。 1，旨在鼓励特征及其几个邻居之间的一致预测。 第二项通过鼓励预测平衡来避免退化解决方案[34，8]，其中目标数据中的类别预测是高度不平衡的。这里pc是经验标签分布;它表示c类的预测可能性，q是均匀分布。我们只需要用与当前minibatch对应的新项目替换银行中的旧项目在实验中，我们将通过验证最近的邻居是否共享正确的预测标签来证明所提出的LSC的有效性3.3. 稀疏域注意在G-SFDA设置下，我们不仅希望具有高目标性能，还希望保持源性能-通过将流入源掩模中激活的通道的梯度正则化，可以获得更好的信息。为了训练源域，我们应用源注意力如图所示。2（a），输出为g（f（x）s）。图2（b），我们表明，当适应目标域时，我们使用稀疏目标注意力t进行前向传递。为了防止遗忘，不应该对存在于s中的特征通道进行更新。原因是双重的：首先，这些通道的信息是在无源自适应到目标域期间提供的唯一源信息;保持该信息可以促进目标自适应，其次更重要的是，在G-SFDA设置下，我们希望在自适应之后保持源性能，因此目标自适应不应该干扰流向与源域相关联的特征的那些通道的信息。如图在图2（c）中，在目标自适应期间，我们提出使用源注意力As来正则化在反向传播期间流向分类器和特征提取器的梯度L访问源数据。我们的工作受到持续学习（CL）方法[1，25，33]的启发，这些方法将约束Wfl ←Wfl -（A¯s1T） Wfl（三）在每一层上，为新任务留出容量，并防止忘记以前的任务。我们建议只激活f（x）∈Rd的部分特征通道，对于dif-Wg←WgLWg（1C（4）通过稀疏域注意力（SDA）向量i∈{s，t}d，其包含接近二进制值，其将掩蔽特征提取器的输出。受[33]的启发，我们采用嵌入层来自动生成域适应。其中ei是嵌入层的输出，σ是sigmoid函数，常数100是为了确保接近二进制的输出，但仍然是可微的。s和t都是在源域上训练的，并且在适应目标域期间是固定的此外，当在源上训练时，我们对嵌入层使用稀疏正则化和梯度补偿，就像[33]一样。因此，我们使用SDA来构建特定于域的信息流，其中一些通道是特定于每个域的。我们可以保留消息来源-其 中 表 示 元 素 乘 法 ， 1k 是 维 数 k 的 全 一 向 量 ，¯s=1s，Wfld×h是特征提取器中最后一层的权重W gC×d是分类器的权重。这里，源注意力s用于正则化流入源激活通道（用于特征提取器）以及分类器中的对应神经元的梯度。等式3和等式4、源信息有望得到保存。在持续学习文献中，已经研究了权重[24，25]和激活[1，27，33]的掩蔽。我们的方法与激活掩模方法有关。然而，除了这些方法之外，我们的掩蔽仅防止在最后两个层Wfl和Wg中的遗忘。我们确保对源域性能至关重要的特征仅最小限度地改变，并且目标域特定特征用于解决域转移。我们的方法并不能防止对源头的全部遗忘的tGG重塑重塑1 -A秒G−8982D AAF SDDDL FSTDFST→AAD一一F {A}A {A}加速S+加速TD算法1广义无源域自适应Require： s（仅用于源模型训练），t1：预训练模型打开s与两者s和 来自SDA的t2：建立特征库和评分库不3：适应性4：样品批次来自不5：更新并对应当前批次6：计算lsc基于和d等式一、五7：用SDA正则化更新网络三、四8：结束时(a)（b）第（1）款图3：（a）Office-Home数据集的任务ArCl上的训练曲线(b)VisDA上不同K域，因为我们没有在特征提取器中正则化内层的梯度3.4. 统一培训在本节中，我们首先说明如何将训练与SDA和LSC相统一如算法1中所示，首先，我们在具有交叉熵损失的s上训练模型，具有源和目标域注意力s，t，这是为目标自适应提供良好的初始化，其中仅图4：在VisDA上的SDA的消融研究，其具有12个类别。Accn表示目标要素t被占用。然后，我们使源模型适应目标域与目标注意力t，且仅访问具有Eq.1.一、在反向传播过程中，我们根据等式（1）正则化梯度。3和等式4.第一章与仅在Sec中使用 LSC的3.2，这里我们构建特征库为其与其3个最近的共享相同的预测标签Acc_np表示具有正确的共享预测类的上述特征之间的百分比。目标域，我们计算考虑所有域A注意，除了现在的。我们在Eq中替换A。3=（f（x i）t）xi∈Dt，其中我们放弃不相关的信道，因为这些信道将不会对当前预测有贡献并且可能包含噪声。而且因为同一个理由当使用k-最近邻时，我们还将目标注意力应用于特征，因此N{1，…K}在等式1变成：S和等式4，其中A’用于当前梯度正则化：A′=max（A′，Ati），i∈{1，…，其中，max是逐元素运算，并且A’是初始值。N={F |top-K（cos（f（x）A，F），F ∈ F）}从As。使用A′进行梯度正则化意味着{1，..，K}ji tjJ（五）一个目标领域的培训不应影响其他领域。域ID估计。在实验部分中，我们将考虑G-SFDA在推理时对域ID的访问（域感知）和不访问（域不可知在更具挑战性的设置中，域ID不可用，并且需要估计。因此，我们提出通过仅存储源域的非常小的图像集合来训练域分类器，该域分类器采用特征f（x）我们将在实验中表明，我们在具有挑战性的领域不可知设置中获得类似的结果，在更容易的领域感知设置。3.5. 连续无源域自适应在这里，我们说明了如何将我们的方法扩展到连续的无源域自适应，其中模型适应于一系列目标域，只能访问当前的目标域数据。假设存在Nt个目标域。对于源预训练，我们使用所有域注意力s和tii=1进行训练。Nt，用于如前所述的良好初始化。当适应j-th4. 实验数据集。Office-Home[41]包含4个域（Real，Cli- part，Art ， Product ） ， 65 个 类 ， 总 共 15 ， 500 张 图 像 。VisDA[28]是一个更具挑战性的数据集，有12个类。其源域包含152k合成图像，而目标域具有55k真实对象图像。评价 我们主要在两种不同的环境下与现有的方法进行比较，一种是正常的DA和SFDA的设置，目标性能是唯一的焦点。另一个是我们提出的G-SFDA设置，其中适应模型预计在无源域适应后在源域和目标域上都具有良好的性能。在此设置中，我们计算源和目标精度之间的调和平均值：H=2 *AccS*AccT，并且Acc S和Acc T是分别是源和目标测试数据的准确度为SFDA，我们使用所有源数据进行模型预训练。对于G-SFDA，我们仅使用部分（Office-Home为80%，VisDA为90%），其余源数据用于评估源性能。我们提供的结果下都做主要的意识和领域不可知的设置（其中我们估计8983方法（合成→实际）无源平面公共汽车汽车马刀麦克伊克勒人植物斯克特布尔德火车卡车每类ResNet-101[9] × 55.1 53.361.959.1 80.6 17.9 79.7 31.2 81.0 26.5 73.5 8.5 52.4ADR [30] × 94.2 48.584.072.9 90.1 74.2 92.6 72.5 80.8 61.8 82.2 28.8 73.5粤ICP备16036888号-150.8 84.2 74.9 88.1 74.5 83.4 76.0 81.9 38.0 73.9CDAN+BSP [5] × 92.4 61.081.057.5 89.0 80.6 90.1 77.0 84.2 77.9 82.1 38.4SWD [17] × 90.8 82.581.770.5 91.7 69.5 86.3 77.5 87.4 63.6 85.6 29.2 76.4MDD [49] ×-74.6IA [11] ×-75.8DMRL [42] ×-75.5MCC [12] × 88.7 80.380.571.5 90.1 93.2 85.0 71.6 89.4 73.8 85.0 36.9 78.8舞蹈[29]√×-70.4舞蹈[29][20]第二十话3C-GAN [18]- -----------70.2√94.388.580.157.3 93.1 94.9 80.7 80.3 91.5 89.1 86.358.2√94.8 73.468.874.8 93.1 95.4 88.6 84.7 89.1 84.7 83.5 48.1 81.6我们的域名√96.188.385.574.1 97.1 95.4 89.5 79.4 95.4 92.9 89.1 42.685.4表1：基于ResNet 101的无监督域自适应方法在VisDA-C上的准确度（%）。无源是指在适应过程中不访问源数据的带下划线的结果为第二高结果。我们的结果是使用目标注意力测试方法无源Ar→Cl Ar→Pr Ar→Rw Cl→Ar Cl→Pr Cl→Rw Pr→Ar Pr→Cl Pr→Rw Rw→Ar Rw→Cl Rw→PrAvgResNet-50 [9] × 34.9 50.0 58.0 37.4 41.9 46.2 38.5 31.2 60.4 53.9 41.2 59.9 46.1电话：+86-21 -88888888传真：+86-21- 88888888粤ICP备16036888号-1MDD [49] × 54.9 73.7 77.8 60.0 71.4 71.8 61.2 53.6 78.1 72.5 60.2 82.3 68.1电话：+86-510 - 8888888传真：+86-510 - 88888882019 - 06 - 21 10：00：00BDG [45] × 51.5 73.4 78.7 65.3 71.5 73.7 65.1 49.7 81.1 74.6 55.1 84.8 68.7SRDC [38]粤ICP备16018888号-1七十一点三[20]第二十话我们的域名√57.1 78.1 81.5 68.0 78.2 78.1 67.4 54.9 82.2 73.3 58.8 84.3 七十一点八57.9 78.6 81.0 66.7 77.2 77.2 65.6 56.0 82.2 72.0 57.8 83.4 七十一点三表2：基于ResNet 50的无监督域自适应方法在Office-Home上的准确度（%）。无源手段无源设置，无需在适配期间访问源数据下划线表示第二高的结果。我们的结果是使用目标注意力At。无源平面S/TbcyclS/T总线S/T车S/T马S/T刀S/T麦克伊克勒S/T人S/T植物S/T斯克特布尔德S/T火车S/T卡车S/TAvg.S/TH源模型√99.9/70.6 99.9/15.6 99.3/45.6 99.1/80.9 99.9/63.0 99.9/5.1 99.4/79.2 100/24.9 99.9/64.0 100/39.6 99.3/84.8 98.3/6.399.6/48.1 64.9[20]第二十话√99.3/94.4 97.3/85.8 34.9/78.4 47.3/55.2 94.4/93.9 93.2/95.0 38.3/81.5 94.4/79.5 99.1/89.8 92.7/90.1 55.4/85.6 62.0/56.8 75.7/82.2 78.8我们的域名√99.7/95.9 98.7/88.1 98.4/85.4 80.0/72.5 94.6/96.1 98.4/93.7 76.2/88.5 97.8/80.6 98.8/92.3 99.9/92.2 75.6/87.6 67.3/44.8 90.4/85.0 87.6我们的无域名ID99.7/95.4 98.7/87.7 98.4/85.7 80.0/71.5 94.6/96.1 98.4/94.8 76.2/89.2 97.8/80.4 98.8/92.0 99.9/88.6 75.6/87.4 67.3/44.1 90.4/84.4 87.3表3：在G-SFDA设置下，使用ResNet-101作为骨架的VisDA数据集上每种方法的准确度（%）。为源数据集随机指定0.9/0.1训练/测试分割。T和S表示目标域和源域上的精度。域ID意味着在评估期间可以访问域ID，我们在域感知和不可知设置下提供结果Ar →ClAr →PrAr→RwCl →ArCl →PrCl→ Rw无源S不HS不HS不HS不HS不HS不H源模型√78.245.057.178.267.272.378.273.976.079.749.060.779.7 五十九点七68.379.762.269.9[20]第二十话√60.955.358.065.277.470.871.680.875.965.968.467.163.5 七十六点九69.667.475.771.3我们的域名√70.054.961.574.077.175.574.579.777.078.567.072.780.3 七十六点一78.180.678.479.5我们的无域名ID68.854.760.972.075.673.874.578.576.477.266.671.579.7 74.076.778.578.478.4SPr →Ar不HSPr→TClHSPr→TRwHSRw→TArHSRwT→ClHSRwT→PrHSAvg.不H源模型92.352.066.592.340.356.192.373.0 八十一点五85.464.773.685.445.8 五十九点六85.477.5 81.383.959.268.6[20]第二十话78.965.471.574.254.262.684.980.5 八十二点六79.771.775.571.059.0 六十四点四79.284.6 八十一点八71.970.870.9我们的域名89.865.775.989.353.867.191.681.9 八十六点五85.971.578.081.360.5 69.484.483.4 八十三点九81.870.875.5我们的无域名ID87.865.174.886.353.265.890.381.6 八十五点七83.272.077.278.360.2 六十八点一83.482.8 八十三点一80.070.274岁4表4：在G-SFDA设置下使用ResNet-50作为主干的Office-Home数据集上的每种方法的准确度（%）。为源数据集随机指定0.8/0.2训练/测试分割。T和S表示目标域和源域上的精度。域ID意味着在评估期间可以访问域ID， w/o域ID意味着使用来自域分类器的估计的域ID8984×一测试ArCLPRRWAr74.542.061.368.2CL71.456.661.267.9PR70.955.773.071.2RW72.655.672.777.2测试CLArPRRWCL82.249.760.061.2Ar80.165.463.766.3PR79.763.272.968.2RW78.664.972.872.4测试PRArCLRWPR92.049.741.071.0Ar91.063.642.772.6CL89.261.853.170.4RW88.663.151.576.5测试RWArCLPRRW86.063.045.777.6Ar85.772.449.877.4CL80.768.959.173.4PR84.269.157.480.5办公室-家庭ST公司简介OH/sST VisDA/sS T源型号83.959.2源模型四十八点一65（纸张）16 89.0 83.6我们的（不含SDA）72.4七 十 二我们的（不含SDA）72.1七 十 四 点六130 80.6 70.332 90.2 84.2我们的（含SDA）81.870.8我们的（含SDA）90.485.019580.8 70.464（纸质） 90.4 84.4表5：（左二）Office-Home和VisDA的消融研究S和T表示源和目标的准确性。（右二）每个域的存储图像的数量上的消融以训练域分类器。表6：连续无源域适配，模型从源域（第一域）顺序地适配到所有目标域。在测试集上报告源域上的结果。具有域分类器的域ID最后，我们报告的结果，连续无源域适应。型号详情。我们采用ResNet-50 [9]的主干用于Office-Home和ResNet-101用于VisDA，以及一个额外的全连接（fc）层作为特征提取器，并将fc层作为分类器头。我们采用SGD的势头0.9所有数据集的批量大小为64。Office-Home的所有层的学习率都设置为1 e-3，除了最后两个新添加的fc层，我们应用1 e-2。VisDA的学习率设置为小10倍。在源域，我们训练整个网络的所有领域的关注SDA，而目标适应，我们只训练BN层和最后一层的特征提取器，以及分类器。我们在目标域上训练了30个epoch，而在VisDA上训练了15个epoch。对于等式中的最近邻的数量 （ K ） ， 1 ， 我 们 使 用 2 用 于 Office-Home ， 因 为VisDA要大得多，我们将K设置为10。所有结果均为使用随机种子的三次运行之间的平均值。为了训练域分类器，我们为每个类别存储一个图像用于Tumbl-Home（65个类别，2个域共130个图像），并为VisDA每个域随机采样64个图像域分类器仅包含2个fc层。4.1. 与最新技术面向目标的域适应。我们首先评估我们的方法相比，现有的DA和SFDA的方法的目标性能。关于VisDA和Visa-Home数据集的结果显示在Tab. 1-2 ，我们的结果是使用目标注意力t。在这些表中，顶部部分（由在无源列中）显示结果对于正常设置，可访问源数据适应底部的一个（在源代码中用√自由列）显示无源设置的结果。我们的方法在VisDA上 实 现 了 最 先 进 的 性 能 ， 超 越 了 SHOT 的 大 幅 度（2.5%）。报告的结果清楚地表明所提出的方法的效率无源域适应。有趣的是，正如SHOT论文中已经观察到的那样优于在自适应期间可以访问源数据的方法。我们的方法与Office-Home上现有的DA方法相当，其中我们的方法与DA方法SRDC [38]得到相同的结果，并且略逊于SFDA方法SHOT（比SHOT低0.5%）。此外，我们在Tab中显示了DANCE [29]在有和没有源数据的情况下的结果1、几乎相同。由于DANCE和我们的方法都使用邻域信息进行自适应，因此这些结果可能意味着在有效利用目标特征结构时不需要源广义无源域自适应。在这里，我们评估我们的方法下的G-SFDA设置。由于我们遗漏了部分源数据进行评估，因此我们需要重现当前的SFDA方法。3C-GAN [18]没有发布代码，因此我们只与我们根据作者的代码复制的无源方法SHOT [20]进行比较如Tab.所示。如图3-4所示 ，首先，我们的方法（w/ domain-ID）获得了显著更高的H值，在Office-Home上将SHOT提高了8.8%，在VisDA上提高了4.6%。收益主要是由于源数据集上的优异结果，因为SHOT遭受遗忘。与源模型相比，我们的方法在Office-Home和VisDA上仍然分别降低了2.1%和9.2%，这意味着仍有空间探索进一步的技术来减少遗忘。我们还报告了域不可知评估的结果，在那里我们使用域分类器来估计域ID。如选项卡的最后一行所示。3和Tab。4，使用估计的域ID，我们的方法可以得到与域感知方法相比类似的结果，并且与SHOT相比仍然报告超H值。注意，仍然存在源性能下降，因为我们在分类器之前仅部署一个SDA模块。在特征提取器内部一个因素是BN层中的如果我们将BN参数调整回源域（通过简单地执行前向传递以在评估之前更新BN统计），我们发现这导致性能增益（在Office-Home上为0.7%和1.68985↓↓联系我们→→和VisDA）。4.2. 分析和进一步实验训练曲线。如图如图3（a）所示，利用SDA，在整个自适应阶段期间的源性能是相当平滑的，这证明了SDA的效率。最近邻数K。在图3（b）中，我们显示了不同K1、5、10、15、20、30，1在VisDA上我们的方法对K的选择是相当鲁棒的，只有K是1导致较低的结果。我们推测，只有使用一个单一的最近的邻居在方程。如果特征位于密集区域，则1SDA的消融研究。我 们 在Tab的左侧显示了删除SDA的结果。五、正如预期的那样，去除SDA会导致源性能大幅下降。出乎意料的是，删除SDA也会降低目标性能：在VisDA（10.4）上有很多，在Office-Home（0.6）上有一点。为了进一步研究它，我们检查了LSC在图中的VisDA上使用和不使用SDA的工作情况。4;这里Acc，n意指与其3个最近邻居共享相同预测标签的目标特征的百分比，并且在那些特征中Acc，np意指具有正确共享预测标签的百分比。根据结果，LSC可以导致良好的局部结构（大多数邻居共享相同的预测），然而，如果去除SDA，则预测可能是错误的，这对于具有完全错误的预测（Accnp为0）的类别5和11尤其如此。这可能意味着将源信息与SDA保持在一起有助于目标适应。域分类器。我们将结果报告为训练域分类器的存储图像数量的函数（选项卡右侧）。（五）。对于Office-Home，我们确保每个类至少有一个图像。实验结果表明，在存储图像量较少的情况下，学习后的领域ID分类器能够很好地工作。t-SNE可视化。我 们 将适应前后的特征可视化，这些特征已经被不同的领域注意力所掩盖，源特征和目标特征有望独立聚类，如图所示。五、自适应后源聚类保持良好，自适应后无序的目标特征变得更加结构化。我们还可视化了共享和特定域通道中的功能。如图6，共享域信道中的特征聚集在一起，但是特定域信道中的特征跨域完全分离。连续无源域适配。我们还提供了结果（域知道）的连续源免费做主要适应选项卡。六、实验结果表明，该算法可以很好地适用于所有领域。有趣的是，适应一个目标域将提高未知目标域的性能改编前改编后图5：在Office-Home的任务Ar Pr上适配之前和之后的特征的t-SNE可视化。蓝色是源要素，红色是目标要素。域共享域特定图6：适配之后来自域共享和域特定信道的特征的t-SNE蓝色是源要素，红色是目标要素。当源域C1到第一目标域Ar时，看不见的目标域Rw也增益。原因是当前学习的信息也有助于未来的目标领域。注意，对于一些目标域，与直接从源适应到域相比，结果较低，原因是我们通过使用如在等式中的更多梯度正则化来减少学习的通道。6，这意味着需要更多的能力来适应更多的领域。5. 结论在本文中，我们提出了一个新的领域自适应范式表示为广义无源域自适应，其中学习模型需要有良好的性能，在目标和源域，只有访问未标记的目标域在适应过程中。我们提出了局部结构聚类，以保持局部目标聚类信息的特征空间，成功地适应模型的目标域没有源域数据。我们提出了稀疏域注意力，它激活不同的特征通道，为不同的领域，也被用来在目标训练过程中的梯度正则化，以保持源域信息。实验结果证明了该方法的有效性。致谢我们感谢华为麒麟解决方案、PID 2019 - 104174 GB-I00项目（西班牙MINECO）和加泰罗尼亚自治区CERCA项目的支持8986引用[1] Davide Abati 、 Jakub Tomczak 、 Tijmen Blankevoort 、Simone Calderara 、 Rita Cucchiara 和 Babak EhteshamiBejnordi。用于任务感知持续学习的条件通道选通网络在IEEE/CVF计算机视觉和模式识别集，第39314[2] Sk Miraj Ahmed，Dripta S Raychaudhuri，Sujoy Paul，Samet Oymak，and Amit K Roy-Chowdhury.无监督多源域自适应，无需访问源数据。在IEEE/CVF计算机视觉和模式识别会议论文集，第10103-10112页，2021年。2[3] 罗杰·迪兹·查孔，马蒂厄·萨尔茨曼，帕斯卡·福阿。域自适应多分支网络在2020年第八届学习代表国际会议上2[4] Andreea Bobu，Eric Tzeng，Judy Hoffman，and TrevorDarrell.适应不断变化的领域。 2018. 2[5] Xinyang Chen ， Sinan Wang ， Mingsheng Long ， andJianmin Wang. 可转让性与可辨别性：用于对抗域适应的批处理谱扩展在国际机器学习上，第10816[6] Shuhao Cui，Shuhui Wang，Junbao Zhuo，Liang Li，Qingming Huang，and Qi Tian.走向可区分性和多样性：标签不足情况下的批量核范数最大化。CVPR，2020年。6[7] Yaroslav Ganin ， Evgeniya Ustinova ， Hana Ajakan ，PascalGermain ， HugoLarochelle ， FrancoisLa violette