ECACL：半监督领域自适应的综合框架

85780ECACL：一种半监督领域自适应的综合框架0Kai Li 1, 2 *，Chang Liu 2，Handong Zhao 3，Yulun Zhang 2，Yun Fu 201 NEC实验室，美国，2 东北大学，3 Adobe研究kaili@nec-labs.com，liu.chang6@northeastern.edu，hdzhao@adobe.comyulun100@gmail.com，yunfu@ece.neu.edu0摘要0本文研究了半监督领域自适应（SSDA），这是一个实际但鲜为人知的研究课题，旨在利用目标域中的无标签样本和少量有标签样本以及源域中的有标签样本来学习一个性能良好的模型。最近提出了几种SSDA方法，然而它们未能充分利用少量有标签目标样本的价值。在本文中，我们提出了增强的分类对齐和一致性学习（ECACL），这是一个综合的SSDA框架，它包含多种互补的领域对齐技术。ECACL包括两种分类领域对齐技术，实现了类别级别的对齐，一种基于强数据增强的技术，增强了模型的泛化能力，以及一种基于一致性学习的技术，强制模型对图像扰动具有鲁棒性。这些技术应用于三个输入之一或多个输入（有标签源、无标签目标和有标签目标），并从不同的角度对齐域。ECACL将它们统一起来，实现了相当全面的领域对齐，比现有方法要好得多：例如，ECACL将VisDA2017的最新准确性从68.4提高到81.1，将DomainNet的最新准确性从45.5提高到53.4（1-shot设置）。我们的代码可在https://github.com/kailigo/pacl上获得。01. 引言0领域自适应研究了在将模型部署到与其训练的域（源域）存在领域差异的新域（目标域）时避免性能严重下降的技术。大多数现有的研究都集中在无监督领域自适应（UDA）上，其中模型与无标签的目标数据和有标签的源数据一起进行训练。已经提出了许多有效的UDA方法，从早期的将数据从两个域投影到共享特征空间的方法，到基于对抗学习的方法。0* Kai Li 在东北大学时完成此工作。0从共享特征空间[13, 34]到基于对抗学习[43,28]的最新方法，领域自适应（UDA）研究的主流方向已经发生了一些变化。本文稍微偏离了主流UDA研究方向，研究了如果我们进一步提供了一些（例如，每个类别一个样本）有标签的目标样本，它能帮助我们多少。我们将这些稀缺的有标签目标样本称为“地标”。这是一个实际的（标注工作量最小）但是鲜为人知的问题，被称为半监督领域自适应（SSDA）。在深度学习时代之前的初步工作使用地标更精确地测量源域和目标域之间的数据分布差异，基于最大均值差异（MMD）或域不变子空间学习[1, 10,50]。最近的工作重新审视了这个问题，并在深度学习背景下建立了新的评估基准[38,18]。然而，这些先前的工作没有充分意识到宝贵的地标的价值：它们主要用于优化交叉熵损失，同时使用数量更多的有标签源样本；地标的贡献被显著稀释，因此学习到的模型仍然会对源域产生偏差。在本文中，我们提出了增强的分类对齐和一致性学习（ECACL），这是一个SSDA框架，它统一了从不同互补角度对齐领域的多种技术。由于我们可以从目标域访问到少量有标签样本，即地标，我们可以通过明确地对齐来自两个域的相同类别的样本来以监督的方式对齐这些域。我们提出了两种实现这一目标的技术。第一种基于原型损失[40,23]。我们通过对来自该类别的地标的特征嵌入进行平均来计算每个类别的目标原型。然后，源样本与来自同一类别的目标原型对齐。第二种基于三元组损失。我们明确地将源样本推向来自同一类别的地标，并使其远离来自不同类别的地标。由于地标数量较少，可能会出现过拟合的情况。对此的一种直观方法是数据增强。85790但我们并没有采用一些常用的技术，如图像翻转，而是采用了最近提出的一种技术，即RandAugment[7]，该技术通过对图像应用各种图像变换来产生高度扰动的图像。我们将RandAugment应用于标记的源样本和地标上，这使得分类对齐变得非常困难，从而增强了模型的泛化能力。一致性学习最近被证明是解决各种标签稀缺问题的非常成功的方法[41, 46,5]。受此启发，我们引入一致性学习来处理SSDA问题。具体而言，我们对每个未标记的目标图像同时应用轻微的数据增强（例如图像翻转）和强大的增强（例如RandAugment），并为每个图像获得两个版本。我们通过从轻微增强版本产生伪标签，并将伪标签用作强大增强版本的真实标签进行监督学习，来强制执行一致性约束。通过要求同一图像的不同扰动版本被预测为相同的标签，我们鼓励模型对图像空间的变化具有鲁棒性，从而更能处理域差异。此外，由于未标记的目标样本与标记的源样本共享相同的标签空间，这个约束有助于将标签从标记的源域传播到未标记的目标域。通过将不同的域对齐技术从不同的角度使用不同的输入组合集成到一起，我们实现了全面的SSDA框架ECACL。实验证明，ECACL在常见的评估基准上显著提升了最先进的性能。例如，ECACL将VisDA2017的最先进平均准确率从68.4提升到81.1，将DomainNet的最先进准确率从45.5提升到53.4（1-shot设置）。总之，本文的贡献如下：（1）我们提出了ECACL，这是一个全面的SSDA框架，结合了多种互补的域对齐技术。尽管每种技术都不是全新的，但我们是第一个将它们引入SSDA问题并将它们组装成一个整体框架。（2）我们对ECACL进行了全面的消融研究和分析，这为我们揭示了看似不同任务之间的联系并确定了贡献的技术。（3）我们显著提升了SSDA的最先进性能。02. 相关工作0域自适应（DA）。根据目标域中可用的数据类型，DA方法可以分为三类：无监督域自适应（UDA）、少样本域自适应（FSDA）和半监督域自适应（SSDA）。UDA假设目标域数据完全未标记。早期的方法0在浅层领域中，可以通过重新加权源实例[16,12]或将样本投影到一个域不变特征空间[13,34]来处理UDA。最近的方法更多地处于深层领域，并通过矩匹配[27, 4, 29]或对抗学习[43, 11, 30, 28,24]来处理UDA。FSDA假设无法访问未标记的样本，但在目标域中有一些标记的样本。为了充分利用少量的目标标记样本，现有的方法使用对比损失[33]或三元损失[49]进行类别级域对齐。SSDA是FSDA和UDA的混合，我们既可以访问少量标记样本，也可以访问目标域中的许多未标记样本。早期的工作利用额外的标记目标样本来更精确地测量源域和目标域之间的数据分布不匹配，基于最大均值差异（MMD）或域不变子空间学习[1, 10, 50, 38,42]。最近，Saito等人提出了一种基于深度学习的方法，该方法在分类器和特征编码器之间交替最大化分类熵并最小化分类熵[38]。Kim等人通过缓解域内差异问题扩展了这项工作[18]。我们通过提出一个通用框架来处理SSDA，该框架可以将现有的UDA方法作为域对齐的一个组成部分，并与其他新颖的组件一起使用。0半监督学习（SSL）.SSL利用训练过程中的无标签数据和有标签数据提升性能，包括基于图的[ 19 ]、对抗的[ 32 ]、生成的[ 8]、模型集成的[ 20 ]、自训练的[ 26 , 41]等多种训练策略。SSL和SSDA的区别在于SSL的有标签样本来自与无标签样本相同的领域。在SSDA中，有标签样本来自两个不同的领域，而且大多数是与目标域不同的（相对于目标域而言）。因此，与SSL相比，SSDA需要首先解决领域偏移问题，以利用大量但与目标域不同的有标签样本。我们通过使用现成的UDA技术并提出分类领域对齐技术来实现这一点。0Few-Shot Learning (FSL) .FSL旨在通过仅有少量有标签样本[ 45 , 40 , 25 , 22]来获取对新类别的知识。FSL与SSDA有非常不同的目标。FSL强调学习模型对新类别的泛化能力，而这些类别在训练过程中没有样本（无论是有标签还是无标签），但在测试中有少量有标签样本。相反，SSDA侧重于提高模型对目标域中无标签样本的泛化能力，其中在训练过程中有大量来自源域的有标签样本、少量有标签样本和许多无标签样本。尽管目标不同，FSL方法[ 40]利用少量有标签样本识别其他无标签样本的方式启发了我们开发监督对齐模块，该模块实现了Luda = Lce + αLua,(1)whereLce = 1Ns (si,ys)L(h(si), ysi )+ 1Nt (ti,yt)lL(h(ti), yti)potentials, as their contribution would be severely diluted.The learned model would thus still be biased towards thesource domain. We solve this by performing categoricalalignment where we explicitly push source samples towardsthe landmarks from the same class and apart from the land-marks from the different classes (Section 3.1). This encour-ages the model to produce features that maintain class dis-crimination despite of domain shifts. In Section 3.2, wefurther enhance the categorical alignment technique with adata augmentation strategy where images are heavily per-turbed, making the task harder to fulfill and hence improv-ing model generalizability. Besides, we carefully designanother data augmentation based technique that is appliedon unlabeled target samples. This technique constrains themodel to make consistent predictions for different versionsof the same image undergone different levels of perturba-tions. Figure 1 shows our framework.85800伪造0标签0一致性对齐0源（S）0目标0有标签（� �）0无标签（� �）�0Φ0弱0数据增强0强0数据增强0CNN0特征空间FC0增强的分类对齐0无监督领域对齐0� #0� �0� � �0� 0�0� #0� #0� �0� 0�0� 0�0� 0�0图1.ECACL框架的示意图。ECACL包括三个模块：（1）无监督领域对齐模块，使用有标签的源样本和无标签的目标样本进行领域对齐。（2）增强的分类对齐模块，通过明确推动来自同一类别的跨领域图像的接近，即使这些图像受到强烈扰动。（3）一致性对齐模块，为每个无标签的目标样本从其弱增强版本生成伪标签，并将伪标签应用于其强增强版本进行监督学习。0分类领域对齐。03. 算法0半监督领域自适应（SSDA）研究了从标签丰富的源数据集S= { ( s i , y s i ) } N s i =1到标签稀缺的目标数据集T = T l∪ T u的自适应问题，其中T l = { t i , y t i } N t i=1是一个有标签的集合，T u = { u i } N u i=1是一个无标签的集合。S和T来自相同的标签空间Y = { 1 ,2 , . . . , C}，但具有不同的数据分布导致了领域偏移。通常情况下，Tl中有标签的样本数量非常小，例如在极端情况下每个类别只有一个样本。我们将这些有标签的目标样本称为“landmarks”。我们的目标是使用S、T u和landmarks T l来学习一个领域自适应模型。假设模型为h = f ◦g，其中f从图像中生成特征，g基于提取的特征输出标签预测。我们可以看出，SSDA与UDA的区别在于额外获得了landmarks。将UDA方法扩展到SSDA的一种朴素方法是优化0(2)是标记的源域和目标域样本的交叉熵损失。Lua是一种UDA损失，利用未标记的目标域样本和标记的源域样本进行域对齐。它在不同的UDA方法中有所不同。将地标直接合并到源样本中进行交叉熵损失优化并不能充分释放它们的潜力，学到的模型仍然会对源域有偏见。我们通过执行类别对齐来解决这个问题，其中我们明确地将源样本推向相同类别的地标，并远离不同类别的地标（第3.1节）。这鼓励模型产生具有类别区分性的特征，尽管存在域漂移。在第3.2节中，我们进一步增强了类别对齐技术，采用了一种数据增强策略，对图像进行了大幅扰动，使任务更加困难，从而提高了模型的泛化能力。此外，我们还精心设计了一种基于数据增强的技术，应用于未标记的目标域样本。该技术约束模型对经历不同程度扰动的同一图像的不同版本进行一致的预测。图1显示了我们的框架。03.1. 类别对齐0通过标记的源域样本S = {(si,ysi)}Nsi=1和标记的目标域样本Tl = {ti,yti}Nti=1，我们提出了两种实现类别对齐的方法，一种基于原型损失，另一种基于三元组损失。基于原型损失的方法。该方法学习最小化将源样本分配给相同类别的地标的风险。具体而言，我们通过对该类别的地标的特征嵌入进行平均[40]，计算每个类别的目标表示或目标原型：0ck = 10|Tk|0(ti, yi) ∈ Tk f(ti), (3)0其中Tk是类别k的地标集合。通过�y∼Yysi log[−p(ysi = y|si)].(5)(6)s�(s′i,ysi )∼S′(8)85810对于所有类别的目标原型{ck}Ck=1，我们可以在嵌入空间中通过与目标原型的距离进行softmax计算源样本(si,ysi)的类别分布：0p(ysi = y | si) = exp(−∥f(si) − cy∥2) / ΣCk=1exp(−∥f(si) − ck∥2). (4)0然后，我们可以计算所有源样本的原型损失：0Lpa = 10CNs0(si, ysi) � S0请注意，尽管已经提出了基于类原型的解决方案来解决UDA问题[35,47]，但我们是第一个将其引入到SSDA中的。此外，虽然UDA方法中的类原型是基于伪标签计算的，但伪标签并不总是可靠的[51]，我们直接从地标中计算类原型。基于三元组损失的方法。该方法明确优化模型，使其产生的特征使得同一类别的跨域样本的相似性高于不同类别的样本[15]。具体而言，对于每个地标(ti, yti) ∈Tl，我们从S中找到与之同属于类别yti（即困难正例）的最不相似的源样本(sp,yp)。同时，我们从S中找到与之属于与yti不同类别的最相似的样本(sn, yn)（即困难负例）。通过最困难的三元组(ti, sn,sp)，我们优化以下三元组损失：0L ta = 1 N t �0� ∥ f(t i) − f(s p) ∥ 20∥ f(t i) − f(s n) ∥ 2 2 +m �0�03.2. 数据增强的域对齐0CN s03.2.1 增强的分类对齐0最近的研究表明，强增强可以显著提高监督学习的性能[6,7]。受此启发，我们引入强数据增强来解决DA问题。对于源域和目标域的每个标记样本(s i, y s i) ∈ S或(t i, y t i) ∈ Tl，我们使用RandAugment[7]对其进行处理，应用从一个变换集合中随机采样的随机增强技术，包括颜色、亮度、对比度调整、旋转、极化等。然后再使用Cutout[9]。现在我们得到了S′和T′，它们包含高度扰动的图像。有了S′和T′，我们可以得到增强的分类对齐目标。对于基于原型损失的方法，我们得到了：0亮度、对比度调整、旋转、极化等。然后再使用Cutout[9]。现在我们得到了S′和T′，它们包含高度扰动的图像。有了S′和T′，我们可以得到增强的分类对齐目标。对于基于原型损失的方法，我们得到了：0L′ pa = 10y �Y y s i log[ − p(y s i = y | s′i)]，(7)0其中P(y s = y |s′)是使用公式(4)计算的，目标原型是使用T′计算的。类似地，对于三元组损失的方法，我们有：0L′ ta = 1 N t �0� ∥ f(t′ i) − f(s′ p) ∥0∥ f(t′ i) − f(s′ n) ∥ 2 2+ m �0其中s′ p和s′n是从S′中挖掘出的硬正样本和硬负样本。强数据增强产生了更广泛范围的高度扰动的图像，使模型更难记住少数地标，从而增强了学习模型的泛化能力。一方面，模型被迫对图像空间中更多样化的变化或扰动不敏感，这有助于域对齐，因为这些变化模拟了导致域偏移的各种因素。另一方面，上述分类对齐技术实质上优化了模型提取图像特征，使得类内的特征相似性高于类间的特征，而不考虑域的变化。对于高度扰动的图像，模型更难以实现这个优化目标。因此，模型被鼓励从高度扰动的图像中挖掘出最具有区分性的类别语义。03.2.2 一致性对齐0受半监督学习中一致性学习的最近成功启发[41, 46, 2,3]，我们引入一致性学习来解决SSDA，并提出了CON-sistencyAlignment（CONA）模块。对于每个无标签目标样本u i∈ T u，我们应用弱增强ψ和强增强Φ：0u w i = ψ(u i)，(9)0u s i = Φ(u i) . (10)0弱增强ψ包括广泛使用的图像翻转和图像平移。与标记样本的处理方式相同，我们使用RandAugment [7]和Cutout[9]作为强数据增强Φ。我们将u s i和u wi输入模型h，并优化以下目标函数：0L cona = �0� 1 (max( p w ) ≥ σ) H(˜ p w, p s) � , (11)85820其中，p s和p w是增强样本u s i和u w i的分类概率。˜ p w= arg max( p w)返回一个独热向量作为预测结果；H(.,.)是两个概率分布的交叉熵；1(.)是一个指示函数，max( p w)返回最高的概率得分。实质上，上述CONA模块从弱增强版本的无标签样本中计算出一个伪标签，并将该伪标签应用于强增强版本，以进行交叉熵损失优化。为了减轻错误伪标签的影响，只有具有自信预测（最高概率得分高于阈值）的样本用于损失计算。这引入了一种一致性正则化形式，鼓励模型对图像扰动不敏感，从而更强大地对无标签图像进行分类。伪标签（或自训练）已经在域自适应中进行了研究[35,51]，但我们的方法与以前的方法明显不同。现有的方法通常进行分阶段的伪标签：每个阶段包含若干个训练周期，最新的模型在每个阶段结束时应用于无标签样本。通常以与源域的标记样本相同的方式选择自信预测样本进行模型训练。在每个阶段的所有训练周期中，伪标记样本保持不变。相反，我们的方法执行小批量的伪标签：在每个小批量中，我们从弱增强版本的每个样本计算一个伪标签，并将该伪标签应用于强增强版本。在每个小批量之后，我们丢弃所有的伪标签，从而减轻错误伪标签的有害影响。我们方法的整体学习目标是UDA损失、增强的分类对齐损失和一致性对齐损失的加权组合。0L = Luda + λ1Lcata + λ2Lcona，Lcata = {L'pa，L'ta}(12)其中λ1和λ2是超参数。Lcata = L'pa和Lcata =L'ta分别对应于我们的ECACL框架的两个变体，它们基于原型损失和三元组损失进行分类对齐。我们分别将这两个变体称为ECACL-P和ECACL-T。算法1概述了所提出框架的主要步骤。04. 实验0数据集和评估协议。我们在三个常用数据集上进行实验，分别是VisDA2017 [37]、DomainNet [36]和Of�ce-Home[44]。DomainNet由345个类别的6个域组成。根据[38]的建议，我们选择Real (R)、Clipart (C)、Painting0算法1. 提出的ECACL框架 输入：源集合S ={Xs，Ys}，标记的目标集合Tl ={Xt，Yt}和无标记的目标集合Tu。输出：领域自适应模型h。while not done do 1. 从S∪Tl中的标记图像中采样Bl ={{si，j} Nsi = 1，{ti，j} Nti = 1，yj} Mj =1。从U中采样无标记图像Bu = {ui} Nui = 1。将Bl = Bs ∪Bt，其中Bs = {{si，j} Nsi = 1，yj} Mj = 1，Bt = {{ti，j} Nti= 1，yj} Mj = 1。 2. 对Bs，Bt和Bu应用强增强，并得到B's= Φ(Bs)，B't = Φ(Bt)和Bsu = Φ(Bu)。 3.对Bu应用弱增强，并得到Bwu = ψ(Bu)。 4.使用公式（2）计算B's和B't的交叉熵损失。 5.使用现有的UDA方法（例如MME[38]）计算B's和Bwu的无监督对齐损失。 6.使用公式（7）（用于ECACL-P变体）或公式（8）（用于ECACL-T变体）计算B's和B't的增强分类对齐损失。 7.使用公式（11）计算Bsu和Bwu的一致性对齐损失。 8.使用公式（12）优化模型h。 end while0(P)和Sketch (S)作为4个评估域，并进行以下跨域评估：R→ C（从源Real到目标Clipart的自适应），R → P，P →C，C → S，S → P，R → S和P →R。对于每组跨域实验，我们分别评估1-shot和3-shot设置，其中分别有1个和3个标记的目标样本。标记样本是随机选择的，我们使用提供的拆分进行实验。我们评估所有7组实验的分类准确率，并报告准确率的平均值。0VisDA2017包括152,397个合成图像和55,388个真实图像，涵盖12个类别。对于SSDA评估，我们从每个类别中随机选择1个和3个真实图像作为地标，分别对应于1-shot和3-shot的评估设置。按照之前的方法[48]，我们报告每个类别的分类准确率以及所有类别的平均类别准确率（MCA）。0Of�ce-Home包含65个类别的图像，来自4个不同的域，即Real (R)、Clipart (C)、Art (A)和Product(P)。我们使用与[38]相同的1-shot和3-shot拆分，并对所有12对域的自适应性能进行评估。我们报告所有实验集的分类准确率和准确率均值。0实现细节。提出的ECACL-P和ECACL-T是通用的SSDA框架，可以整合大多数现有的UDA方法，并利用地标样本来提高适应性能。根据建立在UDA方法上的不同变体，我们可以得到不同的变体。但为了评估的便利性和公平性，我们进行了大多数实验。STAlexNet43.347.142.445.040.144.933.636.435.738.429.133.355.858.740.043.4DANNAlexNet43.346.141.643.839.141.035.936.536.938.932.533.453.657.340.442.4ADRAlexNet43.146.241.444.439.343.632.836.433.138.929.132.455.957.339.242.7CDANAlexNet46.346.845.745.038.342.327.529.530.233.728.831.356.758.739.141.0ENTAlexNet37.045.535.642.626.840.418.931.115.129.618.029.652.260.029.139.8MMEAlexNet48.955.648.049.046.751.736.339.439.443.033.337.956.860.744.248.2Meta-MMEAlexNet-56.4-50.2-51.9-39.6-43.7-38.7-60.7-48.7BiATAlexNet54.258.649.250.644.052.037.741.939.642.137.242.056.958.845.549.4FANAlexNet47.754.649.050.546.952.138.542.638.542.233.838.757.561.444.648.9ECACL-TAlexNet56.862.954.858.956.360.546.651.054.651.245.448.962.867.453.457.7ECACL-PAlexNet55.862.654.059.056.160.546.150.654.650.345.048.462.367.452.857.6STResNet-3455.660.060.662.256.859.450.855.056.059.546.350.171.873.956.960.0DANNResNet-3458.259.861.462.856.359.652.855.457.459.952.254.970.372.258.460.7ADRResNet-3457.160.761.361.957.060.751.054.456.059.949.051.172.074.257.660.4CDANResNet-3465.069.064.967.363.768.453.157.863.465.354.559.073.278.562.566.5ENTResNet-3465.271.065.969.265.471.154.660.059.762.152.161.175.078.662.667.6MMEResNet-3470.072.267.769.769.071.756.361.864.866.861.061.976.178.566.468.9MMEResNet-34-73.5-70.3-72.8-62.8-68.0-63.8-79.2-70.1BiATResNet-3473.074.968.068.871.674.657.961.563.967.558.562.177.078.667.169.7FANResNet-3470.476.670.872.172.976.756.763.164.566.163.067.876.679.467.671.7ECACL-TResNet-3473.576.472.874.372.875.965.165.370.372.264.868.678.379.771.173.2ECACL-PResNet-3475.379.074.177.375.379.465.070.672.174.668.171.679.782.472.876.485830Net R → C R → P P → C C → S S → P R → S P → R Mean01 -射击  3 -射击  1 -射击  3 -射击  1 -射击  3 -射击  1 -射击  3 -射击  1 -射击  3 -射击  1 -射击  3 -射击  1 -射击  3 -射击  1 -射击  3 -射击  1 -射击  3 -射击0表1. DomainNet数据集上的结果。最佳结果以粗体显示。0根据MME[38]的变体进行的实验。请注意，尽管MME是为SSDA提出的，但可以视为将标记的目标样本简单合并到标记的源样本中以进行交叉熵损失优化的UDA方法。由于我们以相同的方式进行了这样的操作，MME仍然与我们的框架兼容。我们采用与MME完全相同的训练过程和超参数，除了每个小批量中标记数据的采样方式。我们采用类平衡采样：在每个小批量中，我们从源域和目标域中随机采样M个类，每个类分别采样Ns和Nt个图像。我们设置M=10，Ns=10，Nt=1用于1-shot设置，Nt=3用于3-shot设置。我们将不同损失的平衡超参数设置为λ1=0.1和λ2=1（公式（12）），对于所有实验，伪标签的置信阈值σ=0.8（公式（11））。对于ECACL-T，我们将边界参数m设置为1.0（公式（12））。04.1. 比较结果0我们与以下方法进行比较，DANN [11]，ADR[39]，CDAN [28]，ENT [14]，MME [38]，FAN[18]，BiAT [17]和Meta-MME[21]。所有这些方法都是专门设计或调整以解决SSDA问题。我们还报告了基线方法“ST”的结果，该方法使用来自源域和目标域的标记样本训练模型。01除非另有说明，我们使用“ECACL-P”和“ECACL-T”来表示简称。0目标领域，无需领域对齐。0DomainNet。我们首先比较了ECACL的两个变体。从表1中可以看出，当使用AlexNet主干时，ECACL-T的性能略优于ECACL-P，而使用ResNet-34主干时，ECACL-P的性能要比ECACL-T好得多。这表明基于原型的分类领域对齐技术比基于三元组损失的技术更有效。一个可能的原因是前者考虑了所有类别的区分性，这比后者只建模了三元组关系更有益。为了方便评估，我们只评估ECACL-P的其余实验。0与其他方法相比，我们可以看到ECACL-P在所有实验设置中都显示出明显的优势。具体而言，以AlexNet作为特征提取模型，ECACL-P在1-shot和3-shot设置中分别比基于ECACL-P的MME提高了8.6和9.4个百分点。使用ResNet-34，这些改进分别为1-shot和3-shot设置提高了6.4和7.5个百分点。ECACL-P在使用两种主干网络的两种设置中的性能也明显优于最近的方法。这些结果证实了ECACL-P通过全面探索地标来减轻领域转移的有效性。0VisDA2017。从表2中可以看出，建立在MME基础上的ECACL-P相对于MME取得了显著的改进。1-shot设置的平均增益为12.7，3-shot设置的平均增益为12.1。这些巨大的改进令人信服。ST82.652.875.057.672.739.780.553.359.064.177.512.660.6MME86.660.180.861.984.069.687.072.473.050.979.414.768.4ECACL-P94.981.588.981.395.992.492.283.395.277.488.42.381.1ST74.071.771.264.778.571.869.651.473.749.480.819.864.7MME87.267.374.964.586.985.578.875.884.448.080.819.971.2ECACL-P95.982.988.684.995.992.193.383.795.479.388.019.583.3S+T37.563.144.854.331.731.548.831.153.348.533.950.844.1DANN42.564.245.156.436.632.743.534.451.951.033.849.445.1ADR37.863.545.453.532.532.249.531.853.449.734.250.444.5CDAN36.162.342.252.728.027.848.728.051.341.026.849.941.2ENT26.865.845.856.323.521.947.422.153.430.818.153.638.8MME42.069.648.358.737.834.952.536.457.054.139.559.149.2ECACL-P50.370.7152.261.441.239.357.839.159.155.841.759.952.4S+T44.666.747.757.844.436.157.638.857.054.337.557.950.0DANN47.266.746.658.144.436.157.239.856.654.338.657.950.3ADR45.066.246.957.338.936.357.540.057.853.437.357.749.5CDAN41.869.943.253.635.832.056.334.553.549.327.956.246.2ENT44.970.447.160.341.234.660.737.860.558.031.863.450.9MME51.273.050.361.647.240.763.943.861.459.944.764.755.2FAN51.974.651.261.647.942.165.544.560.958.144.364.855.6ECACL-P55.475.756.067.052.546.467.448.566.360.845.967.359.137.9 39.2 39.3 43.5 42.2 45.2 44.1 48.485840方法 平面 自行车 公共汽车 汽车 马 刀 手摩托车 人 植物 滑板车 火车 卡车 MCA01-shot03-shot0表2.  VisDA2017  数据集结果。0R to C R to P R to A P to R P to C P to A A to P A to C A to R C to R C to A C to P 平均0One-shot0Three-shot0表3. Of�ce-Home数据集上的结果。0CA � � � �0SA � � � �0CONA � � � �0表4.从Real到Sketch的DomainNet数据集上的3次标记设置的消融研究。第二列显示了通过MME获得的基准结果。0ECACL-P的有效性的证据。Of�ce-Home。从表3可以看出，ECACL-P也显著提升了现有方法的性能，尽管收益不如其他两个数据集那么显著。可能的原因是该数据集比其他两个数据集更难，因此改进更加困难。04.2. 附加实证分析0消融研究。在现有UDA方法的基础上，ECACL-P包括以下新的模块/技术来解决SSDA问题，即原型对齐（PA）模块，旨在增强PA的强增强（SA）技术和一致性对齐（CONA）模块。表4显示了从Real到Sketch的DomainNet数据集上的3次标记设置的消融研究。我们可以看到，所有新的模块/技术都对最终的性能提升做出了贡献，从而验证了其有效性。即插即用评估。如上所述，ECACL-P不依赖于建立在其上的UDA方法。为了评估这一点，我们将ECACL-P作为即插即用的组件应用于0方法 网络 设置 MCA0Source-only ResNet-101 UDA 52.40HAFN ResNet-101 UDA 73.90SAFN ResNet-101 UDA 76.101-shot 3-shot0HAFN + ST ResNet-101 SSDA 77.0 79.30SAFN + ST ResNet-101 SSDA 77.5 79.20ECACL-P (HAFN) ResNet-101 SSDA 83.9 85.30ECACL-P (SAFN) ResNet-101 SSDA 83.3 84.50ST ResNet-34 SSDA 60.6 64.70MME ResNet-34 SSDA 68.4 71.20ECACL-P (MME) ResNet-34 SSDA 81.1 83.30表5. ECACL-P在VisDA2017数据集上的灵活性分析。“HAFN +ST”和“SAFN +ST”表示从UDA到SSDA的方法HAFN和SAFN的简单扩展，通过进一步包括标记的目标数据进行交叉熵损失优化。“ECACL-P(MME)”，“ECACL-P (HAFN)”和“ECACL-P(SAFN)”是对应于不同UDA方法并入我们框架的方法。0新的模块/