Yabin Zhang1,2, Hui Tang1, Kui Jia ∗1, and Mingkui Tan150310用于对抗领域自适应的领域对称网络01 华南理工大学 2 阿里巴巴集团DAMO学院 { zhang.yabin,eehuitang } @mail.scut.edu.cn, {kuijia,mingkuitan } @scut.edu.cn0摘要0无监督领域自适应旨在学习一个分类器模型，用于目标领域上的无标签样本，给定源领域上标记样本的训练数据。通过深度网络的领域对抗训练学习不变特征，最近取得了令人印象深刻的进展。尽管最近取得了进展，但领域自适应在实现更细粒度类别级别的特征分布不变性方面仍然有限。为此，我们在本文中提出了一种新的领域自适应方法，称为领域对称网络（SymNets）。所提出的SymNet基于源任务和目标任务分类器的对称设计，基于此，我们还构建了一个额外的分类器，与它们共享其层神经元。为了训练SymNet，我们提出了一种新颖的对抗学习目标，其关键设计基于一个两级领域混淆方案，其中类别级别的混淆损失通过驱动中间网络特征的学习使得两个领域的相应类别具有不变性。领域判别和领域混淆都是基于构建的额外分类器实现的。由于目标样本没有标签，我们还提出了一种跨领域训练方案来帮助学习目标分类器。仔细的消融研究显示了我们提出的方法的有效性。特别是，在常用的基础网络基础上，我们的SymNets在三个基准领域自适应数据集上实现了最新的技术水平。01. 引言0深度学习方法在各种机器学习任务中取得了巨大的成功。然而，这种成功的一个共同前提是大量标注的训练数据的可用性。然而，对于许多其他任务，0� 通讯作者0这些训练数据要么很难收集，要么标注它们的成本过高。因此，为了解决某些目标任务/领域上标注数据的稀缺性，有强烈的动机通过迁移学习或领域自适应的方式利用相关源任务上大量可用的标注数据[17]。不幸的是，这种有吸引力的学习范式受到领域偏移[8]的问题的困扰，这是将源领域上学习到的模型适应于目标领域的一个重要障碍。0领域自适应旨在获得在目标数据上风险较小的模型。理论分析[2]表明，这样的目标风险可以通过限制模型在源数据上的风险和两个领域之间的分布差异来最小化，这启发了许多现有方法[28, 31, 11, 32, 25, 3, 4, 26, 27, 10,19]。在现有方法中，基于深度网络的领域对抗训练[3,4]在许多基准领域自适应数据集上取得了最新的技术水平[21, 1,29]。受到生成对抗网络[6]的启发，领域对抗训练通常通过进行极小极大博弈来学习一个领域判别器，该判别器旨在区分源样本的特征和目标样本的特征，并学习一个特征提取器，该提取器旨在学习领域不变的特征表示以混淆领域判别器。当极小极大优化达到平衡时，期望实现领域对齐。0尽管领域对抗训练方法取得了显著的实证结果，但它们仍然存在一个主要限制：尽管特征提取器经过良好训练，可以提供源样本和目标样本的领域不变特征，但相应的模型/分类器是在源样本上训练的，不能完全泛化到目标样本，即特征和类别的联合分布在数据领域之间没有很好地对齐。一些现有的方法已经注意到了这个问题。例如，在[22, 34,30]中，为目标样本分配了伪标签，用于类别级别的对齐。50320在[12,18]中，利用特征表示和类别预测之间的乘法交互作用作为高阶特征来帮助对抗训练。这些现有方法在一定程度上缓解了上述问题。为了进一步推动这一方向，我们在本文中提出了一种新颖的领域对称网络（SymNets）设计，通过对抗训练来促进特征和类别的联合分布在数据域之间的对齐。与[13]类似，我们提出的SymNet包含一个明确的目标域任务分类器。与[13]不同的是，我们还构建了一个额外的分类器，与源域和目标域分类器的神经元共享（详见第3.1节中如何构建这三个分类器）。在这项工作中，我们提出了一种新颖的对抗学习方法来训练所构建的SymNet，其中包括类别级别和域级别的混淆损失，从而可以增强领域不变特征学习的类别级别。为了使目标分类器在预测任务类别方面与源分类器更对称，我们还提出了一种跨域训练方案来帮助训练目标分类器。仔细的消融研究显示了我们提出的SymNet关键设计的有效性。我们总结我们的主要贡献如下。0•我们在本文中提出了一种名为SymNet的新颖对抗性领域自适应方法。我们提出的SymNet基于源域和目标域任务分类器的对称设计，基于此，我们还构建了一个与它们共享其层神经元的额外分类器。基于构建的额外分类器实现了域鉴别和域混淆。0•为了训练SymNet，我们提出了一种新颖的基于两级域混淆损失的对抗学习方法，其中类别级别的混淆损失通过驱动中间网络特征在两个域的相应类别上保持不变来改进域级别的混淆损失。由于目标样本没有标签，我们还提出了一种跨域训练方案来帮助学习目标分类器。0•我们进行了仔细的消融研究，以调查我们提出的SymNet关键设计的有效性。这些研究在实证上证实了我们的设计。特别是，基于常用的基础网络，我们提出的SymNets在Of�ce-31 [21]、ImageCLEF-DA [1]和Of�ce-Home[29]的基准领域自适应数据集上实现了新的最先进水平。02. 相关工作0在本节中，我们简要回顾了最近的领域自适应方法，特别是那些旨在对齐两个数据域中的特征和类别的联合分布的方法[22, 34, 30, 13, 23, 12, 18]。现有的领域自适应方法[28, 11,32, 25, 3, 4, 26, 27, 13, 22, 34, 30, 12,18]通常学习域不变特征以最小化域差异。一些现有方法[28,11, 32, 25, 3, 4,27]忽略了两个域之间相应类别的对齐。相反，为了对齐两个数据域中的特征和类别的联合分布，Saito等人[22]提出了非对称使用三个任务分类器的方法，其中两个任务分类器根据它们的预测一致性和置信度对未标记的目标样本进行标记，另一个任务分类器通过这些带有伪标签的目标样本进行训练。然而，伪标签的真实性是可疑的，错误标签对性能有深远的负面影响。为了提高目标样本的伪标签的可靠性，Zhang等人[34]通过混淆度来重新加权目标样本，特别是那些在域标签中很好地混淆域鉴别器的目标样本，因此被分配更高的权重。Xie等人[30]在两个域之间对齐每个类别的质心，而不是直接将伪标签视为真实标签。Long等人[13]使用残差函数来模拟两个域的学习任务分类器之间的偏移，这对于小域差异的适应任务可能是有用的，但对于大域差异的处理是不足的。在[12,18]中，利用特征表示和类别预测之间的乘法交互作用作为高阶特征来帮助对抗训练。Saito等人[23]考虑了类别决策边界，提出通过最大化两个独立任务分类器的输出之间的差异来检测靠近类别决策边界的目标样本，并学习一个特征提取器来为这些目标样本生成靠近源支持的特征，以最小化差异。为了进一步促进特征和类别的联合分布在数据域之间的对齐，我们的SymNets包含一个明确的目标域任务分类器和一个额外的分类器，以实现域鉴别和域混淆，并且具有两级域混淆损失，其中类别级别的混淆损失通过驱动中间网络特征的学习使其在两个域的相应类别上保持不变。03. 提出的域对称网络0在无监督域自适应中，我们给定一个源域 D s = { ( x s i ,y s i ) } n s i =1 ，其中包含 n s 个标记样本。i=1Ls (C(G(xsi)), ysi ) ,(1)i=1log(1 − D(G(xsi))− 1nt j=1log(D(G(xtj)).(2)Edomain −12ns i=1log(D(G(xsi))−12nt j=1log(1 − D(G(xtj)).(3)50330图1. 我们提出的SymNet的架构，包括一个特征提取器 G 和三个分类器 C s ， C t 和 C st 。注意，分类器 C st 与 C s 和 C t共享其层神经元。红色和蓝色表示目标数据和源数据，以及由它们生成的损失。黄色和绿色表示特征提取器和分类器，以及应用于它们的损失。中间虚线矩形展示了SymNet在两个域的相应类别上不变的特征的玩具示例。有关两级域混淆训练目标的定义，请参阅正文。0并且一个目标域 D t = { ( x t j ) } n t j =1 ，其中包含 n t 个无标签样本。由于源域 D s 和目标域 D t假设是不同的，因此违反了独立同分布的假设。无监督域自适应的目标是学习一个特征提取器 G 和一个分类器 C，使得对于某个损失函数 L ，能够最小化期望的目标风险E ( x t ,y t ) �D t [ L ( C ( G ( x t )) , y t )] 。0理论分析[2]表明，可以通过限制源风险和两个域之间的差异来最小化目标风险。受到GANs[6]的启发，我们探索了域对抗训练[3,4]来实现后者的目标。如[27]所总结的那样，有三种实现域对抗训练损失的方法：minimax[3,4]、混淆[26]和GAN[27]。我们引入了与我们的方法最相关的域混淆损失[26]。0给定一个由卷积层和全连接层组成的深度神经网络，域混淆方法使用较低的卷积层作为特征提取器 G，较高的全连接层作为任务分类器 C 。域鉴别器 D 与 C并行，添加在 G之上，用于区分来自两个域的样本特征。基于标准的监督分类目标函数实现源风险最小化：0最小化 C,G Etask = 10n s0其中 L s通常是交叉熵损失。由于存在域差异，直接将通过（1）训练的模型应用于目标数据时性能会大幅下降。给定 G提取的不同域的特征表示，我们可以学习一个域鉴别器 D 。0使用以下目标函数来训练 D ：0最小化 D E domain= − 10n s0n t0给定一个 D，域混淆损失的目标是通过计算域预测和域标签的交叉熵，使 G 最大程度地“混淆”两个域：0最小化 G Fdomain =10n s0n t0通过学习一个与域无关的 G来实现域对齐，其基于以下领域混淆的对抗目标：0最小化 G,C E task ( G, C ) + λ F domain ( G, D )0最小化 D E domain ( G, D ) , (4)0其中 λ 是一个权衡参数。03.1. 源任务和目标任务分类器的对称设计0如第1节所讨论的，尽管现有的领域对抗训练方法取得了令人印象深刻的结果，但它们仍然面临无监督领域自适应的基本挑战，即特征和类别的联合分布无法在数据域之间很好地对齐。为了解决这个挑战，我们在本文中提出了以下i=1log(psysi (xsi)).(5)i=1log(ptysi (xsi)).(6)present ablation studies in Section 4.3 that confirm the effi-cacy of our way of learning the target task classifier Ct.Domain DiscriminationBoth Cs and Ct are trained using the labeled source sam-ples. To differentiate between them, we leverage the con-structed classifier Cst in the SymNet. We train Cst usingthe following two-way cross-entropy loss:minCst Estdomain(G, Cst) = − 1ntnt�j=1log(K�k=1pstk+K(xtj))− 1nsns�i=1log(K�k=1pstk (xsi)), (7)50340本文提出了一种新颖的领域对称网络（SymNet），以及相应的领域对抗训练方法。我们首先介绍我们提出的SymNet的架构设计，如下所示（参见图1进行说明）。SymNet的设计始于两个并行的任务分类器Cs和Ct。假设这两个分类器分别基于一个单独的全连接层（后面跟着一个softmax操作）。Cs和Ct分别包含Ks和Kt个神经元，对应于源域和目标域上的类别数量。在无监督领域自适应中，我们有Ks = Kt =K。对于SymNet的输入x，我们分别将其表示为vs(x)∈RK和vt(x)∈RK0在softmax操作之前的Cs和Ct的输出向量，以及在softmax操作之后的ps(x)∈[0, 1]K和pt(x)∈[0,1]K。除了Cs和Ct之外，我们的SymNet还有一个分类器Cst，其设计如下。给定输入x的vs(x)和vt(x)，我们首先将它们连接起来形成[vs(x);vt(x)]∈R2K，然后对连接向量应用softmax操作，得到一个概率向量pst(x)∈[0, 1]2K。因此，我们有Cst(G(x)) =pst(x)。为了方便后续的表示，我们还将Cst(G(x))预测的类别概率向量psk(x)（或ptk(x)或pstk(x)），k∈{1, ...,K}，分别表示为Cs(G(x))（或Ct(G(x))或Cst(G(x))）的第k个元素。注意，在我们的SymNet设计中没有明确的领域鉴别器。领域鉴别和领域混淆都是通过对分类器Cst应用适当的损失来实现的，我们将很快介绍。我们首先介绍如何训练Cs和Ct。源任务分类器Cs的学习使用以下交叉熵损失对带标签的源样本进行训练：0min Cs Es task (G, Cs) =-10ns0ns0目标任务分类器的跨域学习由于目标样本没有标签，因此没有直接的监督信号来学习任务分类器Ct。我们的想法是利用带标签的源样本，并使用以下交叉熵损失来训练Ct：0min Ct Et task (G, Ct) =-10ns0ns0乍一看，似乎（6）学习到的Ct是Cs的一个副本。然而，通过Cst进行领域鉴别训练将使它们能够区分开来。实际上，（6）的使用对于建立Cs和Ct之间的神经元级对应关系至关重要，这为第3.2节中介绍的类别级领域混淆提供了基础。在（6）中使用带标签的源样本还使得学习到的Ct在任务类别之间更具有区分性。我们在第4.3节中进行了消融研究，证实了我们学习目标任务分类器Ct的方法的有效性。领域鉴别通过使用带标签的源样本来训练Cs和Ct。为了区分它们，我们利用SymNet中构建的分类器Cst。我们使用以下两路交叉熵损失来训练Cst：0图2. 目标分类器Ct与源分类器Cs之间的损失（7）的直观表示。0其中，� K k =1 p st k ( x ) 和 � K k =1 p st k + K ( x )可以被视为将输入样本x分类为源域和目标域的概率。损失（7）的目标在图2中直观地说明。理想情况下，对于Cst的总共2K个神经元，施加损失（5）、（6）和（7）的综合效果将使得前K个神经元在任务类别之间具有区分性，后K个神经元在任务类别之间具有区分性，并使这两组神经元彼此可区分。例如，对于类别为k的源样本xs，Cst会倾向于进行准确的预测，因此pstk的概率会大于pstk+K，这是由于使用了损失（7）。类似地，对于类别为k的目标样本xt，Cst会倾向于进行准确的预测，因此pstk+K的概率会大于pstk。03.2. 对称领域网络的两级领域混淆训练0与现有方法类似，我们采用对抗训练的一般策略来学习SymNet的不变特征提取器G。更具体地说，我们提出了一种新颖的两级领域混淆方法，它基于领域级混淆损失和类别级混淆损失。所提出的两级损失旨在最大程度地“混淆”两个领域，以使它们之间的特征和类别的联合分布对齐。为了获得类别级混淆损失，我们再次依赖于带标签的源样本。对于类别为k的源样本，我们确定其对应的Cst中的第k个和第(k+K)个神经元对。minG Fstcategory(G, Cst) = −12nsns�i=1log(pstysi +K(xsi))−12nsns�i=1log(pstysi (xsi)).(8)minG Fstdomain(G, Cst) = −12ntnt�j=1log(K�k=1pstk+K(xtj))−12ntnt�j=1log(K�k=1pstk (xtj)).(9)j=1(11)50350为了“混淆”两个领域以使它们之间的特征和类别的联合分布对齐，我们采用了对抗训练的一般策略来学习不变特征提取器G。具体而言，我们提出了一种新颖的两级领域混淆方法，它基于领域级混淆损失和类别级混淆损失。所提出的两级损失旨在最大程度地“混淆”两个领域，以使它们之间的特征和类别的联合分布对齐。0Cst中的每对神经元，并使用该神经元对上的预测和均匀分布之间的交叉熵，给出以下目标来学习特征提取器G：0为了获得领域级混淆损失，我们使用无标签的目标样本，因为在领域级别的混淆中不需要标签信息。对于一个目标样本，我们简单地使用Cst中两个半组神经元的预测结果和均匀分布之间的交叉熵，给出以下目标来学习特征提取器G：0需要注意的是，可以选择使用带标签的源样本来进行另一种基于领域级混淆损失的方法。我们注意到这种额外损失的效果可能已经被使用带标签的源样本的类别级混淆损失（8）所包含。03.2.1 熵最小化原则0熵最小化原则[7]被一些领域适应方法[13, 33,24]采用，以增强目标数据的学习模型的区分性。在这项工作中，我们将这一原则应用于我们提出的SymNet的对称结构。我们提出了以下熵最小化目标，通过对Cst中每对类别对应神经元的概率求和来增强任务类别之间的区分度：0最小化 G M st ( G, C st )= − 10n t0k =1 q st k ( x t j )log(q st k ( x t j )) ，0（10）其中 q st k ( x t j ) = p st k ( x t j ) + p st k + K (x t j ) ， k ∈ { 1 , . . . , K }。根据[33]的建议，我们不使用（10）同时更新特征提取器G 和分类器 C st ，而是使用熵0最小化损失仅用于在此处更新 G，以减少由于大的域偏移而导致的副作用，目标样本可能在训练的早期阶段陷入错误的类别预测中，并且难以在后期进行修正。03.3. 域对称网络的整体训练目标0结合（5），（6）和（7）的损失来更新分类器，结合（8）和（9）的类别和域级混淆来更新特征提取器 G，以及正则化器（10），我们得到了SymNet的以下训练目标：0最小化 C s ，C t ，C st E s 任务（ G， C s ）+ E t 任务（ G， C t）+ E st 域（ G， C st ）0最小化 G F st 类别（ G， C st ）+ λ（ F st 域（ G， C st ）+ M st （ G，C st ）），0其中 λ ∈ [0 , 1] 是一个权衡参数，用于抑制训练早期的F st 域（ G， C st ）和 M st （ G， C st ）的噪声信号。F st 类别（ G， C st）是无噪声的，因为它基于标记的源样本。04. 实验0我们在三个基准数据集上评估了我们的SymNets的无监督域适应任务，并详细研究了各个组件的影响。代码可在http://sites.scut.edu.cn/GPI/main.psp 上获得。04.1. 设置0Of�ce-31Of�ce-31数据集[21]是一个用于域适应的标准基准数据集，包含三个不同域共享的31个类别的4,110张图像：Amazon（A），Webcam（W）和DSLR（D）。我们遵循所有六个适应任务上的常见评估协议。ImageCLEF-DAImageCLEF-DA数据集[1]是ImageCLEF2014域适应挑战的基准数据集，包含三个域：Caltech-256（C），ImageNet ILSVRC 2012（I）和Pascal VOC2012（P）。对于每个域，每个类别有12个图像。该数据集中的三个域大小相同，这是Of�ce-31数据集的很好补充，其中不同的域大小不同。我们在所有六个适应任务上评估所有方法。Of�ce-HomeOf�ce-Home数据集[29]是一个非常具有挑战性的域适应数据集，包含来自办公室和家庭场景的65个类别的15,500张日常物品图像，共享四个明显不同的域：艺术图像（Ar），剪贴画（Cl），产品图像（Pr）和真实世界图像（Rw）。我们在所有12个适应任务上评估所有方法。我们将我们的SymNets与浅层域适应方法[16,5]和最先进的深度域适应方法进行比较。ResNet-50 [9]68.4±0.296.7±0.199.3±0.168.9±0.262.5±0.360.7±0.376.1GFK [5]72.8±0.095.0±0.098.2±0.074.5±0.063.4±0.061.0±0.077.5TCA [16]72.7±0.096.7±0.099.6±0.074.1±0.061.7±0.060.9±0.077.6DAN [11]80.5±0.497.1±0.299.6±0.178.6±0.263.6±0.362.8±0.280.4RTN [13]84.5±0.296.8±0.199.4±0.177.5±0.366.2±0.264.8±0.381.6RevGrad [3]82.0±0.496.9±0.299.1±0.179.7±0.468.2±0.467.4±0.582.2ADDA [27]86.2±0.596.2±0.398.4±0.377.8±0.369.5±0.468.9±0.582.9JAN-A[14]86.0±0.496.7±0.399.7±0.185.1±0.469.2±0.370.7±0.584.6MADA [18]90.0±0.197.4±0.199.6±0.187.8±0.270.3±0.366.4±0.385.2iCAN [34]92.598.8100.090.172.169.987.2Kang et al. [10]86.8±0.299.3±0.1100.0±.088.8±0.474.3±0.273.9±0.287.2CDAN+E [12]94.1±0.198.6±0.1100.0±.092.9±0.271.0±0.369.3±0.387.7SymNets90.8±0.198.8±0.3100.0±.093.9±0.574.6±0.672.5±0.588.4Table 2. Accuracy (%) on the ImageCLEF-DA dataset [1]. All methods are based on models adapted from a 50-layer ResNet.MethodsI → PP → II → CC → IC → PP → CAvgResNet-50 [9]74.8±0.383.9±0.191.5±0.378.0±0.265.5±0.391.2±0.380.7DAN [11]74.5±0.482.2±0.292.8±0.286.3±0.469.2±0.489.8±0.482.5RevGrad [3]75.0±0.686.0±0.396.2±0.487.0±0.574.3±0.591.5±0.685.0MADA [18]75.0±0.387.9±0.296.0±0.388.8±0.375.2±0.292.2±0.385.8iCAN [34]79.589.794.789.978.592.087.4CDAN+E [12]77.7±0.390.7±0.297.7±0.391.3±0.374.2±0.294.3±0.387.7SymNets80.2±0.393.6±0.297.0±0.393.4±0.378.7±0.396.4±0.189.9adaptation methods [11, 13, 3, 27, 14, 18, 19, 10, 12]. Wefollow standard evaluation protocols for unsupervised do-main adaptation [3, 11]: all labeled source samples and allunlabeled target samples are used for training. The averageclassification accuracy and the standard error of each adap-tation task are reported on three random experiments. OurSymNets and all comparative methods are based on modelsadapted from a 50-layer ResNet [9]. Especially, the deeprepresentations output by the layer pool5 of ResNet are usedas features for shallow methods.We implement our SymNets based on PyTorch. A 50-layer ResNet pre-trained on the ImageNet dataset [20],which excludes the last FC layer, is adopted as the featureextractor G. We fine-tune the feature extractor G and traina classifier Cst from scratch through back propagation. Thelearning rate of the classifier Cst is 10 times that of the fea-ture extractor G. All parameters are updated by stochasticgradient descent (SGD) with momentum of 0.9. The batchsize is set to 128. We follow [3] to employ the annealingstrategy of learning rate and the progressive strategy of λ:the learning rate is adjusted by ηp =η0(1+αp)β , where p isthe progress of training epochs linearly changing from 0 to1, η0 = 0.01, α = 10 and β = 0.75, which are optimizedto promote convergence and low error on source samples; λis gradually changed from 0 to 1 by λp =21+exp(−γ·p) − 1,where γ is set to 10 in all experiments. Our classificationresults are obtained from the target task classifier Ct unlessotherwise specified, and the comparison between the perfor-mance of the source and target task classifiers is illustratedin Figure 4.4.2. ResultsTheclassificationresultsontheOffice-31[21],ImageCLEF-DA [1] and Office-Home [29] datasets are re-ported in Table 1, Table 2 and Table 3, respectively. For faircomparison, results of other methods are either directly re-ported from their original papers if available or quoted from[12]. Our SymNets outperform all state-of-the-art methodson three benchmark datasets, highly affirming the effective-ness of our SymNets in aligning the joint distributions offeature and category across domains. It is compelling thatour SymNets substantially enhance the classification accu-racies on difficult adaptation tasks (e.g. A → D and D →A) and the challenging dataset (e.g. Office-Home). TheOffice-Home dataset is a very challenging dataset for do-main adaptation due to following reasons as described in itsoriginal paper [29]: (1) the number of categories is largein each domain; (2) different domains are visually very dis-similar; (3) the in-domain classification accuracy is low. Es-pecially, the presence of large number of categories preju-dices the domain alignment methods [3, 11, 27] for their ig-norance of the alignment between corresponding categoriesof the two domains. It is desirable that our SymNets dramat-50360表1. Of�ce-31数据集[21]上的准确率（%）。所有方法都基于从50层ResNet适应的模型。0方法 A → W D → W W → D A → D D → A W → A 平均Table 3. Accuracy (%) on the Office-Home dataset [29]. All methods are based on models adapted from a 50-layer ResNet.MethodsAr→Cl Ar→Pr Ar→RwCl→Ar Cl→Pr Cl→RwPr→Ar Pr→Cl Pr→RwRw→ArRw→ClRw→Pr AvgResNet-50 [9]34.950.058.037.441.946.238.531.260.453.941.259.946.1DAN [11]43.657.067.945.856.560.444.043.667.763.151.574.356.3RevGrad [3]45.659.370.147.058.560.946.143.768.563.251.876.857.6CDAN+E [12]50.770.676.057.670.070.057.450.977.370.956.781.665.8SymNets47.772.978.564.271.374.264.248.879.574.552.682.767.6snssnsK(12)s(13)50370表4. Of�ce-31数据集[21]上的消融实验。所有方法都基于从50层ResNet中调整的模型。有关这些方法的详细定义，请参阅正文。0方法 A → W D → W W → D A → D D → A W → A 平均0ResNet-50 [9] 79.9 ± 0.3 96.8 ± 0.4 99.5 ± 0.1 84.1 ± 0.4 64.5 ± 0.3 66.4 ± 0.4 81.9 ResNet-50 (添加 Em) [9] 89.3± 0.1 99.0 ± 0.1 100.0 ± .0 89.2 ± 0.7 73.4 ± 0.1 69.0 ± 0.2 86.6 领域混淆 [26] 83.0 ± 0.1 98.5 ± 0.3 99.8 ± 0.083.9 ± 0.0 66.9 ± 0.4 66.4 ± 0.1 83.1 领域混淆 (添加 Em) [26] 89.8 ± 0.7 99.0 ± 0.2 100.0 ± .0 90.1 ± 0.3 73.9 ±0SymNets (w/o E t 任务 ) 75.3 ± 0.9 95.9 ± 0.2 99.6 ± 0.2 75.1 ± 0.9 60.2 ± 0.3 62.7 ± 0.7 78.1 SymNets (w/o Mst ) 87.9 ± 0.1 98.4 ± 0.2 99.9 ± 0.1 90.8 ± 0.5 67.4 ± 0.6 69.7 ± 0.7 85.7 SymNets (w/o 混淆) 89.2 ± 0.6 99.0 ±0.3 100.0 ± .0 93.8 ± 0.3 73.7 ± 0.2 65.9 ± 0.6 86.9 SymNets (w/o 类别混淆) 89.9 ± 0.6 98.1 ± 0.1 99.8 ± 0.0 93.7± 0.5 71.9 ± 0.2 73.5 ± 0.1 87.8 SymNets 90.8 ± 0.1 98.8 ± 0.3 100.0 ± .0 93.9 ± 0.5 74.6 ± 0.6 72.5 ± 0.5 88.40在大多数适应任务上都可以显著提高性能，证明了我们提出的SymNets的两级领域混淆训练在对齐特征和类别的联合分布方面的效率。04.3. 分析0消融研究在本节中，我们在Of�ce-31数据集[21]上进行消融实验，以研究我们的SymNets中不同组件的效果，这些组件基于从50层ResNet中调整的模型。我们从最简单的基线开始，对在源样本上进行微调的ResNet-50模型进行微调，该模型在ImageNet数据集[20]上进行了预训练，表示为“ResNet-50”。为了弄清楚第3节中介绍的现有领域混淆方法的性能，我们使用领域混淆的对抗目标(4)进行实验，表示为“领域混淆”。为了说明我们采用的熵最小化损失如何帮助上述两个基线，我们还优化了目标样本的熵最小化损失，将它们分别表示为“ResNet-50 (添加 Em)”和“领域混淆 (添加Em)”。为了研究我们的SymNets中不同组件如何提高适应性能，我们从整体对抗训练目标(11)中删除了跨域类别监督损失 E t 任务 ( G, C t ) (6)和熵最小化损失 M st ( G, C st) (10)，其训练设置分别表示为“SymNets (w/o E t 任务)”和“SymNets (w/o M st )”。请注意，SymNets (w/o E t 任务 )的分类准确率是从中获得的0由于目标任务分类器 C t中不存在直接的监督信号，因此无法对源任务分类器 C s进行监督。此外，为了探索我们提出的两级领域混淆损失的效果，我们将源样本的类别级混淆损失 F st category (8)退化为域级混淆损失:0最小 G -10i = 1log(0k = 1 p st k ( x s i)) − 10i = 1l
我的内容管理
展开
