对抗性无监督域自适应中的条件和标签转移

Xiaofeng Liu1, Zhenhua Guo2, Site Li3, Fangxu Xing1, Jane You4, C.-C. Jay Kuo5,Georges El Fakhri1, Jonghye Woo11Gorden Center for Medical Imaging, Massachusetts General Hospital and Harvard Medical School,Boston, MA, USA.2Alibaba Group, Hangzhou, Zhejiang, China.3Carnegie Mellon University, Pittsburgh, PA, USA.4Dept. of Computing, The Hong Kong Polytechnic University, Hong Kong.5Dept. of ECE, University of Southern California, Los Angeles, CA, USA.liuxiaofengcmu@gmail.com0.00.20.40.60.81.00.100.150.200.250.300.350.400.450.500.55Mean AccuracyKL-divergence between source and sampled target domainGTA5 to Cityscapes segmentation task CBST MCD CLS(Our)0.00.20.40.60.81.00.400.450.500.550.600.650.700.750.80 Mean AccuracyKL-divergence between source and sampled target domainVisDA-17 classification task TDDA ADR CLS(Our)the adversarial training [12, 32, 27, 30], which hinges on adiscriminator to enforce ps(f(x)) = pt(f(x)), where f(·) isa feature extractor. It results in a domain invariant representa-tion under the covariate shift assumption [39]. However,the covariate shift assumption is not realistic in lieu ofconditional shift w.r.t. p(x|y), since each class may haveits own appearance shift protocol. For example, a streetlamp is sparkly in the night, while a pedestrian is shroudedin darkness.Essentially, we would expect the fine-grained class-wisealignment w.r.t.p(x|y), while p(y) in a target domainis inaccessible in UDA. Assuming that there is no con-cept shift (i.e., ps(y|f(x)) = pt(y|f(x))) and label shift(i.e., ps(y) = pt(y))), and given the Bayes’ theorem,1103670具有条件和标签转移的对抗性无监督域自适应：推断，对齐和迭代0摘要0在这项工作中，我们提出了一种在固有条件和标签转移下的对抗性无监督领域自适应（UDA）方法，我们旨在对齐分布，即  p ( x | y )  和  p ( y ) .由于目标域中的标签是无法访问的，传统的对抗性UDA方法假设  p ( y )  在域间是不变的，并依赖于对齐  p ( x )  作为p ( x | y )对齐的替代方法。为了解决这个问题，我们对传统的对抗性UDA方法在条件和标签转移下进行了彻底的理论和实证分析，并提出了一种新颖且实用的替代优化方案用于对抗性UDA。具体而言，我们在训练阶段迭代地推断边际  p ( y )并对齐  p ( x | y ) ，在测试阶段精确对齐后验  p ( y | x ) .我们的实验结果在分类和分割UDA以及部分UDA上证明了其有效性。01. 引言0深度学习方法高度依赖于大量标记的训练数据集和训练和测试数据的独立同分布（i.i.d.）假设 [ 6 ,  28 ].然而，实际实现场景可能会有显著的多样性，并且在每个目标环境中标记数据集可能成本高昂 [ 31 ].为了解决这个问题，可以使用无监督域自适应（UDA）将从标记的源域中学到的知识转移到不同的未标记目标域中 [ 13 ,  34 ,  33 ]. UDA中的一个主要流派利用了对抗性训练 [ 12,  32 ,  27 ,  30 ]，它依赖于一个鉴别器来强制执行  p s ( f ( x )) =  p t ( f ( x )) ，其中  f( ∙ )  是一个特征提取器。它在  协变量转移  假设下产生了一个域不变的表示 [ 39 ].然而，考虑到  p ( x | y )  的条件转移，  协变量转移假设不现实，因为每个类别可能有自己的外观转移协议。例如，夜晚的街灯闪闪发光，而行人则被黑暗所笼罩。从本质上讲，我们期望对齐关于  p ( x | y )的细粒度类别，而在UDA中，目标域中的  p ( y )是无法访问的。假设没有概念转移（即，  p s ( y | f ( x )) =  p t ( y | f ( x ))）和标签转移（即，  p s ( y ) =  p t ( y )) ），根据贝叶斯定理，p ( f ( x ) | y ) = p ( y |f ( x )) p ( f ( x ))0图1. 使用 KL ( p s ( y ) , p t ( y ))作为度量标准的不同标签转移水平下UDA性能的绘图。我们的CLS对标签转移比传统的对抗性训练(TDDA)，最大差异(MCD)，丢弃(DR)，和自训练(CBST)更具鲁棒性。0p ( y ) , 对抗性UDA可以对齐 p ( f ( x ) | y )  如果  p s ( f ( x)) =  p t ( f ( x )) . 标签转移，即，差异-𝒇𝑝𝑠(𝑥, 𝑦)103680联合0条件转移0对齐（固定 � � (�) ）0推断 � � (�)(固定  �  和0联合分离和分类）0源域0目标域 � � (�)0替代训练 第3.4节0第3.2节 第3.3节0图2.我们的条件和标签偏移替代训练方案的示意图：推断p(y)，对齐p(f(x)|y)，迭代。0然而，不同类别比例的不平衡在现实中非常常见[26]，例如，在台北摩托车比在东京更常见。基于这种不现实的假设的对抗学习的UDA已经被自训练[65]、dropout[47]和矩匹配方法[40]在大多数基准测试中超越。无论是条件偏移[36]还是标签偏移[5,23]都有着悠久的研究历史。然而，在UDA中只考虑其中之一而不考虑pt(y)[63,23]是不合适的。[63,15,9]从因果解释的角度同时考虑了条件偏移和标签偏移。然而，它对ps(x|y)和pt(x|y)的线性假设不一定成立。不幸的是，目前在实际应用中可用的实用方法很少。此外，最近兴起的基于对抗学习的UDA中的条件和标签偏移假设的理论分析和方法学也需要进行具体讨论。在这项工作中，我们在不同偏移下理论上分析了传统对抗UDA方法的不平衡。边际分布ps(y)和pt(y)之间的差异通过KL散度来衡量，作为具有选择性偏差问题的半监督学习[61]。标签偏移的影响在图1中得到了实证说明。我们认为条件和标签偏移假设在许多现实场景中是更好和更小的假设。我们首先假设目标标签分布pt(y)可以被估计，并进一步提出了对齐ps(x|y)和pt(x|y)之间条件偏移的方法。为了使判别器意识到类别标签y，我们采用联合判别器和分类器参数化，并从领域自适应理论的角度给出了理论分析。类别级别的平衡参数w.r.t.估计的pt(y)可以简单地应用于对抗UDA方法，遵循即插即用的方式。由于我们量化的是每个类别的可转移性而不是每个示例[4]，对于大规模任务，特别是像素级分类，这更有前景。0然后，我们可以通过使用特征级均值匹配将ps(x|y)和pt(x|y)对齐来估计pt(y)。这个方法被纳入到一个替代优化框架中。在足够的轮次迭代后，预期得到精确的目标标签分布和良好的分类器。最后，我们使用这两部分来对齐后验概率pt(y|x)，即目标分类器。我们的贡献总结如下：•我们探索了对抗UDA中的条件和标签偏移，并对这种假设下的传统UDA方法进行了彻底的理论和实证分析。•提出了一种替代优化方案，用于在训练阶段对齐条件和标签分布，遵循推断、对齐和迭代的方案。最后，在测试阶段对齐后验概率pt(y|x)。•我们提出了一种实用且可扩展的方法，通过类别级别的平衡参数来对齐条件偏移。我们在流行的UDA分类和语义分割基准测试上进行了广泛评估。它可以自然地推广到部分UDA。02. 相关工作0无监督域自适应旨在将从有标签源域学到的知识转移到无标签目标域[23]。解决方案主要可以分为统计矩匹配（例如最大均值差异（MMD）[36]）、域风格转换[50]、自训练[65,29,33]和特征级对抗学习[13,18,19,35]。作为主流之一，基于对抗学习的UDA提出了鼓励不同域的特征f(x)不可区分的方法。然而，在现实世界的任务中，条件偏移和标签偏移是普遍存在的。目前，矩匹配和自训练通常在分类和分割任务中占据主导地位。[23]将域偏移分为四类，基于偏移内容，如图3所总结。传统上，每个偏移都是独立研究的，假设其他偏移条件在域之间是不变的[23]。条件偏移[36]比协变偏移假设[23]更现实。然而，没有pt(y)，通常情况下，估计pt(x|y)是不合适的[63]。标签偏移[5]（也称为目标偏移）发生在源域和目标域之间的每个类别的比例不同。[26]提出了一个测试分布估计器来检测标签偏移。[1]引入了一种正则化方法来纠正标签偏移。[7]在基于最优输运的UDA任务中考虑了标签偏移，这也与MMD框架中的类别不平衡问题相关。[56]提出了一种非对称放松对齐的对抗方法̸̸103690���≠��� ���≠���0���|�≠���|� ���|�≠���|�0协变量转移0条件转移0标签转移0概念转移0图3.可能的转移总结。红色区域表示UDA中的常见转移。如果p(x|y)与总概率法则[63]一致，则可以对齐p(x)。0然而，这些方法假设没有条件转移。此外，在部分UDA[4]中，目标域中的类别是源域中的一个子集。它可以被视为标签转移的特殊情况，因为目标域中的某些类别为零。我们直接估计每个类别的概率，并展示了它在新的分割部分UDA任务中的普适性和可扩展性，而不是计算每个源示例的可转移性，可以是分割任务中的每个像素[4]。在相关的发展中，开放集适应[41]也有新的目标类别，并将它们视为未知类别，这与上述设置不同。概念转移[23]可能会出现在不同国家将番茄分类为蔬菜或水果时。它通常不是流行的对象分类或语义分割任务中的常见问题。[63, 15,9]考虑了因果系统（y→x）中的条件和目标转移，但它们与现代UDA方法不一致，并且对数据集的规模敏感。据我们所知，这是首次在对抗UDA中同时考虑条件和标签转移。03. 方法论0在UDA中，给定源域ps(x, y)和目标域pt(x, y)，从ps(x,y)中独立同分布地绘制标记集DS，从边际分布pt(x)中独立同分布地绘制未标记集DT。UDA的目标是在目标域中构建一个良好的分类器，通过在DS和DT上进行训练。Y={1, 2, ...,c}是类别标签集。对抗UDA[13,54]的动机来自以下定理[23]：0定理1 对于一个假设h0L_t(h) ≤ L_s(h) + d[ps(x), pt(x)]+ (1)0min[Ex�ps |ps(y|x)−pt(y|x)|, Ex�pt |ps(y|x)−pt(y|x)|],0其中L_s(h)和L_t(h)分别表示源域和目标域中假设h的期望损失，d[∙]0在常规对抗UDA中，这等价于Jensen-Shannon散度[49]。根据定理1并假设对x进行特征变换不会增加L_t(h)的值和方程1的最后一项的值，对抗UDA[13,54]将特征提取器f(∙)应用于x，希望获得一个具有较低d[ps(f(x)),pt(f(x))]值的特征表示f(x)∈RK。为此，通过使用域鉴别器Dis: RK→(0,1)和训练分类器Cls来正确分类源数据，训练f(∙)使得两个域的特征分布无法区分。Cls: RK×Y→(0,1)输出提取特征f(x)在c个类别中属于类别y的概率，即C(f(x),y)=p(y|f(x); Cls)。不同模块的目标可以是0max Cls Ex�ps log C(f(x), y) (2)0max Dis Ex�ps log(1−Dis(f(x))) + Ex�pt log Dis(f(x)) (3)0max f Ex�ps log C(f(x), y) + λ Ex�pt log(1−Dis(f(x))), (4)0其中，λ∈R+在分类和对抗损失之间平衡。在这里，我们遵循常规的对抗UDA方法，利用了易于实现的三个最大值[51,49]。请注意，最大化Dis(f(x))的期望，其中x�pt，对于方程3中的Dis，同时最大化1−Dis(f(x))的期望，其中x�pt，对于方程4中的f，形成了minmax对抗游戏。为了简化起见，我们省略了下标y，因为只有源域在UDA中有y。03.1. 动机0我们首先分析标签偏移如何影响在特征表示 f ( x )在域之间不变的情况下的对抗性UDA。我们从在对抗学习中仅假设标签偏移开始分析，然后引入条件偏移。0定理2 给定 p s ( x | y ) =  p t ( x | y ) 和 p s ( y )  � =  p t ( y)，如果一个良好的 f ( ∙ ) 使得 p s ( f ( x )) =  p t ( f ( x))，那么我们有 p s ( y | f ( x ))  � =  p t ( y | f ( x ))，即 f ( x )的概念偏移，且 �  p s ( y  =  i | f ( x )) =  p s ( y )， p t ( y  =  i0根据定理2，在标签偏移下，将 p s ( f ( x )) 与 p t ( f ( x )) 对齐会导致 f ( x )在不同领域中的后验不一致，即引入概念偏移。我们还可以推断出，强制使 f( x )在域中不变可能会将特征空间中所有类别的特征混合在一起，因为对于任何x，p s ( y  =  i | f ( x )) 或 p t ( y  =  i | f ( x ))都将是一个常数。让我们举一个具体的例子，将所有样本 x 映射到特征流形f ( x ) 中的一致点 f 0；我们有 p s ( f ( x ) =  f 0 ) =  p t ( f ( x ) =  f 0 ) =1。因此，f ( x )如预期地是域不变的，但分类器将完全失去区分能力。实际上，在这种情况下严格强制 p s ( f ( x )) =  p t ( f ( x ))会使分类器变得不太具有区分性。增加目标损失 L t ( h )或其在定理1中的上界 L s ( h )[23]。此外，在联合条件和标签偏移的假设下，最小化域差异与优越的分类性能之间也存在冲突。根据全概率公式，对抗性UDA的优化目标可以重新表述为123...C𝑫𝒊𝒔&𝑪𝒍𝒔𝒇𝑝𝑠(𝑥)𝑝𝑡(𝑥)𝑝𝑠[𝑓 𝑥 ]𝑝𝑡[𝑓 𝑥 ]𝛾C+1𝜇𝑡𝑀𝑠ForwardBackward1TrainedLast iteration1Testing on 𝒑𝒕(𝒙)For testingc�i=1ps(f(x)|y = i)ps(y = i) =c�i=1pt(f(x)|y = i)pt(y = i).(5)ps(f(xi) y = i) > 0ps(f(xi) y ̸= i) = 0̸̸C(f(x), y|Y) =C(f(x), y)1 − C(f(x), c + 1)∀y ≤ c;C(f(x), c + 1|Y) = 0(7)maxDis&Cls {Ex∼pslogC(f(x), y|Y)+ Ex∼ps log(1 − C(f(x), c + 1))+ Ex∼pt log(C(f(x), c + 1))}(8)maxf{Ex∼pslogC(f(x), y|Y)+ λ Ex∼ptlog(1 − C(f(x), c + 1))}(9)103700联合0源域目标域0分布估计器0交叉熵损失0(梯度传递) � � (�) � � (�)0后验对齐0图4. 我们的替代基于训练的CLS框架示意图，包括特征编码器f，联合 Dis 和 Cls，以及 p t ( y )估计器。后验对齐仅应用于测试阶段。目标函数如公式(10-13)所示，通过迭代优化。CE表示交叉熵。0使分类器的区分能力降低，即增加目标损失 L t ( h )或其在定理1中的上界 L s ( h )[23]。此外，在联合条件和标签偏移的假设下，最小化域差异与优越的分类性能之间也存在冲突。根据全概率公式，对抗性UDA的优化目标可以重新表述为0假设类别 i 的样本 x  ∈ X i 在 f ( x )上与其他类别的样本完全可区分，且 f ( ∙ ) 良好，即0当且仅当 p t ( f ( x  ∈ X i ) | y  =  i )  >  0 时，p t ( f ( x  ∈ X i ) | y  �0(6) 因此，advUDA强制要求 p s ( f ( x  ∈ X i ) | y  =  i ) p s( y  =  i ) =  p t ( f ( x  ∈ X i ) | y  =  i ) p t ( y  =  i)。对上述方程两边关于 X i 进行积分，我们有 p s ( y  =  i )=  p t ( y  =  i )。这个推导与标签偏移设置 p s ( y )  � =  p t( y )相矛盾。根据上述分析，我们得出结论：在对抗性UDA中，标签偏移和条件偏移是不可忽视的。由于 UDA 中不可用 p t( y)，我们提出对齐类别相关的条件分布并估计标签分布，采用迭代的交替策略，如图4所示。03.2. 条件偏移对齐0为了将 p t ( y ) 的知识纳入对齐 p s ( x | y ) 和 p t ( x | y )，我们引入了一个类别平衡参数 γ ∈ R c 。我们期望 γ i p s( y  =  i ) =0p t ( y  =  i ) 以及 γ �表示使该方程成立的向量。因此，我们建议将 γ乘以优化目标中 Eq. ( 5 ) 的源域项，即，� c i =1 p s ( f ( x )| y  =  i ) p s ( y  =  i ) γ i  = � c i =1 p t ( f ( x ) | y  =  i ) pt ( y  =  i ) 。由于 γ i  = p t ( y = i ) p s ( y = i ) ，它0� �� p s ( y = i ) = � c i =1 p t ( f ( x ) | y  =  i ) p t ( y  =  i )，而估计的 p t ( y  =  i )在每次迭代中都是一个常数。从理论上讲，通过精确估计的γ，我们可以使用对抗性领域自适应来对齐条件分布。此外，从实现的角度来看，让鉴别器意识到分类是很重要的。正如[48]中讨论的那样，当对齐分布时，三人游戏（f，Cls，Dis）应该无法考虑目标样本与任务特定决策边界之间的关系。在这里，我们简单地采用联合参数化的分类器和鉴别器[49，51]将分类纳入领域对齐中。接下来，我们使用估计的 p t( y ) 对 p s ( x | y ) 和 p t ( x | y )进行对齐，即使可以按照即插即用的方式添加最新的类别感知领域自适应方法。我们配置 c + 1 个输出单元来表示 c类和目标域，分别。得分函数 C （联合 cls 和 dis ）定义在R K × { 1 ，  ∙ ∙ ∙  ， c + 1 } 上。由于 f ( x ) 属于 c类的概率之和不为 1，我们需要重新参数化条件得分：0其优化目标为0在半监督学习中，联合参数化 Cls 和 Dis的经验有效性已在[49]中得到证明。[51]从直观上解释了在传统的三人游戏中，所有目标示例都产生了相同方向的梯度。在本文中，我们从领域自适应理论的角度进行了理论分析。0命题1：联合参数化可以更好地近似定理1中的 L t ( h ) 通过L s ( h ) 。0这意味着目标领域的性能可能不会受到领域转移的影响。请注意maxD&C{ci=1γips(y = i) Ex∼ps(x|y=i)logC(f(x), y|Y)pt(y = i|f(x)) ←γips(y = i|f(x))|γ|1�cj=1 ps(y = j|f(x)).(13)103710仅使用联合参数化不能保证条件对齐，但可以为我们的条件对齐方案提供强大的支撑。我们还在实验中进行了详细的消融研究。一般来说，Eqs. ( 8-9 ) 中的期望函数具有 E x � p s( x ) [ ∙ ]  ≡ E x � p s ( x | y ) p s ( y ) [ ∙ ]  ≡  � c i =1 p s ( y= i ) E x � ( p s ( x | y = i )) [ ∙ ] 的性质，其中 [ ∙ ] 是关于 x关于 f的确定性函数。因此，为了考虑目标标签分布，我们可以通过重写它们使 Eqs. ( 8-9 ) 意识到估计的 γ ，如下所示：0+ Ex � ps log(1 − C(f(x), c + 1))0+ Ex � pt log(C(f(x), c + 1))} (10)0max f{0i =1 γi ps(y = i) Ex � ps(x|y=i) log C(f(x),y|Y)0+ λ Ex � pt log(1 − C(f(x), c + 1))}. (11)0当γi = 1，�i ∈Y时，这种对齐将退化为传统的对抗性UDA。γi也可以被视为源域中每个类别的类级权重。这与[4, 62]中的样本级权重本质上不同。实际上，我们将γi乘以ps(y =i)项，即将源标签分布修正为估计的目标标签分布pt(y = i)。0� �� ps(y=i) � ��� �ps(y=i).03.3. 目标标签分布估计0假设条件分布对齐（即ps(f(x)|y)=pt(f(x)|y)），我们可以使用边际匹配[63]来估计目标标签分布pt(y)。在这项工作中，我们不是在原始数据上进行分析，而是在特征空间中进行。注意，可以通过计算每个标记样本来获得ps(y)。针对这一点，均值匹配[16]是一种简单而高效的方法。可以通过最小化损失函数来估计目标标签比例pt(y)。0LM(pt(y)) = ||Mspt(y) − µt||22, (12)0其中Ms是向量[µs(f(x)|y=1), µs(f(x)|y=2), ...,µs(f(x)|y=c))]，即源域中的经验样本均值，µt是目标的编码特征均值。注意上述损失等价于标准的线性约束二次问题，得到估计的目标标签比例pt(y)。通常，这可以通过每个小批量的梯度下降来解决。假设条件偏移可以对齐，那么目标标签分布估计方案是渐近一致的，可以表示如下。0定理3 假设ps(f(x)|y) =pt(f(x)|y)，特征空间中的方差不是无穷大，所有标签比例不为零。当训练和测试样本的数量趋于无穷大时，如果MTsMs可逆，则估计的pt(y)对于真实的pt(y)是渐近一致的。0这里的上标T表示转置。虽然该定理只考虑了单个源域，但可以很容易地扩展到多个源域。我们注意到在LM(pt(y))中使用的L2损失也可以用其他分布损失替代，例如f-散度、Wasserstein损失或MMD，以形成分布匹配。在某些情况下，通过匹配超过一阶矩，模型可以获益。考虑到分割任务是进行像素级分类，标签分布本质上是数据集中每个类别像素数量的比例。03.4. 使用渐入pt(y)的交替优化0总结一下，在我们的训练阶段中，游戏中有三个待学习的玩家，即特征提取器f(∙)，联合Dis&Cls和一个pt(y)估计器。在每次迭代中，我们根据交替优化方案更新它们：[推断]：固定f(∙)，并使用∂LM(pt(y))更新目标标签分布估计器。0∂pt(y).[对齐]：首先固定pt(y)估计器，然后根据公式（10）和公式（11）按照GAN的协议更新特征提取器和联合Dis &Cls。考虑到在训练开始时精确估计pt(y)是困难的，我们将其简单地初始化为均匀分布，即pt(y = i) = 1。0构建目标标签分布为 10在每一轮中，我们使用 1+ α { p t ( y ) +  αp s ( y ) }更新目标标签分布。在训练阶段，逐渐将  α 从1降低到0，即  α  = 10对于迭代次数  N  ≤ 5，我们设置  α  = 0 ；对于  N >03.5. 后验对齐0最后，在测试中，我们得到目标域分类器  p t ( y  = i | f ( x ))。假设我们在训练阶段成功地对齐了条件偏移并准确地估计了目标标签分布，按照[ 5]的方法，目标域的后验概率可以表示为  p t ( y  =  i | f ( x )) =γ � � c i  p s ( y = i | f ( x )) j =1 p s ( y = j | f ( x ))。由于我们无法实际获得精确的  γ � ，我们选择估计的  p t ( y )0由于无法获得精确的  γ � ，我们选择估计的  p t ( y )来计算每次迭代中的  γ ，并通过以下近似来计算后验概率：04. 实验结果0我们在图像分类和语义分割（部分）UDA任务中对我们的框架进行了全面评估，包括条件偏移和标签偏移（CLS）。GTA:Res152 [50]------------77.1CLS:Res15294.2±1.386.8±1.274.7±1.075.3±1.590.5±0.688.6±1.689.2±1.683.2±1.691.9±1.392.6±1.886.1±1.480.9±1.483.8±0.5103720VisDA17-val设置的实验结果如表1所示。除了[ 43 ,  50 ]和CLS:Res152，我们使用ResNet101作为主干。0方法 飞机 自行车 公共汽车 汽车 马 刀 手推车 人 植物 滑板车 火车 卡车 平均0源-Res101 [ 14 ] 55.1 53.3 61.9 59.1 80.6 17.9 79.7 31.2 81.0 26.5 73.5 8.5 52.40DANN（基准）[ 13 ] 81.9 77.7 82.8 44.3 81.2 29.5 65.1 28.6 51.9 54.6 82.8 7.8 57.4 MCD [ 48 ] 87.0 60.9 83.7 64.0 88.9 79.6 84.7 76.9 88.6 40.3 83.0 25.8 71.9 ADR [ 47 ] 87.8 79.5 83.7 65.392.3 61.8 88.9 73.2 87.8 60.0 85.5 32.3 74.8 DEV [ 59 ] 81.83 53.48 82.95 71.62 89.16 72.03 89.36 75.73 97.02 55.48 71.19 29.17 72.42 TPN [ 40 ] 93.7 85.1 69.2 81.6 93.5 61.9 89.3 81.4 93.581.6 84.5 49.9 80.4 CRST [ 65 ] 89.2 79.6 64.2 57.8 87.8 79.6 85.6 75.9 86.5 85.1 77.7 68.5 78.1 TDDA [ 14 ] 88.2 78.5 79.7 71.1 90.0 81.6 84.9 72.3 92.0 52.6 82.9 18.4 74.03 PANDA [ 22 ] 90.950.5 72.3 82.7 88.3 88.3 90.3 79.8 89.7 79.2 88.1 39.4 78.3 DMRL [ 55 ] - - - - - - - - - - - - 75.50CLS无联合Dis+Cls 91.8 ± 1.2 84.4 ± 1.9 73.3 ± 1.7 71.5 ± 1.6 87.2 ± 1.0 80.8 ± 1.4 85.6 ± 1.8 76.3 ± 1.5 85.6 ± 1.8 88.5 ± 1.3 85.7 ± 1.1 71.0 ± 1.4 80.8 ± 0.6 CLS无fade-in  p t ( y ) 92.0 ± 1.4 84.2± 1.2 72.8 ± 1.6 72.5 ± 1.2 87.6 ± 1.5 82.7 ± 2.0 86.4 ± 1.7 77.0 ± 1.3 86.3 ± 1.7 89.6 ± 1.5 85.5 ± 1.7 72.1 ± 1.4 81.3 ± 0.5 CLS 92.6 ± 1.5 84.5 ± 1.4 73.7 ± 1.5 72.7 ± 1.1 88.5 ± 1.4 83.3 ± 1.289.1 ± 1.4 77.6 ± 1.5 89.5 ± 1.5 89.2 ± 1.3 85.8 ± 1.2 72.7 ± 1.3 81.6 ± 0.40CLS+TDDA无联合Dis&Cls 92.3 ± 1.5 84.6 ± 1.2 74.4 ± 1.5 73.7 ± 1.8 89.6 ± 1.8 82.5 ± 1.9 88.4 ± 1.5 82.8 ± 1.5 89.1 ± 1.6 91.9 ± 1.5 85.6 ± 1.6 73.5 ± 1.3 82.2 ± 0.5 CLS+TDDA 94.0 ± 1.6 85.4 ± 1.675.4 ± 1.0 74.5 ± 1.4 92.2 ± 1.5 83.4 ± 1.5 89.8 ± 1.6 82.8 ± 1.2 90.8 ± 1.2 91.8 ± 1.4 87.5 ± 1.2 74.1 ± 0.9 82.9 ± 0.50GTA5到Cityscapes的实验结果如表2所示。0方法 基础网络 道路 人行道 建筑物 墙 铁栅栏 杆子 交通灯 交通标志 植被 地形 天空 行人 小汽车 卡车 公共汽车 火车 摩托车 自行车 mIoU0源DRN26 42.7 26.3 51.7 5.5 6.8 13.8 23.6 6.9 75.5 11.5 36.8 49.3 0.9 46.7 3.4 5.0 0.0 5.0 1.4 21.7 CyCADA [ 21 ] 79.1 33.1 77.9 23.4 17.3 32.1 33.3 31.8 81.5 26.7 69.0 62.8 14.7 74.5 20.9 25.6 6.9 18.8 20.439.50源DRN105 36.4 14.2 67.4 16.4 12.0 20.1 8.7 0.7 69.8 13.3 56.9 37.0 0.4 53.6 10.6 3.2 0.2 0.9 0.0 22.2 MCD [ 48 ] 90.3 31.0 78.5 19.7 17.3 28.6 30.9 16.1 83.7 30.0 69.1 58.5 19.6 81.5 23.8 30.0 5.7 25.714.3 39.70源PSPNet 69.9 22.3 75.6 15.8 20.1 18.8 28.2 17.1 75.6 8.00 73.5 55.0 2.9 66.9 34.4 30.8 0.0 18.4 0.0 33.3 DCAN [57] 85.0 30.8 81.3 25.8 21.2 22.2 25.4 26.6 83.4 36.7 76.2 58.9 24.9 80.7 29.5 42.9 2.5026.9 11.6 41.70源ResNet-101 75.8 16.8 77.2 12.5 21.0 25.5 30.1 20.1 81.3 24.6 70.3 53.8 26.4 49.9 17.2 25.9 6.5 25.3 36.0 36.6 DPR [53] 92.3 51.9 82.1 29.2 25.1 24.5 33.8 33.0 82.4 32.8 82.2 58.6 27.2 84.3 33.4 46.32.2 29.5 32.3 46.50源ResNet-101 73.8 16.0 66.3 12.8 22.3 29.0 30.3 10.2 77.7 19.0 50.8 55.2 20.4 73.6 28.3 25.6 0.1 27.5 12.1 34.2 PyCDA [24] 90.5 36.3 84.4 32.4 28.7 34.6 36.4 31.5 86.8 37.9 78.5 62.3 21.5 85.6 27.9 34.818.0 22.9 49.3 47.40源ResNet101 71.3 19.2 69.1 18.4 10.0 35.7 27.3 6.8 79.6 24.8 72.1 57.6 19.5 55.5 15.5 15.1 11.7 21.1 12.0 33.8 CRST [65] 89.0 51.2 79.4 31.7 19.1 38.5 34.1 20.4 84.7 35.4 76.8 61.3 30.2 80.7 27.4 39.410.2 32.2 43.3 46.60源ResNet-101 75.8 16.8 77.2 12.5 21.0 25.5 30.1 20.1 81.3 24.6 70.3 53.8 26.4 49.9 17.2 25.9 6.5 25.3 36.0 36.6 APODA [58] 85.6 32.8 79.0 29.5 25.5 26.8 34.6 19.9 83.7 40.6 77.9 59.2 28.3 84.6 34.6 49.28.0 32.6 39.6 45.90CLS+[58] 94.7 59.2 82.6 31.1 26.7 42.3 38.5 29.2 86.3 39.0 78.9 67.6 36.1 85.8 28.3 45.6 21.8 36.8 46.4 51.2 CLS+[58] w/o Joint Dis+Cls 94.1 54.9 81.6 32.6 22.0 41.4 36.0 20.8 87.6 36.9 77.4 64.3 32.4 84.0 23.539.6 25.2 33.2 40.4 50.80源ResNet-101 75.8 16.8 77.2 12.5 21.0 25.5 30.1 20.1 81.3 24.6 70.3 53.8 26.4 49.9 17.2 25.9 6.5 25.3 36.0 36.6 IAST-MST [38] 94.1 58.8 85.4 39.7 29.2 25.1 43.1 34.2 84.8 34.6 88.7 62.7 30.3 87.6 42.3 50.324.7 35.2 40.2 52.20CLS+[38] 94.7 60.1 85.6 39.5 24.4 44.1 39.5 20.6 88.7 38.7 80.3 67.2 35.1 86.5 37.0 45.4 39.0 37.9 46.2 53.0 CLS+[38] w/o