深度学习中基于区域的无监督域适应方法的实证分析

1关注领域自适应作者：Vinod Kumar Kurmi，Shanu Kumar，Vinay P.坎普尔南布迪里印度理工学院印度{vinodkk，sshanu，vinaypn}@ iitk.ac.in摘要在本文中，我们的目标是解决分类器的无监督域自适应，其中我们可以访问源域的标签信息，而这些信息对目标域不可用。虽然已经提出了各种方法来解决这些问题，包括基于对抗性判别器的方法，但大多数方法都集中在基于整个图像的域自适应上。在图像中，将存在可以更好地适应的区域，例如，前景对象可以在性质上是相似的。为了获得这样的区域，我们提出了考虑不同区域的概率确定性估计的方法，并在适应分类过程中指定关注这些区域。我们观察到，仅仅通过在训练分类器的同时结合样本的概率确定性，我们就能够在各种数据集上获得最先进的结果，作为对所有最近方法的比较。我们提供了一个彻底的实证分析的方法，通过提供消融分析，统计显著性检验，注意力地图和t-SNE嵌入的可视化。这些评估令人信服地证明了所提出的方法的有效性1. 介绍随着深度学习的出现，在解决图像分类任务方面取得了实质性进展，最先进的方法在imagenet数据集上获得了小于3%的错误（前然而，观察到由于数据集偏倚的影响，这些结果不会转移到其他数据集[25][44]。在一个数据集（称为源数据集）上训练的分类器在另一个数据集（称为目标数据集）上测试时显示出准确性的显著下降。为了解决这个问题，已经提出了一些方法来适应域[7，50]。解决这一领域转移的一个比较成功的方法是基于我们对特征的对抗性适应，2.两位作者的贡献相等。(a)(b)（c）第（1）款(d)（e）（f）图1：为输入图像（a）提供了训练过程中的不确定性和确定性映射的可视化。图（b）和（d）显示了随机和预测的不确定区域。虽然随意和预测的某些区域的大脑皮层显示在（c）和（e）。从图中可以清楚地看出，在训练期间的判别器的某些区域主要对应于（f）在训练结束时基于真实标签的分类器使用一种对抗性搜索[12]，旨在区分从源数据集和目标数据集提取的样本由于对抗性训练，特征表示变得很接近，以至于神经网络无法区分来自源数据集和目标数据集的样本然而，所有基于这一思想的方法都认为整个图像是经过调整的。通常情况并非如此，因为图像中存在可以更好地适应和用于改进目标数据集的分类的我们解决这个问题，并提出了一个简单的方法来解决这个问题。为了指定可以适应的区域，我们建议使用概率分布的确定性。在训练过程中，我们识别出其中确定的区域这些区域的概率不确定性是491492我低这些区域可以被调整，因为在源区域和目标区域之间存在明显的区别图1显示，使用数据不确定性（称为任意不确定性）[19]和预测不确定性[24]等度量，我们可以获得可以更好地适应的区域。我们还从图1和图5中观察到，在训练过程中的大部分时间里，由于前景难以适应，因此在前景区域上的预测是确定的。因此，当训练分类器时，重点放在这些区域上，然后我们观察到分类器在预测期间关注这些区域，因此在目标数据集上更好地泛化。定量分析，我们观察到的结果比目前最先进的方法在ESP-Home数据集上的结果好7.4%[49]。综上所述，通过本文，我们做出了以下贡献：• 我们提出了一种方法，以确定适应区域使用的确定性估计，这使用各种确定性估计进行评估。• 我们使用这些确定性估计权重，通过将分类器的训练集中在源数据集。• 我们通过考虑标准基准数据集与最先进方法的详细比较，并利用统计显著性分析、可视化和消融分析对所提出的方法进行了实证分析• 另一个观察是，通过使用贝叶斯分类器，我们还提高了类的鲁棒性Fier除了获得分类精度的提高这有助于更好地理解所提出的方法。2. 文献调查一些研究考察了不同的适应方法。[47]的一项研究通过最小化最大平均差异距离来检查域适应。在[25]中，基于最大平均差异的方法被进一步扩展到多核MMD。在对抗学习框架[12]中，提出了一种在训练时使用梯度恢复层来最小化源目标差异的方法。近年来，许多对抗性方法被应用于领域自适应任务在释义生成问题中[33]。另一个基于对抗性的模型是[34]，其中多个鉴别器（MADA）已用于解决域自适应中的模式崩溃问题。一些与MADA密切相关的工作已在[4，3]中提出。带标签的递归[23]用于解决域自适应中的模式崩溃问题。对抗性的主适应也在场景图中进行了探索[22]。其他基于源和目标差异最小化的方法（如[37，54]）也解决了域自适应问题。[32，31]提出了一种基于样本的差异最小化方法。最近[2，5]已经将生成对抗网络[14]应用于域适应问题。图像生成方法用于调整源域和目标域[13，38，30]。[16]和[42]中的其他工作分别使用了周期一致性[55]损失和深珊瑚损失[41，40]来确保源域和目标域的接近性。深度贝叶斯模型在深度模型不确定性的估计中发挥了重要作用。在文献[9]中提出了自适应自然语言处理中的贝叶斯公式.在[11]中，已经证明dropout也可以作为深度贝叶斯网络的近似。关于不确定性估计的工作已在[10，19]中报告。在[29]中，预测的不确定性已经在先前的网络上计算出来。在[24]中讨论了对抗性训练的增强模型中的不确定性。关于贝叶斯不确定性估计的另一项工作已在[43]中报道。基于注意力的网络已广泛应用于许多计算机视觉应用，如图像字幕[51，53]，视觉问答[52，31，18]和语音识别[6]。注意力模型的优点在于，它有助于在一组表示输入上学习某组权重，该组表示输入比其他表示输入具有相对更大的重要性最近[48]表明，注意机制也可以通过免除复发和卷积来实现。最近的工作[17]通过从CycleGAN [55]获得合成源和目标图像来解决域适应问题，然后对齐所有对的注意力图3. 方法在无监督域自适应问题中，源数据集Ds=（xs，ys）由数据样本（xs）我我我使源和目标分布更接近。阿德弗-sarial判别域自适应[46]考虑了与相应的标签（ys），其中Ds∈Ps和tar-get datasetDt（xt）由未标记的数据样本（xt）组成我我反向标签GAN丢失。在[39]中使用了基于Wasserstein距离的判别器，以使两个分布更接近。域混淆网络[45]也用于通过最小化两个域之间的区分距离来解决两个域中的自适应问题。该系统还采用了判别式反馈其中Dt=t。Ps和Pt是源分布和目标分布。我们进一步假设这两个域都是复杂的和未知的。为了解决这一问题，我们遵循-使用对抗域自适应框架，其中训练分类器以学习域不变特征域不变，而训练分类器以学习类493我我我1i，t1区别性特征在本文中，我们提出了一个基于不确定性的领域自适应模型，如图2所示，它由三个主要模块组成：特征提取器、贝叶斯分类器和贝叶斯判别器。特征提取器在Imagenet数据集上进行预训练，而分类器和判别器都是贝叶斯神经网络（BNN）。我们遵循[11，19，20]中定义的方法将深度神经网络转换为BNN。3.1.贝叶斯分类器贝叶斯框架是预测不确定性的有效方法之一。Galet.al [10]已经表明，通过在每个全连接（fc）层之后应用dropout，我们可以对深度神经网络进行概率推理。因此，我们遵循类似的方法来定义分类器。为了估计不确定性，类似于[19]，我们训练分类器输出类别概率以及任意不确定性（数据不确定性）。预测不确定性包括模型不确定性和数据不确定性，其中模型不确定性是由模型参数的不确定性引起的。分类器的任意不确定性的估计使得特征对于预测更鲁棒分类器网络中的不确定性意味着它对域的预测不确定的区域。判别器的不确定性估计可以更有效地指导特征提取器进行域自适应。所有真实世界的图像都包含某种类型的随机不确定性或噪声。这些包含任意不确定性的区域是不适应的。通过对齐这些不确定的区域，我们破坏了特征表示，从而在目标域的预测过程中混淆了分类器。因此，通过估计任意不确定性，神经网络避免了对这些区域的特征表示的学习，这也减少了负迁移[34]。负迁移引入了跨域的两个分布的模式的类似地，预测不确定性告诉我们模型无法对域进行分类，因为模型对域不确定。预测不确定性发生在已经适应的区域，或者存在与任意不确定性相对应的噪声的区域。我们使用以下公式yd=Gdy（Gd（fi）），vd=Gdv（Gd（fi））（4）预测不确定性的估计提供了一种工具，可视化模型对于输入样本xi，特征提取器Gf输出由fi=Gf（xi）表示的特征fi。预测的类别logitsyc和任意不确定度vc的计算公式如下：其中Gdy和Gdv分别使用特征预测域类logitsyd和主任意不确定性vd在GD。域分类损失Ldy定义为：我我yc=Gcy（Gc（fi）），vc=Gcv（Gc（fi））（1）ΣL=d我其中Gcy和G我cv是logits和任意uncer，dyns +ntxi∈Ds <$DtL（yi，di）（5）分类器Gc的污染预测模块。预测logits的分类损失定义为：其中L是交叉熵损失函数，di是图像的真实域，并且ns和nt是Lcy=nΣL（yc，yi）（2）源和目标样本。 定义域标签di当xi∈ Ds时为0，当xi∈DT时为1。 鉴别器sxi∈D s任意损失Ldv定义为：其中L是交叉熵损失函数，yi是真实的伊鲁德=yd+σd，N（0，I）输入xi的类标签。源域中的数据样本的总数表示为ns。分类器Ldv=−i，t1i itΣ 日志不1Σ L（y=d，di）（六）预测不确定性vc的任意损失Lcv定义为：ns+ntx∈D <$DTt青年党我=yc+σc<$t，<$t <$N（0，I）d d2isti，t iL= −1我1000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000494其中vi=（σi）。判别器由联合训练的最小-将域分类损失Ldy和区分简历xi∈DsTti，t我随机损失其中σc是标准差，vc=（σc）2。 经典-3.3. 基于注意力我我我fier是通过联合最小化分类损失Lcy和任意损失Lcv。3.2.贝叶斯判别器在所提出的方法中，也在贝叶斯框架中建模了类似于贝叶斯不确定性的估计，可帮助确定哪些地区可以适应，不能适应，或已经适应。那些已经排列好的区域会使神经网络在预测区域时产生混乱.因此，在这些地区，风险将是高度不确定的此外，该公司还将高度不确定495我茨布夫我f我我图2：基于领域自适应注意力（CADA）的架构，由共享特征提取器，贝叶斯分类器和贝叶斯分类器组成，其中分类器和贝叶斯分类器都预测方差值以及预测分数。判别器包含任意不确定性的区域，这些区域不能被适应。不确定性估计也可以帮助sal层，并将对应于任意确定性的梯度，即，-D.D.以确定哪些地区的风险是确定的，可以进一步排列的离子。在大多数数据集中，数据库可以很容易地发现-fiDpi=fi−ifi（七）在训练的初始阶段，通过只关注背景来在源图像和目标图像之间进行区分。因此，在这些区域中，训练将更加确定，这导致在一些对抗训练之后背景区域但是前景区域很难适应，因为前景在所有类别和图像中变化因此，对于训练期间的大部分跨度，将在前景的可转移区域上确定阈值。因此，如果分类器关注判别器的某些区域，则在训练期间它将更多地关注前景的可转移区域。基于注意力的领域自适应（CADA）模型如图2所示。 在拟议的工作中，我们提出了CADA的两个变体：随机确定性注意（CADA-A）和预测确定性注意（CADA-P）。3.3.1基于自主性的注意力域的随机不确定性（vd）由于区域中的腐败或噪声而发生。这些区域不适合于自适应以及对象分类，并且与用于分类任务的某些区域相比应该不太集中为了识别任意不确定区域，我们计算任意不确定性相对于特征f i的梯度。 这些B.D.梯度（i）将通过梯度（i）流回，我因此，任意确定性的特征和梯度的乘积的正号表示正的不确定性。对这些特征的任意确定性的影响。也就是说，识别器对这些区域是确定的。ai=ReLU （ pi ） +c< $ReLU （ −pi ）（ 8）为了获得其中确定了所述阈值的区域，将乘积p i传递通过ReLU函数。但是为了忽略对应于不确定区域的负值，−p i再次通过ReLU函数传递。然后将其乘以一个大的数c，使得在在a1上应用softmax，p1的所有负值变为零，并且所有正值被归一化。w i=（1 − v d）<$Softmax（a i）（9）为了专注于更关注的（某些）区域，我们遵循残差设置[27]以获得有效的加权特征h i。具有高任意不确定性（较低确定性）的图像应该不太注意，并且通过使用等式将归一化的softmax注意值乘以其确定性值（1−vd）来获得9 .第九条。加权特征hi生成如下：hi=fi（1 +wi）（10）3.3.2基于注意力的预测能力496预测不确定性度量模型的预测能力。它发生在以下地区：497i，ti，tf无所谓Var（f）我已经是域不变的或包含噪声的。与预测确定性相对应的区域我们遵循[19]中提出的方法它是由Monte Carlo（MC）样本的平均类概率的熵得到的。我们抽样重量3.4. 训练算法我们采用基于注意力的领域自适应（CADA）模型来解决无监督的领域自适应问题.CADA-P和CADA-A模型通过将分类器的注意力集中在判别器的某些区域上，共同学习域不变和类不变特征。所以，类概率yc和从Gd，并在域prob-ci上执行MC模拟能力p（yd）和任意不确定性vd用于估计将估计分类器的任意不确定性vii，t预测不确定性Vard（fi）。t ti，t使用加权特征hi。yc=Gcy（Gc（hi）），vc=Gcv（Gc（hi））（19）gi，t=Gd（fi），Gd<$Gd（11）i i使用抽样模型，我们计算域概率和任意不确定性。用于优化两个模型的最终目标函数J被定义为：p（yd）=Softmax（Gdy（gi，t）），vd=Gdv（gi，t）（12）i，tH（yd）=−Σ2c=1di，ti，t=c）log（p（yd（13）J=Lcy+Lcv−λ（Ldy+Ldv）（20）其中λ是分类器和判别器之间的折衷参数最优化问题是找到参数-Vard（fi）1ΣT.Σvd +H（ yd）（十四）这些参数θf、θc、θcy、θcv、θd、θdy、θdv共同满足：Ti，ti，tˆ ˆ ˆ ˆt=1其中H（yd）是p（yd）的熵。为了确认-（θf，θc，θcy，θcv）=arg minJ（θf，θc，θcy，θcv，θd，θdy，θdv）θf，θc，i，ti，tθcy，θcv对于预测的不确定区域，我们计算梯度，的预测不确定度Vard（fi）的D关于特征f i，即，i和负数我这些梯度通过梯度的返回，SAL层将对应于预测确定性的梯度，即， − Vard（fi）我d（fi）（θf，θc，θ cy，θc v，θd，θ dy，θdv）=ar gmaxJ（θf，θc，θcy，θcv，θd，θdy，θdv）θd，θdy，θdv实施细节见补充材料，其他细节见项目第14. 实验和结果4.1. 数据集pi=fi−fi（十五）Office-31数据集Office-31 [36]由三个ai=ReLU （ pi ） +c< $ReLU （ −pi ）（ 16）与基于任意确定性的注意力类似，为了获得预测的某些区域，我们将ReLU函数应用于p i并忽略其负值（对应于不确定区域），将ReLU函数应用于p i的负值，并使用等式2将其与大的数字c相乘。十六岁在应用Softmax之后，由预测不确定性激活的特征将具有零权重，而由预测确定性高度激活的特征将获得更多权重。剩余加权特征通过以下等式获得因此，具有高预测不确定性的图像具有较低的wi值，具有较少的关注度，而图像具有高预测确定性具有高的wi值，产生高度专注的特点。这将确保已经适应的区域或非适应区域（两种情况都具有高不确定性）具有较低的注意力值。p（y498域名：Amazon、Webcam和DSLR，每个域名有31个类。有2817图像在亚马逊（A）域-主，795图像在网络摄像头（W）和498图像在数码单反相机（D）域使总数4,110图像。为了实现无偏的评估，我们对所有方法进行6次转移评估。任务A→W、D→A、W→A、A →D、D→W和W→ D。我们还评估了我们的模型在无监督域自适应的B-Home数据集[49]上。该数据集由四个域组成：艺术（Ar）、剪贴画（Cl）、产品（Pr）和现实世界（Rw）。每个主题共有65个类别，共计15，500幅图像.我们通过考虑所有12个适应任务来评估我们的模型。性能报告在表3中。ImageCLEF数据集ImageCLEF-2014数据集由三个数据集组成：Caltech-256（C）、ILSVRC 2012（I）和Pascal VOC 2012（P）。每个域有12个公共类，共600个图像我们在所有6个转移任务上评估我们的模型，结果报告在表4中。1https://delta-lab-iitk.github.io/CADA/499表1：Office-31数据集上用于无监督域自适应的分类准确率（%）（AlexNet[21]）方法A →WD→WW →DA →DD →AW →A平均Alexnet[21]60.6 ±0.495.0±0.299.5±0.164.2 ±0.345.5±0.548.3±0.568.8MMD[47]61.0 ±0.595.0±0.398.5±0.364.9 ±0.447.2±0.549.4±0.469.3RTN[27]73.3 ±0.396.8 ±0.299.6 ±0.171.0±0.250.5±0.351.0±0.174.1DAN[25]68.5 ±0.496.0 ±0.399.0 ±0.266.8±0.250.0±0.449.8±0.371.7GRL [12]73.0 ±0.596.4 ±0.399.2 ±0.372.3 ±0.352.4±0.450.4±0.574.1JAN [28]75.2 ±0.496.6 ±0.299.6 ±0.172.8 ±0.357.5±0.256.3±0.276.3CDAN[26]77.9 ±0.396.9 ±0.2100.0 ±074.6 ±0.255.1±0.357.5±0.477.0MADA[34]78.5 ±0.299.8 ±0.1100.0 ±074.1 ±0.156.0±0.254.5±0.377.1CADA-W82.3±0.399.2±0.199.6 ±0.175.9±0.257.7±0.153.3±0.278.0CADA-A84.1±0.299.2 ±0.299.8±0.277.3 ±0.161.3±0.254.1±0.379.3CADA-P83.4 ±0.299.8±0.1100.0 ±080.1±0.159.8±0.259.5±0.380.4表2：Office-31数据集上用于无监督域自适应的分类准确率（%）（ResNet-50 [15]）方法A →WD→WW →DA →DD →AW →A平均ResNet-50[5]68.4±0.296.7±0.199.3±0.168.9±0.262.5±0.360.7±0.376.1DAN[25]80.5±0.497.1±0.299.6±0.178.6±0.263.6±0.362.8±0.280.4RTN[27]84.5±0.296.8±0.199.4±0.177.5±0.366.2±0.264.8±0.381.6DANN[12]82.0±0.496.9±0.299.1±0.179.7±0.468.2±0.467.4±0.582.2ADDA [46]86.2±0.596.2±0.398.4±0.377.8±0.369.5±0.468.9±0.582.9JAN[28]85.4±0.397.4±0.299.8±0.284.7±0.368.6±0.370.0±0.484.3MADA[34]90.0±0.197.4±0.199.6±0.187.8±0.270.3±0.366.4±0.385.2SimNet[35]88.6±0.598.2±0.299.7±0.285.2±0.373.4±0.871.6±0.686.2GTA[38]89.5±0.597.9±0.399.8±0.487.7±0.572.8±0.371.4±0.486.5DAAA [17]86.8± 0. 299.3±0.1100.0±0.088.8±0.474.3±0.273.9±0.287.2CDAN[26]93.1± 0。198.6±0.1100.0±0.093.4±0.271.0±0.370.3±0.387.7CADA-W93.9±0.199.1 ±0.299.6±0.293.2±0.368.9±0.168.3±0.287.2CADA-A96.8 ±0.299.0±0.199.8±0.193.4±0.171.7±0.270.5±0.388.5CADA-P97.0±0.299.3±0.1100.0±095.6±0.171.5±0.273.1±0.389.5表3：用于无监督域自适应的Risk-Home数据集的分类准确度（%）（ResNet-50 [15]）方法Ar→Cl Ar→Pr Ar→Rw Cl→Ar Cl→Pr Cl→Rw Pr→Ar Pr→Cl Pr→Rw Rw→Ar Rw→Cl Rw→PrAvgResNet-50[5]34.950.058.037.441.946.238.531.260.453.941.259.946.1DAN[25]43.657.067.945.856.560.444.043.667.763.151.574.356.3DANN[12]45.659.370.147.058.560.946.143.768.563.251.876.857.6JAN[28]45.961.268.950.459.761.045.843.470.363.952.476.858.3CDAN[26]50.665.973.455.762.764.251.849.174.568.256.980.762.8CADA-A56.975.480.261.774.674.962.954.480.974.361.184.470.1CADA-P56.976.480.761.375.275.263.254.580.773.961.584.170.24.2. 结果遵循无监督域自适应的常见设置，我们使用预训练的Alexnet [21]和预训练的ResNet [15]架构作为我们的基础模型。对于Office-31数据集，结果报告见表1，表2.从表中可以清楚地看出，所提出的CADA在大多数传输任务上优于其他方法，其中CADA-P是Alexnet和Resnet模型的最佳性能变体平均而言，我们获得了3.3%和1.8%的改进，超过了最先进的方法500(a) ResNet（b）DANN（c）CADA-A（d）CADA-P（e）代理距离图3：（a）ResNet，（b）DANN，（c）CADA-A和（d）CADA-P（蓝色：A;红色：W）学习的表示的t-SNE可视化，（e）显示了方法Reset [15]，GRL [12]和建议模型CADA-P的A → W任务的代理A距离表4：无监督域自适应的ImageCLEF数据集的分类准确度（%）（ResNet-50[15]）方法I→ PP→ I I→ C C→ I C→ P P→ C平均ResNet [15] 74.8 83.9 91.578.065.591.2 80.7DAN[25]75.0 86.2 93.384.169.891.3 83.3RTN[27]75.6 86.8 95.386.972.792.2 84.9GRL [12]75.0 86.0 96.287.074.391.5 85.0JAN[28]76.8 88.0 94.789.574.291.7 85.8MADA [34] 75.0 87.9 96.088.875.292.2 85.8CDAN[26] 77.2 88.3 98.390.776.794.0 87.5CADA-A78.0 91.5 96.391.077.195.3 88.2CADA-P78.0 90.5 96.792.077.295.5 88.3(a) A →W（b）A →D图4：ResNet [15]、GRL [12]、CADA-A和CADA-P方法中A→W和A→D的统计学显著性差异分析，显著性水平为 0.05。可以看出，其它方法之间的差异通常小于1%，因此这种改进量是相当显著的。在某些情况下，例如在Amazon-Webcam（A-W）中，我们获得了比最先进方法近4%的请注意，对于DSLR- Amazon（D-A）和Webcam-Amazon（W-A），我们没有获得最新技术水平最近的一项工作[17]获得了这两种情况的最新结果。在这些情况下，域之间的差异是显着的，并且我们的方法没有被训练为最佳的。所提出的方法在所有其他情况下都得到了更好的结果，即使在这两种情况下，我们的结果是有竞争力的。对于EQUIP-Home数据集，结果报告在表3中。对于这个更具挑战性的数据集，我们实现了最先进的性能。值得注意的是，所提出的模型提供的分类准确度在这个更难的家庭数据集上明显更好，数据集的域自适应问题，平均获得7.4%和7.3%的改善，比现有技术的方法，使用CADA-P和CADA-A分别。ImageCLEF 上 的 结 果 报 告 于 表 4 中 。 CADA-P 和CADA-A在除I→C之外的所有转移任务上都优于其他最先进的模型，平均分别比最先进的方法提高了0.8%和0.7%。改进的空间是ImageCLEF的数据集比Image-Home数据集小，因为ImageCLEF在每个域中只有12个类和数据集，并且类类别是相等的，这使得域适应更容易5. 消融研究我们在office-31数据集上研究了Alexnet和ResNet模型从表1和表2中可以清楚地看出，无注意贝叶斯模型（CADA-W）的性能明显优于大多数其他先前模型，因为通过忽略包含数据不确定性的区域，预测不确定性降低了负转移。表1和表2表明，CADA-P（预测确定性）的性能优于CADA-A（任意确定性），因为预测不确定性包括模型不确定性和任意不确定性，从而提供了对特定区域的更好估计。6. 实证分析我们进一步提供了实证分析方面的定性分析的注意力地图，特征可视化，离散距离和统计意义的额外见解的性能，我们的方法。6.1. 注意力地图的定性分析为了提供所提出的基于确定性的自适应的有效性，我们在图5中提供了在不同训练阶段（随机选择）的判别器的确定性图。在图中，我们看到在初始阶段在训练（4个时期之后）中，训练器仅通过某个随机位置来区分源域和目标域。随着训练的进行，501域通过关注图像的背景（在A→W中，域在背景中大多不相似）。经过更多的训练后，背景被调整（125个epoch后），现在图像处理器关注图像的前地面部分以区分域（125个epoch后535个时期）。然而，前景在所有图像中变化很大。因此，在类对象区域中，类对象是高度确定的。现在，随着模型的进一步训练，这些类对象区域也被适配（在1300个epoch之后）。由于存在数据不确定性，无法进一步调整图像的其余区域。在训练结束时，对于域，注意力将是高度不确定的，并且在不适应的区域上的注意力权重将具有低权重，因为我们使用注意力的确定性作为权重的度量。注意，在推理时，我们不使用通过确定性获得的注意力权重来辅助分类器。仅在培训时使用结果表明，这些基于注意力权重的训练有助于分类器更好地推广到目标领域。我们在补充材料中提供了更多的可视化示例，以进一步证明。6.2. 特征可视化利用图像特征的t-SNE嵌入可以直观地体现目标对源特征的适应性。我们遵循[47，12，34]中的类似设置，并在图3中绘制数据集的t-SNE嵌入。我们可以观察到，所提出的模型正确地对齐源和目标do-main图像，正好有31个聚类，这等于具有清晰边界的类标签的数量。6.3. 离散距离A-距离是跨域差异的度量[1]，它与源风险一起约束目标风险。代理A距离定义为dA= 2（1−2），其中是分类器的泛化误差内核SVM）在区分源和目标的二元任务上训练。图3（e）显示了具有ResNet[15]，GRL[12]和我们的模型特征的任务A →W上的dA我们观察到，使用我们的模型特征的dA比使用ResNet和GRL特征的dA小得多，这表明我们的模型特征特征可以更有效地减小跨域间隙6.4. 统计显著性检验我们分析了针对GRL [12]提出的方法的变体的统计显著性[8Nemenyi检验的临界差（CD）取决于平均秩和测试数据集数量的给定置信水平（在我们的情况下为0.05如果两种方法的秩差在CD范围内，则它们没有显著差异。费伦特图4使用A→W数据集的CD图可视化了事后分析。从图中可以清楚地看出，我们的模型与GRL[ 12 ]有很大不同。图5：建议模型CADA-P的第一行和第三行示出了来自源域（A）的图像，而第二行和第四行示出了来自目标域（W）的图像。在每一行中，最左边的图像（a）表示原始图像，最右边的图像（f）表示训练结束时用于地面真值类别标签的分类器激活图。从左到右，在不同的训练阶段，展示了神经网络预测确定性的注意力地图：（b）4个时期，（c）125个时期，（d）535个时期，和（e）1300个时期。我们可以看到，随着训练的进行，神经网络7. 结论在本文中，我们提出了使用的确定性估计，以帮助推广的分类器，通过增加对这些地区的分类器的关注从我们的结果可以看出，通过确定性获得的注意力图与真实标签的分类器确定性吻合得很好所提出的方法进行了彻底的评估，通过与最先进的方法进行比较，并显示出优于所有其他方法的性能。此外，提供了统计显著性检验，差异距离和可视化方面的分析，以更好地了解所提出的方法。所提出的方法显示了一个新的方向，使用概率测量领域适应，在未来，我们的目标是进一步探索这种方法。鸣谢：我们感谢微软印度研究院和谷歌印度研究院的旅行支持。我们还感谢IIT坎普尔Delta Lab的资源支持。Vinod Kurmi感谢TCS研究奖学金计划的支持502引用[1] Shai Ben-David 、 John Blitzer 、 Koby Crammer 、 AlexKulesza 、 FernandoPereira 和 JenniferWortmanVaughan。从不同领域学习的理论Machine learning，79（1）：151-175，2010. 8[2] Konstantinos Bousmalis 、 Nathan Silberman 、 DavidDohan、Dumitru Erhan和Dilip Krishnan。无监督像素级域自适应生成对抗网络。在IEEE计算机视觉和模式识别会议（CVPR），第1卷，第7页，2017年。2[3] Zhangjie Cao ， Mingsheng Long ， Jianmin Wang ， andMichael I.约旦.选择性对抗网络的部分迁移学习。在IEEE计算机视觉和模式识别会议，2018年6月。2[4] Zhangjie Cao，Lijia Ma，Mingsheng Long，and JianminWang. 部分对抗域自适应。在欧洲计算机视觉会议（ECCV）的会议记录中，第135-150页2[5] Yunjey Choi ， Minje Choi ， and Munyoung Kim.Stargan：用于多域图像到图像翻译的统一生成对抗网络。2[6] JanKChorowski ， DzmitryBahdanau ， DmitriySerdyuk，Kyunghyun Cho，and Yoshua Bengio.用于语音 识 别 的 基 于 注 意 力 的 模 型 神 经 信 息 处 理 系 统（NIPS）进展，第577-585页，2015年2[7] 加布里埃拉·楚卡视觉应用程序的域适应：全面调查。arXiv预印本arXiv：1702.05374，2017。1[8] Janez Demsˇar分类器在多个数据集上的统计比较。Journal of Machine Learning Research ，7 （Jan ）：1-30，2006. 8[9] 珍妮·罗斯·芬克尔和克里斯托弗·D·曼宁。分层平衡域自适应。人类语言技术会议录：计算语言学协会北美分会2009年年会，第602-610页。计算机语言学协会，2009年。2[10] 亚林·加尔深度学习中的不确定性博士论文，剑桥大学，2016年。二、三[11] 亚林·加尔和祖宾·加赫拉马尼。Dropout作为贝叶斯近似：在深度学习中表示模型的不确定性。在机器学习国际会议上，第1050-1059页，2016年。二、三[12] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无监督国际机器学习会议，第1180-1189页，2015年。一二六七八[13] Muhammad Ghifary ， W Bastiaan Kleijn ， MengjieZhang，and David Balduzzi.用多任务自动编码器进行对象识别的域泛化在IEEE计算机视觉国际会议论文集，第2551-2559页，2015年。2[14] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第26722[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。六七八[16] Judy Hoffman 、 Eric Tzeng 、 Taesung Park 、 Jun-YanZhu、Phillip Isola、Kate Saenko、Alexei Efros和TrevorDarrell。Cycada：周期一致的对抗性域适应。在国际机器学习会议上，第1994-2003页，2018年。2[17] 康国良、梁铮、严妍、易阳。用于无监督域适应的深度对抗性注意力对齐：目标期望最大化的好处。在欧洲计算机视觉会议（ECCV）上，2018年9月。二六七[18] Vahid Kazemi和Ali Elqursh。显示、询问、参与和回答：一个强大的视觉问题回答基线arXiv预印本arXiv：1704.03162，2017. 2[19] 亚历克斯·肯德尔和亚林·加尔贝叶斯深度学习在计算机视觉中需要哪些不确定性？神经信息处理系统的进展，第5574-5584页，2017年二三五[20] Alex Kendall Yarin Gal和Roberto Cipolla使用不确定性来权衡场景几何和语义损失的多任务学习。在IEEE计算机视觉和模式识别会议论文集，第7482- 7491页，2018年。3[21] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统进展，2012年。6[22] Shanu Kumar ， Shubham Atreja ， Anjali Singh 和 MohitJain。场景图模型的对抗性适应以理解公民问题。arXiv预印本arXiv：1901.10124，2019。2[23] Vinod Kumar Kurmi和Vinay P.南布迪里回头看看标签：基于类的域自适应技术，2019年。2[24] Balaji Lakshminarayanan，Alexander Pri