基于同步学习的自动编码器半监督域自适应算法

402基于同步学习的自动编码器半监督域自适应算法马萨诸塞大学洛厄尔分校rahman@student.uml.eduRameswar Panda麻省理工学院-IBM沃森人工智能实验室rpanda@ibm.com马萨诸塞大学洛厄尔分校mohammadarifulalam@uml.edu摘要我们提出了一种新的半监督域自适应框架，该框架结合了一种新的基于自动编码器的域自适应模型和一种同步学习方案，该方案提供了对最先进的域自适应模型的稳定改进我们的框架具有很强的分布匹配属性，通过训练源和目标自动编码器，使用一种新的同时学习计划，在一个单一的图与最佳修改的MMD损失目标函数。此外，我们设计了一种半监督分类方法，通过将对齐的域不变特征空间从源域转移到目标域。我们在三个数据集上进行了评估，并证明了我们的框架可以有效地解决源和目标特征空间之间的脆弱收敛（对抗）和弱分布匹配问题（差异），具有高1. 介绍深度领域自适应已经成为一种新兴的学习技术，可以在相关但不同领域的数据的帮助下解决标记数据的缺乏[31，5，31]。深度域自适应网络的主要优势是能够在相关源域的帮助下，通过在这些域之间传递知识，从部分标记甚至未标记的数据中训练模型。在深度域自适应方面已经取得了很大进展，重点是无监督域自适应（UDA）或半监督域自适应（SSDA）。虽然UDA方法可以通过引入标记目标样本的监督而转化为SSDA方法，但这两种方法都不能保证域间特征分布的匹配，特别是图1：使用我们的模型的优势说明这里，实心圆、虚线圆、实线（红色表示DA之前/绿色表示DA之后）分别表示源、目标和决策边界。(a) 决策边界在自适应之前违反特征空间(b) 当使用我们的框架迭代训练时，两个特征空间彼此对齐。(c)半监督微调使决策边界结构根据新适应的源和目标特征空间。最后，（d）我们的方法生成一个鲁棒的决策边界。由于域内特征空间差异的存在，未标记的样本[16]通常会导致性能差[27]。基于特征空间映射技术，半监督域自适应可以分为三大类：基于差异、对抗性判别和对抗性生成模型[5]。在对抗性判别模型中，域搜索网络试图通过优化广告来鼓励域混淆403···我我Y{}∈Y我 我我我Is损失函数[31]。一个生成组件连接到判别网络，为对抗生成模型中的源域和目标域生成更多相似的特征空间[10]。尽管对抗模型取得了显著的改进，但对抗网络的训练过程很复杂，往往导致非常脆弱的收敛[1]。与对抗网络不同，共享特征空间是通过在基于差异的方法中最小化源域和目标域之间的分布差异来学习的[24，39，29]。基于差异的方法的主要优点是它们易于训练，并且收敛不像对抗网络那样脆弱[6]。然而，大多数基于差异的方法最大限度地减少了源域和目标域之间的差异，很少有方法解决域内的差异[40，14，35]。特别是当目标域中标记和未标记样本之间的相关性较低时，这仅导致与目标特征空间的部分对齐[35]。因此，基于差异的方法不能保证分布匹配，并且经常遭受对目标域的过拟合[2]。在本文中，我们引入了一种新的培训概念，称为同步学习，以解决上述不足。由于目标域内存在域内差异，因此与固定源特征空间对齐可能是有问题的为了解决这个问题，我们同时训练源网络和目标网络，其中两个特征空间在学习过程中相互对齐我们使用基于自动编码器的域自适应实现同步学习，其中源域和目标域的特征空间在瓶颈层中对齐。在该框架中，首先，同时学习方案允许源域与目标域以及目标域中存在的域内差异对齐同时，目标域也与具有域内差异的源域对齐。结果，在迭代学习之后，源域和目标域特征空间彼此对齐，包括它们的域内差异，并且解决了部分对齐的问题。其次，我们使用自动编码器的瓶颈层作为特征空间，而不是其他方法中使用的分类网络中的层。由于自动编码器的学习目标不是对样本进行分类，因此这能够实现类之间的平滑过渡如果有任何特征部分对齐。主要贡献：提出了一种新的同步学习方案，以帮助目标特征空间对准SSDA的源域特征空间。修改MMD损失函数，使其与同步学习一起工作，并实现强大的域间对齐。提出了一个基于自动编码器的SSDA框架，通过实现同步学习方案来解决域内差异问题，并使用三个数据集使用最先进的模型来评估性能。2. 相关作品无监督领域自适应（UDA）是近年来最流行的一种自适应算法，它可以分为三大类.第一个是通过具有很少变化的对抗学习[4] [36] [7] [37]来减少分布差异，例如利用对抗学习在源域和目标域之间引入具有渐变消失桥（GVB）层的中间域方法[7]。第二类方法使用不同的损失函数（如MMD [24]，CORAL [30]，HoMM[2]等）最小化域发散。最近，主条件适应网络（DCAN）[21]使用域条件信道注意机制来识别域特定特征。最后一种方法使用最优传输（OT）机制，最大限度地减少将一个特征分布传输到另一个域的成本[3] [8][38][20]。半监督域自适应算法（SSDA）利用少量标记目标样本，将标记良好的源域与标记稀少的目标域融合。Kim等人[16]引入了目标域中标记数据和未标记数据之间的域内差异，并将其最小化以对齐源和目标域特征。另一种方法使用元学习框架进行多源和半监督域自适应[19]。BiAT框架使用双向对抗训练来引导对抗示例跨越域间隙并实现域对齐[15]。另一种基于逆向学习的方法MME使用条件最小最大熵优化来实现自适应[27]。3. 该方法设标记源域为Ds={（Xs，Ys）}ns.类内存在差异，连续性特征空格帮助它们与其他域完全对齐这里Xs={x1，...，x n} ∈R我我ds是第i个样本据我们所知，我们提出的方法是一个第一的同类框架，考虑了一个同时学习计划与源和目标网络与仔细修改的MMD损失跨域不变特征空间。我们提出的框架既容易训练，又能通过解决问题实现最先进的性能具有D-S维特征空间的源图像。类似的，是的s是源图像X s的对应第i个样本的类别标签，其中s=1，2，.，nc.现在，对于我们的半监督设置，让我们将目标域Dt视为两个子集的并集，标记为目标域，Dl和未标记的靶结构域Du。所以，Dt= Dl<$Du={（Xl，Yl）}nl<${（Xu}nu其中Xl∈Rdt是标号i404我我不我我不∈Y∈≫≫DD||≈≈··图2：我们建议的框架的培训机制。 步骤1：使用源和目标域图像相对于Iv el y。 X_ S和X_ S是与改进的MMD损失函数绑定的瓶颈特征空间。2.训练源编码器（权重被冻结）和具有源图像和对应标签的分类器网络。然后，我们将训练好的分类器与目标编码器（权重冻结）连接，并使用标记的目标图像进行微调。XuRdt是第i幅未标记的目标图像，特征空间为dt维。是对应的第i个标记的目标数据的类标记。在我们的半监督自适应设置中，我们每个类分别使用三个或一个标记样本进行三次和一次实验，因此，nu nl和ns nl。目标域中的半监督分类任务t可以被定义为用未标记的目标数据Xu预测目标域的类别标签Yu。在我们的设置中，我们利用标记（l）和未标记（u）目标数据来训练任务t的主适应模型。 我们假设源域数据和目标域数据分别由域特定特征Us、Ut和域不变特征Vs、Vt组成。主要目标是将两个域的域不变特征映射到一个公共特征表示空间，该空间包含公共域不变特征V（其中VVS两个域的V t）可以表示为，P（XsXs）=P（XtXt）=V其中，是特征表示空间。概述：我们的系统由三个主要组件组成（图2）：用于源域的自动编码器、用于目标域的自动编码器和分类器。训练机制包括两个阶段：训练自动编码器，分类器的半监督训练首先，我们用各自的图像训练源和目标自动编码器。我们实现了我们的同步学习计划，同时训练自动编码器，使源和目标瓶颈特征空间相互在学习过程中使用我们改进的MMD损失函数。第二，我们冻结源编码器，然后附加一个分类器层。我们用源域图像训练源编码器和分类器网络，并有相应的标签监督。最后，我们将训练好的分类器附加到目标编码器上，并使用标记的目标域样本进行微调3.1. 通过同步学习训练自动编码器这个阶段的目标是用相应的域数据训练两个自动编码器。在自动编码器训练过程中，编码器部分学习创建和嵌入输入数据，解码器部分学习从嵌入中重建相同的输入样本。最后，源编码器Es（）和目标编码器Et（）学习将输入图像样本Xs和Xt映射到它们的对 应 的 特 征 空 间 X∈ s 和 X∈ t 都 表 示 为 X∈ s=Es（Xs），Xt =Et（Xt）。 为了实现我们的半监督域自适应学习，我们需要一种方法来对齐两个编码器的嵌入空间的分布，同时训练。因此，训练目标是随着输入图像数据的重建，最小化瓶颈层Xxs和Xxt之间的分布差异。为了实现这一目标，我们设计了一个改进的最大平均离散度（MMD）[24]损失函数，以最大限度地减少瓶颈中的域差异405我SL（X，X）=？？ Σ恩我 Σ我¨SP|N我我我我Lt=Lrecon+β ·Lmd MMD（2）k=1¨Ksi=1k我i=1（5）l={（Xi，Yi）}其中，Xs和Xt是日Σ不不自动编码器的层沿着训练过程源和目标自动编码器分别被馈送源数据Xs和目标数据Xt 我们实现了一个同步的学习计划，将两个自动编码器在一个单一的图形与虚拟层。虚拟层是具有零激活的节点的层因此，它不会在自动编码器之间传递任何信息，而是将它们都保存在一个图形中。 图3显示了具有虚拟层的同时学习方案的网络拓扑。通过这种方式，我们可以在单个批次的数据中优化两个自动编码器simulatum同时学习的主要优点是源网络和目标网络的同时优化这种并行优化保证了两个域之间复杂嵌入特征的匹配沿着收敛方向进行因此，源自动编码器的自重构损耗为：Ns图3：这里示出了源和目标自动编码器的组合系统的网络拓扑，其中修改的MMD损失函数的优化最小化了源和目标瓶颈层之间的差异。L=−1<$Xs·log（p（Xs））+（1−Xs）·log（1−p（Xs））（1）这里，p（Xs）=Es（Ds（Xs））是正确我我Xs是源自动编码器对X s的重构，Ns是来自源数据的批次中的样本数量。另一方面，目标自动编码器的损失函数应同时考虑重构损失和瓶颈层的优化。我们考虑了自重构损失和差异损失的加权和。在这种情况下，我们使用修改后的MMD损失函数作为DIS-A。在类内的样本中存在一些差异的对齐因此，类条件概率的距离因此，我们的损失函数变为，2Cénknkcredibility损失如下：LmdMM D（Xs，Xt）=1Σ¨1SX射线-1个X单位Lrecon=−1ΣtXt·log（p（Xt））+（1−Xt）·log（1−p（Xs））这里，类的总数由C表示，Nti iii=1我（三）并且nk是k中的源样本和目标样本的数量类分别。 我们使用标记的源域Ds=这里是加权和的参数，以便{（X s，Y s）}ns 以及目标域数据βi iDll nlMMD损失和重建损失。修改的MMD损失函数：最大平均差异（MMD）[11]是用于确定两个相关边际概率分布之间的统计差异的强大度量。MMD损失的主要思想是计算两个不同分布的质心之间的距离如果我们考虑源和目标自动编码器的两个瓶颈特征分布，则我们可以将MMD损失定义为方程5中的函数详细的培训程序是预先-第二节补充材料。3.2. 分类器的半监督训练同步学习：我们同时训练源和目标自动编码器，并并行处理源和目标域数据。我们通过使用虚拟层将两个自动编码器网络连接到同一个图来实现这一点。我们建立一个数据生成器来生成nss t1MMDsi=1我我Xs−nt1nti=12X（四）并行数据批处理。同时学习的主要优点是，源和目标特征表示空间可以在学习过程中彼此对齐。对应源的i个样本的瓶颈层和目标域数据。在设计我们的修正MMD损失时，我们打算关注类别条件概率分布（X Y）之间的分歧。类条件概率的优点在于它侧重于基于类而不是整个特征来空间一次（等式5）。这在以下方面特别有用：函数，对齐发生在源域和目标域的相似类上。大多数域自适应方法（包括Cy- CADA [12]）沿着分类流网络的中间层排列。另一方面，我们的方法在编码器/解码器网络的瓶颈层中对齐特征空间这有助于避免类式集群化nnsi=1虚拟层连接两个自动编码器以进行同时学习。CKtk我平衡修改用我们修改后的MMD损失ing（图1 II）。另外，根据我们修改后的MMD损失Σ406D{}LDD·LLFCCCi=0时我我LuuDDLlLL数据，D={X，Y}，未标记目标D{}联系我们LluuD{}在特征表示空间中，并且域之间的特征转移发生在整个空间而不是簇上。详细讨论见补充材料第1节。分类器网络的主要功能是对瓶颈特征嵌入进行分类。我们使用一个共同的分类器网络的源和目标特征嵌入，因为我们假设这两个特征空间将相互对齐，然后我们对他们应用分类器。通用分类器的另一个重要功能是将分类学习从源域转移由于目标域中有少量的标记数据样本，分类器网络可以从标记样本丰富的源域中鲁棒地学习。然后，我们只对标记的目标样本进行微调，以进行半监督对齐。考虑到训练的源和目标自动编码器，源和目标编码器现在学习将对应的域映射到公共特征空间。我们训练一流的-与源特征空间X_ s和LA_s的Fier网络工作，通过对学习的源编码器和分类器网络进行级联，利用监督训练来对源网络进行分类。在训练时，我们冻结编码器模块，让分类器网络进行训练。所以，客观函数-当用源编码器训练分类器时，L[Ys，f（Xs）]，其中，分类器网络是算法1：基于自动编码器的半监督域自适应的训练过程输入 ：源域标记数据，s=Xs，Ys，标记的靶结构域t t tl l l域，t=Xt，模型参数β，分类器层大小cl，以及瓶颈特征空间大小b输出：目标领域未标记数据的1通过随机重新排列较小的域，在s和t之间逐类匹配样本数2按类对 s和t排序。随机初始化源和目标自动编码器的层3分别为源和目标自动编码器4个重复5分别用来自X s、X s和X t、X t的 数据 批 次 更 新 源 和 目 标 自 动 编码 器 的 权 重 。6直到s和t收敛;7仅取源自动编码器网络的编码器模块，并在结束它;由fc（）表示。我们使用分类交叉熵损失用于学习分类器网络。 因此，损失函数为-8 冻结编码器权重并随机初始化分类器网络的权重;comes，Lc=−CYs·lo g（fc（Xs））的伪码我们提出的框架的训练过程在算法1中给出。4. 实验我们使用三个广泛使用的基准数据集：Domain-Net[26]是最近的大规模域自适应数据集，包括6个不同的域和345个类。由于某些域和类的标签非常嘈杂[27]，我们使用126个最常见类的子集和4个域（真实、绘画、剪贴画和素描）进行实验。这个子集每个域大约有36500个图像。我们总共使用了7种不同的领域适应场景来评估我们的模型。对于DomainNet数据集的4个域和7个域自适应用例的选择，我们遵循APE[16]，BiAT[15]和MME[27]以更容易实现。Office-31是一个常用的领域自适应数据集，包括来自三个不同领域的日常办公环境的31类4110张图像：10用X s，Y s优化11直到验证损失收敛;12采用分类器模块并与目标编码器级联;13 冻结目标编码器权重;14重复15利用标记的目标数据{X t，Y t }优化“目标编码器+分类器”网络;16直到验证损失收敛;17用“目标编码器”估计来自目标域的未标记样本的标签，t=Xt+ 分类器（图片来自amazon.com），DSLR（用DSLR相机拍摄的高分辨率图像）和Webcam（用网络摄像头拍摄的低分辨率图像）。我们评估我们的方法与所有六个传输任务相结合的三个领域。数字数字数据集[9]。 所有的数据集都有10个10位数的类。我们 已经评估了 以 下 跨域 自 适 应 对 的性 能 ：USPS→−MNIST，SVHN→− MNIST和合成数字→−MNIST。所有识别数据集由五个广泛使用的数字数据集组成：[13]第18话，我是你的女人！数据集具有几乎相似的样本数量，并且每个样本的像素数量也相似。9重复407×××骨干AlexnetVGG16方法D→ AW→ AD→ AW→ AAvgS+T62. 461岁2七十三。3七十三。267.5DANN六十五2六十四474岁675. 469.9ADR61岁461岁274岁1七十三。367.5CDAN61岁4六十岁。3七十一474岁466.9Mme67岁867岁3七十七。6七十六。372.3猿69岁。067岁6七十六。675. 872.3我们的方法七十569岁。7七十七。4七十七。8七十三。8表1：在3个域上使用3次拍摄设置的3D 31数据的结果（目标准确度%），D：DSLR，A：Amazon，W：Webcam4.1. 实现细节我们使用python Keras（tensorflow后端）实现了我们提出的模型我们调整所有输入图像的大小，224 224像素的办公室三通道图像-31和DomainNet数据集和32个32像素图像的数字识别数据集。 我们实施Alexnet，DomainNet数据集的ResNet 34骨干; Alexnet和VGG 16用于Office-31数据集，VGG 16网络用于编码器模块中的数字识别数据集。在解码器的情况下，我们以相反的顺序使用相同的编码器层我们在解码器中使用相同大小的上采样层代替编码器中的最大池层，以保持解码器的渐进增加的形状我们还在解码器的末尾添加了输入图像形状的重建层。我们使用Adam [17]优化函数优化系统，学习率为110−3我们选择最佳值的学习使用超参数调优对参数β（=0.25）进行速率和加权（请参见教程材料中的实现细节我们在一个服务器上运行我们框架的学习模型，该服务器具有三个Nvidia GTX GeForce Titan X GPU和Intel Xeon CPU（2.00GHz）处理器的集群，具有12千兆字节的RAM。我们将我们的框架的性能与最近的SSDA框架进行了 比 较 ， 例 如 APE[16] ， BiAT[15] 和 MME[27] ，DANN[9]，CDAN[23]和ADR [28，27]。 我们将基线方法视为“S+T”，其中所有可用的标记源和目标数据都用于训练网络。表2显示了DomainNet数据集上的性能比较的细节，其中我们的框架在1次和3次场景中使用不同的主干以4-8%的幅度执行几乎所有当前最先进的方法。平均而言，我们的方法在使用Alexnet主干进行1次学习的情况下优于基线方法7.8%，在使用ResNet34主干网络进行3次学习的情况下优于基线方法13.7%，在使用ResNet34主干网络进行1次学习的情况下优于基线方法8.1%一些最先进的方法，DANN，ADR和CDAN与基线精度408图4：目标域的瓶颈层特征表示的t-SNE可视化。图 5 ： 我 们 的 方 法 与 基 线 算 法 LS-ADDA （ 最 小 二 乘ADDA），DI（域不变性LS-ADDA）和DIFA（域不变性和特征增强LS-ADDA）的收敛性能比较特别是在1-shot学习中得分。在某些情况下，他们甚至遭受负面学习，而领域转移。我们的方法表现出显着的性能改善。然而，在3次拍摄场景中的性能改进大于1次拍摄场景。表1显示了我们的模型在Office 31数据集上的性能对比，我们可以看到我们的模型在几乎所有域自适应场景中都优于所有现有方法，并且与Alexnet和VGG16骨干有显著的优势在此，ADR和CDAN在目标数据集上显示出与基线相比相似或退化的性能，因为潜在的负转移。另一方面，我们的方法比基线方法好5-10%。最后，我们提出的算法在数字识别数据集上与一些最先进的基于对抗网络和差异的方法的性能比较见表3。我们以改良的LeNet网络的效能为基准，比较目标的准确度得分.我们的框架在所有领域适应场景中的表现优于所有其他最先进的方法，除了40943. honor cartoon 3四十二4四十1三十三岁。6三十五729岁155.8四十055. 6 六十岁。6五十六850块8五十六0四十六岁。3七十一8五十六8[9]第 四十三章. 3 41岁639岁1三十五9三十六9三十二5五十三6四十4五十八261岁4五十六352岁8五十七452岁2七十3五十八4[28]43. 1 41岁439岁3三十二8三十三岁。129岁155.939岁2五十七161岁3五十七051岁0五十六0四十九0七十二0五十七6[23]第二十三话3四十五7三十八岁。3二十七岁5三十228岁8五十六739岁1六十五0六十四963岁7五十三163岁4五十四5七十三。262. 5[27]第四十七章：意外的发现9四十八0四十六岁。7三十六339岁4三十三岁。3五十六844. 2 七十067岁769岁。0五十六3六十四861岁0七十六。166岁。4[16]第四十七章. 7四十九0四十六岁。9三十八岁。5三十八岁。5三十三岁。8五十七544. 6 七十4七十8七十二9五十六7六十四563岁0七十六。667岁8[15]第五十五章：一个女人2四十九244. 0 三十七739岁6三十七2五十六9四十五5七十三。068岁0七十一6五十七963岁9五十八5七十七。067岁1我们的56。3方法50块5四十八8四十241岁539岁3五十八4四十七874岁8七十二474岁6五十九566岁。666岁。279岁。4七十547. honor cartoon 1四十五044. 9 三十六4三十八岁。4三十三岁。3五十八7四十三4六十岁。062. 2五十九455.0五十九550块1七十三。9六十岁。046. honor 1四十三841岁0三十六5三十八岁。9三十三岁。4五十七3四十二4五十九862. 8五十九655.4五十九9五十四9七十二2六十岁。7ADR46. 2 44. 4 四十三6三十六4三十八岁。9三十二4五十七3四十二7六十岁。761岁9六十岁。7五十四4五十九951岁174岁2六十岁。446. 第四十六章8四十五0四十二329岁5三十三岁。731岁3五十八741岁069岁。067岁368岁4五十七8六十五3五十九078岁566岁。5MME55. 6四十九051岁739岁4四十三0三十七9六十岁。7四十八2七十二269岁。7七十一761岁866岁。861岁978岁568岁954. honor 6 50块552岁1四十二6四十二2三十八岁。761岁4四十八9七十六。6七十二1七十六。763岁166岁。167岁879岁。4七十一758. honor 6 50块 52岁 41岁四四五四 74岁 68岁 74岁 61岁 67岁 62. 1 78岁69410- 骨干枪 方法AlexnetResNet34R→ C R→ P P→ C C→ S S→ P R→ S P→ R平均R→ C R→ P P→ C C→ S S→ P R→ S P→ R平均→→609十二1十二0十八8十九4986556岁。7我们的59。1方法52岁7五十四644.5四十三9四十五3六十岁。151岁5七十七。374岁1七十六。2六十五269岁。669岁。5八十5七十三。2表2：在4个域上使用三次激发设置（目标域中每个类别三个样本）的DomainNet数据集的结果（目标准确度%），R：Real，C：Clipart，P：绘画，S：Sketch.我们提出的方法优于其他国家的最先进的方法对大多数领域的适应情况方法S→ M U→ M Syn→ M Avg修改的LeNet67岁366岁。489岁。774.5DDC [32]七十一975. 889岁。979.2丹麦[22]79岁。589岁。875. 281.5DANN [9]七十6七十六。6九十279.1[39]第三十九话86岁。586岁。3九十六。189.6ADDA [31]七十二392. 1九十六。386.9珊瑚[30]89岁。5九十六。5九十六。591.0我们的方法九十五22九十三8九十六。692. 8表3：具有三次学习设置的数字识别数据集的结果（目标上的%准确度），S：SVHN，M：MNIST，Syn：合成数字数据集在USPS MNIST的珊 瑚。值 得注 意的是 ，在SVHNMNIST的情况下，我们的模型优于所有其他算法，其中源图像和目标图像大多不相似。基于差异的方法（DDC、DAN、CMD、CORAL）和对抗域自适应方法（DANN、ADDA）的性能显著优于基于改进LeNet模型的基线卷积神经网络。但是，它们的性能差异很大，在不同的领域适应的情况下，这表明他们缺乏鲁棒性的变化领域。然而，我们的框架在几乎所有的域适应场景以及平均性能上都优于所有的基线方法。这证实了我们的框架能够最小化域差异效应，图6：目标数据一个简单而稳定的训练程序。4.2. 分析消融研究：我们使用Resnet 34主干对Domain- Net和Round 31数据集进行消融研究，以了解不同损失函数和超参数的性能变化提出的修改后的MMD损失函数和同时学习的：我们通过删除411→→→图7：β（修正的MMD损失函数）对结构域Net数据修正的MMD损失函数，观察其对畴排列的影响。目标准确度评分的下降显示了我们修改的MMD损失函数的重要性（表4）。我们还使用顺序学习而不是同时学习，并观察到两个数据集的目标准确性得分下降超参数的影响：我们分析了修改的MMD损失函数（β）的不同权重对DomainNet数据集的自动编码器重建损失的影响（图7）。目标准确度评分相对于β的对数值作图。我们观察到，β值为10−3，在目标领域的最高精度。方法域名网办公室31无修改的MMD损失w/o同步学习六十五4±0. 3461岁7±0。5667岁5±0。462. 4± 0.35我们的方法七十七。3± 0。25七十三。7± 0。3表4：修改的MMD损失函数和同时学习对DomainNet数据瓶颈空间可视化：在完成对自动编码器的训练之后，我们可视化了我们提出的框架的自动编码器的瓶颈表示空间。我们从MNIST和USPS数据集中随机抽取2000个样本，从瓶颈层得到100维的表示空间。我们使用t-SNE [33]可视化方法从100维空间中提取两个主成分，保持t-SNE参数一致。在图4中，我们观察到不同类之间的平滑过渡，而不是聚类的质心，但具有明显的区别，这有助于沿着瓶颈表示空间的宽区域获得域自适应收敛性能：为了比较我们系统的稳定性，我们将我们模型的收敛性能与[34]中描述的ADDA [31]的三种变体进行了比较：LS-ADDA（Least Square ADDA）、DI（ Domain Invariance LS-ADDA ） 和 DIFA （ DomainInvariance and Feature Augmentation LS-ADDA ） 。五、在SVHN MNIST和USPS MNIST的情况下，我们的模型显示出更高的稳定性和更高的评分。在SVHNMNIST的情况下，我们的模型比ADDA的所有其他三种变体都更快地收敛。这验证了我们的模型与基于对抗网络的方法相比具有更高稳定性的理论假设。图6显示了我们的模型随着目标标签（分数）的变化而收敛，这充分证明了我们的方法适应速度足够快，可以被认为是针对其他方法的训练复杂性和域不变特征空间的不确定性的简单解决方案。5. 限制然而，如果源域和目标域之间存在高类别不平衡，则我们提出的方法以及其他基于差异的方法可能表现不佳，因为差异属性在不平衡数据的情况下不强。然而，我们已经尝试通过在使用类的MMD损失函数的同时随机采样未识别类来克服这个问题。但这可能导致过度拟合高度不平衡的数据。此外，自动编码器的瓶颈层需要进行优化设计。过窄的瓶颈层会冲走分类所需的一些重要信息，从而导致分类精度降低。另一方面，太宽的瓶颈层可能使修改的MMD损失函数的缓慢收敛，这可能导致较慢或失败的域自适应。在未来，我们将扩展我们的领域适应框架，以处理由于训练困难而未被探索的多领域适应问题。我们还计划实现基于对抗的技术，以最大限度地减少瓶颈层之间的差异，除了类明智的MMD损失函数。6. 结论我们提出了一个基于自动编码器的半监督域自适应框架，并介绍了一种新的同步学习方案的源和目标域 。 我 们 还 介 绍 了 一 个 修 改 后 的 最 大 平 均 差 异（MMD）损失函数，并实现它，以最小化域差异。我们的实验评估和进一步的分析表明，我们的方法优于国家的最先进的和其理论的有效性。为了进一步说明我们提出的模型的优越性，我们提出了四个领域转换的评估，这充分证明了我们的同时学习方案可以更容易地一次训练多个领域。7. 确认这项工作得到了NSF智能连接社区奖#2230180的部分支持412引用[1] Samuel A.巴奈特生成对抗网络的收敛问题。CoRR，abs/1806.11382，2018。[2] Chao Chen，Zhihang Fu，Zhihong Chen，Sheng Jin，ZhaoweiCheng ， XinyuJin ， andXian-ShengHua.Homm：高阶矩匹配无监督域适应.在AAAI人工智能会议论文集，第34卷，第3422-3429页[3] 陈立群，甘哲，程宇，李林杰，劳伦斯·卡林，刘晶晶。用于跨域对齐的最佳传输图。在国际机器学习会议上，第1542-1553页。PMLR，2020年。[4] 陈明浩，赵帅，刘海峰，蔡登。领域适应的逆境学习损失。在AAAI人工智能会议论文集，第34卷，第3521-3528页，2020年[5] 加布里埃拉·楚卡视觉应用程序的域适应：全面调查。2017年。[6] 加布里埃拉·丘尔卡，法比安·巴拉德尔，鲍里斯·奇德洛夫斯基和圣·埃芬·克林钱特。用于无监督域自适应的基于离散域的网络工作：比较研究。在ICCV研讨会上，第2630-2636页。IEEE计算机协会，2017年。[7] Shuhao Cui ， Shuhui Wang ， Junbao Zhuo ， Chi Su ，Qingming Huang，and Qi Tian.逐渐消失的桥梁对抗领域的适应。在IEEE/CVF计算机视觉和模式识别会议论文集，第12455-12464页[8] 索菲恩·杜伊布，伊夫根·雷德科，卡罗尔·拉蒂齐恩。具有最佳传输的边缘感知对抗域自适应。国际机器学习会议，第2514-2524页。PMLR，2020年。[9] Yaroslav Ganin 、 Evgeniya Ustinova 、 Hana Ajakan 、PascalGermain、HugoLarochelle、FrancçoisLa violette、Mario Marchand和Victor Lempitsky。神经网络的领域对抗机器学习研究杂志，17（1）：2096[10] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672[11] Arthur Gretton ， Karsten Borgwardt ， Malte Rasch ，Bernhard Sc ho¨ l k opf，andAl e xJSmola. 双样本问题的核方法神经信息处理系统的进展，第513-520页，2007年[12] Judy Hoffman 、 Eric Tzeng 、 Taesung Park 、 Jun-YanZhu、Phillip Isola、Kate Saenko、Alexei Efros和TrevorDarrell。苏铁：周期一致的对抗域适应。在机器学习国际会议上，1989- 1998页。PMLR，2018。[13] 乔纳森·赫尔。一个用于手写文本识别研究的数据库。IEEE Transactions on pattern analysis and machineintelligence，16（5）：550[14] 贾思祥，王金瑞，韩宝坤，张国伟，王晓宇，何京涛.一种新的迁移学习方法一种基于最大分类器差异和边缘概率分布自适应的故障诊断方法IEEE Access，8：71475[15] Pin Jiang，Aming Wu，Yahong Han，Yunfeng Shao，Meiyu Qi，and Bingshuai Li.半监督域自适应的双向对抗训练。[16] Taekyung Kim和Changick Kim。吸引、扰乱和探索：学习用于半监督域适应的特征对准网络。欧洲计算机视觉会议，第591-607页。Springer，2020年。[17] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[18] YannLeCun，Le'onBottou，YoshuaBengio和PatrickHaffner。基于梯度的学习应用于文档识别。Proceedings of the IEEE，86（11）：2278[19] 李达和蒂莫西·霍斯佩德莱斯。用于多源和半监督域适应的在线元学习。欧洲计算机视觉会议，第382-403页。Springer，2020年。[20] Mengxue Li ，Yi-Ming Zhai，You-Wei Luo ， Peng-FeiGe，and Chuan-Xian Ren.增强传输距离，用于无监督域自适应。在IEEE/CVF计算机视觉和模式识别会议论文集，第13936-13944页[21] Shuang Li ， Chi Liu ， Qiuxia Lin ， Binhui Xie ，Zhengming Ding，Gao Huang，and Jian Tang.域条件自适应网络。 AAAI会议论文集 人工智能，第34卷，第11386-11393页，2020年。[22] Mingsheng Long ， Yue Cao ， Jianmin Wang ， andMichael I Jordan.使用深度适应网络学习可转移特征。arXiv预印本arXiv：1502.02791，2015年。[23] Mingsheng Long ， Zhangjie Cao ， Jianmin Wang ， andMichael I Jordan.条件对抗域适应。arXiv预印本arXiv：1705.10667，2017。[24] Mingsheng Long ， Han Zhu ， Jianmin Wang ， andMichael I Jordan.具有联合适应网络的深度迁移学习。第34届机器学习国际会议论文集-第70卷，第2208-2217页。JMLR。org，2017.[25] Yuval Netzer ， Tao Wang ， Adam Coates ， AlessandroBis-sacco，Bo Wu，and Andrew Y Ng.使用无监督特征学习读取自然图像中的数字。2011年。[26] Xingchao Peng，Qinxun Bai，Xide Xia，Zijun Huang，Kate Saenko，and Bo Wang.用于多源域适应的矩匹配。在IEEE/CVF国际计算机视觉会议集，第1406[27] Kuniaki Saito，Donghyun Kim，Stan Sclaroff ，TrevorDarrell，and Kate Saenko.基于极大极小熵的半监督域自适应。在IEEE/CVF国际计算机视觉会议论文集，第8050[28] Kuniaki Saito，Yoshitaka Ushiku，Tatsuya Harada，andKate Saenko.Adversarial dropout regularization。arXiv预印本arXiv：1711.01575，2017。413[29] Baochen Sun，Jiashi Feng，and Kate Saenko.回归简单的领域适应。在第三十届AAAI人工智能会议上，2016年。[30] Baochen Sun 和 Kate Saenko 。 Deep Coral ： CorrelationAlignment for Deep Domain Adaptation.在欧洲计算机视觉上，第443施普林格，2016年。[31] 埃里克曾，朱迪霍夫曼，凯特萨恩科，和特雷弗达雷尔。对抗性判别域自适应。在IEEE