3375用于零拍域自适应的条件耦合生成对抗网络王京华、姜建民未来媒体计算研究院深圳大学计算机科学与软件工程学院wang. szu.edu.cn，jianmin. szu.edu.cn摘要在一个领域中训练的机器学习模型在其他领域中表现不佳，这是因为存在域偏移。域自适应技术通过训练从标签丰富的源域到标签稀缺的目标域的可转移模型来不幸的是，大多数现有的域自适应技术依赖于目标域数据的可用性，从而将它们的应用限制在跨越少数计算机视觉问题的小社区。在本文中，我们解决了在训练阶段目标域数据不可用的情况下的零激发域自适 应 （ Zero-Shot Domain Adaptation ， 简 称 Zero-ShotDA）问题。为此，我们提出了条件耦合生成对抗网络（ CoCoGAN ） ， 通 过 扩 展 耦 合 生 成 对 抗 网 络（CoGAN）到一个条件模型。与现有技术相比，我们提出的CoCoGAN能够在两个不同的任务中捕获双域样本的联合分布，即。相关任务（RT）和不相关任务（IRT）。我们在RT中使用源域样本训练CoCoGAN，在IRT中使用双域样本训练CoCoGAN，以完成域自适应。前者提供了不可用目标域数据的高级概念，后者承载了RT和IRT中两个域之间的共享相关性。为了在没有RT的目标域数据的情况下训练CoCoGAN，我们提出了一种新的监督信号，即跨任务的表示之间的对齐大量的实验表明，我们提出的CoCoGAN在图像分类方面优于现有的技术水平。1. 介绍大多数机器学习技术都假设训练和测试数据来自相同的领域，并且遵循相同的分布。然而，在现实世界中，数据样本通常来自不同的域。比如说，物体的图像可以由RGB传感器或深度传感器捕获虽然两个领域中的数据可能共享高层概念，但由于领域转移的存在，它们彼此之间因此，在一个领域学习的模型在另一个领域表现不佳[15]。领域自适应的目的是克服这个问题，学习可转移的知识从源域到目标域。一般来说，域自适应技术假设数据样本的标签由源域和目标域共享[7]。在这样一种解释下，许多不同的策略可以适用于域适应。受理论分析[2]的启发，一些研究人员通过最小化域间表征的差异提出了自集成技术，以在两个不同的域中获得一致的预测[24，8，42]。编码器-解码器框架也在文献中报告用于许多域自适应任务[4，13]。尽管上述方法在各种任务中是成功的，但是它们中没有一个可应用于其中感兴趣的任务的目标域数据不可用的零激发域自适应（zero-shotdomain一个典型的垃圾邮件过滤器的个性化过程是在用户开始使用电子邮件系统之前，其中目标域表示用户接收的电子邮件的唯一分布。近年来，具有挑战性的ARMDA受到越来越多的关注，现有的方法要么学习域不变特征[33，12，26，35]，要么参数化地表示看不见的目标域[52，23]。为了实现更有效的目标域模型学习，本文提出了一种新的目标域模型学习方法，该方法不仅基于感兴趣任务的源域样本，而且在不相关任务中从双域样本中获得监督。为了简单起见，我们将相关任务（感兴趣的任务）表示为RT，将不相关任务表示为IRT。我们还将源域样本集定义为RT中的Xr和RT中的Xir。S s3376？r不不不不t s ts不IRT=&RT=&可用：&&不可用：代表对齐源域XIRSXRSTrt目标域XIRX？不不图1.举例说明了一个CARDA任务的例子，RT和IRT分别是字母图像分析和数字图像分析。源域由灰度图像组成，目标域由彩色图像组成我们首先基于可用数据在源域中施加对齐，然后使用目标域中的对齐来指导训练过程，以便CoCoGAN可以搜索数据空间以生成合适的RT目标域样本。IRT 同样，我们用Xr和Xir来表示目标-给定域。基于CoCoGAN中两个分支之间的共轭，我们基于可用数据在源域中施加表示对齐，并且期望生成的X r的表示与目标域中可用X ir的表示对齐，如图所示。1.具体地，我们通过更新GANt的参数来搜索目标域，以生成适当的不可用Xr，使得它们的表示与可用Xir的表示不可区分。我们从三个方面强调我们的贡献首先，我们提出了一种新的网络结构，即。CoCoGAN，通过将CoGAN扩展为条件作用模型。提出的CoCoGAN能够捕获两个不同任务中数据样本的联合分布其次，我们提出了一种方法来训练的CoCoGAN为CANDDA任务，通过引入跨任务的表示对齐作为监督信号。第三，与文献[35]相比，新方法不依赖于IRT中样本之间的对应关系，解决了重复性问题，因而具有更大的应用潜力。2. 相关工作域移位是指数据样本在域之间遵循不同的分布。因此，在一个领域中学习的解决方案在另一个领域中的表现往往很差。域自适应技术通过从标签丰富的源学习可转移的解决方案来解决这个问题。t tmain到标签稀缺目标域，并获得成功域样本集分别在RT和IRT在这项工作中，我们假设从源域到目标域的转换由RT和IRT共享在数学上，如果Xr=Tr（Xr）且Xir=Tir（Xir），我们称-Tr=Tir.因此，虽然不可用的Xr的高级概念由Xr承载，但相关性是-在一系列学习任务中，例如图像分类[11，22，32，47，36]和语义分割[53]。最流行的领域自适应策略是通过最小化定义良好的标准或对抗性学习来消除领域移位并学习不变特征t sing。对于细粒度识别，Gebru等人。[11]最小值-两个域之间的关系可以在IRT中学习，域示例可用。图1示出了一个示例性的ARMDA，其中源域由灰度图像组成，目标域由彩色图像组成（使用[9]中的方法获得）。RT和IRT分别为字母图像分析和数字图像分析。我们的条件耦合生成对抗网络（CoCoGAN）通过将耦合生成对抗网络（CoGAN）[27]扩展到具有二进制条件变量的条件模型中，捕获RT和IRT中提出的CoCoGAN由两个GAN组成，即GAN s用于源域，GANt用于目标域。训练CoCoGAN以完成一个任务的困难在于Xr的不可用性。因此，GANt倾向于偏向目标域中的IRT。我们通过引入一个新的监督信号，即，解决了这个问题。中任务之间的样本表示之间的对齐最小化由标签预测损失和属性一致性损失组成的多任务目标。Hu等人[19]学习一个深度度量网络，以最小化域之间的分布Long等人。[28]提出了一种深度自适应网络，通过最小化最大均值差异（MMD）度量来学习域不变特征。Tzeng等人[46]引入域混淆损失和适应层来学习不仅是域不变的而且是语义上有意义的表示。其他域自适应方法也采用MMD度量[29，50]。受生成对抗网络（GAN）[14]成功的启发，Tzeng etal.[45]提出一个总体框架，即：对抗性判别域自适应（ADDA），以组合判别建模、非约束权重共享和GAN损失。为了将数据从像素空间中的一个域变换到另一个域，Bousmalis等人。[3]建议将领域适应和任务的过程解耦。3377GF基于对抗学习的特定分类。Yoo等人。[54]提出了一种用于在语义级别从源域到目标域的转换的图像条件模型，并将其应用于时尚分析任务。Shrivastava等人[40]采用GAN进行模拟+无监督（S+U）学习，以提高生成图像的真实感。所有上述方法都依赖于目标域数据在其训练阶段的可用性，这实际上并不总是现实世界中的情况。例如，我们可能会失望地看到，一个计算机视觉系统与现有的低分辨率相机一起工作，当它被高分辨率相机取代时，它的性能会下降。零激发域自适应（Zero-shot domain adaptation，简称ZRDA）是指目标域数据在训练阶段不可用在 过 去 的 几 年 里 ， 提 出 了 许 多 方 法 来 解 决 的CARDA问题。Khosla等人[20]利用数据集偏差并学习一组视觉世界权重，这些权重对所有数据集都是后来，Li et al. [25]使用neu- Ral网络结构来实现类似的想法。Yang和Hospedales [52]通过连续参数化向量预测和描述看不见的目标域。Kodirov等人[21]用正则化稀疏编码框架解决域移位问题。[23]第二十三话for different不同domains域.该设置允许两个生成器（或鉴别器）在两个域中以不同的方式解码（或编码）相同的高级概念。CoGAN捕获多域图像的联合分布，因此可以生成图像元组，例如同一场景的RGB图像和深度图像。与传统的基于图像元组的联合分布学习方法不同，CoGAN能够根据边缘分布单独提取图像来学习联合分布。换句话说，训练过程不依赖于两个域中的数据样本之间的对应关系。在GANi（i=1，2）由生成器gi和判别器fi组成的情况下，CoGAN的训练过程优化以下极大极小目标函数max minV（f1，f2，g1，g2）g1，g2f1， f2Ex1<$px1[−logf1（x1）]+Ez<$pz [−log（1−f1（g1（z）]+Ex2<$px2[− logf2（x2）]+Ez<$pz[− log（1−f2（g2（z）]（一）受两个限制：引入了特征域向量的概念，• 1）θgj=θgj1≤j≤sg1 2不同的领域，并使用它们来推断模型，看到的领域。• 2）θfn1−k=θfn2−k0≤k≤sf−1研究人员还提出了一种学习域不变特征的方法，这种方法不仅适用于1其中θj我2表示第j层的参数，源域和看不见的目标域。Muan- det等人[33]提出了域不变分量分析（DICA），通过最大化不同域之间的相似性来学习不变变换。Ghifary等人[12]提出多任务自动编码器（MTAE）来学习从图像到其在其他域中的对应关系的变换，从而获得域不变特征。Li等人。[26]提出了一种条件不变对抗网络，以最大限度地减少跨域条件分布的差异。与我们最相关的工作是Peng etal.[35]它在不相关的任务中从双域图像中学习知识。然而，工作[35]依赖于IRT中双域数据样本之间的对应关系来训练模型。相比之下，我们的方法不依赖于这样的信息，这要归功于我们的CoCoGAN在捕获双域图像的联合分布方面的能力。3. 耦合生成对抗网络耦合生成对抗网络（CoGAN）[27]由两个GAN组成，表示为GAN1和GAN2，每个GAN对应于一个域。这两个GAN具有处理高级语义概念的共享层和处理低级特征生成器gi（i=1，2），θni−k表示我从最后一层开始的第（k+1）层，其中i=1，2），n i表示第i层中的层数。 而第一个约束表明，这两个发生器具有共享底层的Sg，第二约束指示这两个鉴别器具有共享顶层的Sf。通过这两个权重共享约束，两个GAN可以以相同的方式处理高级概念，这对于学习数据样本的联合分布（即，p x1，x2），基于从边际分布（即，p x1和p x2）。4. 方法受各种计算机视觉任务中条件反射方法的成功[31，18，48，34，5，51]的启发，我们将CoGAN扩展为条件 反 射 模 型 ， 并 提 出 了 条 件 耦 合 生 成 对 抗 网 络（CoCoGAN）。为了在感兴趣的任务的目标域数据不可用时训练CoCoGAN，并使其适用于CMDA任务，我们提出了一种新的监控信号，即跨任务的表示之间的对齐我们的方法包括两个任务，即。相关任务（RT）和不相关任务（IRT）。对于每个任务，数据3378不不S不ffGANszIRS俄.西gz，c任务标号hsgs（z，c）假/真fsgz，cCc假/真GANtgz，cF tgt阿斯图里亚斯角IR测试任务标签rhtgtz，c图2.拟议的CoCoGAN的图示。CoCoGAN用一个二元条件变量c扩展了CoGAN，它选择RT/IRT来处理网络。GAN处理源域数据，GAN不处理目标域数据。双箭头连接两个分支之间的共享层。我们最大限度地减少RT/IRT任务标签分类器的损失，以获得跨任务的对齐表示。来自两个领域，即源域和目标域。设xr和xr是来自源层优化以下目标函数以训练CoCoGAN：S t域和RT的目标域，并设xir和xir为r rs tmax minV（fs，ft，gs，gt）用于IRT的样本。我们还使用Xs，Xt，X ir和X ir来gs，gtfs，ft表示样本集，即Xr={xr}等。给定Xr，XirExBracket[−logf（x，c）]+E[−log（1−f（g（z，c）]s s s sIRs xs ssZpzsS和Xt，该任务旨在学习机器学习模型的不可用Xr。+Extpx[−logft（xt，c）]+Ez<$pz[−log（1−ft（gt（z，c）]（二）4.1. CoCoGAN如图2、我们的CoCoGAN扩展了CoGAN受两个限制：• 1）θgj=θgj1≤j≤sgSt通过二进制条件变量c转换为条件模型，其选择CoGAN要处理的任务。当c= 0时，它在IRT中处理数据样本;当c=1时，它在RT中处理数据样本。我们的CoCoGAN使用一对GAN• 2)θn1−k=θn2−k0≤k≤sf−1St源域示例xs是从示例集中Xir，如果c=0;并且从Xr绘制，如果c=1。同样地，sS为了捕获两个域. 具体地，GANs（GANt）处理源-从样本集中提取目标域样本xtXir，如果c=0;并且从Xr绘制，如果c=1。给定数据t不域（目标域）样本，生成器为gs（gt），fs（ft）。两个生成器gs和gt试图通过合成尽可能与真实图像相似的样本对来混淆鉴别器fs和ft。在图2中，我们使用双箭头来连接共享层，这使我们能够了解双域图像之间的对应关系。当Xr、Xr、Xir和Xir可用时，我们可以模拟-在两个任务中，我们可以很容易地训练CoCoGAN以捕获双域数据样本的联合分布。4.2. 制图表达对齐然而，在CNODA任务中，由于Xr的不可用，难以训练CoCo-GAN。如果我们简单地用可用数据优化目标函数（2），即s t s tXXXX不不3379不不不Sts stXr、Xir和Xir，GANt倾向于偏向于h t（. ），以确定涉及的任务s s t项目反应理论在目标域中，不能很好地捕捉分布，在RT内部分配不可用的目标域数据为了克服这样的问题，我们提出了一个额外的超级信号来训练CoCoGAN以完成CNODA任务，即跨任务对齐数据样本表示。换句话说，我们期望来自两个不同任务的表示在给定域中彼此不可区分一般来说，CoCoGAN的目的是发现大脑-的输入。我们最大化这些分类器的损失，以实现代表对齐。换句话说，我们期望RT中的样本的表示与IRT中的样本的表示是不可区分的，如果它们属于相同的域。任务分类器的目标函数如下所maxLsExspxs[（hs（xs））]+Ezpz[（hs（gs（z，c）））]（5）HSmaxLt<$Ext<$px[（ht（xt））]+Ez<$pz[（ht（gt（z，c）]（6）不源域和目标域之间的关系捕获IRT和RT的双域样本的联合分布。我们可以将GAN s和GAN t视为两个域中的共轭，因为它们预期生成 具 有 对 应 性 的 样 本 对 （ x s ， x t ） ， 即 ， xt=T（xs）。这里，T（. ）是从源域到目标域的转换。为了获得损失函数是）的任务分类（即，RT/IRT）是逻辑函数。这两个任务类别-用卷积神经网络实现滤波器。为了共同优化Eq.（2）、（5）和（6），我们可选地优化以下两个目标函数：生成具有共享高级概念（如类标签和语义属性）的样本对（xs，xt）=（xs，T（xs））的能力，GANs在源域中的处理过程和GANt在目标域中的处理过程（fs，ft，hs，ht）=argminfs，f t，h s，h tV（fs，ft，gs，gt）−（Ls+Lt）（七）应该有相同的语义因此，表示提取过程，即r（. ）在g s和r t（. ）在给定的任务中，应该产生两个语义相同的表示集，记为rs（xs，c）<$rt（xt，c）（c=0或1）.换句话说，Xir的表示和Xir的表示共享理想CoCoGAN中的语义含义，即，rs（Xir，c= 0）<$rt（T（Xir），c= 0）<$rt（Xir，c= 0）（3）同样，我们也期望不可用的Xr的表示与Xr的表示共享语义意义，（gs，gt）=argmaxV（fs，ft，gs，gt）（8）gs，g t而Eq。(7)更新的鉴别器和任务类sifiers与固定的发电机，方程。(8)用固定的鉴别器更新生成器。随着Eq. (7)在真/假分类任务中，表征的区分度更高，而在RT/IRT分类任务中，表征的区分度较低。随着Eq. (8)发生器产生更类似于真实数据样本的样本对。我们使用标准的随机梯度-不即sent方法来优化这两个方程。(7)和等式（八）、rs（Xr，c= 1）<$r t（T（Xr），c= 1）<$r t（Xr，c= 1）（4）5. 实验s s t因此，如果我们显式对齐rs（Xir，c=0）和rs（Xr，c= 0），5.1. 数据集S s1）在源域中，我们可以预期目标域中的rt（Xir，c=0）和rt（Xr，c=1）之间的对齐。我们在四个数据集上评估了我们的方法，包括MNIST [30]，Fashion-MNIST [49]，NIST [16]和EM-main. 换句话说，如果r s（. ）对两个不同的样本进行编码，在源域中具有相同表示空间的不同任务，则r t（. ）（即，r s（. ））应该在目标域中实现相同的目标。基于上述分析，我们首先明确地在源域中的任务之间施加表示对齐以这种方式，GANt中的生成器gt在目标域中搜索以产生其表示与目标域中的Xir4.3. 培训如图2.提出了一种二进制RT/IRT任务分类器，即h s（. ）的源域，NIST [6]。提出了一种用于手写数字图像分析的MNIST（DM）方法.这个数据集有60000个训练和10000个测试灰度图像。每个样本属于10个类别之一，即。从0到9。图像大小为28 ×28。Fashion-MNIST（DF）是一个时尚图像数据集分析.它与MNIST具有相同的大小，即60000用于培训，10000用于测试。图像尺寸也是28×28岁这些图像由时尚专家用以下10个剪影代码之一手动标记，即T恤裤子，套头衫，连衣裙，外套，凉鞋，衬衫，运动鞋，包，3380和踝靴NIST（DN）是一个手写字母图像数据集。在我们的实验中，我们使用了小写和小写字母的图像。我们总共有387361名培训人员和23941名3381SS1t2SS不SSMNIST时尚MNIST NIST EMNIST图 像颜 色边缘负图3.4个数据集的示例图像及其在3个不同领域的对应物第一行显示原始图像。我们使用[9]中的方法来获得第二行，使用Canny检测器来获得第三行，并且使用求反过程来获得第四行。测试来自52个不同类别的图像。图像大小为128×128。这个数据集是不平衡的，52个类别的出现频率EMNIST（DE）是NIST的扩展。与NIST不同的是，我们合并了一个平衡的26类数据集。该子集具有124800训练和20800测试图像。图像大小为28 ×28。所有这四个不同的数据集都由灰度图像， 和 我们 考虑 他们 在 的 灰域步 长 2 表 示 源 域 中 数 据 （ · ） 和 目 标 域 中 的 数 据（·）。此外，鉴别器有两个卷积层用于假/真分类，第因此，生成器和鉴别器都有7层。 二进制C分类器，即hs（·）和ht（·），利用两个全连通层将rs（xs）和rt（xt）分为RT或IRT.在训练阶段，我们将项目反应理论的样本集在每个域中分成两个不重叠的半部分，即： X ir=XirXir且Xir=XirXir，其中XirXir=，s1s 2t t1t2s1s2（G-结构域）。为了评估我们的方法，XIR XIR=X，Xir =T（Xir），且Xir=T（Xir）。t1t2t1s1t2s2通过变换得到了三个新的域，即着色域（C首先，我们使用方法pro，将灰度图像转换为彩色图像。[9]对于给定的图像I∈Rm×n，我们从BSDS 500 [1]中的彩色图像中随机裁剪出一个补丁P∈Rm×n，并通过Ic=|I−P|在每个频道 其次，我们将灰度图像I变换为我们在源域中使用前半部分（即，Xir）来训练GAN，并在目标域中使用后半部分（即，X ir）以训练GANt。因此，在源域样本和目标域样本之间不存在对应关系。与我们提出的相比，ZDDA [35]在训练过程中需要数据样本之间的对应关系我们使用相应的样本集-训练ZDDA的证据，即X irX ir或X ir X ir。s1t 1s 2t 2用Canny检测器检测边缘图像Ie。第三，我们得到每幅图像的负数乘以In=255−I。图3显示了四个不同领域的示例图像我们使用训练好的CoCoGAN进行图像分类，RT的目标域，并使用以下三个步骤获得分类器首先，我们利用源产生一组对应于e（x∈r，x∈r）的样本对，5.2. 实施细节我们将我们的方法表示为CoCoGAN，并将其与两个基线进行比较。第一个基线是ZDDA[35]，这是唯一一个采用深度学习技术的工作。为了验证表示之间的对齐作为监督信号的有效性，我们将没有任何任务分类器 的 CoCo-GAN 作 为 第 二 基 线 ， 并 将 其 表 示 为CoCoGAN w/o T。我们的CoCoGAN是用卷积神经网络及其两个分支（即，GAN s和GAN t）具有相同的网络结构。该生成器具有7个转置卷积层，以将随机向量z解码为RT（如果c= 1）和IRT（如果c=0）的实际样本。为了从真实和生成的图像中进行表示学习，鉴别器具有5个卷积层，域生成器GS和目标域生成器GT。其次，根据可用的Xr和它们的标签，为RT中的源域样本训练标签预测器Cs（xr），并使用该预测器获得生成的d个样本的共享标签，即. labelxr =labelxr =Cs（xr）. 第三，我们根据生成的样本及其标签，为RT中的目标域样本训练标签分类器。5.3. 结果为了评估所提出的CoCoGAN，我们有五对不同的源域和目标域。一方面，我们将G-域作为S域，将其他三个因此，源域和目标域对3382表1.在5种不同的（源域，目标域）对设置下，对所提出的方法和基线的分类精度进行了比较我们从CoCoGAN中删除源域和目标域中的任务分类器，以创建基线CoCoGAN w/o TA. （sourcedomain，tagetdomain）=（G-domainRTIRTMN （ DM）时尚-MNIST （德、法）NIST（DN）EMNIST（DE）DFDNDEDMDNDEDMDFDMDFZDDA73.292.094.851.643.965.334.321.971.247.0CoCoGAN，不含T68.381.674.739.748.255.835.238.846.741.8CoCoGAN78.192.495.656.856.766.841.044.975.054.8B. （源域，目标域）=（GRTIRTMN （ DM）时尚-MNIST （德、法）NIST（DN）EMNIST（DE）DFDNDEDMDNDEDMDFDMDFZDDA72.591.593.254.154.065.842.328.473.650.7CoCoGAN，不含T67.174.881.547.550.256.141.230.963.651.9CoCoGAN79.694.995.461.557.571.048.036.377.958.6C. （源域，目标域）=（GRTIRTMN （ DM）时尚-MNIST （德、法）NIST（DN）EMNIST（DE）DFDNDEDMDNDEDMDFDMDFZDDA77.982.490.561.447.462.737.838.776.253.4CoCoGAN，不含T62.767.372.851.847.551.239.336.760.839.1CoCoGAN80.387.593.166.052.269.345.753.881.156.5D. （sourcedomain，tagetdomain）=（C-domainRTIRTMN （ DM）时尚-MNIST （德、法）NIST（DN）EMNIST（DE）DFDNDEDMDNDEDMDFDMDFZDDA67.485.787.655.149.259.539.623.775.552.0CoCoGAN，不含T54.769.063.543.440.651.621.430.949.548.2CoCoGAN73.289.694.761.150.770.247.557.780.267.4E. （sourcedomain，tagetdomain）=（N-domainRTIRTMN （ DM）时尚-MNIST （德、法）NIST（DN）EMNIST（DE）DFDNDEDMDNDEDMDFDMDFZDDA78.590.787.656.657.167.134.139.567.745.5CoCoGAN，不含T66.175.976.349.953.158.735.633.753.032.5CoCoGAN80.192.893.663.461.072.847.043.978.858.4有（G-结构域，C -结构域），（G -结构域，E -结构域）和（G -结构域，N -结构域）.另一方面，我们还将G-域作为一个域，并从其他两个域中转移知识，其中双域对是（C -域，G -域）和（N -域，G -域）。在SEC的四个数据集。5.1涉及三个不同的任务，即数字图像分类、时尚图像分类和字母图像分类。给定RT，我们可以将其他两个中的任何一个作为IRT。NIST和EMNIST分担这项任务，因为它们都由字母图像组成。因此，在我们的实验中，我们不将（NIST，EMNIST）或（EMNIST，NIST）作为有效的（RT，IRT）选项卡. 1列出了不同集合的分类精度-3383东西。可以看出，我们的方法比ZDDA [35]表现得更好以表中的NIST分类为例（1）-D作为一个例子，我们提出的CoCoGAN比ZDDA高出7。IRT为数字图像分析时为9%; 当IRT是时尚图像分析时，0%。比较结果表明，我们的建议确实获得区分表示从RT的目标域数据的基础上，在CoCoGAN学习的表示提取过程此外，该方法比ZDDA有更多的潜在应用，ZDDA的性能在很大程度上取决于IRT中双域样本之间的对应关系。我们提出的CoCoGAN比基线CoCoGAN w/o T高出15。平均6%，表明3384颜色边缘阴性MNISTFashion MNIST为了显示所提出的CoCo-GAN在捕获双域图像的联合分布方面的能力，我们在图1中可视化一些生成的样本4.第一章我们还使用[27]中提出的方法，通过三个步骤评估生成的样本对之间的对应性。第一步生成样本对s（x_r，x_r）的一个序列S tNISTEMNIST基于训练好的CoCoGAN，变量z 第二步产生目标域对应，即：源域放大器的T（xr）S s颜色通过使用第二节中描述的方法， 5.1. 第三步计算nxr和T（xr）之间的平均值。塔金t s边缘阴性图4.由CoCoGAN在C域、E域和N域中生成的不可用目标域图像。这些图像与真实图像具有相同的风格。任务标签分类器使GANt适应RT。在没有任务标签分类器的情况下，生成器g_t和生成器Bf_t两者中的非共享层仅由IRT中的样本训练，并且因此不适合于RT中不可用的目标域数据。为了使它们适用于RT中的目标域数据，我们的CoCoGAN基于两个域之间的相关性更新这些非共享层的参数，即。在这项工作中跨任务的表示对齐。正是这些超级信号引导生成器解码和解码器正确地编码那些不可用样本的低级特征。我们的方法也击败了许多现有的方法，依赖于在训练过程中的目标域数据样本的可用性。 将C-域作为离散域，G -域作为离散域，该方法的精度达到94。7%，但 现 有 技 术 的 准 确 性 是 ： 86 岁 。 7% ， [39] ， 89.5%[17]，94。2%，分别为[37]。表2。将G域视为源域，生成的目标域图像与通过第2节中描述的过程获得的目标域图像之间的平均重叠比率为第5.1节A. E-域中的超分辨率DMDFDNDECoCoGAN，不含T 0.8160.7070.7270.749CoCoGAN0.8730.7860.8030.812B. N域的重叠率DMDFDNDECoCoGAN，不含T 0.8040.7720.7040.733CoCoGAN0.8630.8240.8440.812以灰度图像为源域，Tab.2列出了边缘域和负域中的平均重叠率。重叠率越高，所生成的样本对之间的对应关系由于生成彩色图像涉及随机块采样过程，因此该度量在颜色域中变得无意义。如表 2 所 示 ， 我 们 提 出 的 CoCoGAN 实 现 了 比 基 线CoCoGAN w/o T更高的重叠率，表明提出的监督信号改善了双域样本之间的对应性。6. 结论零炮域自适应是指在训练阶段目标域数据不可用的问题我们提出了一个所谓的CoCoGAN来解决这个问题，将CoGAN扩展到一个条件反射模型。本质上，我们的CoCoGAN由两个GAN组成，以捕获跨两个域和两个任务的数据样本的联合分布。基于RT中的源域数据和IRT中的双域数据来学习RT中的不可见目标域数据的模型。前者提供了看不见的目标域数据的高级概念，后者承载了RT和IRT中两个域之间的共享相关性为了在没有目标域数据的情况下训练CoCoGAN，我们引入了新的监督信号，即跨任务的表示之间的对齐。与文献[35]等方法相比，本文方法不依赖于IRT中样本间的对应关系，因而具有更大的在四个公开数据集上进行了大量的实验，结果验证了本文方法在生成不可用数据样本和提取其表示方面的有效性确认作者希望感谢以下方面的财政支持：（i）中国自然科学基金（NSFC），批准号：61620106008号（ii）深圳市科学研究创新委员会&，批准号：61802266。JCYJ20160226191842793。3385引用[1] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测与分层图像分割。IEEE传输模式分析马赫内特尔，33（5）：898[2] Shai Ben-David ， John Blitzer ， Koby Crammer ， AlexKulesza，Fernando Pereira和Jennifer Vaughan。从不同领域学习的理论。Machine Learning，79：151[3] Konstantinos Bousmalis 、 Nathan Silberman 、 DavidDohan、Dumitru Erhan和Dilip Krishnan。无监督像素级域自适应生成对抗网络。见CVPR，第95-104页。2017年。[4] 陈敏敏，徐志祥，Kilian Q.温伯格和费莎。边缘化去噪自动编码器域自适应。在第29届国际机器学习会议国际会议的会议记录中，ICML[5] 格里戈里奥斯湾Chrysos，Jean Kossaifi，and StefanosZafeiriou.Roc-GAN：鲁棒条件GAN。2019年，在ICLR[6] 格雷戈里·科恩、赛义德·阿夫沙尔、乔纳森·塔普森和安德烈·范·沙伊克。EMNIST：MNIST的扩展，可以手写10个字母. arXiv，2017.[7] 加布里埃拉·楚卡 视觉应用程序的域适应：全面调查。CoRR，abs/1702.05374，2017。[8] 杰夫·弗伦奇，迈克尔·麦凯维奇，马克·费舍尔。用于视觉域适应的自集成。在ICLR，2018年。[9] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无监督域自适应在ICML，第1180[10] 雅罗斯拉夫·甘宁、叶夫根尼娅·乌斯季诺娃、哈娜·阿亚坎、帕斯卡·热尔曼、拥抱·拉罗谢尔、弗兰·科帕索是拉维奥莱特、马里奥·马钱德和维克托·列皮茨基。神经网络的领域对抗J.马赫学习. Res. ，17（1）：2096[11] Timnit Gebru，Judy Hoffman，and Fei Fei Li.在野外的精细识别：一种多任务域自适应方法。在ICCV，第1358-1367页[12] Muhammad Ghifary ， W. Bastiaan Kleijn ， MengjieZhang，and David Balduzzi.用多任务自动编码器进行对象识别的域泛化在ICCV，2015年。[13] Muhammad Ghifary ， W. Bastiaan Kleijn ， MengjieZhang，David Balduzzi，and Wen Li.用于无监督域自适应的深度重建-分类网络在ECCV，2016年。[14] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。NIPS，第2672-2680页2014年[15] ArthurGretton ， Alex Smola ， Jiayuan Huang ， MarcelSchmit-tfull，KarstenBo rgwa rdt，andBernhardScho？l kopf. 通过分布匹配的Co变量移位和局部学习，第131-160页。MIT Press，Cambridge，MA，USA，2009.[16] 帕特里克·格罗瑟和花冈嘉仪Nist特殊数据库19个手写表格和字符数据库。美国国家标准与技术研究所，2016年。[17] Philip Haeusser、Thomas Frerix、Alexander Mordvintsev和Daniel Cremers。关联域自适应。在ICCV，第2784-2792页[18] Seunhoon Hong，Dingdong Yang，Jongwook Choi，andHonglak Lee.推理语义布局的分层文本到图像合成。在CVPR中，第7986-7994页[19] Junlin Hu，Jiwen Lu，and Yap-Peng Tan.深度迁移矩阵学习。在CVPR，第325-333页[20] 放大图片作者：Aditya Khosla，Tinghui Zhou，TomaszMalisiewicz，Alexei A.埃弗罗斯和安东尼奥·托拉尔巴。消除数据集偏差的损害。ECCV，2012年。[21] Elyor Kodirov，Tao Xiang，Zhenyong Fu，and ShaogangGong。无监督域自适应零射击学习。在ICCV，第2452-2460页[22] Piotr Koniusz，Yusuf Tas，and Daughh Porikli.通过二阶或高阶散射张量的混合排列进行域自适应。在CVPR，2017年。[23] 熊谷敦敏和岩田友治。无领域语义描述符的零触发领域自适应。CoRR，2018年。[24] Samuli Laine和Timo Aila用于半监督学习的时间集成在ICLR。2017年。[25] 李达，杨永新，宋易哲，蒂莫西M.医院更深、更广、更艺术的领域概括。InICCV，2017.[26] Ya Li，Xinmei Tian ，Mingming Gong，Yajing Liu ，Tongliang Liu，KunZhang，and Dacheng Tao.通过条件不变对抗网络进行深度域泛化在ECCV，2018。[27] 刘明宇和昂塞尔·图泽尔。耦合生成对抗网络。在NIPS，第469-477页中。2016年。[28] Mingsheng Long ， Yue Cao ， Jianmin Wang ， andMichael I.约旦.使用深度适应网络学习可转移特征。在ICML，第97-105页[29] Mingsheng Long ， Han Zhu ， Jianmin Wang ， andMichael I.约旦. 无监督域自适应与残差转移网络。在NIPS，第136-144页[30] 我是莱奥·博图，我是本吉奥，还有帕特里克·哈夫纳。基于 梯度 的学习 应用 于文档 识别 。IEEE会议 录，1998。[31] Mehdi Mirza 和 Simon Osindero 条 件 生 成 对 抗 网 。CoRR，2014年。[32] 放大图片作者：Marco PiccirilliAdjeroh和Gi- anfrancoDoretto。统一的深度监督域
我的内容管理
展开
