非对抗性无监督域映射：解决目标域稳定性问题的新方法

NAM：非对抗性无监督域映射Yedid Hoshen1 and Lior Wolf1，21 Facebook AI Research2特拉维夫大学抽象。最近提出了几种方法，用于在没有先前知识的情况下以对应关系的形式在域之间翻译图像的任务。 现有方法应用对抗学习来确保映射的源域的分布与目标域不可区分，目标域遭受已知的稳定性问题。在一个例外中，大多数情况下，域之间存在一个有效的“循环”关系，这强制执行一对一的在这项工作中，我们引入了一种替代方法：非对抗性映射（NAM），它将目标域生成建模任务与跨域映射任务分开。 NAM依赖于目标域的预先训练的生成模型，并且将每个源图像与从目标域合成的图像对齐，同时联合优化域映射函数。 它具有几个关键优势：更高质量和分辨率的图像翻译，更简单，更稳定的训练和可重用的目标模型。大量的实验验证了我们的方法的优点。1介绍人类在自发类比中思考的能力激发了无监督域对齐的领域，其中在训练集中的样本之间没有对应关系的情况下实现图像到图像的转换。无监督域对齐方法通常通过找到用于在域之间映射图像的函数来操作，使得在映射之后，映射的源图像的分布与目标图像的分布相同。最近成功的方法，例如DTN [28]，CycleGAN [37]和Disco-GAN [14]利用生成对抗网络（GAN）[9]来模拟两个域X和Y的分布。GAN是非常有效的图像生成建模工具，但它们在训练中存在不稳定性，使其使用具有挑战性。不稳定性通常需要仔细选择超参数，并且由于模式崩溃而经常需要多次初始化。现行方法还作出了可能具有限制性的附加假设，例如，DTN假设存在预训练的高质量域特定特征提取器，该提取器对两个域都有效。这个假设对于面域（这是DTN的主要应用）是有利的，但可能不是对所有情况都有效。CycleGAN和DiscoGAN假设转换2Y. Hoshen和L. 狼可以为每个X域图像x找到到唯一Y域图像y的变换TXY，并且在Y域和原始X域图像之间存在另一个变换TYXy=TXY（x），x=TYX（y）.如果实际的映射是多对一或一对多，如在超分辨率或着色中，则这是有问题的。我们提出了一种新的方法，激励跨域匹配。我们将目标域的分布建模问题与源到目标的映射问题分开。我们假设目标图像域分布使用生成模型来参数化。该模型可以使用任何最先进的无条件生成方法进行训练，例如GAN [25]，GLO [2]，VAE [15]或现有的图形或仿真引擎。给定生成模型，我们解决了输入Y域图像和X域之间的无监督匹配问题对于每个源输入图像y，我们合成X域图像G（z，y），并且联合学习映射函数T（），其将图像从X域映射到Y域。使用输入Y域图像上的重建损失来训练合成图像和映射函数。我们的方法与以前的方法完全不同，它具有以下优点：1. 生成模型只需要对每个目标数据集进行一次训练，并且可以用于从所有源数据集映射到该数据集，而无需对抗性生成训练。2. 我们的方法是单向的，并且不假设两个域之间的一对一关系，例如，它不使用循环约束。3. 我们的工作直接连接了无条件图像生成的大量文献和跨域翻译的任务无条件生成架构的任何进展都可以简单地以最小的更改插入。具体来说，我们可以利用最近的非常高分辨率的生成器来获得高质量的结果。2以前的工作无监督域对齐：通过经典方法（如Congealing [22]）成功实现了在没有监督的情况下跨相似域的映射。由于生成对抗网络（GAN）的出现，跨非常不同领域的无监督翻译最近才开始产生强大的结果，并且我们所知道的所有最先进的无监督翻译方法都采用了GAN技术。由于该约束不足以生成良好的翻译，因此当前的方法通过它们施加的附加约束来区分。最常见的约束是循环一致性：强制要求样本从X映射到Y并返回到X，重建原始样本。 这是DiscoGAN [14]，CycleGAN [37]和DualGAN [30]所采用的方法。最近，StarGAN [5]创建了多个循环，用于在多个（两个或更多个）域之间的任何方向上进行映射。生成器接收源图像以及目标域的规范NAM：非对抗性无监督域映射3对于线性映射的情况，正交性具有与循环性类似的效果最近，它被用于计算机视觉之外的几种方法[33，34，6，12]，用于解决在不使用并行语料库的情况下在两种语言之间映射单词的任务通过采用共享潜在空间来提供另一类型的约束。给定来自两个域X和Y的样本，CoGAN [21]学习从随机输入向量z到匹配样本的映射，每个域中有一个。域X和Y被假设为相似的，并且它们的生成器（和GAN域）具有相似的层结构[ 27]。具体地，较早的生成器层是共享的，而顶层是域特定的。可以修改CoGAN以按以下方式执行域转换：给定样本x∈ X，拟合潜在向量z x以最小化由第一生成器GX（z x）生成的图像与输入图像之间的距离X.然后，Y中的类似图像由GY（zx）给出。在[37]中显示，该方法不如基于周期一致性的方法有效。UNIT [20]针对每个域采用编码器-解码器对。假设两者的潜在空间是共享的，并且类似于CoGAN，远离图像的还添加了循环一致性，并使用变分自编码器[16]损失项将结构添加到潜在空间。如上所述，我们的方法不使用对抗性或循环一致性约束。DTN[28]发现使用特定于域的特征进行映射对于某些任务很重要。假设可以找到特征提取器，对于该特征提取器，源和目标将给出相同的激活值。具体来说，它使用面部特定特征将面部映射到表情符号。虽然我们的方法中有一种是使用一个预训练的图像网训练网络进行“预处理”，但这是一种通用的特征提取方法，不是特定于领域的。因此，我们声称我们的方法仍然是无监督的。对于所提出的大多数任务，仅VGG损失不足以恢复两个域之间的良好映射，如ANGAN [11]所示。无条件生成建模：图像分布的生成模型有很多种方法。目前最流行的方法依赖于[15]关于GAN和VAE。基于GAN的方法受到不稳定性的困扰ing训练。提出了许多方法来解决无条件生成的这个问题，例如，[1、10、23]。在跨域映射工作中通常不采用所述修饰。我们的方法在X域中与任何Y域考虑分开地训练生成模型（通常是GAN），并且可以直接受益于无条件图像生成文献中的最新进展。GLO [3]是GAN的替代方案，它迭代地拟合每个图像的潜在向量（从随机“噪声”开始GLO使用4Y. Hoshen和L. 狼重建损失，最小化训练图像和从噪声向量生成的与我们的方法不同的是处理无条件生成而不是域映射。3无GANs的在本节中，我们提出了我们的方法- NAM -无监督域映射。我们的目标是解决的任务，是跨域找到类似的图像假设X和Y是两个图像域，每个图像域具有一些独特的特征。对于每个域，我们给出一组示例图像。目标是为Y域中的每个图像y找到一个类似的图像x，该图像看起来来自X域，但保留了原始y图像的唯一内容。3.1非对抗性精确匹配为了激励我们的方法，我们首先考虑更简单的情况，其中我们有两个图像域X和Y，分别由图像集{xi}和{yi}组成。我们假设这两个集合通过变换T近似相关，并且对于域Y中的每个图像y存在匹配配对图像x，使得T（x）=y。匹配任务变成了两个任务的组合：i）推断两个域之间的变换; ii）找到跨两个域的匹配对。形式上，这变成：ΣΣL=T（I jMij xj），yi（1）其中Mij是包含Mi的匹配矩阵，如果xj和yi匹配，则j= 1，否则为0优化是在变换T（）以及二进制匹配矩阵M两者上。由于该问题的优化是困难的，-W作为可靠的方案[11]。将重新填充存储器上的BinarΣyc满足Mij≥0且jMij= 1的要求随着优化的进行，对M的障碍约束将M的值推到0或1。ANGAN被证明在存在精确匹配的情况下是成功的，并且T（）用CycleGAN获得的合理的好的解决方案初始化3.2非对抗不精确匹配节中在图3.1中，我们描述了在域X和Y中的图像之间存在精确匹配的场景。在大多数情况下，两个域之间不存在精确匹配。在这种情况下，仅仅在域X训练集中找到图像X是不够的，使得对于目标Y域图像y，我们具有y=T（X），因为我们不能希望这样的匹配将存在。相反，我们需要从X域存储结构中提取大小为x的图像。NAM：非对抗性无监督域映射5Fig. 1.给定域X的生成器G和域Y中的训练样本{yi}，NAM联合学习变换T：X→ Y和产生类似于Y中的训练图像的样本{T（G（zi））}的潜在向量{zi}并且在i∈y=T（x~）处。 这可以通过重新调整等式中的时间要求来实现。1.实际上，这将X域中的图像建模为：Σx~=αi xi（2）J这种解决方案在以下几个方面是不令人满意的：（i）X的单纯形模型域不能希望实现一般图像(ii)复杂度与训练图像的数量成二次方，使得训练和评估都非常慢。3.3非对抗映射（NAM）在本节中，我们将前面几节中提出的思想推广到一种有效的方法，用于在没有监督或使用对抗方法的情况下在域之间进行映射。节中在图3.2中，我们表明，为了找到域X和Y之间的类比，该方法需要两个组件：（i）用于X域的分布的模型，以及（ii）域X和Y之间的映射函数T（）。代替SEC的线性单纯形模型。3.2，我们建议对X域分布，其中z是潜在向量。对生成模型G（）的要求是使得对于X域分布中的每个图像x，我们可以找到z，使得x=G（z），并且G（）是紧凑的，即，对于没有z，G（z）将位于X域之外。学习这种生成模型的任务，是几个社区的研究重点在这项工作中，我们不打算对无监督的方法学做出贡献6Y. Hoshen和L. 狼生成建模，而是使用通过先前方法获得的最先进的建模技术，用于我们的生成器G（）。可以用于获得生成模型G（）的方法包括：GLO[2]、VAE [15]、GAN [9]或手动设计的模拟器（例如参见[29]）。在我们的方法中，单域生成式建模的任务与跨域映射的任务完全解耦，这是我们要解决的问题。有了一个更好的X域分布模型，我们现在可以在寻找X和Y之间的合成类比方面取得进展。我们的任务是为每个Y域图像y找到合成的X域图像G（zy），使得当映射到Y域时y=T（G（zy））。因此，任务是双重的：（i）对于每个y，我们需要找到将合成类似的X域图像的潜在向量，以及（ii）需要学习映射函数T（）。因此，该模型可以用公式表示为优化问题，其中目标是最小化Y域的训练图像的重建成本优化是针对潜在码、针对每个输入Y域图像y的唯一潜在码zy向量以及映射函数T（）。正式写法如下：argminT，zy Σy∈BT（G（zy）），y该模型是完全可微的，因为生成模型G（）和映射函数T（）都是由神经网络参数化的上述目标针对z，y和T（）联合优化，但不针对保持固定的G该方法如图所示。1.一、3.4感知损失虽然在第二节中描述的优化。3.3可以实现很好的解决方案，我们发现，引入感知损失，可以显着帮助进一步提高类比的质量。令φ i（）是在i b l o c k的末尾从深度网络提取的特征（我们使用V GG[ 26]）。具体操作如下：Σ，. VGG=<$φi（T（G（zy），φi（y）<$1+<$T（G（zy）），y<$1（4）我最终的优化问题变为：ΣargminT，zyy∈BT（G（zy）），y最近的几篇论文[4，35]发现VGG感知损失给出了感知上令人愉悦的结果。过去有非正式的说法，使用感知损失函数的方法应该算作有监督的。我们声称感知损失不会使我们的方法受到监督，因为VGG网络不是来自我们的域，并且不需要任何新的标记工作。我们的观点是，利用现代特征提取器将有利于一般的无监督学习领域，特别是无监督NAM：非对抗性无监督域映射703.5推理与多重解一旦训练完成，我们现在拥有的映射函数T（）现在是固定的（预先训练的G（）从未作为训练的一部分进行修改）。为了推断新的Y域图像y的类比，我们需要恢复将产生最佳重构的潜在代码zy映射函数T（）现在是固定的，并且在训练之后不被修改因此，通过以下优化进行推断argminzyT（G（zy）），y（6）合成X域图像G（z，y）是我们提出的Y域图像y的解。这个推理过程是一个非凸优化问题。不同的初始化，产生不同的最终类比。让我们表示初始化zt，其中t是解决方案的ID。在针对每个初始化的优化过程结束时，合成图像G（z，t）产生针对任务的多个建议的类比。我们发现G（z0）…G（z T）是非常多样的，而事实上有许多类比是可用的。例如，当X域是鞋并且Y域是边缘时，存在可以导致相同边缘图像的许多鞋。3.6实现细节在本节中，我们将详细描述用于生成本文中所示实验的程序。X域生成模型G（. ）：我们的方法将X域的预训练生成模型作为输入。在我们的MNIST、SVHN和汽车、Edges2（鞋、手提包）实验中，我们使用了具有（32，32，32，100，100）潜在维度的DCGAN[25]在celebA上训练低分辨率人脸图像生成器高分辨率人脸生成器由[13]提供，狗生成器由[32]提供。所有训练生成器的超参数都被设置为它们的默认值。在我们的实验中，GAN非条件生成器提供了比竞争SOTA方法如GLO和VAE更令人信服的结果。映射函数T（. ）：映射函数被设计为足够强大，但不会太大而过拟合。另外，在空间对齐域的情况下，它需要我们选择使用具有基于[4]的架构的网络。我们发现，由于我们只依赖网络来寻找对应关系，而不是生成高保真的视觉输出，因此小型网络是首选。我们使用了与[4]类似的架构，每个尺度有一个单层，每层的滤波器数量从4F开始线性衰减，每层减少F对于SVHN和MNIST，F= 8，对于其他实验，F最佳化：我们使用SGD和ADAM进行了优化[17]。对于所有数据集，我们使用的学习率为0。03，对于潜在代码Zy和0。001用于映射8Y. Hoshen和L. 狼SVHN→MNIST MNIST→SVHN图二、在SVHN和MNIST之间转换数字（双向）。（a）CycleGAN结果（b）NAM结果（c）输入图像。函数T（. ）（由于每个z，y和T（）的不均匀更新速率在所有数据集上，对来自Y域的2000个随机选择的示例（子集）进行较大的训练集并没有更大的帮助，因为每个zy更新的频率较低。生成结果：Y域图像y的X域平移由G（z y）给出，其中z y是在优化中找到的潜在代码。X-Y映射T（X）通常由于为T（X）选择的相对浅的架构而导致较弱的结果。）.强T（. ）可以通过计算一组G（z，y）和y（使用NAM获得）来训练，并且训练全监督网络T（. ），例如由[4]描述在[11]中进行了类似的程序4实验为了评估我们的方法的优点，我们进行了大量的定性和定量实验。SVHN-MNIST翻译：我们在SVHN- MNIST翻译任务上评估了我们的方法。 虽然SVHN [24]和MNIST [18]是简单的数据集，但映射任务并不简单。MNIST数据集由写在黑色背景上的简单手写的单个数字组成。相比之下，SVHN图像是从门牌号中获取的，并且通常不仅包含感兴趣的数字，而且包含相邻数字的部分，这些部分是讨厌的信息。我们翻译在SVHN→MNIST和MNIST→SVHN两个方向上。结果示于图1B中。2.我们可以观察到，在SVHN→MNIST的更容易的方向上，其中存在信息丢失，NAM导致比CycleGAN更准确的翻译。在MNIST→SVHN的相反方向上，由于信息增益，CycleGAN做得更差，而NAM通常是成功的。注意，在MNIST→SVHN翻译任务中未使用感知损失。我们对SVHN的质量进行了定量评价翻译.这是通过将来自一个数据集的图像映射为看起来像另一个数据集，并使用在干净目标数据上训练的预训练分类器对其进行分类来实现的（分类器遵循NIN架构[19]，NAM：非对抗性无监督域映射9表1.翻译质量由翻译的数字分类准确率（%）SVHN→MNIST MNIST →SVHNCycleGAN26.817.7NAM33.331.9并在MNIST上实现了约99.5%的测试准确度，在SVHN上实现了约95.0%的测试准确度）。结果见表。1.我们可以看到，NAM的优越翻译表现在更高的分类准确率上。Edges2Shoes：将边缘映射到鞋子的任务通常用于定性地评估无监督域映射方法。这两个域是由[31]首次收集的一组Shoe图像及其边缘图。边缘图与原始照片级逼真的鞋图像之间的变换是重要的，因为需要对许多信息进行幻觉处理。(a)（b）第（1）款(c)（d）其他事项图三. (a)Edges2Shoes的NAM和DiscoGAN比较。每个三元组示出NAM（中心行）与NAM （中心行）。DiscoGAN （顶行）用于给定输入（底行）。(b)Edges2Handbags的类似可视化。（c，d）针对不同的随机初始化，来自单个源边缘图像（首先示出）的NAM映射。NAM和DiscoGAN结果的示例可以在图1B中看到第3（a）段。NAM生成的类比的更高质量是显而易见的。这源于使用预先学习的生成模型，而不是与映射联合学习，这是困难的，并导致更差的性能。我们也看到翻译导致了更忠实的类比。我们的方法的另一个优点是能够将一个输入映射到许多建议的解决方案。图中示出了两个示例。3（c）和（d）。很明显，所有的解都给出了正确的类比，然而它们给出了正确类比的不同可能性这捕获了边到鞋变换的一对多属性。10Y. Hoshen和L. 狼目标VAE-h VAE-l GLO DCGAN SNGAN目标VAE-h VAE-l GLO DCGAN SNGAN图4.第一章不同发生器的NAM结果比较图五、从包（原始图像-顶部）到鞋的映射的示例结果NAM映射的图像（中心）明显优于DiscoGAN映射的图像（底部）。如在方法描述中提到的，NAM需要高质量的生成器，并且对于更好的预训练的生成器表现更好。在图4中，我们示出了使用以下各项训练的生成器的NAM结果：具有高（VAE-h）和低（VAE-I）正则化的VAE [15]、 GLO [2]、DCGAN [25]和频谱归一化GAN [23]。从实验结果可以看出，NAM在所有情况下都是有效的。然而，对于最好的生成器（DCGAN，谱范数GAN），结果要好得多。Edges2手提包：Edges2Handbags [36]数据集的构建与Edges2Shoes相似。该数据集的样本结果见Fig. 3（b）款。类似于Edges2Shoes：NAM生成的类比比DiscoGAN更吸引人，也更精确。鞋2手提包：DiscoGAN展示的主要功能之一是能够将非常不同的域关联起来。[14]中所示的示例，将手袋的图像映射到语义相关的鞋子的图像，说明了进行远距离类比的能力。在这个实验中，我们表明，NAM能够在手袋和鞋子之间进行类比，从而获得比DiscoGAN更高质量的解决方案为了实现这一点，我们将重建VGG损失替换为NAM：非对抗性无监督域映射11表2. Car2Car根与线性对齐的中位残差偏差（越低越好）。DiscoGAN NAM13.81 1.47a革兰氏矩阵VGG损失，如风格转移[8]中所用。DiscoGAN还使用Gram矩阵损失（从其鉴别器提取特征）。对于这个任务，我们还从G（z）添加了一个跳过连接，因为域在样式丢失下已经是相似的。示例图像可以在图中看到。5. NAM生成的映射图像的卓越质量是显而易见的。更好的质量是使用可解释和良好理解的非对抗性损失的结果，这对于优化是非常直接的。另一种改进的生成式组件可用于“生成”高质量的Car2Car：Car2Car数据集是跨域图像映射的标准数值基线。每个域由一组不同的汽车组成，以-75至75度的角度呈现目标是对准两个域，使得在汽车图像y和映射图像X的取向之间存在简单的关系（通常，X和y的取向应当相等或相反）。图中可以看到NAM和DiscoGAN绘制的一些汽车六、我们的方法在一个更清晰的映射结果。我们还定量地评估映射，通过训练一个简单的回归器在X域中的汽车方向，并比较地面实况方向的y与预测方向的映射图像x。我们使用根中值残差进行评估（因为回归量有时会将-75的方向翻转到75，从而导致异常）。对于car2car，我们使用了从G（z）到输出的跳过连接。结果见Tab。2.我们的方法显著优于DiscoGAN。有趣的是，在这个任务中，在这个任务中，没有必要使用感知损失，简单的欧几里得像素损失足以在这个任务中获得非常高质量的解决方案。作为负面结果，在car 2 head任务上，即汽车图像与不同方位角的不同人的头部图像之间的映射; NAM并没有在汽车和头部的方向之间产生简单的关系，而是在汽车和头部的方向之间产生简单的关系。更复杂的关系。我们对结果的解释是，黑色汽车与头部方向呈负相关，而白色汽车则呈正相关。Avatar2Face：跨域翻译的第一个应用是DTN的面对面化身生成[28]。这是通过使用最先进的面部特征来实现的，并且确保特征被保留在原始面部和输出化身中（f-恒定性）。然而，众所周知，DTN在生成avatar2face时没有产生好的结果，这涉及添加而不是删除信息。由于我们的方法具有多对一的性质，不结盟运动更适合这项任务。图7我们呈现了我们的avatar2face转换的示例图像这是由具有DCGAN的小型生成模型生成的[25]12Y. Hoshen和L. 狼图六、在不同方向的两组汽车模型上映射的示例结果虽然DiscoGAN（底部）确实在一定程度上保留了原始图像（顶部）的方向，但NAM（中心）非常准确地保留了方向和一般汽车属性-尽管目标域包含很少的跑车。见图7。使用NAM将头像（顶部）映射到面孔（底部）的示例结果。架构，使用频谱归一化GAN [23]使用celebA面部图像进行训练。头像数据集是从[29]的作者那里获得的。插入最先进的生成模型：我们的方法的优点之一是映射和生成建模之间的独立性。实际的结果是，任何生成模型，即使是需要数周训练的非常大的模型，都可以毫不费力地插入我们的框架。然后，我们可以非常快速有效地将任何合适的源域映射到它最近在生成建模方面取得了令人惊讶的进展。其中一个最引人注目的例子是GANs的渐进式增长（PGGAN）[13]，它产生了前所未有的分辨率为1024X1024的人脸生成模型。生成模型训练花费了8个GPU的4天时间，并且架构选择非常重要。因此，在无监督域映射网络中包括这种生成模型的训练是非常困难的。难.然而，对于NAM，我们简单地将G（）设置为来自所有代码的训练生成模型。一种通过SGD每图像选择参数的空间形式，将模型输出减少到Avatar比例（我们NAM：非对抗性无监督域映射13（表情符号）（映射的脸）见图8。使用来自[13]选择为64X 64）。我们在图中呈现视觉结果。9.我们的方法是能够找到非常引人注目的类似的高分辨率的脸。使用最先进的域转换方法，按比例放大到这样的高分辨率将是非常重要的。我们提到DTN [28]，用于无监督面部到表情符号映射的最先进方法，在这项任务中尚未成功，即使它使用特定于领域的面部特征。为了展示我们方法的通用性，我们还将化身映射到狗图像。生成器使用StackGAN-v2 [32]进行训练我们将公开发布的代码中经过训练的生成器插入NAM。虽然狗的表情符号比人脸的表情符号要远得多（所有使用的头像都是人脸），但NAM仍然能够找到令人信服的类比。5讨论人类知识获取通常将现有知识与从新领域获得的新知识相这个过程被称为混合[7]。我们的工作（如大多数现有文献）集中在映射过程，即。能够将来自两个领域的信息联系起来，但不处理知识的实际混合。我们认为，混合，即，借用14Y. Hoshen和L. 狼（表情）（映射1）（表情符号2）（图2）（图3）（图3）图9.第九条。从Avatars到Dogs的高分辨率映射，使用[32]中的预训练这两个域创建一个比这两个源更丰富的统一视图将是未来研究的一个非常有力的方向。我们的模型的一个有吸引力的属性，是现有知识的获取和一个新的域的拟合之间的分离预先存在的知识被建模为域X的生成模型，由G给出;拟合过程包括从域X到域Y的学习映射器的优化，以及识别范例类比G（z，y）和y。我们的架构的一个独特特征是，函数T（）从目标（X域）映射到源（Y域），而不是相反。在另一个方向上的映射将失败，因为它可能导致模式崩溃的形式，其中对于固定的z，所有Y样本被映射到相同的生成的G（z）。虽然可以添加额外的损耗项和其他技术来避免这种情况，但模式崩溃在生成系统中是一个挑战，最好完全避免它的可能性。我们所做的映射避免了这个问题。6结论域之间的无监督映射是一种令人兴奋的技术，具有许多应用。虽然现有的工作是目前占主导地位的对抗性训练，并依赖于周期的限制，我们提出的结果，支持其他形式的培训。由于我们的方法与文献中现有的方法非常不同特别地，我们已经能够将低分辨率面部化身图像映射到非常高分辨率的图像。在较低分辨率的基准测试中，我们已经能够实现更具视觉吸引力和定量准确的类比。我们的方法依赖于具有用于X域的高质量预训练的无监督生成模型。我们已经表明，我们可以利用非常高分辨率的生成模型，例如，[13、32]。随着无条件生成式建模领域的发展，NAM的质量和范围也将不断提高。引用1. Arjovsky，M.，Chintala，S.，Bottou，L.：Wasserstein gan arXiv预印本arXiv：1701.07875（2017）NAM：非对抗性无监督域映射152. Bojanowski，P.，Joulin，A.，Lopez-Paz，D.，Szlam，A.：优化生成网络的潜在空间。arXiv预印本arXiv：1707.05776（2017）3. Bojanowski，P.，Joulin，A.，Lopez-Paz，D.，Szlam，A.：优化生成网络的潜在空间。arXiv预印本arXiv：1707.05776（2017）4. 陈 昆 ， Koltun ， V. ： 使 用 级 联 细 化 网 络 的 摄 影 图 像 合 成 。 ICCV（2017）5. 崔，Y.，Choi，M.，Kim，M.，J.W. Kim，S.，Choo，J.：Stargan：用于多域图像到图像翻译的统一生成对抗网络。arXiv预印本arXiv：1711.09020（2017）6. C 〇nneau，A.， 我是说，吉， Ranzatoo，M.， Denoyer，L.， 我走了H ：在没 有 并 行 数 据 的 情 况 下 运 行 。 arXiv 预 印 本 arXiv ： 1710.04087（2017）7. Fauconnier，G.，Turner，M.：我们的思考方式：概念整合与现代汉语的概念整合。02TheDog（2002）8. 洛杉矶的加蒂斯Ecker，A.S. Bethge，M.：使用卷积神经网络的图像风格转换。见：CVPR（2016）9. 古德费洛岛Pouget-Abadie，J.Mirza，M.，徐，B.，沃德-法利，D.，Ozair，S.，C〇urville，A.， Bengio，Y. ：Genertiveadve rsarialnets. ^^ 267210. 古拉贾尼岛Ahmed，F.，Arjovsky，M.，Dumoulin，V.，Courville，A.C.：改进的瓦瑟斯坦甘斯训练。神经信息处理系统进展。pp. 576911. Hoshen ， Y. ， 沃 尔 夫 湖 ： 识 别 跨 领 域 的 类 比 国 际 学 习 表 征 会 议（2018）12. Hoshen，Y.，沃尔夫湖：一种用于无监督词翻译的迭代最近点方法。arXiv预印本arXiv：1801.06126（2018）13. Karras，T.，Aila，T. Laine，S.，Lehtinen，J.：GAN的逐步增长，以提高质量，稳定性和变化。arXiv预印本arXiv：1710.10196（2017）14. 金，T.，Cha，M.，Kim，H.李，J.，Kim，J.：学习发现跨域关系与生成对抗网络。arXiv预印本arXiv：1703.05192（2017）15. 金玛，D.P.，Welling，M.：自动编码变分贝叶斯。ArXiv预印本arXiv：1312.6114（2013）16. 金玛，D.P.，Welling，M.：自动编码变分贝叶斯。统计1050，10（2014）17. Kingma，D. Ba，J.：Adam：随机最佳化的方法。国际学习表征会议（International Conference on Learning Representations，ICLR）（2016）18. LeCun，Y.，Cortes，C.：MNIST手写数字数据库（2010）19. Lin，M.，陈昆，Yan，S.：网络中的网络载于：ICLR（2014）20. Liu，M.Y. Breuel，T.，Kautz，J.：无监督图像到图像翻译网络。 In：AvancesinNeur alInpr o c e s i n g S y s i n g Pr o c e s i n g S ysi ngP r o c e si n gSys i n g S i n gi pp. 70021. L iu，M. 是的， Tuzel、O. ：将一个简单的网络任务合并到一个驱动程序中。 ^^ 46 922. Miller，E.G.，Matsakis，N.E.，Viola，P.A.：通过变换上的共享密度从一个示例中学习。计算机视觉与模式识别，2000年。发布日期。我是一个很好的朋友。 vol. 第1页。 464-471 第一个EEE（2000）23. Miyato，T.，Kataoka，T. Koyama，M.，Yoshida，Y.：生成对抗网络的谱归一化。在：学习代表国际会议（2018）24. Netzer，Y.，王，T.，Coates，A. Bissacco，A.，吴，B.，Ng，A.Y.：使用无监督特征学习读取自然图像中的数字。在：NIPS深度学习和无监督特征学习研讨会（2011）16Y. Hoshen和L. 狼25. Radford，A.梅斯湖Chintala，S.：使用深度卷积生成对抗网络进行无监督表示学习arXiv预印本arXiv：1511.06434（2015）26. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的深度卷积网络。ICLR（2015年）27. 萨 茨 克 弗 岛 Jozefowicz ， 河 Gregor ， K. ， Rezende ， D. ， Lillicrap ， T.Vinyals，O.：有原则的无监督学习。In：ICLR workshop（2016）28. Taigman，Y.，Polyak，A.，沃尔夫湖：无监督跨域图像生成。国际学习表征 会 议 （ International Conference on Learning Representations ， ICLR ）（2017）29. 沃尔夫湖Taigman，Y.，Polyak，A.：参数化化身的无监督创建。在：IEEE计算机视觉和模式识别会议论文集中。pp. 153030. Yi，Z.，张洪，Tan，P.，龚，M.：Dualgan：图像到图像翻译的无监督双重学习。arXiv预印本arXiv：1704.02510（2017）31. Yu，A.，Grauman，K.：与本地学习的细粒度视觉比较。在：CVPR（2014）32. 张洪，徐，T.，Li，H.，Zhang，S.，（1991），中国农业科学院，王，X.，黄，X.，Metaxas，D.：堆栈- gan++：使用堆叠生成对抗网络的真实图像合成。1710.10916（2017）33. 张，M.，Liu，Y.，Luan，H.，孙，M.：无监督双语词典归纳的对抗训练 。 In ： Proceedings ofthe 55th Annual Meeting ofthe Associa-tionforComputinalLinguistics（第1卷：LongPaper s）. vol. 第1页。195934. Zhang，M.， LIU，Y.， Luan，H.， Sun，M. ：Earthmovers d i s t a n c em i z a t i n i m i z a t i m i n a t i m i t i n a t im In：Proceedings of the 2017ConferenceonEmpir icalMethodsinNaturalLanguagePr ocessing. pp. 193435. 张，R.Isola，P.，埃夫罗斯，匿名戒酒会Shechtman，E.，Wang，O.：深度特征作为感知度量的不合理arXiv预印本arXiv：1801.03924（2018）36. Zu，J. 是的， Kr¨ahenb u¨h l，P.， S hechtman，E.， Efros，A. A. ：Generativevis在自然图像流形上的u_i_l_a_ulation。在：欧洲计算机会议V i s io n. pp. 597 - 613 02TheDog（ 2016）37. Zhu，J.Y.，Park，T. Isola，P.，Efros，A.A.：使用周期一致性对抗网络的不成对图像到图像翻译。arXiv预印本arXiv：1703.10593（2017）