最大切片Wasserstein距离：GAN中的应用及高维图像训练

1最大切片Wasserstein距离及其在GAN中的应用Ishan Deshpande，Yuan-Ting Hu，Ruoyu Sun，Ayis Pyrros< $，NasirSiddiqui<$，Sanmi Koyejo，Zhizhen Zhao，David Forsyth，AlexanderSchwing University of Illinois at Urbana-Champaign<$ Dupage MedicalGroupishan.sd @ gmail.com，{ythu2，ruoyus}@wwwillinois.edu example.com，wwwayis@ayis.orgexample.com，wwwnsiddiqui@gmail.com，{sanmi，zhizhenz，daf，aschwing}@ illinois.edu摘要生成对抗网络（GAN）和变分自动编码器显著提高了我们的分布建模能力，显示出数据集增强，图像到图像转换和特征学习的前景。然而，为了对高维分布建模，顺序训练和堆叠架构是常见的，这增加了可调超参数的数量以及训练时间。尽管如此，距离度量的样 本 复 杂 度 我 们 首 先 表 明 ， 最 近 提 出 的 切 片Wasserstein距离相比，Wasserstein距离具有令人信服的样本复杂性属性。为了进一步改进切片Wasserstein距离，我们分析了它的“投影复杂度”，并开发了最大切片Wasserstein距离，该距离在降低投影复杂度的同时具有引人注目的样本复杂度最后，我们说明了所提出的距离可以轻松地在高达256x256分辨率的高维图像上训练GAN。1. 介绍在过去的几年里，生成建模能力已经改善了tremen-weighting，特别是自从基于深度学习的模型出现以来，如生成对抗网络（GAN）[11]和变分自动编码器（VAE）[17]。GAN和VAE不是从高维分布中采样，而是使用深度网络转换从简单分布中获得的样本。这些模型已被用于数据集增强[31]，图像到图像转换[15，37，21，14，24，29，35，38]，甚至用于推理相关任务的特征学习[9]。GAN及其许多变体将生成建模制定为两人游戏。"生 成 器 “ 创 建 类 似 于 地 面 实 况 数 据 的 样 本 。 A‘discriminator’ tries生成器和迭代器都使用深度网络进行参数化，并通过随机梯度下降进行训练。在其原始公式[11]中，GAN最小化了数据分布与生成器在数据空间中诱导的概率分布之间的Jenson-Shannon散度。已经提出了许多其他变体，它们使用某种发散或积分概率度量来测量分布之间的距离[2，22，12，20，8，7，27，4，26，23，13，30]。当经过精心训练，GAN能够产生高质量的样本[28，16，25，16，25]。然而，训练GAN是困难的GAN的扩展困难可能与一个基本的理论问题有关：样 品 的 复 杂 性 。文 [3] 指 出 ， KL- 散 度 、 Jenson-Shannon距离和Wasserstein距离不能推广，因为当样本数为多项式时，总体距离不能用经验距离来近似。为了提高泛化能力，一种流行的方法是限制神经网络类[3，10]，并将训练过程解释为最小化神经网络距离[3]。在这项工作中，我们提出了一个不同的路径，解决了样本的复杂性问题。Wasserstein距离的指数样本复杂度的根本原因是高维空间中的点的稀疏性即使从同一个球上随机抽取两个点集，这两个点集也会相距我们的直觉是，投影到低维子空间，如一条线，减轻了高维中的人为距离效应，投影样本的距离反映了真实的距离。我们首先应用这种直觉来分析最近提出的切片Wasserstein距离GAN，它基于两个分布沿着几个随机选择的方向的投影版本的平均Wasserstein距离[8，20，34]。我们证明了切片Wasserstein距离对于高斯分布是可推广的（即，它具有多项式样本复杂度），而Wasserstein距离不是，因此部分解释了为什么[8，20，34]可能表现出10648106492比Wasserstein距离更好的行为。切片Wasserstein距离的一个缺点是它需要大量的投影方向，因为随机方向丢失了大量信息。为了解决这个问题，我们建议投影到“最佳方向”上，沿着该方向投影距离最大化。我们称之为相应的度量的“最大切片Wasserstein距离”，并证明它也是高斯分布的推广。使用这个新的指标，我们能够训练GAN从CelebA-HQ [16]和LSUN Bedrooms [36]数据集生成高分辨率图像。我们还在其他分布匹配任务中实现了改进的性能，例如不成对的单词翻译[6]。本文的主要贡献如下：• 我们在SEC进行分析。3.1Wasserstein距离和切片Wasserstein距离的样本复杂度。我们证明，对于某一类分布，Wasserstein距离具有指数样本复杂度，而切片Wasserstein距离[8，34]具有多项式样本复杂度。• 然后我们在SEC学习3.2切片Wasserstein距离的投影复杂度，即，数字如何随机投影方向影响估计。其中，f（Pg，Pd）是（x，y）上所有可能的具有边缘Pg和Pd的联合分布的集合。然而，估计Wasserstein距离并不简单。Arjovsky等人[2]将Kantorovich- Rubinstein对偶性用于Wasserstein-1距离，它指出：W（Pg，Pd）=supEx<$Pg[f（x）]−Ex<$Pd[f（x）]，（3）如果是，则≤1其中上确界是在所有的1-Lipschitz函数f：X →R上。函数f通常通过深网表示，并且已经提出了各种方式来实施Lipschitz约束，例如，[12 ]第10段。虽然基于Wasserstein距离的方法在几个复杂的生成任务中取得了成功，但它们存在不正确估计引起的不稳定性。这背后的原因在[33]中被指出，其中表明Wasserstein距离的估计受到“维数灾难”的影响为了解决 不 稳 定 性 和 复 杂 性 ， [8 ， 20 ， 18 ， 34] 采 用 了Wasserstein-2距离的切片版本，它只需要估计1-d分布的距离，因此更有效。分布P d和P g之间的• 我们引入最大切片Wasserstein距离，Σ∫Wp（Pd，Pg）=Σ1pWp（Pω，Pω）dω、（四）秒3.3解决投影复杂性问题。• 然后，我们使用最大切片Wasserstein距离p d gω∈Ω其中Pω，Pω表示投影（即， 边缘）的Pg，GD在安全局训练GAN 4，证明了切片WassersteinGAN所需的投影方向数量的2. 背景生成建模是从给定的样本数据集D={（x）}学习概率分布的任务，其中样本x是从未知数据分布Pd中提取的。虽然这在传统上是通过镜头看到的，基于似然最大化，GANs将生成建模视为距离最小化问题。更具体地说，这些方法建议通过找到分布Pg来学习数据分布Pd，该分布P g求解：Pd到方向ω上，Ω是单位球面上所有可能方向的集合。Kolouri等人[19]已经证明了切片Wasserstein距离满足非负性、不可逆性、对称性和次可加性的性质。因此，它是一个真正的度量。在实践中，Deshpandeet al.[8]通过使用样本DPd，FPg和有限数量的随机高斯方向来近似分布之间的切片Wasserstein-2距离，用随机选择的一组单位向量的总和代替对α的积分其中，"0"用于指示对单位长度的由于Pg（因此F）被θg隐式参数化，[8]使用以下程序生成：交互式建模：argminD（Pg， Pd），（1）PGminθg1|Ωˆ|ΣW2（Dω，Fω）.（五）ω∈Ωˆ其中D（·，·）是分布之间的某个距离或差Arjovsky等人[1]建议使用Wasser-在GAN公式的上下文中的斯坦距离。分布Pg和Pd之间的Wasserstein-p距离定义为：通过寻找最佳输运映射，可以计算出投影样本Dω和Fω对于1维分布，这可以通过排序[32]来完成，即，p1W 2（Dω，Fω）=1 Σ||Dω- Fω||2,(6)Wp（Pg，Pd）= infγ∈ψ（Pg，Pd）（E（x，y）<$γ[||x−y||]）p，（2）2|D| 我πD（i）πF（i）210650DDωD2D F其中，πD和πF是对前一种情况进行排序的排列。分别为注入的样本集Dω和Fω，即，Dω≤ωπD（2）1999年，|D|）的情况。πD（1）P={N（a，I）|a∈ Rd}。在Eq。（5）当与歧视相结合时tor在高维数据集上表现良好。不是直接处理集合D和F，而是提出将它们变换到一个反向学习的特征空间，分别是hD和hF，其中h由θd隐式参数化，例如，用一张深网。的发生器，参数化θg，最小化在 等 式 （ 1 ） 中 定 义 的 切 片 的 Wasserstein-2 距 离Wasserstein-2。 （4）是P-可推广的，而Wasserstein-2距离W2定义在等式（4）中。（2）不是。证据参见补充材料。□权利要求1意味着对于GAN训练，在一定条件下，最好使用切片Wasserstein距离1minθg|Ωˆ|ΣW2（h ω，h ω）.（七）ω∈Ωˆ因为我们可以用固定的计算预算得到更准确的训练信号。这将导致一个更稳定的discriminator。对抗性特征空间h是通过对真实和虚假数据进行分类的判别器来学习的。该参数可以写为ωT h，其中ωd是逻辑层，并且使用以下公式学习参数：尽管切片Wasserstein距离具有更好的样本复杂度，但当使用有限数量的随机投影方向时，它具有局限性我们将此属性称为然后，我们提出了我们提出的方法，θd，ωdΣ=argmaxln（σ（ωT hxΣ））+ ln（1−σ（ωThx<$））。帮助缓解这个问题。θd，ωdx∈Dx∈F（八）3.2. 切片Wasserstein距离的投影复杂性3. 分析和最大切片距离在本节中，我们将首次分析切片Wasserstein距离与Wasserstein距离的互补性在样本复杂度方面的优势我们讨论了“投影复杂度”是如何然后，我们将展示如何将这些结果用于训练GAN。3.1. Wasserstein距离和切片Wasserstein距离我 们 首 先 展 示 了 在 Wasserstein 距 离 上 使 用 切 片Wasserstein距离的好处具体来说，我们表明，在某些情况下，估计的切片Wasser-stein距离有多项式的复杂性，而Wasser-stein距离没有。为了使这个概念具体化，我们引入我们从一个简单的例子开始，以证明使用等式中定义的W*2的局限性。（4）通过梯度下降学习分布为了分析W ∈ 2的“ 投 影 复 杂 性 ” ， 我 们 使 用 无 限 多 个 样本，但我们只使用无限多个方向ω ∈ Ω 2。具体地，考虑两个d维高斯方程μ，ν恒等协方差设μ=N（0，I）= P d为数据分布，设ν=N（βe，I）=Pg为诱导生成元分布，仅由其均值参数化β是一个固定的单位向量。使用梯度下降法估计μ和ν之间的切片Wasserstein距离，我们的目标是学习β，使得μ=ν。因此，β的更新为β←β−α<$βW<$2（ μ ， ν） ，（9）其中α是学习率。通过将分布投影到随机方向上（因为我们使用无限多个样本）并比较投影来计算切片Wasserstein 距离W2，即，边缘因此，估计距离为定义1考虑R d上的分布族P。称距离dist（·，·）是P-gene可合理化的，如果存在一个多项式g，使得对任意两个分布μ，ν∈P，以及它们的经验系综μμ，νμ，其大小为n=W2（μ，ν）=1|Ωˆ|Σω∈ΩˆW2（μω，νω），（10）g（ d，1/n），n>0，则如下成立：|dist（μ，ν）−dist（μ，ν）|≤100%w.p. 1-多项式l（-D≤。. . ≤D10651n）。有了这个定义，我们可以证明以下结果：其中W2（μ ω，ν ω） Wasserstein距离边际分布μω，νω.注意，每个ω被归一化为单位范数。直觉上，将高斯方程μ、ν投影到任何方向上，而不是E方向上，会使它们看起来比实际上更接近，从而使学习过程变任何1065210的情况。80的情况。60的情况。40的情况。200500一千一千五百二千迭代10的情况。80的情况。60的情况。40的情况。200500 1，000 1，5002，000迭代10的情况。80的情况。60的情况。40的情况。200500一千迭代一千五百两千(a)d= 10（b）d= 100（c）d= 1000图1：使用切片Wasserstein距离和最大切片Wasserstein距离学习d维高斯均值的不同采样策略的均值收敛。图例中的数字表示使用的投影方向21 .一、510的情况。50ππ2(a) 原始分布。（b）特征空间。（c）特征空间中沿不同投影角（以弧度为单位）的Wasserstein-2距离图2：投影仪能够识别重要的投影方向。该函数将图1中的2a至图2b. 在这个新的空间中，如图2所示，分布2c.g iv enω，很容易看出W2（μω，νω）=β|eω|. 因此，β的更新方程为：方向比其他方向更有意义。因此，GAN培训应该从包括这些方向中受益β→β−α1Σ|.|.（十一）比较分布。这个观察激发了我们接下来讨论的最大切片Wasserstein距离|Ωˆ|ω∈Ω对于高维分布，β的更新特别小，因为任何随机单位范数方向ω都以高概率y正交于ε。因此，β→0非常缓慢。我们在图中以经验验证了这种效应1，前-实 验 与 不 同 数 量 的 随 机 投 影 ， 发 现 使 用 切 片Wasserstein距离的结果在非常缓慢的收敛。当分布的维数增加时，这个问题进一步恶化。直观上显而易见的是，上述问题可以很容易地通过选择e轴作为投影方向来解决。这导致更大的更新，从而更快的收敛。这种直觉也得到了经验的验证我们重复同样的学习β的实验，但这次我们仅使用一个投影方向ω=eθ。 这在图中被标记为最大-W2。1.一、通过简单地使用重要的投影方向，我们实现了快速收敛的平均值。考虑到这个例子，很明显，一些项目-3.3. 最大切片Wasserstein距离在本节中，我们将介绍最大切片Wasserstein距离，并说明它解决了我们还证明了最大切片Wasserstein距离与切片Wasserstein距离具有相同的样本复杂度，即，我们并不是以一种利益换取另一种利益。如第二节所述。3.2，包括最有意义的投影方向是有用的。形式上，对于前面提到的μ=N（0，I），ν=N（βe，I）的例子，我们想要使用满足以下条件的方向ωωω=argmax|eω|.（十二）ω∈Ω事实上，沿着这样一个方向比较分布可以证明是一个适当的我们称之为2012年2月 1日，2012年10月，2002 年，100个项目2000年2月，1000人Discrminatormax-W2max-W2鉴别器方向||µ||2||µ||2W22（ω||µ||2010653GGGDDF算法1：训练改进的切片Wasserstein生成器给定：生成器参数θg，鉴别器参数θd，ωd，样本大小n，学习率α1 而θg不收敛，2fori←0tokdo3样本数据{Di}n=Pd，生成的样本{Fi}nP2Pg;i=14计算替代损失s（ωT hD，ωT hF（θ））θg i=15返回L<$s（ωT hD），ωT hF（θ））;6（ω，θd）<$（ω，θd）−α<$ω，θdL;7端8计算最大切片Wasserstein距离max-W2（ωThD，ωThF （θ））9样本数据{Di}n<$Pd，生成样本{Fi}n<$Pg;i=1θg i =110对ω<$ThD和ω<$ThF （θ）进行排序，得到置换πD，πF;Σ11返回L=Gω-ωThF（θ）θ2;我12θg<$θg−α<$θgL;πD（i）πF（i）G213端部定义2设θ是单位球面上所有方向的集合。然后，分布μ和分布ν之间的最大切片Wasserstein-2距离定义为：讨论我们如何在实践中近似最大切片Wasserstein距离。由于我们使用max-W*2，因此与[8]相比，我们能够在所需投影方向的数量方面max-W2（µ，ν）=Σ最大W2（µωω∈Ω2Σ12，νω）.（十三）直观地说，我们希望将数据投影到一个空间中，在这个空间中，真实样本可以很容易地与人工生成的点区分开来。为此，我们与对手合作如以下权利要求所示，可以示出，很容易地，max-W2（·，·）是一个有效的距离。权利要求2等式2中定义的最大切片Wasserstein-2距离（13）是分布之间的明确定义的距离。证据参见补充材料。□我们还可以证明，最大切片Wasserstein分布-Tance具有多项式样本复杂度：权利要求3考虑高斯分布P={N（a，I）|a ∈ Rd}。最大切片的W_（asserstein-2）（max-W_（asserstein-2））距离是P-可推广的.证据 参见补充材料。□由于它是一个有效的度量，我们可以直接使用最大-切片Wasserstein距离学习分布。根据定义，最大切片Wasserstein距离在-人工学习特征空间，即，我们使用的是一个网络的倒数第二层。在这个特征空间中，我们最小化最大切片Wasserstein距离max-W2 。正如本节后面将讨论的那样，找到实际的最大值是很困难的，因此我们求助于近似值。同样，让Pd表示数据分布，让Pg表示感应发电机分布。此外，令判别器表示为ω Th（. 其中ω表示全连接层的权重，h表示FEA。我们真正感兴趣的空间。此外，让hD和hF表示该特征空间中的两个经验分布。然后，我们想解决max-Wω2（hD，hF）=maxW2（hω，hω），（14）ω∈Ω其中，n是所有归一化方向的集合。一般来说，没有简单的方法可以解决ωω= argmaxW（hω，hω），（15）第二节中讨论的局限性。3.2. 但我们注意，最大估计量的使用是必要的，ω∈Ω2D F比传统随机变量的估计更难。在下面的部分中，我们讨论如何估计最大切片Wasserstein距离并将其用于GAN中。即使特征变换h的参数θd是固定的。这是因为在一维情况下计算Wasserstein距离W2（hω，hω）需要排序-D F就像设置。3.4. 最大切片GAN在本节中，我们将讨论使用最大切片Wasserstein距离来训练GAN的方法。我们也10654ing，即，解决一个最小化问题。因此，方程中给出的程序（15）是一个鞍点目标，当假设另一个程序的参数固定时，最大化和最小化都可以精确求解10655DdDF2埃内 埃什昂en-fr 法国-恩恩德德恩恩鲁 鲁恩EN-ZHzh-en[6] -NN79.178.178.1 78.271.369.637.354.330.921.9[6] -CSLS81.783.382.3 82.174.072.244.059.132.531.4最大切片WGAN-NN79.679.178.2 78.571.969.638.458.734.925.1Max-sliced WGAN -CSLS82.084.182.5 82.374.873.144.661.735.331.9表1：无监督的单词翻译。我们在MUSE双语词典[6]上对英语如果我们想联合找到特征变换h和投影方向ω的参数θd，即，如果我们想解决ωω，θω= argmaxW2（hω，hω），（16）ω∈ θd使用基于梯度下降的方法，我们还需要注意目标的有界性。使用正则化经常被证明是棘手的，并且可能需要为每个用例单独调优。为了在联合搜索ω和θ时避免这些困难，我们使用代理函数s并将θ的目标写为：ωτ，θτd=argmaxs（ωThD，ωThF）.（十七）ω∈ θd接近于从区分器的投影方向实现，即， ω。 我们会问：“怎么样？”虽然对数损失和所有其他功能似乎直观，我们提供的特殊情况下的时刻分离器在方程。等式（18）和恒等变换h表示根据最大切片Wasserstein距离的最大次优性：权利要求4对于等式中给出的代理函数s，（18），h是恒等式y，并且如等式（19）中指定的那样计算ωωk。（17），我们得到α（D，F）≤W2（Dω，Fω）≤V=max-W2（D，F）2，对于下界α（D，F）=<$m<$2，其中m=<$D −直观地，并且在类似于max-W*2的精神上，我们希望代理函数s将数据经由h变换到其中hD和hF易于区分的空间中。此外，我们希望ω是最好地分离变换后的真实数据和生成数据的方向。各种替代功能-如方程中指定的对数损失等。（8）、铰链-损失，或力矩分离器与2012年1月我iF i是数据集均值的差值。证据参见补充材料。总而言之，训练用于分类的训练器提供了丰富的特征空间，其可以用于更快的训练。我们注意到，可能会训练机器人以更明确的方式获得这些特征Σ Σs（ωThD，ωThF）=ωThx−ωThx<$（十八）但我们把这个留给未来的研究。x∈D立刻浮现在脑海中x∈F3.5. 最大切片GAN算法我们总结了由此产生的训练过程中Alg。1.一、例如，在对数损失的情况下，ωT h学习对真实和虚假样本进行分类，基本上使用ω对学习的特征表示h执行线性对数回归。如果被训练到最优，则两个分布在神经网络的特征空间h中被很好地分离图中给出了一个示例。二、该传感器采用两种分布，如图所示。2a并训练它们分类。在这样做的过程中，将它们转换到图1所示的特征空间。2b.在这个简单的例子中，我们可以沿着不同的投影方向绘制Wasserstein距离。这在图1中可视化。2c.鉴别器该方向非常接近于特征空间中的投影Wasserstein距离的最大化。此外，在这种情况下，ωε可以近似为ωn-沿ω ω 2方向的分布是有意义的。如果我们计算不同角度投影的Wasserstein-2距离（如图2所示）2c），我们可以看到最大距离是10656它如下进行：在每次迭代中，我们从真分布和假分布中提取一组样本D和F我们针对k次迭代（k是超参数）优化特征变换h的参数θd和ω，以最大化a替代损失函数s（ωT hD，ωThF）。然后我们计算判别器的输出分布之间的Wasserstein-2距离，即， W2（ω<$ThD，ω<$ThF）. 发生器被训练以最小化该距离。在实验中，我们选择h为二进制分类损失。4. 实验在本节中，我们将展示最大切片Wasserstein距离的有效性及其在切片Wasserstein距离上提供的计算优势。我们使用CelebA-HQ [16]和LSUN Bedrooms [36]数据集显示了未配对单词翻译的定量结果[6]以及图像生成任务的定性和定量结果10657(a) Max-sliced Wasserstein GAN(b) 具有100个投影的(c) 具有1000个投影的(d)切片Wasserstein GAN，具有10，000个投影图3：CelebA-HQ生成的样品（256×256）4.1. 没有并行数据的单词翻译我们评估了最大切片GAN在无监督单词翻译任务上的有效性，没有配对/并行数据[6]。这使我们能够定量地比较不同的方法。本实验的设置如下。我们给出了两种语言的词的嵌入，比如X，Y∈Rd。我们想学习一个正交变换W，它将源嵌入X映射到Y，即：在MUSE双语词典[6]上，通过计算k= 1时的检索精度@k来报告单词翻译精度。在测试过程中，测试了1,500个查询，并考虑了目标语言的20万个单词。我们比较了我们的方法与[6]，并在Tab中给出了5对语言的结果。1.一、在选项卡中。1我们的方法与CSLS优于基线在所有测试的语言对。这W*= argminW∈Rd×d，正交||F.||F.（十九）证明了我们的方法与目前建立的GAN框架的竞争力。目前最先进的技术[6]采用类似GAN [11]的对手来学习转 换。因 此，通过 最小化 WX和Y 之间 的Jenson-Shannon发散来学习变换。相反，我们最小化最大切片Wasserstein距离来学习W。我们遵循[6]中的培训方法和评估，4.2. 图像生成在本节中，我们将介绍图像生成任务的结果。使用最大切片Wasserstein距离，我们在CelebA [16]和LSUNBedrooms [36] 数 据 集 上 训 练 GAN ， 用 于 分 辨 率 为256x256的图像。我们与切片Wasserstein GAN [8]进行比较。10658(a) Max-sliced Wasserstein GAN(b) 具有100个投影的(c) 具有1000个投影的(d) 切片Wasserstein GAN，具有10，000个投影图4：从LSUN Bedrooms生成的样本（256×256）每个训练模型生成的样本如图所示。图3和图4。最大切片Wasser-stein GAN的结果如图所示3a和图4a. 我们 用 100 、 1000 和 10000 个 随 机 投 影 训 练 切 片Wasserstein GAN。每一个的结果分别示于图1中。3b，Fig.3c和图3d为CelebA-HQ，在图中。4b，Fig. 4c和图4D为LSUN。仅使用一个投影方向的最大切片Wasserstein GAN即使在使用10000个投影时也能够产生与切片Wasserstein GAN相当或更好的这大大降低了计算复杂性，也减少了模型的内存占用。我们使用了一个简单的扩展流行的DCGAN架构的发电机和稳压器。两个额外的步幅（转置）卷积层被添加到生成器和卷积器中，以扩展到256x256。我们不使用任何特殊的归一化/初始化来训练模型。具体细节见补充资料。5. 结论在 本 文 中 ， 我 们 分 析 了 Wasserstein 和 切 片Wasserstein距离，并基于最大切片Wasserstein距离开发了一种简单而有效的生成对抗网训练策略我们证明了这个距离比Wasserstein距离有更好的样本复杂度，比切片Wasserstein距离有更好的投影复杂度。我们开发了一种方法来近似它使用的替代损失，并分析了一个这样的替代近似误差。经验上，我们表明，讨论的方法是能够学习高维分布。该方法需要的数量级少的投影方向比切片Wasserstein GAN，即使两者在一个类似的距离空间的工作。致谢：这项工作的一部分是由美国国家科学基金会资助的。1718221、Samsung和3M。我们感谢NVIDIA提供用于这项工作的GPU。10659引用[1] M. Arjovsky和L.博图训练生成对抗网络的原则性方法在ICLR，2017。2[2] M. Arjovsky，S.Chintala和L.博图Wasserstein ganICML，2017。一、二[3] S. 阿罗拉河Ge，Y.Liang，T.妈妈和Y。张某生成对抗网中的泛化与均衡。ICML，2017。1[4] D. Berthelot，T. Schumm和L.梅斯开始：边界平衡生成对抗网络。arXiv预印本arXiv：1703.10717，2017. 1[5] N. Bonneel，J. Rabin，G. Pe y re′和H. 普菲斯特河测量的 切 片 和 氡 瓦瑟 斯 坦重 心 。Journal of MathematicalImaging and Vision，2015。2[6] A. Conneau，G.兰普尔，M。兰扎托湖，澳-地Denoyer和H.杰古。无并行数据的字翻译。在ICLR，2018年。二六七[7] R. W. A. Cully，H. J.Chang和Y.德米里斯Magan：Mar-gin adaptation for generative adversarial networks. arXiv预印本arXiv：1704.03817，2017。1[8] I. Deshpande，Z. Zhang和A.施温使用切片瓦瑟斯坦距离的生成建模。在CVPR，2018年。一、二、五、七[9] J. 多 纳 休 山 口Kr aühenbuühl 和 T. 达 雷 尔 。adversarialfeature-ture learning.在ICLR，2017。1[10] S. 费齐角Suh，F.Xia和D.阿谢理解gans：lqg设置。arXiv预印本arXiv：1710.10793，2017。1[11] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在NIPS，2014。1、7[12]I. Gulrajani，F.艾哈迈德，M。阿尔约夫斯基河谷Dumoulin，以及A. 考维尔 改进的瓦瑟斯坦甘斯训练。在NIPS，2017年。 一、二[13] M. Heusel，H. Ramsauer，T.翁特希纳湾Nessler和S. Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。在NIPS，2017年。1[14] X. 黄文Y. Liu，S.Belongie和J.考茨多模态无监督图像到图像翻译。Proc. ECCV，2018。1[15] P. Isola，J.Y. Zhu，T.Zhou和A.A. 埃夫罗斯使用条件对抗网络的图像到图像翻译。在CVPR，2017年。1[16] T. Karras，T. Aila，S. Laine和J.莱赫蒂宁为提高质量、稳定性和变异性而进行的干细胞在ICLR，2017。一、二、六、七[17] D. P.Kingma和M.威林自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。1[18] S.科卢里角E. Martin和G. K.罗德切片-瓦瑟斯坦自动编码器：一个极其简单的生成模型。arXiv预印本arXiv：1804.01947，2018。2[19] S. Kolouri，S. R. Park和G. K.罗德Radon累积分布变换及其在图像分类中的应用。IEEE transactions on imageprocessing，2016。2[20] S. Kolouri湾K. Rohde和H.霍夫曼高斯混合模型的切片在CVPR，2018年。一、二[21] H. Y. Lee，H.Y. Tseng，J.B. Huang，M.K. Singh和M.H.杨通过解纠缠表示实现多样化的图像到图像的翻译。Proc. ECCV，2018。1[22] C.- L. 李伟C. 昌，Y. 郑，Y. Yang和B. Po 'czos。MMD甘：走向更深层次的理解时刻匹配网络.在NIPS，2017年。1[23] Z. Lin，L.赫坦湾Fanti和S.哦Pacgan：两个样本在生成对抗网络中的力量。在NIPS，2018年。1[24] M.- Y. Liu，T. Breuel和J.考茨无监督图像到图像翻译网络。在Proc. NIPS，2017年。1[25] L. Mescheder，A. Geiger和S.诺沃津gans的哪些训练方法实际上是趋同的？在ICML，2018。1[26] Y. Mroueh和T.塞尔古费希尔·甘。在NIPS，2017年。1[27] Y. Mroueh，T. Sercu和V.戈埃尔- 你好均值和协方差特征匹配。arXiv预印本arXiv：1702.08398，2017。1[28] A.拉德福德湖，澳-地Metz和S.钦塔拉使用深度卷积生成对抗网络进行无监督表示学习ICLR，2016年。1[29] A. Royer，K.Bousmalis，S.Gouws，F.伯奇岛莫雷西F. Cole和K.墨菲Xgan：用于多对多映射的无监督图像到图像转换。在arXiv：1711.05139，2017。1[30] T. Salimans ， H. Zhang ， 中 国 古 柏 A. Radford 和 D.Metaxas使用最优传输改进gans。在ICLR，2018年。1[31] A.什里瓦斯塔瓦T.菲斯特岛Tuzel，J. Susskind，W.Wang和R.韦伯通过对抗训练从模拟和无监督图像中学习。在CVPR，2017年。1[32] C. 维拉尼最佳运输：新旧。Springer Science BusinessMedia，2008.2[33] J. Weed和F.巴赫. wasserstein距离中经验测度收敛的锐渐 近 和 有 限 样 本 收 敛 率 。 arXiv 预 印 本 arXiv ：1707.00087，2017年。2[34] J.Wu，Z.黄，W. Li，J. Thoma，and L.范古尔切片瓦瑟斯 坦 生 成 模 型 。 arXiv 预 印 本 arXiv ： 1706.02631 ，2017。一、二[35] Z. Yi，H. Zhang，P. Tan，and M.龚Dualgan：用于图像到图像翻译的无监督双重学习。在procICCV，2017年。1[36] F.Yu ， 中 国 茶 条 A.Seff ， Y.Zhang ， S.宋 ， T.Funkhouser和J.肖。Lsun：使用深度学习构建大规模图像数据集，其中人类处于循环中。arXiv预印本arXiv：1506.03365，2015。二六七[37] J. - Y. Zhu，T.帕克山口Isola和A.A. 埃夫罗斯使用循环一致对抗网络的不成对InICCV，2017. 1[38] J. Y. 朱河，巴西-地Zhang，L.Pathak，T.Darrell，A.A. 埃夫罗斯O. Wang和E.谢克特曼多模式图像到图像的翻译。在Proc. NIPS，2017年。1