改进的前馈纹理合成和风格化网络

1改进的纹理网络：前馈风格化和纹理合成中质量和多样性的最大化德米特里·乌里扬诺夫斯科尔科沃科技学院Yandexdmitry. skoltech.ru维克托·伦皮茨基牛津大学Universityofvedaldi@robots.ox.ac.uk斯科尔科沃科技学院lempitsky@skoltech.ru摘要Gatys等人最近的工作，他通过卷积神经网络滤波器的统计特性来表征图像的风格，重新点燃了人们对纹理生成和图像风格化问题的兴趣虽然他们的图像生成技术使用了一个缓慢的优化过程，但最近几位作者提出了学习生成器神经网络，它可以在一次快速向前传递中产生类似的输出。虽然生成器网络很有前途，但与优化生成相比，它们在视觉质量和多样性方面仍然较差。在这项工作中，我们以两种重要的方式推进它们。首先，我们引入了一个实例规范化模块来取代批量规范化，从而显著提高了图像风格化的质量其次，我们通过引入一种新的学习公式来提高多样性，该公式鼓励生成器从Julesz纹理集合中无偏地采样，Julesz纹理集合是由某些滤波器响应表征的所有图像的等价类。这两项改进使前馈纹理合成和图像风格化更接近于通过优化生成的质量，同时保留了速度优势。1. 介绍Gatyset al. [4，5]使用深度神经网络进行纹理合成和图像风格化，效果很好，引起了人们对这一领域的兴趣。在Portilla和Simoncelli [15]的早期工作之后，他们通过匹配应用于参考纹理图像的某些滤波器的响应Gatys等人的创新。使用非线性卷积神经网络滤波器。源代码可在https://github.com/DmitryUlyanov/texture_nets 上 获得(a) 熊猫.（b）（c）(d)样式的（e）（f）图1：哪种熊猫风格化对你来说是最好的？绝对不是变体（b），它是由最先进的算法产生的，这些算法的时间不超过一秒。（e）图片使用优化过程花了几分钟时间生成，但质量是值得的，不是吗？如果您从最右边的两个示例中选择一个，我们将非常高兴，这两个示例将使用我们的新方法进行计算，该方法旨在将基于优化的方法的质量和快速方法的速度相结合。此外，我们的方法能够使用单个网络产生不同的风格化。尽管结果很好，但是，匹配过程是基于局部优化的，并且通常需要相当多的时间（几十秒到几分钟），以便生成单个纹理或风格化图像。为了解决这一缺点，Ulyanovet al. [19] Johnsonet al.[8]建议用前馈生成卷积网络代替优化过程。特别是，[19]引入了纹理网络来生成某种纹理，如[4]，或应用于69246925一个特定的纹理风格到任意的图像，如[5]。一旦经过训练，这种纹理网络以前馈方式运行，比[4，5]的优化方法快三个数量级为这样的速度付出的代价是性能下降。对于纹理合成，[19]的神经网络生成高质量的样本，但这些样本不像[4]的迭代优化方法获得的样本那样多样。对于图像风格化，[19，8]的前馈结果在定性和定量上都比迭代优化差。在这项工作中，我们解决这两个限制通过两个贡献，这两个都超出了本文所考虑的应用程序。我们的第一个贡献（第4节）是一个架构上的改变，它显著地改进了生成器网络.变化是引入了一个实例-规范化层，特别是对于风格化问题，大大提高了深网的性能工作发电机。这一进步显著减少了前馈模型和Gatys等人的原始迭代优化方法之间风格化质量的差距，无论是定量还是定性。我们的第二个贡献（第3节）解决了纹理网络生成的样本的有限多样性为了做到这一点，我们引入了一个新的公式，学习均匀采样Julesz en的生成器[20]。后者是匹配某些过滤器统计的图像的等价类。均匀抽样这一组保证了不同的结果，但是传统上这样做需要慢蒙 特 卡 罗 方 法 [20]; Portilla 和 Simoncelli ， 以 及 因 此Gatys等人，不能从这个集合中采样，而只能在其中找到单个点，可能只有一个点。我们的配方最大限度地减少了所产生的分布和准均匀分布的Julesz合奏之间的Kullback- Leibler分歧。学习目标分解成一个类似于Gatys等人的损失项。减去生成的纹理样本的熵，我们使用非参数估计器[12]以可微的方式估计。我们通过大量的定量和定性实验来验证我们的贡献，包括将前馈结果与基于金标准优化的结果进行比较（第5节）。我们表明，结合，这些想法大大提高了前馈纹理合成和图像风格化的质量2. 背景和相关工作Julesz合奏。非正式地说，纹理是一系列视觉图案，如棋盘或混凝土板，它们共享某些局部统计特征。这一概念首先由Julesz [9]研究，他认为vi-SUAL系统基于某些图像滤波器的平均响应来区分不同的纹理。[20]的工作通过引入Julesz系综的概念将Julesz的思想形式化 在那里，一个图像是定义在离散格点 λ ={1，. . . ，H} × {1，. . . ，W}，并且纹理是这 样 的 图 像 上 的分布p（x）。局部统计量的图像由一组（非线性）滤波器Fl：X × R → R，l= 1，. . . 其中Fl（x，u）表示滤波器Fl在图像x上的位置u处的响应。图像x由滤波器响应的空间平均表征µl（x）=u∈<$Fl（x，u）/|Ω|. 图像被视为如果这些响应与特定的特征值匹配，则会显示特定的纹理。首先，给出损失函数，ΣLL（x）= （μl（x）−μl）2（1）l=1Julesz系综是所有纹理图像T∈X ={x ∈X：L（x） ≤X}近似满足这些约束。由于Julesz系综中的所有纹理在感知上是等价的，因此自然要求纹理分布p（x）在该集合上是在实际应用中，考虑指数分布e−L（x）/Tp（x）=0，（2）e−L（y）/Tdy其中T >0是温度参数。这种选择的动机如下[20]：由于统计数据是根据滤波器响应的空间平均值计算的，因此可以表明，在无限大的晶格的限制下，分布p（x）在Julesz系综外部为零，内部均匀。在这种情况下，EQ。（2）可以认为是具有特定特征滤波器响应的图像上的均匀分布， . . ，µL）。还要注意，纹理完全由滤波器组F=（F1，. . .，FL）和它们的特征响应。 如下面所讨论的，滤波器组通常是固定的，因此在该框架中，不同的纹理由不同的特性μ′给出。最小化生成。对于滤波器组F的任何感兴趣的选择，从等式2采样（2）是相当复杂的，并且经典地由Monte Carlo方法解决[20]。为了使该框架更实用，Portilla和Simoncelli [16]提出通过优化过程x= argmin L（x）。（三）x∈X6926如 果 这 个 优 化 问 题 可 以 解 决 ， 那 么 最 小 化 器 x∈{\displaystyle x ∈ {\displaystyle x ∈{\displaystyle x}就是一个纹理图像。然而，这个过程没有理由从分布p（x）中生成公平的样本。事实上，唯一的原因是EQ。（3）可能不总是简单地返回相同的图像，最优化算法是随机初始化的，损失函数是高度非凸的，并且搜索是局部的。只是因为这个EQ。（3）可以在不同的运行中落在不同的样品上。Simoncelli：不能保证由G生成的样本将是纹理分布（2）的公平样本。在实践中，正如我们在论文中所展示的那样，这些样本实际上往往不够多样化。两个文献[8，19]也表明类似的生成器网络也适用于风格化。在这种情况下，生成器g（x0，z）是内容图像x0和随机噪声z的函数。学习网络g以最小化纹理损失和内容损失的总和：深层过滤器组。构造Julesz系综需要选择滤波器组F。最初，研究人员考虑了明显的候选人：高斯导数滤波器，g= argminGEpx0，p z[L（g（x0，z））+αL]. （g（x0，z），x0）]。（五）Gabor滤波器，小波，直方图等[20，16，21]。最近，Gatyset al. [4，5]证明了即使在训练时，深度卷积神经网络（CNN）也会自动学习更优秀的滤波器用于明显不相关的问题，例如图像分类。在本文中，特别地，我们为L（x）选择了[4]提出的风格损失后者是CNN中深度滤波器响应的经验相关矩阵之间的距离1风格化。Gatys et纹理生成方法al. [4]可以认为是纹理的直接延伸替代神经发生器方法。还有许多其他技术可以使用深度神经网络网络.Julesz分布与[21]的FRAME最大熵模型以及[7]中引入的最大平均离散度（MMD ）概念密切相关FRAME和MMD都观察到概率分布p（x）可以用一组足够丰富的统计量φ α（x）的期望值μ α=Ex p（x）[φα（x）]来描述。 基于这些思想，[14，3]构建生成器神经网络g，目标是最小化统计数据之间存在差异，Portilla的最小化生成技术（3），生成的图像Ni=1 φα（g（zi））/N和统计量av-ΣM西蒙切利[16]。 后来，Gatyset al. [5]证明在一套训练设备i=1φ α（xi）/M。所得可以使用相同技术来生成混合另外两个图像的统计数据，一个用作纹理模板，一个用作内容模板。通过引入第二个损失L来捕获内容。（x，x0），其比较从生成的图像x和内容图像x0提取的深度CNN滤波器的响应。最小化组合损失L（x）+αL。（x，x0）得到令人印象深刻的艺术形象，其中一个定义艺术风格的细节，与内容图像x0融合。前馈发电机网络。尽管与马尔可夫采样技术相比，它的简单性和效率，优化生成（3）仍然相对较慢，并且对于实时应用来说肯定太慢了。因此，在过去的几个月里，一些作者[8，19]提出，学习生成器神经网络g（z），其可以直接将随机噪声样本z∈pz=N（0，I）映射到等式1的局部最小化器。（三）、学习神经网络g相当于最小化目标g（z）= argmin E L（g（z））。（四）gpz虽然这种方法在实践中效果很好，但它与波蒂拉的原始工作一样具有重要的局限性1注意，这样的矩阵是通过对局部非线性滤波器求平均而获得的：这些是神经网络某层中滤波器的外积因此，Gatys等人的风格损失。与EQ的形式相同（一）.网络g被称为矩匹配网络（MMN）。一 个 重 要 的 替 代 方 法 是 基 于 生 成 对 抗 网 络（GAN;[6]）。这种方法与发电机网络g（z），第二主动网络f（·），其尝试在生成的样本g（z），z ∈ N（0，I）和真实样本x∈ p_data（x）之间进行区分。 对抗模型f可以用作所生成的样本的质量的度量，并且用来学习更好的生成器g.GAN很强大，但训练起来并不难。最近，许多研究都集中在改进或扩展GAN上。例如，LAPGAN [2]将GAN与拉普拉斯金字塔相结合，DCGAN [17]针对大型数据集优化GAN。3. Julesz生成网络本节描述了我们的第一个贡献，即一种学习网络的方法，该方法从Julesz系综建模纹理（第2节）中提取样本，这是一个通常由慢速Monte Carlo方法解决的难以处理的问题[21，20]。由Portilla、Simoncelli和Gatys等人推广的逐代优化，更快，但只能在集合中找到一个点，而不是从中采样，具有稀缺的样本多样性，特别是当用于训练前馈生成器网络时[8，19]。在这里，我们提出了一种新的公式，允许训练生成器网络，对Julesz集合进行采样，生成器-6927我以高的视觉保真度以及高的多样性来生成图像。生成器网络[6]映射一个i.i.d. 将噪声向量z<$N（0，I）映射到图像x=g（z），使得x理想地是来自期望分布p（x）的样本。在[19]中，这种生成器已被用于纹理合成，但不能保证学习的生成器g（z）实际上会对一个特定的分布进行采样。这里，我们想从定义在Julesz系综上的Gibbs分布（2）这是一个该方程可以用complex表示为p（x）=Z−1e−L（x）/T，在对抗性学习方案中。虽然这一思想在表面上是相似的，但应用（对Julesz集合进行采样）和实例化（熵项的实现方式）却有很大的不同。学习目标。我们现在准备定义一个目标函数E（g）来学习生成器网络g。这是通过将在一批N个生成的图像上计算的预期损失（7）和熵估计量（9）代入KL散度（6）中来给出的：其中Z=常数e−L（x）/Tdx是一个难以处理的归一化1ΣNE（ g）=1L（g（z））用q（x）表示生成网络g引起的分布。目标是通过最小 化 目 标 分 布 p 和 生 成 器 分 布 q 的 Kullback-Leibler（KL）发散度，使它们尽可能接近N Tii=1Σ-λln min<$g（zi） −g（zj）<$j/=i（十）∫KL（q ||p）=1q（ x）lnq（ x）ZDXp（ x）的 批 本身 是 获得 通过 绘图 N个样本z1，. . .，z n<$N（0，I）的噪声分布。第一项在eq.（10）测量所生成的图像g（z，i）与Julesz系综的接近程度的=ETxq（x）1L（x）+Exq（x）lnq（x）+ln（Z）（六）第二项通过相互比较生成的图像来量化批次中的多样性的缺乏。=ETxq（x） L（x）−H（q）+常数学习损失函数（10）的形式为：因此，KL散度是风格损失L的期望值和生成的分布q的负熵的和。第一项可以通过取期望来估计用随机梯度下降法进行流量优化（新加坡元）。该算法对批次z1，. . .，z n，然后下降梯度：过度生成的样本：1ΣNN埃尔德湖DX系列dg（zi）dθExq（x）L（x）= EzN（0，I）L（g（z））。（七）i=1λ.dg（ zi）Σdg（zj）-（g（z）−g（z））−i（十一）这类似于[11]的重新参数化技巧，ρiijidθdθ也用于[8，19]来构建他们的学习目标。第二项，负熵，是很难估计准确，但简单的估计存在。 在我们 的场 景中特 别吸引 人的是 Kozachenko-Leonenko估计量[12]。 此估计器考虑批次的N个样本x1，. . . ，xn <$q（x）. 对于每个样本，xi，它计算到它最近的邻居的距离ρi，批次：ρ i= min<$x i− x j<$。（八）j/=i距离ρi可以用来近似熵，如下所示：DN其中θ是神经网络g的参数向量，张量图像x已经被隐式向量化，j是图像i在批次中的最近邻居的索引。4. 使用实例规范化进行样式化[19]的工作表明，可以学习高质量的纹理网络g（z），这些网络在Julesz系综中生成图像。他们还表明，可以学习高质量的风格化网络g（x0，z），将固定纹理的风格应用于任意内容图像x0。然而，风格化的问题被发现比纹理生成一个更难。对于程式化H（q） N i=1lnρ i+常数（九）任务中，他们发现从太多的示例内容图像x0（比如超过16个）中学习模型，ΣΣ6928其中D=3WH是图像x∈R3×W×H的分量数.最近提出了一个类似于（6）的能量项在[10]中，用于改善发电机网络的多样性与使用较少数量的这样的例子相比，可以得到定性的结果。一些最显著的错误出现在生成图像的边界上，可能是由于生成器网络中的填充和其他边界效应我们6929我我=他们强调，这些都是学习问题的症状，对于他们选择的神经网络架构来说太难了可以使学习更简单的一个简单观察是，风格化的结果通常不应该取决于内容图像的对比度，而是应该与应用于其的纹理的对比度相匹配。因此，生成器网络应该丢弃内容图像x 0中的对比度信息。我们认为学会抛弃图2：图像风格化中的规范化技术比较从左至右：BN，第一层处的交叉沟道LRN，第一层处的IN，整个IN。通过使用标准CNN构建块来对比信息是不必要的困难，并且最好通过向架构添加合适的层来完成。为了说明原因，让x∈RN×C ×W×H是包含一批N个图像的输入张量。设xnijk表示其nijk，其中k和j跨越空间维度，i是特征通道（即，颜色通道，如果张量是十六岁0十五岁5十五岁0十四岁5十四岁0十三岁5十三岁0批量实例0300060009000 12000迭代十六岁5十六岁0十五岁5十五岁0十四岁5十四岁0十三岁5十三岁0批量实例随机0 50100 150200 250 300迭代RGB图像），并且n是批中图像的索引然后，对比度归一化由下式给出：xnijk−µniynijk=，(a) 前馈历史。(b) 微调历史。2ni1千瓦 ΣHµni=HWxnilm，（十二）l=1m=1(c) 内容（d）StyleNet IN。 （e）微调。21 ΣniHWΣH（xnilm− µni）2.l=1m=1目前还不清楚如何将这样的函数实现为一系列标准运算符，如ReLU和卷积。另一方面，[19]的生成器网络确实包含归一化层，并且精确地批量归一化（BN）层。EQ之间的关键区别批量归一化是后者将归一化应用于整批图像而不是单个图像：xnijk− µi(f)样式的（g）StyleNet BN。（h）微调BN。图3：（a）学习目标作为StyleNet IN和BN的SGD迭代的函数。(b)Gatys等的直接优化。对于这个示例图像，从StyleNet IN和BN的结果开始（d，g）StyleNet实例（d）和批量归一化（g）的结果。（e，h）结果ynijk=√，σ2+σ微调Gatys等。能源1ΣN ΣW ΣHµi=HWNxnilm，（十三）而不仅仅是在输入图像处--图1。第二，说明这样做的好处n=1l=1m=1σ2=1ΣN ΣWHWNΣH（x零）-µ i）2.与BN的另一个相似之处是，每个IN层都遵循-通过缩放和偏置运算符sx+b降低。的差IN层也是在测试时应用的，没有变化，lnL（x）lnL（x）σσ+W6930n=1l=1m=1我们认为，为了程式化的目的，正规化算子的eq。（12）是优选的，因为它可以归一化每个单独的内容图像x0。有些作者称之为层均衡。（12）对比规范化，这里我们将其称为实例规范化（IN），因为我们将其用作对单个实例而不是对整个批次进行操作的批次规范化的直接替代。特别注意，这意味着实例规范化应用于整个体系结构，而BN通常切换为使用累积均值和方差，而不是在批处理上计算它们。IN似乎类似于[1]中针对递归网络引入的层归一化方法，尽管尚不清楚它们如何处理空间数据。和他们一样，IN是一个通用层，所以我们也在分类问题中测试了它。 在这种情况下，它仍然工作得非常好，但不如批处理规范化（例如，AlexNet [13] IN在ILSVRC [ 18 ]上的top-1准确性比AlexNet BN差2- 3%）。6931Content StyleNet IN（ours）StyleNet BN Gatyset al.风格图4：通过将不同的纹理（最右列）应用于不同的内容图像（最左列）获得的样式化结果比较了三种方法：StyleNetIN、StyleNet BN和迭代优化。StyleNet BN类似于[19]和[8]，但在更大的图像上训练（512倍，而[19，8]中的256倍），以便与StyleNet IN进行公平比较。我们比较原始[19，8]在supmat。5. 实验在本节中，在讨论了该方法的技术细节之后，我们使用实例归一化来评估我们的新纹理网络架构，然后研究新公式学习不同生成器的能力。5.1. 技术细节网络架构。在[19，8]中提出的两种生成器网络架构中，我们选择[8]中的剩余架构用于我们所有的风格传输实验。暗示。我们还尝试了[19]中的架构，并观察到我们的方法有类似的改进，但为了方便起见，使用[8]中的方法。如果它配备了批量规范化或IN（例如规范化），我们称之为带后缀BN的StyleNet对于纹理合成，我们比较两种架构：来自[ 19 ]的多尺度全卷积架构（TextureNetV1）和我们设计的具有非 常 大 的 接 收 场 的 架 构 （ TextureNetV2 ） 。TextureNetV 2采用大小为256的噪声向量，首先用两个完全-连接层。然后将输出整形为4×46932输入TextureNetV2λ= 0TextureNetV2λ >0（我们的） TextureNetV1λ= 0图5：由高容量Texture Net V2生成的纹理没有多样性项（等式中λ= 0（10）几乎相同。[19]的低容量TextureNet V1实现了多样性，但有时效果不佳具有多样性的TextureNet V2是两个世界中最好的。图像并使用类似于[17]的分数步幅卷积重复上采样。更多详情请参见补充材料。权重参数。在实际应用中，对于λ >0的情况，方程中的熵损失和纹理损失都很小. （10）应适当加权。由于只有Tλ的值对优化很重要，我们假设λ= 1，并从三个值（5，10，20）中选择T进行纹理合成（我们在不会导致伪影的值中选择较高的值 我们固定T= 10000的风格转移实验。 对于纹理合成，类似于[19]，我们发现在纹理损失通过VGG-19网络返回时对其梯度进行归一化是有用的。 这允许随机优化的快速收敛，但隐含地改变目标函数，并需要调整温度。我们观察到，对于具有平坦闪电的纹理，高熵权会导致图像上的亮度变化。7 .第一次会议。我们假设这个问题可以得到解决，如果使用更聪明的熵估计距离或图像前introduced。5.2. 实例规范化为了评估用实例规范化替换批规范化的影响，我们首先考虑风格化的问题，其中目标是学习生成器x=g（x0，z），该生成器使用噪声z作为“随机种子”将特定纹理风格应用于内容图像x0我们设置λ= 0，生成器最有可能丢弃噪声。图中比较了StyleNet IN和StyleNet BN3 .第三章。面板图3.a示出了作为SGD训练迭代的函数的网络的训练目标（5）。目标函数是相同的，但StyleNet IN收敛速度更快，这表明它可以更容易地解决风格化问题。这通过图（d）和（g）中定性结果由于StyleNets被训练为一次性最小化与Gatys等人的迭代优化相同的目标，它们可用于初始化后一种算法。图（b）示出了应用Gatyset al.优化从它们的随机初始化和两个StyleNet的输出开始。显然，两个网络开始时都比随机噪声更接近最佳值，而IN比BN更接近最佳值。差异在性质上很大：图（e）和（h）显示了通过迭代优化损失进行微调后StyleNets输出的变化，这对IN变体的影响很小，而对BN变体的影响要大得多。类似的结果一般适用。其他示例如图所示。4，其中IN变体远远优于BN，并且更接近由慢得多的6933内容样式StyleNetλ>0StyleNetλ= 0图6：StyleNetV2g（x0，z）在多样性λ>0的情况下进行训练，针对不同的输入噪声z值生成截然不同的风格化。在λ= 0的情况下，当训练足够长的时间时，生成器倾向于忽略噪声通道，从而针对不同的噪声z产生几乎相同的风格化。图7：负面的例子。如果多样性项λ对于所学习的风格太高，则生成器倾向于生成伪影，其中亮度局部改变（斑点）而不是（或者也）改变结构。Gatys等人迭代法StyleNets是在固定大小的图像上训练的，但由于它们是卷积的，因此可以应用于任意大小。在图中，顶部树图像以512×512分辨率处理，底部树图像以512 × 512分辨率处理。汤姆二号1024×1024 总的来说，我们发现，分辨率图像在视觉上产生更好的风格化结果。虽然实例规范化比批量规范化更适合风格化，但对于纹理合成，这两种规范化方法的表现同样出色。这与我们的直觉一致，即IN有助于规范化来自内容图像x0的信息，这是高度可变的，而规范化纹理信息并不重要5.3. 多样性项的影响在验证了基于IN的架构之后，我们现在评估目标函数（10）中基于熵的多样性项的效果。图中的实验。5开始考虑纹理生成的问题。我们比较了新的高容量TextureNetV 2和低容量Tex-tureNetsV1纹理合成网络。低容量模型与[19]相同。 这个网络被用来迫使网络学习一个非平凡的依赖，的学习目标，这是相同的方程。（10）在分集系数λ= 0的情况下，趋于抑制分集。图中的结果5确实是多样的，但有时质量很低。这应该与高容量模型TextureNetV2形成对比：它的视觉保真度要高得多，但是，通过使用相同的目标函数[19]，网络可以像预期的那样学习生成单个图像TextureNetV2具有新的多样性诱导目标（λ >0），是两个世界中最好的，既高质量又多样化。图中的实验。6评估了风格化问题中分歧项的作用。结果与纹理合成的结果相似，多样性项有效地鼓励网络学习根据输入噪声产生不同的结果。纹理和风格化网络的一个困难是必须为每个学习的纹理模型调整熵损失权重λ选择λ太小可能无法学习不同的生成器，而将其设置得太高可能会产生伪影，如图所示。7 .第一次会议。6. 总结本文提出了前馈纹理合成和风格化网络在两个重要方面。它引入了实例规范化，这是一种架构变化，使训练风格化网络更容易，并允许训练过程实现更低的损失水平。它还介绍了一种新的学习公式，用于训练生成器网络从Julesz集合中均匀采样，从而在生成的输出中鼓励多样性。我们表明，这两个改进导致显着的改进- ments生成的风格化的图像和纹理，同时保持生成运行时完好无损。鸣谢。VL得到了俄罗斯联邦教育和科学部的支持（赠款14.756.31.0001）。6934引用[1] L. J. 巴河Kiros和G.E. 辛顿层归一化。CoRR，abs/1607.06450，2016。5[2] E. L. Denton，S. Chintala、A. Szlam和R.费格斯。使用对抗网络的拉普拉斯金字塔的深度生成图像模型在NIPS，第1486-1494页，2015年。3[3] G. K. Dziugaite，D. M. Roy和Z. Ghahramani通过最大平均差异优化训练生成神经网络。见UAI，第258-267页。北京大学出版社，2015. 3[4] L. Gatys，A. S. Ecker和M.贝丝使用卷积神经网络进行纹理合成。神经信息处理系统进展，NIPS，第262-270页，2015年一、二、三[5] L. A. Gatys，A.S. Ecker和M.贝丝艺术风格的神经算法CoRR，abs/1508.06576，2015年。一、二、三[6] I. J·古德费洛 J. Pouget-Abadie， M. 米尔扎 B. 许、D.沃德-法利，S。奥扎尔A. C. Courville和Y.本吉奥。生成性对抗网。在神经信息处理系统（NIPS）的进展中，第2672-2680页三、四[7] A. Gretton，K.M. Borgwardt，M.拉施湾Scho¨lk opf，以及A.杰·斯莫拉。两样本问题的核方法。神经信息处理系统的进展，第513-520页，2006年3[8] J. Johnson，A. Alahi和L.飞飞实时风格转换和超分辨率的 感 知 损 失 。 InComputer Vision - ECCV 2016 - 14thEuropean Conference，Amster-dam，The Netherlands，October 11-14，2016，Proceedings，第二部分，第694-711页，2016年。一二三四六[9] B. Julesz纹理元，纹理感知的元素，以及它们之间的相互作用。Nature，290（5802）：91-97，1981. 2[10] T. Kim和Y.本吉奥。具有基于能量的概率估计的深度定向生成模型。arXiv预印本arXiv：1606.03439，2016年。4[11] D. P.Kingma和M.威林自动编码变分贝叶斯。CoRR，abs/1312.6114，2013。4[12] L. F. Kozachenko和N. N.列奥年科随机向量熵的样本估计。问题信息传输，23（1- 2）：95-101，1987. 二、四[13] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在NIPS中，第1106-1114页，2012年。5[14] Y. Li，K. Swersky和R. S.泽梅尔生成矩匹配网络。在Proc. International Conference on Machine Learning ，ICML，第1718-1727页，2015年。3[15] J. Portilla和E.西蒙切利基于复小波系数联合统计量的参数化纹理模型IJCV，40（1）：49-70，2000. 1[16] J. Portilla和E.西蒙切利基于复小波系数联合统计量的参数化纹理模型IJCV，2000年。 二、三[17] A.拉德福德湖，澳-地Metz和S.钦塔拉使用深度卷积生成 对 抗 网 络 进 行 无 监 督 表 示 学 习 CoRR ，abs/1511.06434，2015。三、七[18]O. 鲁萨科夫斯基Deng，H.Su，J.Krause，S.萨蒂希S.妈Z。Huang，黄背天蛾A.卡帕西A.科斯拉，M。伯恩斯坦A. C. Berg和L.飞飞ImageNet大规模视觉识别挑战。国际计算机视觉杂志（IJCV），115（3）：211-252，2015年。5[19] D. Ulyanov，V. Lebedev，A. Vedaldi和V. S. Lempitsky纹 理 网 络 ： 纹 理 和 风 格 化 图 像 的 前 馈 合 成 。 在Proceedings of the 33nd International Conference onMachine Learning，ICML 2016，New York City，NY，USA，June 19-24，2016，pages 1349-1357，2016。一二三四五六七八[20] S. C. Zhu，X. W. Liu和Y. N.吴基于有效马尔可夫链的纹理系综研究--基于纹理的非色度学理论。PAMI，2000年。二、三[21] S. C. Zhu，Y. Wu和D.芒福德滤波器、随机场和最大熵（FRAME）：纹理建模的统一理论。IJCV，27（2），1998. 3