图像风格转换的两阶段对等正则化

1用于任意图像风格转换的两阶段对等正则化特征Jan Svoboda1，2，Asha Anoosheh1，Christian Osendorfer1，JonathanMasci11 NNAISENSE，Switzerland2 Universita della Svizzera italiana，Switzerland{jan.svoboda，asha.anoosheh，christian.osendorfer，jonathan.masci}@nnaisense.com摘要本文介绍了一种神经风格传递模型，以一组描述所需风格的示例为条件，生成风格化图像。所提出的解决方案即使在零拍摄设置中也产生高质量的图像，并且允许对内容几何学的改变有更多的自由度。这是通过引入一个新的两阶段对等正则化层，通过自定义图形卷积层重组潜在空间中的风格和内容。与绝大多数现有的解决方案相反，我们的模型不依赖于任何预先训练的网络来计算感知损失，并且可以完全端到端地训练，这要归功于一组新的循环损失，这些损失直接在潜在空间中运行，而不是在RGB图像上。一项广泛的消融研究证实了所提出的损失和两阶段对等正则化层的有用性，定性结果与使用单一模型的当前最新技术水平相比具有竞争力。这为更抽象和艺术化的神经图像生成场景打开了大门，同时也简化了模型的部署。1. 介绍神经风格转移（NST）由Gatys [8]的开创性工作引入，是一个研究领域，专注于转换输入图像（或视频）的视觉外观以匹配所需目标图像的风格的例如，用户可能想要转换给定的照片以看起来好像梵高已经绘制了该场景。NST在深度学习社区中取得了巨大的增长，并涵盖了广泛的应用，例如：转换一天中的时间[43，12]，在艺术品和照片之间映射[1，43，12]，传输面部表情-[17]，转化动物物种[43，12]，等等。尽管他们的流行和经常质量的结果，目前的NST方法是没有限制的。首先，Gatyset al.需要一个新的任务图1.我们的模型是能够采取的内容图像，并将其转换成任意的目标风格，在一个向前的方式。 在该图中， 中间的一张照片被转换成4个不同画家的风格，（左边，从上到下）毕加索，基什内尔，勒里希和莫奈。这意味着对每个执行的传输进行最小化处理，使得它对于许多现实世界的场景是不切实际的。此外，该方法在很大程度上依赖于预先训练的网络，通常是从分类任务中挖掘出来的，已知这些网络是次优的，并且最近被证明偏向于纹理而不是结构[9]。为了克服第一个限制，已经提出了深度神经网络来近似。1381613817在单个前馈步骤中模拟冗长的优化过程，从而使模型适合于实时处理。在这方面值得一提的是约翰逊等人的作品。[15]和Ulyanovet al. [35 ]第35段。其次，当使用神经网络来克服[8]的计算负担时，由于传统模型在将多种风格编码到网络的权重中的能力有限，因此需要为每个期望的风格图像训练模型。这极大地缩小了该方法对于其中风格的概念不能被先验地定义并且需要从示例中推断的用例的适用性。关于这第二个限制，最近的工作试图在特征空间（潜在空间）中分离风格和内容这个家族中最广泛的工作是AdaIN [11]，电影的一个特殊案例[30]。现有技术允许控制应用的风格化的量，在不同风格之间插入，并使用遮罩将图像的不同区域转换为不同风格[11，32]。除了研究用于改进NST的新网络架构之外，研究还产生了更适合训练模型的损失函数。感知损失[8，15]与预先训练的VGG19分类器[33]在此任务中非常然而，这一假设最近在[9]中受到了挑战。Cycle-GAN [43]提出了一种新的周期一致性损失，不需要输入图像和目标图像之间的一对一对应，从而减轻了数据注释的沉重负担。图像风格的传递是一个具有挑战性的问题，因为图像的风格是由两个局部属性（例如：物体的典型形状等）和全局属性（例如，纹理等）。 在过去已经提出的用于对图像的内容和风格进行建模的许多方法中，在较低维度的潜在空间中对信息进行编码已经显示出非常有希望的结果。因此，我们主张在潜在空间中通过像素特征的局部聚集和使用度量学习来分离不同的风格来对这种层次结构进行建模。据我们所知，以前的方法没有明确解决这个问题。在存在风格和内容完全分离的良好结构的潜在空间的情况下，可以通过在输入和调节风格图像之间的潜在空间中交换风格信息来容易地执行传递，而不需要将变换存储在解码器权重中。这种方法与特征标准化无关，并且进一步避免了对相当有问题的预训练模型的需要。然而，图像的内容和风格并不是完全分离的。图像的内容显示几何形状的变化，这取决于它是用什么样式绘制的。再-Cently，Kotovenkoet al. [20]提出了一种对抗环境中的内容转换器块，其中模型分为两个阶段进行训练。首先优化了一种风格转换网络。然后，它被固定，而内容Transformer块被优化，学习说明与给定样式相关的几何变化因此，风格转换分为两个阶段。建模这种依赖性已被证明可以显着改善视觉效果。本文讨论了NST设置，其中样式由一组输入图像外部定义，以允许从任意域转移，并通过引入能够从输入样式图像重组全局和局部样式内容的新颖特征正则化层来解决具有挑战性的零拍摄样式转移场景。它是通过借鉴几何深度学习（GDL）[2]的思想并在潜在空间中的特征映射上对对等点的像素图形进行建模来据我们所知，这是第一个在样式转换场景中成功利用GDL的工作。我们成功地证明了这一点，在一系列的零拍风格转移实验，其产生的结果将是不可能的，如果风格实际上不是从各自的输入图像推断。这项工作通过以下贡献解决了NST模型的上述局限性：• NST的最新方法，使用自定义图形卷积层，在潜在空间中重新组合样式和内容;• 现有损失的新组合，允许端到端训练，而不需要任何预先训练的模型（例如，VGG）来计算感知损失;• 构造内容和风格信息的全局和局部相结合的潜在空间，并通过度量学习对其进行结构化。2. 背景任何NST系统的关键组件都是从图像中建模和提取“风格”（尽管该术语部分是主观的由于风格通常与纹理相关，因此对其建模的自然方法是使用视觉纹理建模方法[39]。这样的方法可以利用纹理图像统计（例如，Gram矩阵）[8]或使用马尔可夫随机场（MRF）[6]建模纹理以下段落提供了[14]介绍的风格转移文献的概述。基于图像优化在线神经方法. Gatyset al. [8]这可能是最具代表性的。在对VGG-19网络中间层的表示进行实验时，作者观察到深度卷积网络能够从任意13818照片，以及一些外观信息的艺术作品。内容由VGG-19的低级层表示，而风格由来自几个更高层的激活的组合表示，其统计使用网络特征Gram矩阵来描述。Li[25] later pointed out that the Gram matrix representationcan be generalized using a formulation based onMaximumMean Discrepacy (MMD). 使 用 具有 二 次 多 项 式核 的MMD给出了与基于Gram矩阵的方法非常相似的结果，同时计算效率更高。Li和Wand [21]介绍了其他基于MRF对贴片进行操作的非参数方法基于模型优化的离线神经方法. 这些技术通常可以分为几个子组[14]。 One-Style-Per-Model方法需要为每个新的目标样式训练一个单独的模型[15，35，22]，这使得它们对于动态和频繁使用来说相当不切实际。 这个家庭的一个显着的成员是乌里扬诺夫等人的工作。[36]引入实例规范化（IN），比批量规范化（BN）更适合于样式传输应用程序。Multiple-Styles-Per-Model方法尝试为每个样式指定少量参数。Dumoulin [5]提出了一种名为条件实例规范化（CIN）的IN扩展，StyleBank [3]学习不同风格的过滤内核，其他作品则将风格和内容作为两个独立的输入[23，40]与我们的方法类似。每个模型的基本样式方法或者以非参数的方式处理样式信息，即，如StyleSwap [4]，或使用汇总统计的参数方式，如自适应实例归一化（AdaIN）[11]。AdaIN在训练过程中不学习全局归一化参数，而是使用风格图像特征的一阶矩统计作为归一化参数。后来，Liet al. [24]介绍了使用白化和着色变换（WTC）的AdaIN变体。ZM-Net [38]提出了一种具有动态实例规范化的转换网络来解决零次传输问题。最近，Avatar-Net [32]提出了使用其他方法。Cycle-GAN [43]在重建图像上引入了周期一致性损失，其提供了非常吸引人的结果，而无需对齐的输入和目标对。但是，它仍然需要每个样式一个模型。该方法在Combo-GAN [1]中得到了扩展，它消除了这一限制并允许实际的多风格传输;然而，这种方法也需要每个风格的解码器。Sanakoyeu等人[31]观察到在图像空间中应用循环一致性损失可能会过度限制风格化过程。他们还展示了如何使用一组图像，而不是一个单一的，以更好地表达艺术品的风格。为了提供关于图像内容的更准确的风格转移，Kotovenko等人，[20]设计了所谓的内容转换器块，这是一个附加的子网络，应该将训练的风格转换模型微调到特定的内容。严格的一致性损失后来被MU-NIT [12]放宽，MU-NIT是UNIT [26]的多模态扩展，它将其置于潜在空间中，为图像重建过程提供更多 自 由 度 。 后 来 ， 同 一 作 者 提 出 了 FUNIT [27] ，MUNIT的几次扩展。为了探索潜在空间中不同风格的解开，Kotovenko等人。[19]提出了一个固定点三元组损失，以便在风格潜在空间中执行度量学习，展示了如何在单个模型中分离两种3. 方法我们工作的核心思想是一种基于区域的机制，它在输入和目标样式图像之间交换样式，类似于StyleSwap[4]，同时保留语义内容。为了成功地实现这一点，风格和内容信息必须很好地分离，解开。我们提倡使用度量学习来直接执行不同风格之间的分离，这已被实验证明，大大减少了解码器中保留的风格相关信息的量此外，为了说明绑定到特定样式的内容中的几何变化，我们将样式转换建模为两阶段过程，首先执行样式转换，然后在第二步骤中相应地修改内容几何形状。这是使用下面呈现的两阶段对等正则化特征重新组合（TPFR）模块来完成的。3.1. 建筑和损失所提出的系统架构如图2所示。为了防止主解码器在其权重中对风格化进行编码，在训练期间使用辅助解码器[7]来独立地优化编码器和解码器的参数。图2中的黄色模块被训练为自动编码器（AE）[29，41，28]以重建输入。相反，绿色模块被训练为GAN[10]，以使用来自黄色模块的编码器生成具有固定参数的输入的风格化版本。两个模块的优化与鉴别器交织在一起。此外，根据Martineauet al.[16]，相对论平均GAN（Ra-GAN）被用作我们的对抗损失公式，它已被证明比传统使用的GAN损失更稳定，并产生更自然的图像。13819Sz样式图2.所提出的架构具有两个解码器模块。黄色的解码器是辅助解码器，而主解码器用绿色表示。虚线表示缺乏梯度传播。现在让我们详细描述我们方法的四个主要构建块1。我们分别表示输入图像、目标图像和伪图像。我们的模型包括生成潜在表示的编码器E（·）、将单个潜在码作为输入的辅助解码器D（·）、将一个潜在码作为输入的主解码器D（·）以及接收两个潜在码的TPFR模块T（·，·）生成潜码表示为zi=E（xi），zt=E（xt）。我们毛皮-C、S分别表示潜码的内容部分和风格部分两个潜在表示之间的距离f是（z）Glob经由小的子网络经历进一步的下采样以生成每个特征图的单个值。辅助解码器。 辅助解码器从其潜在表示重建图像，并且仅在训练期间用于训练编码器模块。它由几个ResNet块组成，后面是分数步长卷积层，用于重建原始图像。损失的灵感来自[31，19]，并由以下部分组成。将表示相同内容的潜在代码拉在一起的内容特征循环丢失：[13]第13话为了让自己的幸福，L=f[E（D（T（z，z）]-（z）]设置并避免梯度爆炸：z轴我t C i C（二）f[d]=1W×H×Ndi，j，+f[E（D（T（zi，zi）C−（zi）C]度量学习损失，强制风格的聚类宽×高i=1j=1潜在表征的一部分：.0的情况。如果di，j1（一）posz样式=f[（zi1）S-（zi2）S]+f[（zt1）S-（zt2）S]di，j=|di,j、| − 0. 5其他阴性Z型=f[（zi1）S-（zt1）S]+f[（zi2）S-（zt2）S]（三）其中d=z1−z2，z1和z2是两个不同的特征L·Z风格posz样式+max（0. 0，µ−L neg）。N通道的嵌入，W×H是空间方向，每一个频道的内容。编码器。用于产生所有输入图像的潜在表示的编码器由用于下采样的几个步进卷积层组成，然后是多个ResNet块。潜码z由两部分组成：内容部分（z）C，其保存关于图像内容的信息（例如，对象、位置、比例等），以及样式部分（z）S，其对呈现内容的样式进行编码（例如，细节级别、形状等）。潜码（z）S的样式分量被进一步分割自动编码器中使用的经典重建损失这迫使模型学习其输入的完美重建：Lidt=f[D（E（xi））−xi]+f[D（E（xt））−xt]。（四）以及潜在循环损失，其强制输入的潜在代码与重构图像的潜在代码相同：L<$zcycle=f[E （ D<$ （ zi ） ） − （ zi ） ]+f[E（D<$（zt））−（zt）]，（5）实验证明它能稳定训练然后，总辅助解码器损耗L_D被定义为：i、jLL=L13820S ss相等地转换为（z）S=[（z）loc，（z）glob]。Here,(z)loc encodesLD=Lzcont+Lz 风格 +Lz周期 +λLidt，（6）每个特征图的每个像素的局部样式信息，而1完整的架构细节见补充材料。其中，λ是重建损失Lidt相对于其余部分的加权重要性的超参数。13821图3.对等正则化的一个步骤是将内容和风格图像的潜在表示作为输入。潜表示的内容部分用于在风格潜空间上诱导图结构，然后用于从风格图像的潜表示重组内容图像的潜表示的风格部分。这导致了一种新型的潜在代码。两阶段对等正则化层执行对等正则化操作两次。在第二步中，交换内容和样式信息的角色。主解码器该网络复制了辅助解码器的架构，并使用两阶段对等正则化特征简化模块的输出（见第3.2节）。在主解码器的训练期间，编码器保持固定，并且解码器使用由以下部分组成的损失函数进行优化首先，解码器广告-并生成一个N×N的预测图。第一个图像是用来区分的，而第二个图像作为风格类的条件。如果两个输入来自相同的样式类，则输出预测理想地为1，否则为0。鉴别器损失定义为：对抗损失：Σ。C= ExiPΣ。Σ2ΣC（xi）−Exf<$QC（xf）−1L基因=ExiPC（xi）−EΣxfC（xf2）+12Σ（七）+ExfΣ（ExiP）C（xi）−C（xf2Σ）− 1）。（十一）+Exf（Exi<$PC（xi）−C（xf）+1），3.2. 两阶段对等正则化特征重组其中P是真实数据的分布，Q是生成的（假）数据的分布，C是判别器。为了加强风格化，保留潜在代码的内容部分，同时重组潜在代码的风格部分以表示目标风格类，我们使用所谓的转移潜在周期损失：国家（TPFR）TPFR模块从PeerNets [34]和图形注意力层（GAT）[37]中汲取灵感，利用内容和样式信息的分离（由公式2和3强制执行）在潜在空间中执行样式传输。对等正则化特征重组分两个阶段完成，如以下段落所述。Lztransf=f[E（D（T（zi，zt）C−（zi）C]+f [E（D（T（z i，z t）S−（z t）S].（八）风格重组。 它接收zi= [（zi）C，（zi）S]，并且zt=[（zt）C，（zt）S]作为输入，并计算k-最近-此外，为了使主解码器学习重建原始输入，我们也采用了经典的重建损失，就像我们对辅助解码器所做的那样：L idt= f [D（T（z i，z i））− x i]+ f [D（T（z t，z t））− x t]。（9）以上综合构成了解码器的主要损耗其中重建损失L idt由也在L idt中使用的相同超参数λ加权。LD=Lgen+Lztransf+λLidt（10）13822Kkqkp（zi）C和（zt）C之间的邻居（k-NN）使用Eu-clidean距离来导出对等点的图。计算图形节点上的注意力系数，并将其用于将（z_out）S的样式部分重组为其最近邻居表示的凸组合。潜在代码的内容部分保持不变，导致：z输出=[（zi）C，（z输出）S]。给定特征图m的像素（zm）C，其k-NN图在所有像素的d维特征图的空间中，考虑所有对等特征图Nk。像素的样式部分（z）S的新值被表达为：ΣK鉴别器。它是一个卷积网络-通过通道接收两个图像的工作（μzm）S=k=1αmnpq（znk）S，（12）13823pqk′pLReLU（exp（a（（zm）C，（znk）C）αmnkpqk=ΣKk′=1pLReLU（exp（a（（zm）CQK，（znk′））））（十三）是任意的，我们选择2只由于有限的计算-的资源。在每个时期，我们随机访问6144张真实照片。 重建识别的权重-其中a（·，·）表示从2D维输入到标量输出的全连接层映射，并且α mnkpqk是注意力分数，其测量特征图n的第qk个像素对特征图m的输出p的重要性。输入要素地图Xm的最终样式分量是其对等像素要素的加权像素平均值定义在样式输入图像上。内容重组。一旦重新组合了风格潜码，就重复类似的过程以根据新的风格信息变换内容潜码。在这种情况下 ， 它 以 输 入 z_out=[ （ z_i ） C ， （ z_out ） S] 和z_t=[（z_t）C，（z_t）S]开始，并且在给定风格潜码（z_out）S，（z_t）S的情况下计算k-NN图.该图与等式12一起使用，以便计算注意力系数并重新组合内容潜码总损失λ=25。0和度量学习的裕度μ=1。在我们所有的实验中。训练图像被裁剪并调整大小为256×256分辨率。请注意，在测试过程中，我们的方法可以对任意的图像进行操作trary大小。4.2.风格迁移来自Sanakoyeu [31]的一组测试图像被风格化，并与图 4 中 的 竞 争 方 法 进 行 比 较 （ 输 入 大 小 为768×768px），以展示给定几种不同风格的内容图像的任意风格化。重要的是要注意，与大多数竞争方法相反，我们的网络不需要对每种风格进行再训练，因此也允许转移以前看不见的风格，例如。图4的第5行中的毕沙罗，其是尚未存在于训练集中的画家。如（zfinal）C.定性结果2，在彩色图像上完成，尺寸512×512，使用以前从未见过的绘画，因此，TPFR模块的输出是新的潜在的代码zfinal=[（zfinal）C，（zout）S]，其重新组合潜在代码的样式和内容部分。4. 实验设置和结果将所提出的方法与最先进的广泛的定性评估进行比较，以支持架构和损失函数的选择，进行消融研究以演示各种组件的作用以及它们如何影响最终结果。仅提供定性比较，因为NST算法未定义标准4.1. 培训[31]收集的数据集的修改用于训练模型。它由代表不同目标风格的13个不同画家的集合和从Places365数据集[42]中选择的相关类别组成，提供真实的照片图像。This gives us 624,077 real photos and 4,430 paintingsin total.我们的网络可以训练辅助解码器，主解码器和解码器的端到端交替优化步骤。用于训练的损失定义为：L=LC+LD+LD，（14）其中C是判别器r，D是主解码器r，D是辅助解码器（见3.1节）。使用ADAM [18]作为优化方案，初始学习率为4 e-4，批量大小为2，对总共图5（b）中显示了训练集中的画家。值得注意的是，我们的方法也可以处理非常抽象的绘画风格，例如Jackson Pollock的风格（图5（b），第3行，风格1）。它激发了这样的主张，即我们的模型可以很好地推广到许多不同的风格，允许零拍摄风格转移。零镜头式转移。为了支持我们关于零拍摄风格转移的主张，我们收集了一些在培训期间没有看到的画家的样本。 特别是，我们收集了萨尔瓦多·达利，卡米尔·毕沙罗，亨利·马蒂斯，卡提加瓦·乌塔马罗和伦勃朗的画作。图5（a）中的评估表明，我们的方法能够解释卡米尔·毕沙罗（Camille Pissarro）绘画风格中的细节我们发现使用上述画家零镜头风格转移的结果非常令人鼓舞。消融研究。我们的解决方案中有几个关键组件，可以使用单个模型和端到端训练进行任意风格转换。在训练过程中抑制它们中的每一个的效果进行了检查，并比较了各种模型的结果，突出了图6中每个组件的重要性。显然，在训练期间使用的辅助解码器是整个方法的核心，因为它防止退化解决方案。我们观察到，直接与主解码器端到端训练编码器不起作用（图1）。6NoAux）。分离200个时代。经过50个epoch，学习率下降线性归零。 请注意，批量的选择可以2更多的结果显示在补充材料。C13824图4.与其他最先进方法的定性比较应该注意的是，大多数比较的方法必须为每种风格训练一个新模型在提供有竞争力的结果的同时，我们的方法使用单个模型执行任意风格的转换进入内容和样式部分的潜在代码允许引入的两阶段样式转移，并且对于考虑样式的对象的形状变化是重要的，例如，Pi- casso（图6NoSep）。两阶段重组提供了更好的推广到各种风格（图。6个NOTS）。在某些情况下，仅执行基于内容特征的样式交换完全失败（例如，图1中的第一行（六）。接下来，对风格潜在空间的度量学习加强了其更好的聚类，并增强了风格化图像中的一些重要细节（图2）。6NoML）。最后但并非最不重要的是，组合的局部和全局风格潜在代码是重要的，以便能够适当地解释边缘和笔触的变化（图1A）。6 NoGlob）。5. 结论我们提出了一种新的神经风格转移模型，该模型减轻了当前最先进方法的各种限制，并且也可以用于具有挑战性的零触发转移设置。这要归功于两阶段对等正则化层使用图卷积来重新组合潜在表示的样式分量，并使用度量学习损失强制分离不同样式，并结合特征空间中的循环一致性。 还引入了一个辅助解码器，以防止退化的解决方案，并执行足够的可变性所产生的样本。其结果是一种最先进的方法，可以进行端到端的训练，而不需要预先训练的模型来计算感知损失，因此解除了最近对NST这种特征可靠性的担忧。更重要的是，所提出的方法仅需要单个编码器和单个解码器来执行任意风格之间的传输，这与需要用于每个输入和目标对的解码器（并且可能是编码器）的许多竞争方法相反这使得我们的方法更适用于真实世界的图像生成场景，用户定义自己的风格。13825(a)零镜头式转移。（b）培训期间看到的风格。图5.我们的方法对以前看不见的风格（左）和训练过程中看到的风格（右）的定性评估。可以观察到，所生成的图像与所提供的目标风格（仅从单个样本推断）一致，显示出该方法的良好泛化能力。图6.消融研究评价了我们方法的不同架构选择。第2行的样式转换的详细信息显示在最右列中。我们的方法是最后一种方法，NoAux在训练过程中不使用辅助解码器，NoSep在TPFR模块的特征交换过程中忽略了潜在空间中内容和风格的分离，并一次性交换整个潜在代码，NoTS只基于内容重组风格特征并保留原始内容特征，NoML不使用度量学习，NoGlob不将风格潜在代码分离为全局当地的一部分。13826引用[1] Asha Anoosheh、Eirikur Agustsson、Radu Timofte和LucVan Gool。Combogan：图像域翻译的无限可扩展性。CoRR，abs/1712.06909，2017。 第1、3条[2] M. M. 布朗斯坦Bruna，Y.LeCun，A.Szlam和P.范德根斯特。几何深度学习：超越了欧盟-加勒比数据。 IEEE信号处理。麦格，34（4）：182[3] 陈冬冬、卢远、廖静、余能海、华刚。Stylebank：神经图像风格传递的显式表示。CoRR，abs/1703.09210，2017。3[4] 田启晨和马克施密特。快速的基于补丁的任意风格转移。CoRR，abs/1612.04337，2016。3[5] Vincent Dumoulin ， Jonathon Shlens ， and ManjunathKud-lur. 对 艺 术 风 格 的 博 学 的 表 现 。 CoRR ，abs/1610.07629，2016。3[6] A. A. Efros 和 T. K. 梁 非 参 数 采 样 纹 理 合 成 。 在Proceedings of the Seventh IEEE International Conferenceon Computer Vision，第2卷，第1033-1038页，第2卷，Sep. 1999. 2[7] Jeffrey De Fauw Sander Dieleman和Karen Simonyan。具有 辅 助 解 码 器 的 分 层 自 回 归 图 像 模 型 CoRR ，abs/1903.04933，2019。3[8] 利昂·A Gatys，Alexander S. Ecker，and Matthias Bethge.艺术风格的神经算法。CoRR，abs/1508.06576，2015年。一、二[9] 放 大 图 片 作 者 ： Robert Geirhos ， Patricia Rubisch ，Claudio Michaelis，Matthias Bethge，Felix A.Wichmann和Wieland Brendel。ImageNet训练的CNN偏向于纹理;增 加 形 状 偏 差 提 高 了 精 度 和 鲁 棒 性 。 2019 年 ， 在ICLR。一、二[10] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在Z. Ghahra-mani，M.威灵角Cortes，N. D. Lawrence和K. Q.Weinberger，编辑，NIPS。2014. 3[11] Xun Huang和Serge J.贝隆吉任意风格的实时传输与自适应实例规范化。CoRR，abs/1703.06868，2017。二、三[12] 黄勋刘明宇Serge J. Belongie和Jan Kautz。多模态无监督图像到图像翻译。CoRR，abs/1804.04732，2018。第1、3条[13] 彼得·J·胡贝尔。 位置参数的鲁棒估计。安数学统计学家。，35（1）：73-101，031964. 4[14] 景永成，杨业洲，冯迅雷，叶静雯，宋明丽。神经风格转移：审查. CoRR，abs/1705.04058，2017。二、三[15] Justin Johnson，Alexandre Alahi，and Fei-Fei Li.实时风格转换和超分辨率的感知损失CoRR，abs/1603.08155，2016。二、三[16] 阿莱克西亚·乔利库-马蒂诺。相对论判别器：标准GAN中缺少的关键元素。CoRR，abs/1807.00734，2018。3[17] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成 器 架 构 ， 用 于 生 成 对 抗 网 络 。 CoRR ，abs/1812.04948，2018。1[18] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。CoRR，abs/1412.6980，2014。6[19] Dmytro Kotovenko、Artsiom Sanakoyeu、Sabine Lang和Bjorn Ommer。内容与风格的分离，便于艺术风格的转换。在IEEE计算机视觉集，第4422三、四[20] Dmytro Kotovenko ， Artsiom Sanakoyeu ， PingchuanMa，Sabine Lang，and Bjorn Ommer.用于图像样式转换的内容转换块。在IEEE计算机视觉和模式识别会议论文集，第10032-10041页，2019年。二、三[21] Chuan Li和Michael Wand。结合马尔可夫随机场和卷积神经网络进行图像合成。CoRR，abs/1601.04589，2016。3[22] Chuan Li和Michael Wand。利用马尔可夫生成对抗网络进行预计算实时纹理合成CoRR，abs/1604.04382，2016。3[23] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.用前馈网络实现多样化纹理合成。CoRR，abs/1703.01664，2017。3[24] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.通过特征变换进行通用样式传递。CoRR，abs/1705.08086，2017年。3[25] 李阳浩，王乃彦，刘嘉颖，侯小迪。揭秘神经风格转移。CoRR，abs/1701.01036，2017。3[26] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。CoRR，abs/1703.00848，2017年。3[27] Ming-Yu Liu，Xun Huang，Arun Mallya，Tero Karras，Timo Aila，Jaakko Lehtinen，and Jan Kautz.少量无监督图像到图像翻译。arXiv预印本arXiv：1905.01723，2019。3[28] Xiao-Jiao Mao，Chunhua Shen，Yu-Bin Yang.图像恢复使用卷积自动编码器与对称跳跃连接。CoRR，2016年。3[29] JonathanMasci ， UeliMeier ， DanCiresouchan ，andJürgenSchmidhuber.堆叠卷积自动编码器的高层次特征提取，第52施普林格柏林海德堡，柏林，海德堡，2011年。3[30] Ethan Perez，Florian Strub，Harm de Vries，Vincent Du-moulin，and Aaron C.考维尔影片：具有一般条件层的视觉推理CoRR，abs/1709.07871，2017。2[31] Artsiom Sanakoyeu，Dmytro Kotovenko，Sabine Lang，and BjoürnOmme r. A风格-AW是实时HD风格传输的内容丢失CoRR，abs/1807.10201，2018。三、四、六[32] 卢胜，林紫怡，邵静，王晓刚头像-网络：通过特征装饰的多尺度零激发样式传递。在CVPR，2018年。二、三[33] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络2015年，国际会议。2[34] 放大图片作者：Jan Svoboda，Jonathan Masci，FedericoMonti ， Michael M. Bronstein ， and Leonidas J.GuibasPeernets ： Exploiting peer wisdom against adversarialattacks.CoRR，abs/1806.00088，2018。513827[35] Dmitry Ulyanov，Vadim Lebedev，Andrea Vedaldi，andVic- tor S.Lempitsky纹理网络：前馈合成纹理和风格化图像。CoRR，abs/1603.03417，2016。二、三[36] Dmitry Ulyanov、Andrea Vedaldi和Victor S. Lempitsky改进的纹理网络：在前馈风格化和纹理合成中最大化质量和多样性。CoRR，abs/1701.02096，2017。3[37] 佩塔尔·维利科维奇，吉勒姆·库库尔，阿兰察·卡萨诺瓦，阿莱·扬德罗·罗梅罗，彼得罗·李奥，和约什·本吉奥.图at-tension网络。CoRR，abs/1710.10903，2018。5[38] Hao Wang ， Xiaodan Liang ， Hao Zhang ， Dit-YanYeung，and Eric P. Xing.Zm-net：实时零拍摄图像处理网络。CoRR，abs/1703.07255，2017。3[39] Li-Yi Wie ， Sylvain Lefebvre ， Vivek Kwatra 和 GregTurk。基于示例的纹理合成的最新技术。In M. Pauly和G. Greiner，编辑，Eurographics 2009 - State of the ArtReports，2009。2[40] 作者：Hang Zhang，Kristin J.丹娜实时传输的多风格生成CoRR，abs/1703.06953，2017。3[41] Junbo Jake Zhao，Michal Mathieu，Ross Goroshin，andYann LeCun.堆叠的什么地方自动编码器。CoRR，2015年。3[42] Bolei Zhou ， Agata Lapedriza ， Aditya Khosla ， AudeOliva，and Antonio Torralba.地点：一个用于场景识别的1000万图像数据库。IEEE关于模式分析和机器智能的交易，40（6）：1452-1464，2017。6[43] Jun-Yan Zhu，Taesung Park，Phillip Isola，and Alexei A.埃夫罗斯使用循环一致对抗网络的不成对图像到图像翻译。CoRR，abs/1703.10593，2017。一、二、三