分离与转换——风格与内容的艺术作品风格化

4422内容与风格的分离与艺术风格的转换DmytroKotov enk o ArtsiomSanako yeu SabineLang B jörnOmmer海德堡图像处理合作实验室，IWR，海德堡大学摘要艺术家很少在他们的整个职业生涯中以一种风格作画。 更常见的是他们改变风格或发展风格的变体。此外，不同风格的艺术品，甚至在一种风格中，对真实内容的描述也不同：毕加索的《蓝色时期》用蓝色的色调展示了一个花瓶，但作为一个整体，他的立体主义作品解构了这个物体。为了产生艺术上令人信服的风格化，风格转换模型必须能够反映这些变化和变异。最近，许多工作旨在改善风格迁移任务，但忽略了解决所描述的观察。我们提出了一种新颖的方法，它捕捉的特殊性和内部的变化和分离的风格和内容。这是通过引入两种新的损耗来实现的：固定点三元组风格损失以学习一种风格内或不同风格之间的细微变化，以及解纠缠损失以确保风格化不以真实输入照片为条件。此外，本文还提出了各种评估方法来衡量这两种损失对最终风格化的有效性、质量和可变性的重要性。我们提供定性的结果来证明我们的方法的性能。1. 介绍风格转移模型以给定艺术品的风格合成真实图像为了达到令人信服的风格化，模型必须保留真实图像的内容，并与所选择的艺术风格非常相似。这就产生了以下问题：“保持内容意味着什么”和“什么特征定义风格”。艺术品展示了不同的内容渲染：虽然有些风格无视内容，如杰克逊·波洛克夏加尔和卢梭的现代绘画将现实转化为舞台上的梦幻般的场景。这些观察得出的结论是，需要更深入地研究艺术风格和内容之间的关系，以获得更好的图像风格化。不过有†compvis.github.io/content-style-disentangled-ST/图1.由我们的网络生成的程式化示例。保罗·塞尚（上）、文森特·梵高（中）、保罗·高更和恩斯特·路德维希·基什内尔（下）。完整尺寸的图片可以在补充材料和我们的项目页面†中找到。没有工具可以衡量艺术家改变内容的程度实际上，这将需要原始内容照片，其显示艺术家在特定艺术品中绘制的确切内容让我们假设相反的场景：想象我们确实有一组照片和一个简单的近似方法4423艺术家的风格化然后，我们给出了内容风格化对的集合，其可以用于解决上述内容变更问题（并且如果我们忽略风格化仍然只是近似而尚未优化的事实因此，如果我们以两种不同的风格对相同内容的照片进行风格化，则结果应该反映出在显示相同内容的同时风格的差异。相反，如果我们使用相同风格但不同内容的图像，我们应该获得相同风格但不同内容的风格化后一种约束保证了风格独立于内容。我们制定这个目标作为一个定点解纠缠损失。最近，人们对风格转换的任务产生了极大的兴趣;现有的作品通过从单个艺术品中提取风格特征来产生风格化的图像[7，13，28，18，10，11]。4，31]或图像集合[24，33]。虽然这些方法再现了给定的风格，但它们缺乏对风格中细微变化的敏感性和对风格的全面以前的模型只学习风格中最主要的视觉线索，而不是学习风格的所有可能的变化然而，艺术家很少在他们的职业生涯中保持一种单一的风格，而是更经常地改变风格或发展它的变体。虽然仍然在印象派风格的工作，莫奈的后期作品显示了更宽松和表现力的笔触相比，早期的绘画由于健康状况下降。为了捕捉这些风格上的小变化，我们需要一个能够模拟这种变化的框架。因此，我们提出了一种新的方法，学习特定的艺术家的风格作为一个单一的实体，并调整风格化的特定例子的风格，通过引入风格的相似性和差异在一个单一的风格。这是通过用两个相似的样式样本对相同的内容进行样式化，并迫使显示相同内容的样式化仍然在样式空间中分开来实现的我们解决这个目标，通过引入一个固定点三重风格的损失。我们提出的第一种方法，提取风格从一组相同的整体风格的例子，但其中有微妙的变化，同时仍然提供了良好的控制风格化。我们做出以下贡献：（i）我们提出了两种新的损失，即固定点解纠缠损失和固定点三元组样式损失，以允许图像的更精细样式化和样式分布的更好覆盖。(ii)此外，我们提供了一种方法来解开艺术品的风格和内容，从而产生艺术上引人注目的风格化和更好的内容保存，如实验部分所示(iii)我们的模型还提供了一个平滑的风格空间，从而允许在一个风格和不同的风格内插。我们还用我们的方法制作了流畅的视频样式;例子可以在我们的项目页面上找到2. 相关工作风格转换方法通过利用从真实艺术品的图像提取的风格信息渲染输入内容图像来生成特定艺术家风格的新图像。Gatys等人[7]首先提出了一种神经风格转移，使用预训练卷积神经网络（CNN）的特征激活之间的成对相关矩阵对图像的风格进行编码。给定单个内容图像和单个参考样式图像，然后通过将内容图像的样式表示与样式图像匹配的迭代优化过程来产生Selim等人[26]进一步扩展了神经风格转移方法[7]，并将其应用于面部肖像。为了实现更快的风格化，其他研究工作使用神经网络[13，10，18，30，17]，其近似于[7]的缓慢迭代算法在一个模型中模拟多种艺术风格Dumoulin等人。[4]提出了一种条件实例规范化，它可以合成不同风格之间的插值[8，12]通过改变颜色，比例和笔画大小对风格化的结果进行了额外的控制。[16]在编码器和解码器之间引入了内容变换模块，以实现内容和样式感知的风格化。他们在照片和风格中使用类似的内容，以进一步学习特定于对象的风格化。现有的风格转换方法大多提取风格表征，从一个单一的艺术作品[7，13，28，18，10，4，17，31]的句子，据我们所知，只有[24，33]从相关样式示例的集合中学习样式。但是，它们无法同时对多个样式建模，缺乏灵活性，并且无法控制样式化过程。相比之下，我们的方法利用丰富的信息，这是在一组非常相似的风格样本从一个风格的图像集合，结合在同一个网络中的多种风格，并提供了一个更细粒度的控制风格化过程。生成模型中的潜在空间学习可解释的潜在空间表示一直是深度学习研究的热点，特别是在生成模型领域[3，21，1]。近年来条件图像合成得到了很大的关注[11，21]。其他研究提出了更多的理论方法，例如[20，3]或最先进的方法，其显示出自然图像[2]和人脸[14，15]的图像合成的良好结果，但需要巨大的计算能力。最近，许多作品都集中在物体形状和外观的解纠缠[6，19，5]。3. 方法我们的初步任务可以描述如下：给定艺术品集合（y，s）Y，其中y是艺术图像44242图2.对具有内容表示cl、c2的一对内容图像和具有样式表示si、s2的一对样式图像执行训练迭代。 在下一步骤中，图像对分别被馈送到内容编码器E_c和样式编码器E_s中。现在我们使用解码器D生成所有可能的内容和样式表示对。得到的图像被再次送入风格编码器Es，以计算共享c2的两个三元组的LFPT−风格|通过将生成的图像的样式表示与样式c1进行比较|s1，c2|s1，c1|s2，c2|s2映射到输入样式图像的样式s1、s2。将得到的图像提供给BHD以计算条件对抗损失Ladv，并提供给Ec以计算风格化c 2之间的差异LFP−content|s2，c1|C1和原始C1，C2。所描绘的两个编码器Es以及两个编码器Ec都是共享的。s是一个风格类标签，xX，我们想学习一个变换G：X−→Y。为了测量映射G近似分布Y的程度，我们引入了一个CJD，其任务是这是为了区分一个真实的样本y∈Y和一个最小化取决于我们确定的目标。首先，我们的目标是通过保留给定绘画的风格类来生成艺术上令人信服的风格化。因此，我们将条件对抗损失公式化如下：生成的样本G（x），其中x∈X。 在我们的框架中，这Ladv：=E（y，s）Y[log（D（y|s））]+任务等效于从照片领域到艺术品领域。就其本身而言，这种方法不会对ExX（y，s）Y[log（1 − D（D（E c（x），E s（y）|（1）原始内容保存，因此可能使照片的原始内容无法识别。为了防止这种情况，我们强制生成的图像与像素域中的风格化图像相似，即通过最小化L2距离G（x）−x2。第二，从样式图像（y，s）和输入内容图像x获得的样式化应该类似于输入内容图像x。因此，我们在输入内容图像x和风格化结果之间强制重建损失：如前所述，我们希望我们的形象是有条件的查询样式图像G（x|y）允许更精细的样式控制。这需要对所生成的图像进行调节L像素：=ExX（y，s）Y[（D（E c（x），E s（y）−x2].（二）输入样式图像y。我们建议通过从样式图像y中提取样式Es（y）来使用样式编码器Es调节输出，然后在该样式向量上调节生成关于无监督和监督域翻译的工作[33，11，22]已经表明，图像到图像翻译的任务可以通过利用编码器-解码器架构来解决。我们定义我们的生成器然而，我们的目标不是简单的像素级类似-输入内容的照片。事实上，这种损失对风格转换任务是考虑到这一点，我们让内容编码器Ec确定哪些特征与内容保存相关以及哪些特征可以被忽略。这是通过使用固定点内容丢失来实现的：作为三个网络的组合：内容编码器Ec，L：= E[E（（D（E（x），E（y）−E（x）2]。解码器D和样式编码器Es。前两者是全卷积前馈神经网络，负责图像生成的任务，后一种网络则进行推理FP−含量xX cc s（y，s）YC2（三）来自图像y的样式向量Es（y）。生成器网络的调节是通过替换实例规范化图层的偏移和比例参数来执行的[29]第29话我的秘密决定哪些损失应该虽然这些损失足以获得令人信服的由于针对一个特定艺术家的风格化，它们不适合于训练能够将针对多个艺术家的风格化合并在单个网络内的模型我们在Tab的消融术2表明，这些损失不支持该模型是易感的4425查询样式图像中的细微样式变化，即使示例取自相同的样式。另一个问题是，如果模型只使用这三种损失进行训练，它会无意中影响输入内容的风格化为了克服这一点，我们引入了两个额外的损失，这是新颖的风格转移的任务：一个固定点三重风格损失和固定点解纠缠损失。3.1. 不动点三重态损失如果目标是上面定义的三个损失1、2和3的加权组合，则我们立即观察到风格编码器Es仅由条件对抗性损失通过学习将（Es）的值域划分为不同的地区因此，我们不能强制编码器学习显示连续的样式表示的平滑空间。这取决于照片的内容目标，而不仅仅取决于样式目标。为了分离这两个特征，有必要使目标样式独立于目标内容。这可以通过最小化以下损失来实现：E [E s（D（E c（x1），E s（y）−E s（D（E c（x2），Es（y）2]。（六）然而，这种损失过于严格，阻碍了模型的成功训练因此，我们软化了约束：而不是最小化它，我们只是使用固定点风格的损失LFP−风格从顶部绑定它。 将这种损失降到最低通过减少LFPT−型损耗。因此，我们也是小-mize6.总之：对于输入样式样本（y，s）Y和两个随机照片x1，x2X，我们定义定点解纠缠损失LFPD：不同风格之间的过渡和单一风格内的明显过渡。为了缓解这一点，我们引入固定点三重丢失：LFPD =Ex1，x 2X（y，s）Y最大0，LFP−style：=ExX[Es（s）−Es（D（Ec（x），Es（s）2]，Es（D（Ec（x1），Es（y）−Es（D（Ec（x2），Es（y）<$2−2Σ（y，s）Y（四）<$E s（D（E c（x1），E s（y）− E s（y）<$。（七）它类似于在3中定义的LFP−内容。 损失强制网络保留输入样式。无论它显示当相同样式（yi，s），（y2，s）Y的视觉上非常不同的示例被映射到相同点上时，即Es（yi）≡Es（y2）;导致相同的样式化D（Ec（x），Es（yi））≡D（Ec（x），Es（y2）），与上述类似的行为。这一推理可形式化如下：首先，我们希望样式化类似于样式空间中的输入样式示例。第二，由不同的风格获得的风格化在风格表征空间中也必须是遥远的。 这类似于三重丢失广泛用于度量学习[25，9]。在我们的情况下，对于样式示例（y1，s1）、（y2，s2）Y和内容照片xX，锚 是 编 码 样 式 Es （ y1 ） ， 正 样 本 是 Es （ D （ Ec（x），Es（y1），负样本是E s（D（E c（x），E s（y1LFPD针对样式表示中太大的扰动惩罚模型：如果给定样式向量s=Es（y），则两个样式化的样式差异为大于风格化与原始风格的差异与定点三元组丢失的主要区别在于，后者防止不同的风格化折叠成相同的风格，而定点解纠缠丢失减轻了内容图像对所得到的风格化的影响。3.3. 培训和模型架构我们总结了所有上述损失，给出了损失权重λadv， λ像素， λFP−含量， λFPT−型，λFPD以产生复合损失L。我们用它作为决赛判别器-生成器极大极小博弈的目标：最小最大L *。详细的模型架构和培训Es（D（Ec（x），Es（y2）。对于余量r，我们de-G D对样式的固定点三重丢失进行微调LFPT−style：=ExX（y1，s1），（y2，s 2）Y最大0，补充材料中提供了步骤说明4. 实验4.1. 风格化评估r+<$Es（y1）−Es（D（Ec（x），Es（y1）<$2−E s（y1）− E s（D（E c（x），E s（y2）3.2.解缠损失（五）风格化图像的质量以及艺术风格的表现可以通过几种方式来衡量我们用四种不同的方法评估性能，1：专家偏好率我们首先使用选项卡中列出的不同方法以一位艺术家的风格1.一、图像内的内容可以指示样式。例如，特定的衣服可能暗示绘画的时间和风格。因此，内容和风格是纠缠在一起的。生成的样式化也是有条件的4426在第二步中，我们从所有风格化的图像中切出相同大小的补丁然后，我们向艺术史专家展示不同的补丁，让他们选择最能代表各自艺术家风格4427图3.保罗·塞尚（第2列）和文森特·梵高（第6列）的给定风格样本之间的插值放大的区域表明，我们的方法不仅模仿颜色，而且轮廓和纹理的风格。我们的项目页面上提供了视频插值然后，我们测量每种方法的首选频率专家的欺骗率。专家欺骗率采用与先前实验中描述的我们再次向艺术史学家展示了一组从程式化图像中裁剪出来的补丁不过这次我们添加了一个补丁从一个真正的艺术家的作品;我们计算艺术历史学家将一个补丁识别为来自真实艺术品而不是风格化图像的次数。非专家欺骗率。与针对专家欺骗率所描述的评估相同的评估使用非表1.在图像块上测量风格化的吸引力（越偏好率衡量的是艺术史学家对特定风格化技术的偏好程度。感知率指示程式化补丁分别欺骗观看者、专家和非专家的频率分数是10种不同风格的平均值维基艺术测试给出了测试集真实艺术作品的准确性。一个程式化的图像是由[24]引入的：一个程式化的图像[24]第二十四话0.4500.0500.1220.329被呈现给一个网络，该网络在艺术家类上进行了训练化给定一幅风格化的图像，欺骗率是预先训练的网络预测艺术家使用Wikiart test照片0.6260.0030.497-0.599---正确的风格化。由于以下原因，该实验是在补丁而不是全尺寸图像上执行的：内容图像是来自Places365数据集的照片[32]。几乎每一幅图像都包含着明确地指向我们这个时代的细节，即：汽车火车运动鞋或者手机因此，当人类发现这些对象时，可以很容易地将图像识别为不是真实的绘画通过从风格化的图像中裁剪出补丁，我们显著地减轻了这种影响。我们对10位不同的艺术家进行了所有实验，并在Tab中总结了平均结果1.一、从表中我们可以得出结论，我们的模型显著优于最先进的AST模型[24]。还要注意的是，艺术史专家的欺骗率高于非专家的欺骗率，因为后者部分由计算机VI组成。学生-因此他们更善于发现生成模型的典型伪影。补充材料提供了关于评价的更多细节。4.2. 风格与内容我们引入不动点解缠损失来解缠的形式和内容。为了测量缠结，我们提出以下两个实验。风格差异。我们的模型是能够保持良好的风格细节的内容目标照片的变化独立。为了验证这一点，我们首先测量所选风格的真实艺术作品中的平均风格变化，其被表示为一系列的艺术品S。为了测量，我们采用用于艺术家分类E~s[24]和方法欺骗非专家率欺骗率欺骗率偏好率CycleGan 0.130 0.025 0.032 0.012WCT [18] 0.023 0.035 0.002 0.011AdaIn 0.061 0.032 0.022 0.021没有受过艺术史训练的专家Johnson等人0.0800.0160.0030.014欺骗率。 这种评估质量的方法基于补丁Gatys等人0.0630.2510.1350.0940.0100.0690.0300.148我们0.5620.1820.2400.4864428S˜SC˜CC˜C˜FC˜˜FCCC图4.哪一个补丁是从一个真正的绘画，哪一个从一个程式化的图像？每一行包含几个真实的面片。 样式（从上到下）：塞尚高更莫里索梵高莫奈。解决方案可以在最后一页找到。从真实艺术品s∈ S中提取第一全连接层的激活，由Efc（s）表示。最后，这允许我们近似风格S的风格变化的分布，其中图5.内容对风格的影响：我们采用两个不同的内容图像，使用相同的风格示例和度量标准对它们进行EuclideandistanceofEfc（·）actions（seeSec. 4.2）。TheEXperi-对所有内容对和不同样式示例重复分段以获得样式距离分布。该实验针对具有（蓝色）和不具有（绿色）解缠结损失的模型进行。作为参考，我们计算不同艺术品（红色）的激活之间的分布。内容的变化。因此，我们测量Efc（·）空间中最近邻之间 的 内 容 相 似 性 并 绘 制 分 布 。 令 Ci 表 示 类 别 i 的ImageNet照片的数据集。然后是内容在E~fc（·）空间中来自ImageNet集合的最近邻居之间的相似性是：{E~s（s1）−E~s（s2）2|s1，s2∈S}.（八）然后，我们测量我们的风格化图像的风格变化，给定独特的输入照片x1，x2和固定的风格样本s：{E~fc （ D （ Ec （ x1 ） ， Es （ s ） −E~fc （ D （ Ec（x2），Es（s）2|{E~fc（x）−E~fc（NN（x））2|x∈Ci<$i} （10）其中，NN（x）表示同一类的所有ImageNet样本中样本x在Efc（·）空间我们现在评估样式化为不同的艺术风格对于两个样式数据集S1、S2，我们估计S ss∈ S，x1，x2∈X}.（九）分布：fc fc在最后的步骤中，我们计算相同的分布9，但是对于在没有解纠缠损失的情况下训练的模型。这三种分布总结在图中。5通过可视化它们的概率密度函数分别以红色、蓝色和绿色描绘。该图表明，具有解缠结损失的模型产生的风格化比损失缺失的模型更好地表示所选风格。此外，我们观察到，不同的内容影响风格化的结果，一个风格小于风格的变化，在一个艺术家的绘画收藏。表明内容不符。在第二个实验中，我们建立了多少风格的变化影响内容保存。内容相似性被公式化为VGG 16网络[27]的第一全连接层的特征空间中的L2距离，由Efc（·）表示;网络在ImageNet数据集上进行预训练[23]。首先，我们需要一个基线分布，{Ec（D（E c（x1），E s（s）−Ec（D（E c（x2），E s（s）2|s1∈S1，s2∈S2x∈Ci <$i}.（十一）我们估计一个相同的分布，如上所定义所有三种分布的概率密度函数如图所示。7 .第一次会议。该实验表明，风格化图像的改变比到同一类中的最近邻的距离对内容引入更少的扰动。定性实验。我们在图中提供了我们的方法的定性结果。3、4和6。图图3显示了我们的模型捕捉到了两种风格之间的细微变化。此外，我们的方法学习更精细的艺术属性（即的变化（见图）4），减少了文物和人工结构的数量，并解开风格和内容（见图。（六）。4429SS˜SSS˜S˜SS˜˜图6.不同模型的风格化结果（从左到右）：我们的（红色），AST，Gatys et al.和CycleGan。我们在第一行和第二行提供样式和内容图像，以允许对样式化进行定性判断该图突出显示了通过我们的模型获得的图像质量的改进图像显示较少的人工结构（如毕加索或基什内尔的图像），在同质区域不包含人工制品（见塞尚），最重要的是突出了风格和内容的成功解开这可以从莫奈的典型例子中看出相比之下，AST模型产生了结果最好在屏幕上看到并放大。补充资料中提供了全尺寸图像4.3. 分布发散接下来，我们研究我们的方法如何覆盖可变性真实艺术作品的风格分布与程式化图像的风格分布DKL（PstylizedPart）. 我们对一个模型S s它想要复制的风格分布我们计算无固定点三元组损失LFPT−style（4）Kullback-Leibler散度DKL之间的真实风格dis-以及我们所风格化的图像的风格分布计算DKL（PnoLF PT−styleP art）. 选项卡. 2总结-来衡量我们的模型在多大程度上代表了它所要代表的风格分布。我们使用训练的网络Es对绘画风格进行分类，以获得由第一完全连接层的激活近似的风格分布，即Efc。真实风格分布P_art由真实艺术品上的E_fc激活来近似。 接下来，我们提取程式化图像的激活Efc以近似P程式化和com。风格的分歧。现在，我们将不同样式化方法的样式分布首先，我们固定两个艺术家，并训练一个具有LFPT-风格损失的模型和一个不具有L F P T-风格损失的模型。然后，我们使用两个模型对一组相同的内容图像进行风格化，并计算网络Efc的激活[24]。作为参考我们计算两个选定艺术家的真实艺术品的风格分布。接下来，我们对这些激活运行PCA，并将第一个激活上的投影4430图7.在不同的风格中分解内容。使用两个不同的样式示例对相同的内容图像进行样式化;两个样式化的内容的差异被计算为VGG-16的第一FC层的激活之间的L2网络[27]。所有距离都被累加并以分布（蓝色）表示。实验是针对有（蓝色）和没有（绿色）解纠缠的模型进行的。此外，我们计算从照片到其最近邻居的内容距离作为参考（红色）。参见第4.2进一步解释。表2.欺骗率指示所获得的风格化与目标风格的接近分类准确度显示了输入照片在风格化后还剩下多少内容（越高越好）。风格差异显示了风格化获得的风格分布与真实风格分布之间的差异（越低越好）。方法欺骗率分类精度真实风格分歧[24]第二十四话0.450.091.12Ours w/oLF P T−style0.450.161.14我们的，不含LFPD0.520.080.32我们0.5620.170.21主成分作为概率密度函数（见图1）。（八）。我们观察到，使用LFPT−风格的模型可以更好地匹配真实艺术品的目标分布，然后模型没有这种损失。4.4. 消融为了总结所提出的损失对最终模型的影响，我们使用三个度量：欺骗率，风格分歧和分类准确性。后者对应于VGG-16网络在ImageNet风格化图像上的分类精度。我们将AST [24]模型作为基线，因为它是图8.风格特征在PCA分解的第一主分量上的投影。风格特征是针对真实艺术品（红色）、风格化图像（蓝色）和由模型风格化程式化的例子和艺术作品只取自两位艺术家，因此是双峰分布。显然，利用固定点三元组风格损失的模型可以更好地近似真实艺术品的风格特征的分布。5. 结论虽然以前的研究集中在改进风格化任务上，但他们缺乏对以下问题的正式调查：我们在一种风格内或不同风格之间发现了多少变化？文体与内容的关系是什么？两者都与理解风格有关。本文提出了一种新的风格迁移方法，它能够捕捉到风格的微妙变化，同时也能够区分不同的风格和解开的内容和风格。我们通过在训练好的网络中引入不动点三重损失来实现前者。我们进一步证明了引入解缠结损失使得样式化独立于内容的变化。我们研究了内容和风格对最终风格化的影响，通过测量风格化图像中内容的保留和风格的表现我们的方法提供了控制的风格化过程，使艺术史学家研究，例如，详细的艺术家的风格发展。确认这 项 工 作 得 到 了 德 国 研 究 基 金 会 （ DFG ） -421703927和NVIDIA公司的硬件捐赠的资助训练他们从一组图片中提取风格那个...测试结果总结见表1。二、他们指出，LFPT−风格对于将风格整体化至关重要另一方面，LFPD主要负责更好的内容保存，但也提高了内容保存的性能。风格化的任务。解决方案图第四章：塞尚：假，真，假，真，真，假高更：假的，真的，假的，真的，真的莫里索：假的，假的，真的，假的，真的梵高：莫奈：假的，真的，真的，假的，真的，假的，真的，假的4431引用[1] Piotr Bojanowski ，Armand Joulin ，David Lopez-Paz，and Arthur Szlam.优化生成网络的潜在空间。在ICML，2018。2[2] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模gan训练CoRR，abs/1809.11096，2018。2[3] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. Infogan：通过信息最大化生成对抗网络进行可解释的表示学习。在NIPS，2016年。2[4] VincentDumoulin 、 JonathonShlens 和 ManjunathKudlur。对艺术风格的博学的表现。ICLR，2017。2[5] PatrickEsse r，JohannesHaux，andBjoérnOmme r. 用于图像合成的潜在特征的无监督鲁棒解缠。在国际会议上。计算机视觉会议（ICCV），2019年。2[6] PatrickEsse r，EkaterinaSutte r，andBjoürnOmme r. 用于条件外观和形状生成的可变u-网在IEEE计算机视觉和模式识别会议（CVPR）上，2018年7月。2[7] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。 在计算机视觉和模式识别（CVPR），2016年IEEE会议，第2414-2423页中。IEEE，2016. 2[8] Leon A Gatys ，Alexander S Ecker ，Matthias Bethge ，Aaron Hertzmann，and Eli Shechtman.神经风格迁移中知觉因素的控制在IEEE计算机视觉和模式识别会议，2017。2[9] 亚历山大·赫尔曼斯、卢卡斯·拜尔和巴斯蒂安·莱布。为三胞胎的丢失辩护，进行人员重新鉴定。CoRR，abs/1703.07737，2017。4[10] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。InICCV，2017. 2[11] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯使用条件对抗网络的图像到图像翻译。2017年IEEE计算机视觉和模式识别会议（CVPR），第5967二、三[12] 永成景、杨柳、叶州杨、迅雷风、益州余、大成涛、明丽宋。具有自适应感受野的可控制的快速风格迁移。在欧洲计算机视觉会议（ECCV）的会议记录中，第238-254页，2018年。2[13] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694施普林格，2016年。2[14] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。CoRR，abs/1710.10196，2017。2[15] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成 器 架 构 ， 用 于 生 成 对 抗 网 络 。 CoRR ，abs/1812.04948，2018。2[16] Dmytro Kotovenko ， Artsiom Sanakoyeu ， PingchuanMa，Sabine Lang，and Bjorn Ommer.用于图像样式转换的内容转换块。在IEEE计算机视觉和模式识别会议论文集，第10032-10041页，2019年。2[17] Chuan Li和Michael Wand。利用马尔可夫生成对抗网络进行预计算实时纹理合成欧洲计算机视觉会议，第702-716页。施普林格，2016年。2[18] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.通过特征变换进行通用样式传递。神经信息处理系统进展，第385-395页，2017年。二、五[19] DominikLorenz ， LeonardBereska ， TimoMilbich ，andBjoürnOmmer.对象形状和外观的无监督的基于部分的解开。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中（Oral +最佳论文入围者：前45 / 5160提交），2019年。2[20] Mehdi Mirza 和 Simon Osindero 条 件 生 成 对 抗 网 。CoRR，abs/1411.1784，2014。2[21] Augustus Odena，Christopher Olah，and Jonathon Shlens.辅助分类器gans的条件图像合成ICML，2017。2[22] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络。在MICCAI，2015年。3[23] Olga Russakovsky ， Jia Deng ， Hao Su ， JonathanKrause，San- jeev Satheesh，Sean Ma，Zhiheng Huang，Andrej Karpathy ， Aditya Khosla ， Michael Bernstein ，Alexander C.伯格和李飞飞。ImageNet大规模视觉识别挑战。国际计算机视觉杂志（IJCV），115（3）：2116[24] Artsiom Sanakoyeu，Dmytro Kotovenko，Sabine Lang，and BjoürnO m me r. A风格-一个W是实时高清风格传输的内容丢失在欧洲计算机视觉会议（ECCV）的论文集，2018。二、五、七、八[25] FlorianSchroffDmitryKalenichenkoJamesPhilbinFacenet：用于人脸识别和聚类的统一嵌入。2015年IEEE计算机视觉和模式识别会议（CVPR），第815-823页，2015年。4[26] Ahmed Selim，Mohamed Elgharib，and Linda Doyle.使用 卷 积 神 经 网 络 进 行 头 像 的 绘 画 风 格 转 移 。 ACMTransactions on Graphics （ToG） ，35（4 ）：129 ，2016。2[27] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。六、八[28] Dmitry Ulyanov，Vadim Lebedev，Andrea Vedaldi，andVic- tor S Lempitsky.纹理网络：纹理和风格化图像的前馈合成。在ICML，第1349-1357页，2016中。2[29] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。实例规范化：快速风格化缺少的成分arXiv预印本arXiv：1607.08022，2016。3[30] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。改进的纹理网络：最大化前馈风格化和纹理合成的质量和多样性。在Proc. CVPR，2017中。24432[31] Hongmin Xu，Qiang Li，Wenbo Zhang，and Wen Zheng.Styleremix：神经图像风格转移的可解释表示。arXiv预印本arXiv：1902.10425，2019。2[32] Bolei Zhou，Agata Lapedriza，Jianxiong Xiao，AntonioTorralba，and Aude Oliva.使用地点数据库学习用于场景识别的深度特征。神经信息处理系统的进展，第487-495页，2014年。5[33] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用周期一致对抗网络的不成对图像到图像翻译。IEEEInternational Conference on Computer Vision，2017。二、三