内容转换块用于图像风格转换

10032用于图像风格转换的内容转换块DmytroKotov enk o ArtsiomSanako yeu PingchuanMa SabineLang B jörnOmmer海德堡图像处理合作实验室，海德堡大学摘要风格转移最近受到了很多关注，因为它允许研究图像理解和合成中的基本挑战。最近的工作显着提高了颜色和纹理的表示和计算速度和图像分辨率。然而，图像内容的显式转换大多被忽视：虽然艺术风格影响图像的形式特征本文明确关注内容图像的内容和风格感知的风格化。因此，我们在编码器和解码器之间引入了内容转换模块。此外，我们利用类似的内容出现在照片和风格样本，以了解如何风格改变内容的细节，我们推广到其他类的细节。此外，这项工作提出了一种新的归一化层的高分辨率图像合成的关键。我们的模型的鲁棒性和速度，使视频风格化的实时和高清晰度。我们进行了广泛的定性和定量评估，以证明我们的方法的有效性。1. 介绍风格转换使用单一风格的sam，以艺术家的风格呈现真实照片的内容，[11]或一组图像[28]。Gatys等人关于风格转移的初步工作。[9]提出了一种方法，该方法利用在大型自然图像数据集上预训练的深度CNN（卷积神经网络）。他们昂贵的计算优化过程已经被最近的作品[18，28，7，2，13]中的高效编码器-解码器架构所取代，该架构在单个前馈通道中有效地生成风格化虽然[18]已经证明了编码器-解码器架构对于传输风格既快速又有效，但它作为一个黑盒模型，缺乏可解释性和对风格注入的准确控制：内容转换是间接执行的，这意味着没有明确的控制网络的哪个部分执行照片的风格化以及达到什么程度。为了解决这个2compvis.github.io/content-targeted-style-transfer/图1.使用我们的方法生成的图像的例子（从上到下）文森特梵高，巴勃罗毕加索，保罗塞尚和瓦西里康定斯基的风格更多图像和视频的风格化示例可以在项目页面2上找到。10033图2.说明内容转换块的作用。真实输入图像和显示类似内容的绘画示例在特征空间中匹配。我们利用内容相似性来学习风格如何显式地改变内容细节。问题[28]引入了一个固定点损失，确保风格化已经收敛并在一次前馈传递后达到固定点这种风格感知的内容丢失迫使风格化在解码器中发生然而，主要问题仍然存在：解码器改变风格，合成风格化图像，并对其进行上采样。所有这些单独的任务都不能单独学习和控制。作为补救措施，我们在编码器和解码器之间引入了一个新的内容转换块，允许控制风格化并实现对内容图像的风格感知编辑。我们强制编码器显式地提取con-帐篷信息;内容变换块T然后以适合于艺术家的风格。最终，解码器将样式叠加在改变的内容表示上。我们的方法测量内容目标图像和风格化图像之间的内容相似性之前和之后的transformation。与以前的工作相比，样式化应该是特定于对象的，并且取决于底层对象，样式转换需要适应。例如，毕加索的立体主义风格倾向于将人的鼻子简化为简单的三角形，或者扭曲眼睛的位置因此，我们进一步调查，如果我们可以实现一个对象特定的改变。我们利用照片和样式样本中出现的类似内容来了解样式如何改变内容细节。我们表明，通过使用一个突出的，复杂的，多样的对象类，即，我们的模型可以学习如何以内容和风格感知的方式改变此外，模型还学会了将这一特定对象类推广到不同的内容。这对于现代物品的风格化也是至关重要的，比如像莫奈这样的艺术家从未画过的电脑。此外，我们提出了一个局部特征规范化层，以减少风格化图像中的伪影数量，显著改善移动到其他图像集合（即，从Places 365 [34]到Ima-geNet [27]）并提高图像分辨率。验证我们的方法的性能，我们进行各种定性和定量评价风格化的图像，也证明了我们的方法的适用性视频。其他结果可以在项目页面上找到。2. 相关工作纹理合成神经网络长期用于纹理合成[10];前馈网络可以实现快速合成，但这些方法通常缺乏多样性和质量[18，30]。为了解决这个问题，[21]提出了一种深度生成前馈网络，它允许在一个网络中合成多个纹理。[12]证明了对空间位置、颜色和跨空间尺度的控制如何导致增强的风格化图像，其中区域被不同的风格改变;对风格转换的控制已经扩展到笔画大小[17]。[24]使用多尺度合成管道进行空间控制，并提高纹理质量和稳定性。分离内容和样式本地化样式损失的集成改进了内容和样式的分离。为了将风格和内容分离和重组，图像作品已经利用低级特征进行纹理转移，并利用高级信息使用神经网络来表示内容[11]。[6，3，8，33]注重在潜空间中区分不同的内容、风格和手法;将一幅图像转换成另一幅图像是一个视觉问题，其中输入和输出图像之间的映射依赖于对齐的图像对。为了避免需要成对的例子，[35]提出了一个对抗性损失加上一个循环一致性损失，以有效地分配两个图像。在[35]的基础上，[28]提出了一种方法，其中风格感知的内容丢失有助于关注与风格相关的内容细节。将生成的马尔可夫随机场（MRF）模型和深度卷积神经网络相结合，1003422合成照片和艺术品的内容[20]。实时和超分辨率进一步讨论了风格转换的处理时间和图像的分辨率。学者们的目标是使用无监督训练方法实现实时和超分辨率的风格化，其中神经网络特征和统计学计算获得的损失函数[18]或采用多尺度网络[30]。为了在高分辨率下实现更好的风格化图像质量，[32]提出了一种多模态卷积网络，它通过利用增加尺度的多个损失来执行多模态风格化然而，这种损失本身将抵消风格化的任务，因为图像不应该是相同的，之后在每个像素的基础上。先前的工作[18，9]已经利用了预先训练的感知损失[29]。由于这种损失是在与任何特定风格无关的图像数据集上预先训练的，因此它无法解释艺术家改变内容的特征方式。相反，我们强制样式化达到一个固定点，这意味着另一轮样式化不应该进一步改变内容。由此产生的固定点损失度量特定于样式的编码空间中的残差E（·），风格化视频虽然这些作品已经接近输入照片的风格转移的任务，其他人关注的是，LFP：=ExX[<$E（D（E（x）− E（x）<$2]。（四）尝试将艺术风格转移到视频[25，15，28，26]，使用前馈风格转移网络[4]或网络，其在测试时不依赖于光流[15]以提高风格化的一致性。3. 方法设Y为定义样式的图像集合。我们提取Y中呈现的艺术风格的本质，并学习将其转移到来自不同数据集X的图像上，例如照片。该公式类似于典型的无监督图像翻译问题，其需要生成器G（通常由编码器E和解码器D组成）和一个互相对照训练的编码器D：一个模拟目标分布Y，另一个区分真实样本y∈ Y和风格化样本D（E（x））（x∈X）。因此，我们可以通过求解最小-最大优化任务来提取样式，标准对抗性损失：3.1. 内容转换块虽然艺术家的绘画与一种风格相关联，但值得注意的是，风格对图像区域的影响不同：为了强调一件物品的重要性，艺术家们会使用更有表现力的笔触，或将其变形到更高的程度。因此，我们不只是要学习一个简单的风格化，但具体内容的风格化。因此，每个内容细节必须以特定于该特定内容类别的方式进行风格化。这意味着一个风格化的人物应该像艺术家以特定风格画出的人物，而不是一个任意的物体，如花瓶或椅子。我们通过将相似内容的更具体地说，我们强制属于特定类别c的输入照片的内容表示变得与输入绘画的内容表示更相似Ladv：=EyY[log（D（y））]+（一）同一个班级。为了实现这一点，我们引入内容变换块T，其变换输出表示a，E[log（1− Ds（D（E（x）]xX编码器E.我们以对抗的方式训练这个块：CMDc必须区分让我们成为容易获得的附加内容信息-能够，即，我们利用图像的简单粗糙场景标签X.现在，艺术家不仅应该区分真实和合成艺术。它还应 该 强 制 场 景 信 息 通 过 风 格 化 过 程 保 留 在 D （ E（x））中，真实艺术作品内容的再现所形成的输入照片的表示。但是，由于我们努力获得内容特定的风格化，所以判别器Dc还必须对艺术品y的内容类别c和输入照片x的内容类别进行分类。Lcadv：=EyY[log（D（y））]+与内容信息一起提供的内容-对内容特定的视觉线索更敏感，E（x，s）（二）[log（1 − D（D（E（x）））|（s））]强制内容转换块以艺术的方式模仿它们与从随机向量z生成图像的GAN框架相比，风格转移不仅需要Ladv−E：=E（y，c）[log（Dc（E（y）|（c）]+风格化真实的输入照片X，而且在风格化之后保留输入图像的内容。最简单的解决方案是强制执行每个像素之间的相似性，E（x，c）[log（1−Dc（五）（T（E（x））|（c））]输入xX和风格化图像G（x）：在神经结构方面，T代表了一个缺点，九个“剩余块”的连接每个区块由Lpxl：=ExX[D（E（x））− x<$2]。（三）六个连续的块与跳过连接：conv-10035¨¨图3.这两个图描述了两个交替的训练步骤。第一步骤（顶部）被指定为在保留输入照片的内容信息的同时获得艺术风格化第二步（底部）训练内容变换块T以特定于样式的样式改变图像内容。锁定标志表示重量是固定的。更多详情请参见方法部分。WS×WS，并且在一组G个相邻信道上：层，LFN-层，lrelu-激活，conv-层，LFN-层，lrelu-激活。BWS，G（T，b，h，w，c）：=¨h−WS/2 ≤x≤h+WS/2T（b，x，y，z）<$w − WS/2≤y ≤w +WS/2。3.2. 局部要素规范化图层许多使用卷积网络的方法用于IM，，c，GG≤z≤，c，GG+G（六）年龄合成遭受域变化（即，从风景照片到脸部）或合成分辨率改变。因此，推理大小通常与训练大小相同，或者当切换到另一个域时，结果的视觉质量会恶化。原因是最后，我们可以写出应用于张量T的局部特征归一化层的表达式：LFN（T |WS，G）（b，h，w，c）：=T（b，h，w，c）−平均值[BWS，G（T，b，h，w，c）]归一化层过拟合图像统计和层γc无法推广到另一个图像。我们可以改善标准品[BWS、G（T，b，h，w，c）]+βc. （七）通过我们的局部特征规范化层执行更强的规范化来进行泛化的能力该层将输入张量归一化到一组通道中，并在局部进行操作，看不到整个张量，而只看到空间位置的形式上，对于输入张量，T∈RB×H×W×C，其中B代表样本数，高度H，宽度W，有C个通道，我们可以- 定义局部特征归一化层（LFN），其具有表示归一化窗口的空间分辨率的参数WS和G-跨其进行归一化的通道的数量：LFN（·|W S，G）：RB×H×W×C−→RB×H×W×C。为了简化符号，我们首先定义张量T在（b，h，w，c）周围的子集，其空间窗口大小为在该等式中，类似于实例归一化层[31]，参数γ、β∈RC表示可训练参数的向量，并表示如何缩放和移位每个通道;通过反向传播与网络的其它权重联合学习这些权重。然而，在实践中大张量的平均值和标准差的计算可以这是一项费力的任务，因此我们仅在选定的位置（b，h，w，c）计算这些值，并对其他位置进行插值3.3. 培训详细信息训练数据集X是Places365数据集[34]和COCO数据集[23]的并集，因此对于元组（x，c，s）∈X，其中x是照片，如果x来自Places数据集，则s是场景类，如果x来自COCO数据集，则c是内容类。 第二个数据集Ycon-tains元组（y，c）其中y是艺术品，c是内容100362课 我 们 专 注 于 内 容 类 发 生 器 网 络 由 编 码 器 E 、Transformer块T和解码器D组成。我们利用两个条件判别器Ds和Dc-前者是应用于输入图像和风格化输出。 后者被应用于由编码器获得的内容表示E.根据这种符号，损失变为Ladv−style：=E（y，c）[log（Ds（y））]+E（x，c，s）X[log（1−Ds（八）（D（T（E（x）|（s））]Ladv−E：=E（y，c）[log（Dc（E（y）|（c）]+E（x，c，s）X[log（1−Dc（九）（T（E（x））|（c））]LFP：=E（x，c，s）X[<$E（D（T（E（x）−E（x）<$2]。（十）训练过程对于变量θE，θD，θT，θDc，θDs表示块E，D，T，Dc，Ds的参数。训练在两个交替的优化步骤中进行。第一步指定在编码器E中获得准确的内容提取，并通过解码器D学习令人信服的风格注入。图4.你能猜出哪些补丁是真实的，哪些是由我们的方法生成的吗？每行包含三个补丁生成的模型和两个真正的补丁。艺术家：（从上到下）塞尚、梵高、莫奈、基什内尔和莫里索。解决方案在最后一页提供。最小最大λLpxlLpxl+专家和非专家评分。 我们还执行人类λLF PθE，θDθDsLFP+λLadv−style Ladv−style（十一）评估研究，以突出我们的风格化结果的质量。给定一个内容图像补丁，第二步的目的是通过块T学习特定于风格的内容编辑。最小最大λLadv−Ladv−+用不同的方法，并显示结果旁边的补丁从一个真正的绘画专家和非专家。两人都被要求猜测哪一个显示的补丁是真实的。的score是由以下项生成的风格化的倍数θTθDcλLadv−styleLadv−style（十二）选择该方法作为真实贴片。这个实验是由艺术史专家和患有-请参见图3，说明培训的交替步骤。4. 实验与讨论4.1. 风格化评估为了测量所生成的风格化的质量，我们提供了我们的方法的定性结果，并执行了我们下面描述的几个定量实验。欺骗率。这个指标是在[28]中引入的，用于评估目标样式特征在生成的样式化中的保留程度预先训练的艺术家分类网络应该预测用于生成的艺术家吃了程式化。然后，欺骗率被计算为网络预测正确艺术家的次数的分数我们报告的欺骗率为我们和竞争的方法在表。1在第一列中，我们可以看到，我们的ap-proach优于其他方法的显着保证金。外艺术教育。结果报告于表中。1.一、专家偏好评分。此外，我们要求艺术历史学家选择哪一个风格化的图像最像目标艺术家的风格然后是专家偏好评分（见表1）。1）被计算为该方法的风格化在其他方法中被选为最佳的次数的分数。定量结果见表1。1表明，专家和非专家更喜欢我们的风格化比较，通过其他方法获得的图像。内容保留评估。为了量化原始图像的内容保留得有多好，我们用不同的方法对ImageNet [27]验证数据集进行了处理，使用预训练的VGG-16 [29]和ResNet-152 [14]网络计算8位艺术家的结果见Tab。2显示，CycleGAN [ 36 ]和Gatys等人在风格化上获得了最佳分类得分。[11]，因为这两种方法几乎不改变图像的内容。 然而，我们的主要贡献是，我们签署-10037方法欺骗价格[28]非专家欺骗分数专家欺骗分数专家偏好得分AdaIn [16]0.0670.0330.0160.019WCT [22]0.0300.0330.0010.009基于补丁的[5]0.0610.1180.0110.038Johnson等人[18个国家]0.0870.0130.0010.010CycleGan [36]0.1400.0260.0310.010Gatys等人[第十一届]0.2210.0880.0680.118[28]第二十八话0.4590.0560.1310.341我们0.5820.1780.2200.456Wikiart测验0.61560.4540.528-照片0.002---表1.分数越高表示风格化结果越好。所有的分数是平均超过8个不同的风格。行“照片”的欺骗率网络原始照片我们[28]第二十八话加蒂斯[11]CycleGAN[36]VGG-160.7100.0160.0090.2710.198ResNet-1520.7830.0570.0320.3890.341表2.使用在ImageNet上预训练的网络对ImageNet [27]的验证集的风格化图像进行前1分类准确性请注意，我们模型的分类准确性高于最先进的模型[28]。我们包括以下结果：[11]和[36]，但它们不能直接与我们的方法相比较，因为它们几乎不改变输入图像的内容在第二列中，我们展示了输入照片的分类精度特征提取器照片我们我们的，不含T[28]第二十八话VGG-161.1080.7560.8820.812VGG-191.0250.7240.8380.808表3.该表总结了使用不同风格化方法的不同分类网络计算的RSSCD。分数表征真实艺术品和风格化图像之间的内容相异性越低越好。在内容保存任务上显著优于最先进的AST [28]模型，同时仍然提供更令人信服的风格化结果，通过Tab中的欺骗率进行测量。1.一、定性比较。我们比较我们的方法qualita- tively与现有的方法图。五、读者也可以尝试猜测生成的真实补丁和虚假我们的模型在Fig. 4.第一章我们的方法和其他方法之间的更多定性比较可在补充材料中获得。4.2. 消融研究4.2.1Content Transformation特定于样式的相对内容距离。要验证图像内容是否以特定于样式的方式进行了转换图5.定性比较：第一列显示了通过我们的方法风格化的整个图像（顶部提供了真实内容图像第三列分别显示真实照片的细节，而最后两列显示通过其他方法获得的结果。放大以获得更好的视图和细节。照片我们我们的，不含T[28]第二十八话精度0.9530.6590.5980.548召回0.9780.3750.2090.109精度0.9270.8640.9370.893F1得分0.9540.5240.3430.195表4.使用Mask-RCNN [1]对COCO数据集[23]中的风格化图像进行人物检测的结果。从左到右的列：照片上的人检测;通过我们的方法对风格化图像进行检测;通过我们的方法对风格化图像进行检测，而无需转换块;在AST的程式化图像上[28]。我们引入了一个定量的测量方法，称为相对风格特定内容距离（RSSCD）。它衡量的是10038在所生成的图像样式化到最接近的艺术品的平均距离和所有艺术品之间的平均距离使用在ImageNet上预训练的分类CNN的特征φ（·）来然后，RSSCD被定义为1Σ minφ（z）−φ（y）|Zp| z∈Zp2y∈YpRSSCD：=1|Yp||Yn|Σyp∈Y p，yn∈Y nφ（yp）−φ（yn、）2Zp表示正内容类的风格化的集合（例如，人），Y p表示阳性内容类的集合艺术品，Y n表示所有其他艺术品（见图1）。6为例）。我们报告的RSSCD为我们的模型和没有T。为了进行比较，我们还评价了最先进的AST方法[28]。在这里，我们使用类“person”作为阳性内容类，两个预训练的网络作为内容特征提取器φ（·），即V GG-16和V GG-19 [ 2 9 ]。可以在Tab中看到。3、内容转换块明显缩小了风格化图像与梵高原作的距离，证明了其有效性。我们测量我们的模型如何保留所选“人”类中存在的我们在COCO [23]的图像上运行Mask-RCNN检测器[1]并计算了准确率、精确率、召回率和F1得分。从结果输入选项卡。4我们得出结论，所提出的块T有助于保留与“人”类相关的视觉细节在图7中，我们显示了我们的方法的风格化，有和没有内容转换块。我们认识到，应用内容转换块以适合于梵高风格的方式改变了人物图4第4栏中提供的梵高原作的裁剪。（七）.对于小人物，艺术家更喜欢画均匀的区域，几乎没有纹理。例如，这在第一行和第六行的程式化补丁最后，虽然梵高的自画像显示了详细的面部特征，但在小人物身上，他倾向于删除它们（见我们在图3和4行的风格化。（七）.这可能是由于他的抽象风格，其中包括快速应用和粗糙的笔触。4.2.2泛化能力Transformer块T学习在这样的变换中变换类“人”的照片的从而使其与同类艺术品的内容表示难以区分。虽然转型已经学会了一个唯一的阶级图6. RSSCD测量的图示。使用深度CNN将真正的正面，真正的负面和风格化的正面图像映射到特征空间中。然后，我们计算从程式化的阳性到最接近的真实阳性的平均距离，并将其除以真实阳性和阴性之间的平均距离阳性图像对应于类方法欺骗[28]第二十八话欺骗率非“人”非专家欺骗分数非专家欺骗分数非AST0.3980.4850.0160.086我们的，不含T0.5210.5410.1270.143我们0.6180.5630.2100.165表5.不同内容类的风格化质量。与最先进的AST模型相比，我们的模型显著提高了风格化质量[28]。T块提高了两个类的识别率和偏好得分。越高越好。仍然可以推广到其他类。为了衡量这种通用化能力，我们分别计算“人”和非“人”类的程式化补丁上的欺骗率[28]和非专家欺骗分数。评价结果见表1。5，并表明改进的风格化质量为看不见的内容。4.2.3伪影移除为了验证局部特征规范化层（LFN层）的有效性，我们对学习的模型进行了视觉检查，并注意到图1中所示的突出伪影。8.我们可以观察到，特别是对于具有光结构的平坦区域，没有LFN层的模型通常会产生不需要的伪影。相比之下，用LFN层获得的结果显示在相同区域中没有伪影。值得注意的是，对于没有LFN层的模型，伪影的数量与风格化图像的分辨率成比例地10039图7.显示内容转换块的影响：第二列示出了不使用内容变换块的结果。第三个显示相同的细节与内容transformation块，强调轮廓的数字方式appropriate梵高的风格。最后一列提供了艺术家最好在屏幕上看到，放大。5. 结论我们引入了一个新颖的内容转换块，它被设计为网络的专用部分，用于改变对象图8.从左至右：带有LFN层的风格化图像，细节图像的相同区域用于没有LFN层的模型从上到下的样式：塞尚，基什内尔，塞尚，保罗高更。局部特征规范化通过规范化网络激活统计数据来显著减少伪影的数量。以特定于内容和样式的方式。我们利用来自内容和样式目标图像中的同一类的对象来学习如何转换内容细节。实验表明，从一个复杂的对象类别，我们的模型学习如何风格化的内容的细节一般，从而提高风格化质量的其他对象以及。此外，我们还提出了一个局部特征规范化层，它可以显著减少风格化图像中的伪影数量实验评估表明，无论是艺术专家还是没有受过专门艺术教育的人，都更喜欢我们的方法。我们的模型在客观和主观评价方面的风格化质量优于现有的最先进的方法，还可以实现视频的实时和高清风格化。确认这项工作得到了NVIDIA公司的硬件捐赠的支持。图4的解决方案：塞尚：假的，真的，假的，假的，真的梵高：真的，假的，真的，假的，假的莫奈：假的，真的，假的，真的，假的基什内尔：真的，假的，假的，真的莫里索：假的真的假的真的假的10040引用[1] W.阿卜杜拉Mask r-cnn用于keras和tensorflow上的对象检测和实例分割。github.com/matterport/Mask_RCNN，2017.六、七[2] M. Babaeizadeh和G.吉亚西可调节的实时风格传输。CoRR，abs/1811.08560，2018。1[3] M. A. Bautista、A. Sanakoyeu，E. Tikhoncheva和B.哦-梅尔。Cliquecnn：深度无监督范例学习。神经信息处理系统进展，第3846-3854页，2016年。2[4] D.陈湖，澳-地Yuan，J. Liao，N. Yu和G.华Stylebank：神经图像风格传递的显式表示。Proc. CVPR，第1卷，第4页，2017年。3[5] T. Q. Chen和M.施密特快速的基于补丁的任意风格转移。arXiv预印本arXiv：1612.04337，2016。6[6] J. Collomosse，T.布伊山J. Wilber，C. Fang和H.晋使用样式绘制草图：用草图和美学背景进行视觉搜索。在ICCV，第2679-2687页，2017年。2[7] Dumoulin，J. Shlens和M.库德鲁艺术风格的学术ICLR，2017。1[8] P. Esser，E. Sutter，和B.奥默 一个用于条件外观和形状生成的变分u-网。CoRR，abs/1804.04694，2018。2[9] L. A. Gatys，A.S. Ecker和M.贝丝艺术风格的神经arXiv预印本arXiv：1508.06576，2015。第1、3条[10] L. A. Gatys，A. S. Ecker和M.贝丝纹理合成和自然刺激的控制生成使用卷积神经网络。arXiv预印本arXiv：1505.07376，2015年12月。2[11] L. A. Gatys，A.S. Ecker和M.贝丝使用卷积神经网络的图像风格在计算机视觉和模式识别（CVPR），2016年IEEE会议，第2414-2423页中。IEEE，2016. 一、二、五、六[12] L. A. Gatys，A. S. Ecker，M. Bethge，A. Hertzmann和E.谢克特曼神经风格迁移中知觉因素的控制。在IEEE计算机视觉和模式识别会议（CVPR），2017年。2[13] A. Gupta，J. Johnson，A. Alahi和L.飞飞特征化和提高神经风格迁移的稳定性。2017年IEEE计算机视觉国际会议（ICCV），第4087-4096页，2017年。1[14] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。CoRR，abs/1512.03385，2015。5[15] H. Huang，H.Wang，W.卢湖，加-地马，W。Jiang，X.朱Z. Li和W.刘某视频的实时神经风格传输2017年IEEE计算机视觉和模式识别会议（CVPR），第7044-7052页。IEEE，2017年。3[16] X. Huang和S.贝隆吉具有自适应实例规范化的实时任意样式传输。InICCV，2017. 6[17] Y. Jing，Y.Liu，Y.杨，Z.冯，Y.Yu，D.Tao和M.歌具有自适应感受野的笔画可控快速风格迁移arXiv预印本arXiv：1802.07101，9，2018。2[18] J. Johnson，A. Alahi和L.飞飞实时风格转换和超分辨率的感知损失。在欧洲计算机视觉会议，第694-711页。施普林格，2016年。一、二、三、六[19] S. Karayev，M.特伦塔科斯特湾Han，A.Agarwala，T.达雷尔A. Hertzmann和H.温尼莫勒识别图像样式。arXiv预印本arXiv：1311.3715，2013年。6[20] C. Li和M.魔杖结合马尔可夫随机场和卷积神经网络进行图像合成。在IEEE计算机视觉和模式识别会议的Proceedings中，第2479-2486页，2016年。3[21] Y. Li，C. Fang，J. Yang，Z. Wang，X. Lu和M. H.杨用前馈网络实现多样化纹理合成在Proc. CVPR，2017中。2[22] Y. Li，C. Fang，J. Yang，Z. Wang，X. Lu和M. H.杨通过特征变换进行通用样式传递。神经信息处理系统进展，第385-395页，2017年。6[23] T.- Y. 林，M。迈尔，S。J. 贝隆吉湖D. 布尔代夫河B.吉尔希克，J。海斯角Perona，D. 拉马南山口 Doll a'r和C. L. 齐特尼克微软coco：上下文中的公用对象。2014年，在ECCV。四、六、七[24] E. Risser，P. Wilmot，and C.巴恩斯使用直方图损失的稳定可控arXiv预印本arXiv：1701.08893，2017。2[25] M. Ruder，A.Dosovitskiy和T.布洛克斯视频的艺术风格德国模式识别会议，第26-36页。施普林格，2016年。3[26] M. Ruder，A.Dosovitskiy和T.布洛克斯视频和球形图像的艺术风格国际计算机视觉杂志，第1-21页，2018年。3[27]O. 鲁萨科夫斯基Deng，H.Su，J.Krause，S.萨蒂希S. 妈Z。Huang，黄背天蛾A.卡帕西A.科斯拉，M。S. 伯恩斯坦A. C. Berg和L.飞飞Imagenet大规模视觉识别挑战。International Journal of Computer Vision ， 115 ： 211-252，2015。二、五、六[28] A. Sanakoyeu，D. Kotovenko，S. Lang和B.奥默一种实时高清风格传输的风格感知内容丢失。欧洲计算机视觉会议（ECCV），2018年。一、二、三、五、六、七[29] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556，2014。三、五、七[30] D. Ulyanov，V. Lebedev，A. Vedaldi和V. S. Lempitsky纹理网络：纹理和风格化图像的前馈合成。在ICML，第1349-1357页，2016中。二、三[31] D. Ulyanov，A. Vedaldi和V. S. Lempitsky实例规范化：快速样式化缺少的成分CoRR，abs/1607.08022，2016。4[32] X. Wang，G. Oxholm，D.张，和Y.- F.王.多模态转移：用于快速艺术风格转换的分层深度卷积神经网络。在IEEE计算机视觉和模式识别会议论文集，第2卷，第7页，2017年。3[33] M. J. Wilber，C. Fang，H. Jin，杨花A. Hertzmann，J.Collomosse和S. J·贝隆吉嘭！嘭！Behance艺术媒体数据集，用于识别摄影以外的内容。在ICCV，第1211- 1220页，2017年。210041[34] B. Zhou，中国古柏A.拉佩德里萨A.科斯拉A.Oliva和A.托拉尔巴地点：一个用于场景识别的1000万图像数据库。IEEE Transactions on Pattern Analysis and MachineIntelligence，2017。二、四[35] J. - Y. Zhu，T.帕克山口Isola和A.A. 埃夫罗斯使用循环一致对抗网络的不成对arXiv预印本，2017年。2[36] J. - Y. Zhu，T.帕克山口Isola和A.A. 埃夫罗斯使用循环一致对抗网络的不成对IEEEInternational Conference onComputer Vi-sion，2017。五、六