自适应卷积：基于样式的图像风格转移与生成模型

7972风格迁移基于样式的生成风格形象内容图像AdainAdaConv（我们的）用于结构感知风格转换的Prashanth Rupran1，2Gaspard Zoss1，2Paulo Gotardo1Markus Gross1，2Derek Bradley11) 迪士尼研究|一室公寓2) 苏黎世联邦理工学院计算机科学系{chandrap，gaspard.zoss，grossm}@ inf.ethz.ch，{paulo.gotardo，derek.bradley}@disneyresearch.com图1：我们提出了自适应卷积（AdaConv），这是自适应实例规范化（AdaIN）的扩展，用于图像样式传输，它能够传输统计和结构样式元素。AdaConv还可以应用于生成模型，例如StyleGAN，用于在多个数据集上进行照片级真实感图像合成。摘要图像之间的风格转移是CNN的一种艺术应用，其中一个图像的神经风格转移的现有技术基于自适应实例归一化（AdaIN），该技术将风格特征的统计属性转移到内容图像，并且可以实时转移大量的风格。然而，AdaIN是一个全局操作，因此在传输过程中，样式图像中的局部我们提出了自适应卷积（AdaConv），AdaIN的通用扩展，允许同时传输的统计和结构风格的实时。除了风格转移，我们的方法也可以很容易地扩展到基于风格的图像生成，和其他任务，AdaIN已经被采用。1. 介绍近年来，卷积神经网络（CNN）已被用于探索和操纵即时通讯的风格年龄图像风格通常由图像特征定义，例如绘画背景下的整体颜色和笔触的局部结构，或生成图像应用中的面部姿势和表情。风格也是在不同的分辨率下定义的，因此可以包括面部的全局身份以及皮肤上雀斑的局部结构随着神经风格转移的出现，这一领域的研究获得了很大的动力，最初由Gatys等人提出。[8]，其中CNN被训练来再现一个输入图像的内容，但用另一个图像的风格渲染。本着类似的精神，生成对抗网络（GAN）已被用于生成具有由随机向量输入定义的风格的逼真的合成图像，例如在合成面部图像的创建中[18]。处理风格的广泛方法是通过自适应实例规范化（AdaIN），一种转换图像特征均值和方差的方法。例如，AdaIN通常用于将样式图像的特征统计数据转移到内容图像上。自Huang等人定义以来，在2017年[13]，这种操作已经在基于CNN图像操作文献中变得司空见惯。AdaIN的一个主要缺点是，7973统计计算是一个全局操作，因此不能有效地捕捉和传递样式中的局部空间结构。一个具体的例子如图1（第1行）所示，其中样式图像具有不同的特征，如黑色和白色的圆圈和正方形。AdaIN结果将该图像的统计信息传输到内容图像，但结果缺少任何样式结构对于不同样式的图像，在第2行中可以看到类似的在这项工作中，我们引入了一个扩展AdaIN称为自适应卷积（AdaConv），它允许同时适应统计和结构风格。在风格转移的上下文中，而不是从每个风格特征转移一对简单的全局统计数据（平均值和标准差），我们的方法从风格图像中估计全卷积核和偏置值，然后将其卷积到内容图像的特征上。由于这些内核可以更好地捕捉样式中的局部空间结构，AdaConv可以更忠实地将样式图像的结构元素转移到内容图像，如图1所示（第4列和第7列）。为深度学习任务预测卷积核的概念已经在视频帧插值[26，27，28]和降噪[1，35]等领域显示出了一些前景。在这里，我们利用这个想法来扩展AdaIN，以实现更通用的图像样式操作。AdaConv可以在几乎所有采用AdaIN的应用程序中替换AdaIN，为基于CNN的图像生成和样式操作提供了一个新的通用构建块。为了说明AdaConv的通用性，我们展示了它在风格转换以及基于风格的生成人脸建模（StyleGAN [18]）中的应用。2. 相关工作本节回顾了与我们的工作更密切相关的神经风格转移，生成模型中的调制层和内核预测领域的先前工作基于CNN的神经风格转移最初由Gatys等人提出。[8]的一项建议。虽然他们的方法允许在图像之间传输任意风格，但它是基于一个缓慢的优化过程。Johnson等人[17]通过引入感知损失解决了这个问题，从而显著加快了优化速度并实现了实时结果。与此同时，Ulyanovet al. [33]提出了一种风格转换方法，通过评估特定于风格和预训练的前馈神经网络，进一步加快推理速度在后续工作中[34]，他们还用实例规范化（IN）取代了批规范化（BN）层，以产生更高质量的结果，而不会影响速度。为了改善对风格转移结果的控制，Gatyset al. [9]随后介绍了通过在基于优化的方法和前馈方法中重新计算损失函数的显式颜色、比例和空间控制[9]。根据IN的想法，Dumoulin等人[7]提出了条件实例规范化（CIN），并将规范化层设置在样式上，允许单个模型从32种预定义样式或其插值中的一种执行样式转换。Ghiasi等人[11]进一步扩展了CIN，允许传输到任意样式，在训练时看不到;这是使用大型样式语料库来训练编码器将样式图像转换为条件潜在向量。Cheng等. [6]提出了一种基于补丁的任意样式转换方法。同时，Huanget al. [13]提出了一种任意风格转换的方法，通过有效地使IN适应风格特征的均值和标准差，从而导致AdaIN。Li等[22]通过对给定风格的潜在特征进行白化和着色来扩展该方法。Sheng等人进一步扩展了这一思想。[31]具有样式装饰器模块和多尺度样式适配。其他作品还研究了用于风格转移的Meta网络[30]，使用学习的线性变换[21]和立体图像的风格转移[4]进行更快的风格转移。 最近，Jinget al. [15]注意到直接用样式特征的统计数据替换内容特征的统计数据可能是次优的;相反，他们的动态实例规范化（DIN）方法训练样式编码器输出内容特征的新统计数据，同时还调整后续卷积层的大小和采样位置。除了实例规范化之外，Kotovenko等人还探索了对抗学习。[20]更好地从内容中分离出风格。其他神经风格转移方法的其他深入描述在Jing等人最近的综述论文中提出。[16 ]第10段。我们工作的目的是通过根据样式图像预测整个卷积核和偏差来进一步扩展AdaIN，以传输样式的统计数据和局部结构。生成模型中的调制层也有助于风格迁移之外的其他突破。最值得注意的是，StyleGAN [18]使用原始版本的AdaIN，但输入风格统计数据是由高斯噪声向量的MLP预测的。为了减轻AdaIN引起的一些可见伪影，StyleGAN2 [19]用权重解调层代替它，它只对标准差进行归一化和调制，而由于AdaIN及其变体仅转换全局统计信息，因此它们对样式输入中的本地化空间语义不敏感为了解决这个限制，已经提出了新的方法来从输入空间布局图像预测空间变化的归一化参数[29，39，15]。黑桃[29]用从输入语义掩码回归的每像素变换替换AdaIN的全局仿射变换SEAN [39]进一步扩展了SPADE，考虑了一个带有输入布局掩码的额外样式向量。SPADE和SEAN都保留了用于语义图像生成的条件空间布局;它们7974有效地控制如何在特定图像位置处强调或抑制每个核。相比之下，我们的Ada-Conv方法在测试时生成全新的内核此外，SPADE和SEAN不直接适用于风格转换，其中内容图像的空间布局必须被保留。核预测也在以前的工作中进行了探索。请注意，所有上述用于特征归一化和调制的方法都遵循类似的过程：它们定义了独立应用于每个特征通道的标量仿射变换主要区别在于更好的空间风格迁移，同时也适用于风格迁移之外的高质量生成模型。3.1. 概述考虑通常的风格表示{a，b}∈R2，其中a和b将风格表示为尺度和偏置项，分别地（例如，对于风格转移，a和b是风格图像特征的平均值和标准偏差）。给定一个输入特征通道，其值为x∈R和所需的样式，AdaIN将样式定义的仿射变换应用于归一化的输入特征，（一）是否存在转化参数-测试是手工制作的，在培训过程中学习的，或者在测试时预测的;以及（ii）每个通道的转换AdaIN（x;a，b）=a.Σx−µxσx+b，（1）是全球性的还是空间变化的。 那些倒退全局变换也可以理解为在测试时预测1×1对于花柱转移，Chenet al. [3，5]学习与内容图像的特征卷积他们的方法仅限于在训练时学习的滤波器组;它不能生成新的只有在测试时才给出的不可见样式的内核。 Jing et. al[15]声称能够使用其通用DIN块从输入回归动态卷积;然而，报告的实验结果仅限于1×1变换。核预测的相关工作也将超越风格转换 Jia等人[14]当前的动态变化其中µx和σx是特征通道的平均值和标准差。因此，AdaIN仅基于调节样式参数{a，b}改变每个通道的全局统计。注意，整个信道被相等地调制，而不管信号的空间分布（结构）如何。每个样本x周围的特征值。因此，我们扩展AdaIN的第一步是引入一个条件2D样式滤波器f∈Rkh×kw，替换尺度项并产生扩展样式参数{f，b}。此滤波器用于调制特征通道根据当地的结构，在样本x周围邻域N（x）中，用于视频和立体图像预测的卷积，其中测试时特征被重新成形为新的滤波器，该新的滤波器被卷积地或以特定于位置的方式应用。最先进的蒙特卡罗渲染去噪方法AdaConvdw（x;f，b）=Σfixi∈N（x）Σ.Σxi−µxσx+b，（2）[1，35，10]使用神经网络来预测动态kers。NEL用于重建最终的去噪帧。神经网络也被提出来预测去噪核，=xi∈N（x）AdaIN（x; f i，b）.手持相机在连拍模式下拍摄的自然图像[24，36]。Niklaus等人[26]预测视频的帧内插内核;他们后来将这项工作扩展到预测可分离的卷积参数[27，28]。Xue等人[37]使用CNN从用于合成似然下一帧的随机高斯变量预测运动内核Esquivel等人[38]预测自适应内核，用于减少在有限的计算资源下准确分类图像所需的层数。在本文的其余部分，我们将探讨一个类似的想法，即在测试时利用内核预测来改善风格转换和风格，请注意，这个依赖AdaConv变体包含AdaIN，这是一个具有1×1滤波器f和N（x）={x}的特殊情况。我们迈向完整AdaConv的第二步也是最后一调制通过扩展对于具有C个特征通道的输入，输入样式参数还包括可分离的逐点卷积张量p∈RC这使得AdaConv能够执行调制基于不仅捕获全局统计和空间结构而且捕获跨不同输入通道C中的特征XC的相关性的风格，Σ基于生成模型的调制。3. 使用AdaConv进行特征调制AdaConv（x;p，f，b）=p cAdaConv dw（x c;fc，bc）.C（三）我们现在描述AdaConv和我们的内核预测器，展示AdaConv如何在基于样式的特征调制中推广和扩展典型的1×1 我们首先与AdaIN进行比较，风格转换的上下文，然后展示AdaConv如何允许更好地调节局部特征结构，AdaCo的输入样式{p，f，b}有效地包括深度可分离的3D内核[12]，其中，逐 点 卷 积 分 量 和 每 通 道 偏 置 。 用 于 调 制 输 入 的dependency和逐点卷积核的实际数量是设计选择，可以任意大。正如我们稍后所描述的7975节中3.2.2，这可以使用深度可分离卷积层中的组的数量ng在下文中，我们为AdaConv提出了一个内核预测框架，并展示了如何将其用作AdaIN的通用替代品，以在风格迁移和其他高质量生成模型中实现更3.2. 使用AdaConv进行样式转换对于风格转换，我们从黄等人的原始建筑开始。[13]并在培训期间应用相同的内容和风格损失。然而，不是直接将全局样式统计信息映射到con-style的统计信息上内容图像结果使用AdaIN的帐篷功能，我们使用AdaConv的新内核我们的风格转换架构的概述在图中给出。二、使用预先训练的VGG-19 [32]编码器对输入的样式和内容图像进行编码，以获得潜在特征风格S和内容C。对于核预测，样式特征S由样式编码器ES进一步编码以获得全局样式描述符W。 根据W，我们的核预测网络K ={K1，K2，..， K N}输出可分离卷积核[12]，每通道双ases.这些预测被摄取到解码器D的所有层中，解码器D输出风格转移的结果。我们的风格转移架构采用4个内核预测器，在4个不同分辨率的解码图像，不同尺寸的内核每个解码层都有一个自适应卷积块（图3），其中预测的逐点卷积和逐点卷积在标准卷积之前。这些标准卷积层负责学习风格独立的内核，这些内核对重建自然图像很有用，并在测试时保持固定。在VGG-19潜在特征空间内，编码器ES、内核预测器K和解码器D被联合训练以最小化[13]中的内容和风格损失的相同加权和3.2.1Style Encoder我们现在转向从风格特征S预测卷积核的目标，以在我们的图像解码器的每个尺度处应用于内容特征C。这里，中间步骤是计算风格表示W，该风格表示W全面地描述了不同的风格图像。规模，而被引导的风格转移损失。这种设计选择也是通过与最先进的生成建模[18，19]进行类比来激励的，其中术语预训练的VGG-19网络将具有等于（3，256，256）的（通道、高度、宽度）维度的原始输入样式图像转换成具有以下维度的样式张量S图2：使用我们的新内核预测的tors和AdaConv用于结构感知的风格转换。（512，32，32）在VGG-19relu4 1层处。这里，感受场并不覆盖整个风格图像。因此，我们通过训练额外的编码器组件ES将S减少到我们的全局嵌入W中，如图所示。3 .第三章。我们的风格编码器ES包括3个初始块，每个块都有一个3 x 3卷积，一个平均池化操作和一个泄漏的ReLU激活。然后，输出被重新整形并馈送到提供全局样式描述符的最终全连接层，该全局样式描述符又被重新整形为输出样式描述符。张量W的大小为（sd，sh，sw）。该嵌入的维度是超参数，并且被定义为因子要预测的内核的大小。由于使用了这个全连接层，我们的网络仅限于处理固定尺寸的输入样式图像（3，256，256）。然而，内容图像的维度不受限制，因为它流经网络的完全卷积组件。3.2.2深度可分卷积的预测图2中的每一个内核预测器K都是一个简单的，Ple卷积网络，其输入是风格描述符W，而输出是深度可分离的内核。预测深度可分离核的选择[12]的动机是希望保持核预测器简单和计算高效，同时还使随后的卷积更快。标准卷积层采用维度为（1，cin，h，w）的输入特征张量，并将其与大小为（cout，cin，kh，kw）的核张量进行卷积，其中cin和cout是输入和输出通道的数量。每通道偏置也被添加到输出。因此，该层所需的权重数为cout×cin×kh×kw+cout。深度可分离卷积通过收集输入通道来分成n个独立的组，并通过应用单独的空间和逐点内核，学习结构和交叉，VGG-19……VGG-19风格形象固定模块可训练模块AdaConvVGG功能全局样式嵌入7976nnn适配卷积自适应逐点卷积VGG-19功能（relu4_1）卷积平均合并完全连接重塑预测核权重全局风格嵌入自适应逐点卷积偏置固定空间卷积图3：全局样式编码器ES、内核预测器Ki和AdaConv块中的结构调制的架构，其中所得到的深度可分离卷积内核应用于输入内容特征（右上）。信道相关性。所需的权重数减少为c out×cin×k h×kw+c out。用于G在卷积层中，输入的每个通道与其自己的一组c_out/c_in滤波器进行卷积然后使用1×1核函数进行逐点卷积，以扩展输出中的通道数，最终输出的每通道偏置。这里，重要的是要注意，我们解码器中的四个AdaConv层的c等于512，256，128和64，随着空间分辨率的增加而减少。因此，在最低空间分辨率下的核预测器通常将具有最高数量的参数。为了将我们的网络容量均匀地分布在解层中，我们设置较大的ng∈ {cin，cin，cin，cin}，3.3. 培训与现有的风格转换技术进行比较（见图1）。4），我们使用COCO数据集训练我们的方法[23]作为内容图像，WikiArt数据集[25]作为样式图像。对于与AdaIN的其余比较，我们使用了在受控工作室设置中捕获的约4000张人脸的自定义内容数据集作为内容图像，并继续使用WikiArt数据集作为样式图像。对于我们使用人脸作为内容的实验，我们从头开始重新训练AdaIN和AdaConv以进行公平的比较。为了训练我们的方法，我们使用Adam优化器，学习率为1e-4，批量大小为8。对于AdaIN，我们使用与[13]中相同的设置。 关于我们的更多详情补充材料中介绍了培训情况。2 4 8降低分辨率，并在连续的层，导致更好的结果（与常数ng=c的比较在补充中给出）。对于逐点卷积核和逐点卷积核两者都相同地设置Ng因此，每个内核预测器K输出解码器的该尺度中的去卷积卷积AdaConv层的必要权重。这些权重包括：（i）大小为（c_out， c_in，k_h，k_w）的空间核，（ii）大小为（c_out，c_in，k_h，k_w）的逐点核，Gsize（c out，cout，1，1），以及（iii）偏置项b ∈Rcout。G每个内核预测器K的输入是大小为（sd，sh，sw）的全局样式描述符W，其通过输出目标维度的空间内核的卷积层和池化层馈送，图3。这些层可以由标准或转置卷积组成，其参数为在设计时确定，并取决于要预测的内核的大小为了预测逐点的1×1内核，我们将W合并为一个大小（sd，1，1），然后执行一维卷积来预测逐点内核的 我们使用一个单独的预测器对于每通道偏差，类似于逐点内核。一旦预测了内核和偏置，它们就被用来调制输入，如图1的右半部分所示。3 .第三章。4. 结果我们现在展示使用AdaConv作为AdaIN的扩展进行风格转换和生成建模的结果。4.1. 风格迁移我们的工作主要是由图像风格转移的应用所激发的，就像原始的AdaIN [13]。在本节中，我们所有的结果都是使用样式描述符大小sd=512和内核大小3 ×3创建的。定性比较。我们首先将AdaConv与几种风格转换方法进行比较，包括Huang和Belongie[34]，Gatyset al.[8]，Jinget al.[15]，Liet al.[22]，Shenget al.[31]和Johnsonetal. [17 ]第10段。图4示出了我们的方法执行与当前技术状态的匹配，并且在保留样式图像的结构方面非常强大。例如，帆船图像（第一行）中的水的结构类似于风格图像中的头发丝;艺术绘画中的笔触的结构被自然地转移到内容图像。7977图4：AdaConv使用当前最先进的方法1， 2执行搜索。我们的方法特别擅长于将样式图像的局部结构转移到内容图像。由于AdaConv扩展了AdaIN，我们在图5中进行了更彻底的比较。在所有情况下，AdaConv呈现的内容图像更忠实于样式图像的结构（局部空间分布），同时还传递样式的全局统计信息。AdaIN不能传递样式结构，只能传递样式的全局统计信息。1此图的部分内容为© 2017 IEEE。转载，经许可，从黄和Belongie [13]。图2 Jing et al.[15]是© 2020，协会为人工智能的进步。All rights reserved.不允许出于其他目的（或将其授予他人）重复使用该图形。样式旋转。我们进一步强调了Ada-Conv在保持风格图像结构方面的好处，即在不同的旋转度下应用相同的风格图像。一个旋转的风格图像实际上是一个不同的风格。然而，当使用AdaIN传输样式时，这个概念在很大程度上丢失了，因为全局特征统计在旋转下基本保持不变。我们在图6中说明了这种效果，其中我们将四个不同旋转下的样式图像转换为相同的内容图像（取自图5的最后一行）。我们可以看到，AdaConv成功地79780度20度40度60度图6：当旋转样式图像时，使用AdaConv将样式方向很好地转移到内容图像，而AdaIN结果大多是旋转不变的，因为全局统计数据在旋转下变化不大。插值内容图像样式图片1样式图片2风格形象内容图像AdaINAdaConv（我们的）图5：与AdaIN [13]相比，由于我们的内核预测方法，我们的AdaConv扩展在维护样式图像的结构方面更好。在传输结果中保留样式图像的空间方向，而AdaIN结果看起来几乎相同，与旋转无关。我们鼓励读者在补充视频中查看更多旋转结果。样式插值。与AdaIN一样，我们也可以在样式空间中插入，以生成混合多种输入样式的结果在AdaConv的情况下，我们在内核预测器之前插入风格特征编码器的输出然后，内插的样式描述符产生改变解码结果的结构的内核结果，风格图像的结构元素被平滑地空间插值。这可以在图7中观察到，其中我们在具有非常不同的结构的两个样式图像与AdaIN相似的是，AdaConv生成的结果具有介于两个样式图像之间的结构。例如，人们可以很容易地看到结构图 7 ： 当 我 们 在 两 个 样 式 图 像 之 间 进 行 插 值 时 ，AdaConv的结果比AdaIN更平滑，并且我们可以使用AdaConv方法在空间上从一个结果变形到另一个结果时跟踪单个结构像粗线这样的元素实际上是变形的，并使用AdaConv从一个结果扭曲到另一个结果。用户研究。我们还进行了一项用户研究，以比较AdaConv 和 AdaIN 的 结 果 。 参 与 者 评 估 了 AdaIN 和AdaConv获得的总共参与者被要求根据以下3个问题选择一个结果：（1）哪种风格转换结果更好地保留了内容图像？（2）哪种风格转换结果更好地保留了风格图像的风格（3）哪种风格的转移结果总体上在转移方面做得更好，AdaConv（我们AdaConv（我们Adain风格形象Adain7979风格到内容图像？共有来自多个国家、年龄组和背景的185名参与者参加了我们的在线调查。正如预期的那样，93.9%的参与者认为AdaIN在内容保存方面更好，而92%的人认为AdaConv更好地捕捉了风格结构。总体而言，绝大多数参与者（71.8%）表示AdaConv在风格转换方面做得更好。视频风格转换。 最后，如在视频中看到的，AdaConv在视频序列上执行风格转换，具有良好的时间稳定性，即使在简单地将转换独立地应用于每个帧时也是如此。改进的时间稳定性可以通过使用光流技术扩展AdaConv来实现视频风格传输[2]。4.2. 生成模型虽然AdaIN最初被提出用于风格转移，但它已经进入了许多应用程序，包括StyleGAN [18]和StyleGAN 2[19]等生成模型，在这些模型中，它被用于将“风格”注入到以对抗方式训练的生成器网络中由于AdaConv是AdaIN的扩展，我们通过将其与我们的内核预测器一起合并到StyleGAN2类网络中来证明其适用于生成网络。在StyleGAN2生成器的每个尺度上，由MLP预测的每通道平均值和标准偏差（A）用于使用AdaIN调制卷积层然而，请注意，内核权重是在训练期间学习的，并且在测试时仅调整其缩放。相比之下，我们的AdaConv块在测试时从输入样式参数预测完整的深度卷积核。因此，我们将StyleGAN 2中的每个权重解调块替换为AdaConv块，该8，右）。 噪声向量也通过MLP转换为每个Ada-Conv块中的内核预测器的输入 由于深度卷积具有较少的参数，与标准卷积相比，我们在同一块中使用标准2D卷积进行自适应卷积然后添加每通道偏差和高斯噪声，并将输出馈送到下一个AdaConv块。我们在FFHQ，CelebHQ，AFHQ-wild和AFHQ-dog数据集上训练了这个修改后的StyleGAN 2生成器，分辨 率 为 （ 256× 256 ） 。 我 们 修 改 后 的 生 成 器 和StyleGAN2的生成器都是用相同的超参数和损失函数[19]。我们在单个Nvidia2080Ti GPU上训练了我们的生成网络，迭代次数为30万次（120万张真实图像），批量大小为4。我们在图9中展示了一些人造面孔和野生动物的例子。这些结果是使用样式描述符大小sd=128和内核大小3×3生成的。在生成环境中使用AdaConv的其他结果在我们的补充材料中提供图8：StyleGAN2 [19]中的解调块和我们的AdaConv块替代网络。图9：AdaConv也可以应用于StyleGAN 2 [19]等生成架构，以实现逼真的图像合成。5. 结论在这项工作中，我们提出了自适应卷积（Ada-Conv）的结构感知的风格操纵。作为自适应实例规范化（AdaIN）的扩展，AdaConv从给定的样式嵌入中预测卷积核和偏差，这可以编织到图像解码器的层中，以便在测试时更好地调整其行为在神经风格迁移的背景下，AdaConv不仅可以将风格图像的全局统计信息，而且可以将风格图像的空间结构迁移此外，AdaConv 也 适 用 于 基 于 样 式 的 图 像 生 成 （ 例 如StyleGAN），正如我们已经证明的那样，几乎所有AdaIN都被采用。它提供了一个新的，通用的构建块，用于将输入数据输入到基于CNN的图像生成和样式操作中。致谢。我们要感谢Maurizio Nitti为我们创造了风格图像。7980引用[1] Steve Bako 、 Thijs Vogels 、 Brian Mcwilliams 、 MarkMeyer 、 JanNo va' K 、 Ale xHarvill 、 PradeepSen 、 TonyDerose和Fabrice Mrsselle。用于蒙特卡洛渲染去噪的核预测卷积第36卷，美国纽约州纽约市，2017年7月计算机协会二、三[2] 陈冬冬，廖静，卢远，余能海，华刚。连贯的在线视频风 格 转 移 。 在 2017 年 IEEE 国 际 计 算 机 视 觉 会 议（ICCV），第11148[3] Dongdong Chen，L. Yuan，Jing Liao，Nenghai Yu，andG.华Stylebank：神经图像风格传递的显式表示。2017年IEEE计算机视觉和模式识别会议（CVPR），第27703[4] 陈冬冬、陆远、廖静、余能海、华刚。立体神经风格转移。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月。2[5] 陈东东，卢远，廖静，于能海，G.华神经图像风格转换和图像处理的显式滤波器组学习IEEE transactions onpattern analysis and machine intelligence，2020。3[6] 陈天琦和马克·施密特。快速的基于补丁的任意样式的样式传输。arXiv预印本arXiv：1612.04337，2016。第二、五条[7] Vincent Dumoulin ， Jonathe Shlens ， and ManjunathKudlur.一种艺术风格的学术代表。 2017. 2[8] 莱昂·A. Gatys，Alexander S. Ecker，and Matthias Bethge使用卷积神经网络进行图像风格转换。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。一、二、五[9] 莱昂·A.Gatys ，Alexander S.Ecker ，Matthias Bethge，Aaron Hertzmann，and Eli Shechtman.神经风格迁移中知觉因素的控制。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。2[10] Mi c ha e？ lGharbi ，Tzu-MaoLi ，MiikaAittala ，Jaak koLehti- nen，andFr e？doDurand. 基于样本的蒙特卡罗去噪算法。卷38，页125：1 ACM，2019年。3[11] Golnaz Ghiasi ， Honglak Lee ， Manjunath Kudlur ，Vincent Dumoulin，and Jonathe Shlens.探索实时、任意神经艺术风格化网络的结构2017. 2[12] Andrew G.霍华德、朱梦龙、陈波、德米特里·卡列尼琴科、王伟军、托比亚斯·韦安德、马可·安德烈托和哈特维希·亚当。Mobilenets：用于移动视觉应用的高效卷积神经网络。第一卷，ABS/1704.04861，2017年。第三、四节[13] 黄勋和塞尔日·贝隆吉。任意风格的实时传输，具有自适应 的实 例规范 化。 在IEEE国际 计算 机视觉 会议（ICCV）的会议记录中，2017年10月。一、二、四、五、六、七[14] Xu Jia，Bert De Brabandere，Tinne Tuytelaars，and LucV Gool.动态过滤网络。神经信息处理系统，第667-675页，2016年。3[15] Yongcheng Jing ， Xiao Liu ， Yukang Ding ， XinchaoWang，Errui Ding，Mingli Song，and Shilei Wen.用于任意样式传输的动态在AAAI，2020年。二、三、五、六[16] 景永成、杨业州、冯尊雷、叶景文、余益州、宋明丽Neural Style Transfer：A Review.2019. 2[17] 贾斯汀·约翰逊亚历山大·阿拉希和李飞飞。实时风格转换和超分辨率的感知损失。在2016年欧洲计算机视觉会议上。第二、五条[18] Tero Karras Samuli Laine和Timo Aila一种用于生成对抗网络的基于风格的生成器体系结构。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2019年6月。一、二、四、八[19] 泰罗·卡拉斯、萨穆利·莱恩、米卡·艾塔拉、詹娜·赫尔斯滕、亚科·莱赫蒂宁和蒂莫·艾拉。分析并改进了扫描仪的成像质量。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，2020年6月。二，四，八[20] Dmytro Kotovenko，Artsiom Sanakoyeu，Sabine Lang，and Bjorn Ommer.艺术风格转换的内容与风格分离在IEEE/CVF计算机视觉国际会议（ICCV）上，2019年10月。2[21] Xueting Li，Sifei Liu，Jan Kautz，and Ming-Hsuan Yang.学习线性变换以实现快速图像和视频风格转换。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2019年6月。2[22] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.通过特征转换实现通用样式转换。在第31届神经信息处理系统国际会议论文集，NIPS柯伦联合公司第二、五条[23] 林宗毅，迈克尔·梅尔，塞尔日·贝隆吉，詹姆斯·海斯，皮埃特罗·佩罗纳，德韦·拉马南，皮奥特·多尔·阿尔和C.劳伦斯·齐特尼克。Microsoft coco：上下文中的常见对象。在David Fleet、Tomas Pajdla、Bernt Schiele和TinneTuyte- laars编辑的《计算机视觉施普林格国际出版社。5[24] Ben Mildenhall ， Jonathan T Barron ， Jiawen Chen ，Dillon Sharlet，Ren Ng，and Robert Carroll.使用核预测网络进行突发去噪。在IEEE计算机视觉和模式识别会议论文集，第25023[25] K.尼科尔 Painter by numbers，Wikiart，2016. http：//www.kaggle.com/c/painter-by-numbers网站。5[26] S. 尼克劳斯湖Mai和F.刘某基于自适应卷积的视频帧内插2017年IEEE计算机视觉和模式识别会议（CVPR），第2270- 2279页二、三[27] 西蒙·尼克劳斯、龙迈、风流。基于自适应可分离卷积的视频帧在IEEE计算机视觉国际会议（ICCV）的会议记录中，2017年10月。二、三7981[28] 西蒙·尼克劳斯龙迈和奥利弗·王视频帧内插的自适应卷积。arXiv预印本arXiv：2011.01280，2020。二、三[29] Taesung Park ， Ming-Yu Liu ， Ting-Chun Wang ， Jun-Yan Zhu.具有空间自适应归一化的语义图像合成。在IEEE计算机视觉和模式识别会议论文集，2019年。2[30] 沈发龙，严水城，曾刚。通过Meta网络进行神经风格转换在IEEE计算机视觉和模式识别会议论文集，第80612[31] 路胜，林子怡，邵景，王晓刚Avatar- net：通过特征装饰实现多尺度零镜头风格转换。在IEEE计算机视觉和模式识别会议论文集，第8242-8250页，2018年。第二、五条[32] 凯伦·西蒙尼扬和安德鲁·齐瑟曼用于大规模图像识别的深度卷积网络。2015年国际学习表征会议。4[33] 德米特里·乌里扬诺夫，瓦迪姆·列别捷夫，安德里亚，和维克多·莱姆皮茨基。纹理网络：纹理和风格化图像的前馈合成第48卷，Proceedings of Machine LearningResearch，第1349美国，2016年6月20-22日。PMLR。2[34] DmitryUlyanov ， AndreaVedaldi 和 VictorS.Lempitsky。改进的纹理网络：在前馈风格化和纹理合成中最大化质量和多样性。在2017年IEEE计算机视觉和模式识别会议，CVPR 2017，檀香山，HI，美国，2017年7月21-26日，第4105-4113页IEEE计算机协会，2017年。第二、五条[35] ThijsVogels ， Fabrice Messelle ， Brian Mcwilliams ，Gerhard Rothlin，Al e xHarvill，DavidAdle r，MarkM eye r和Jan N o v a'k。用核预测和非对称损失函数去噪第37卷，美国纽约州纽约市，2018年7月。计算机协会。二、三[36] Zhihao Xia，Federico Perazzi，Michael Gharbi，KalyanSunkavalli，and Ayan Chakrabarti.基础预测网络用于大内核的有效突发去噪。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2020年6月。3[37] Tianfan Xue ， Jiajun Wu ， Katherine L Bouman ， andWilliam T Freeman.视觉动力学：通过交叉卷积网络进行可能的未来帧合成。神经信息处理系统的优势，2016年。3[38] Julio Zamora Esquivel Adan Cruz Vargas Paulo LopezMeyer和Omesh Tickoo自适应卷积核。在IEEE/CVF计算机视觉国际会议（ICCV）研讨会上，2019年10月。3[39] Peihao Zhu ， Rameen Abdal ， Yipeng Qin ， and PeterWonka. Sean：具有语义区域自适应归一化的图像合成。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，2020年6月。2