深度残差卷积网络: 神经风格迁移技术中的深度保留算法

+v：mala2255获取更多论文© 2022作者（S）© 2022欧洲图形协会。EG英国计算机图形视觉计算（2022）M. Turner和P.Vangorp（编辑）基于实例归一化的E. Ioannou和S.Maddock英国谢菲尔德大学计算机科学系图1：使用我们的方法的结果：捕获样式图像的颜色和纹理模式，同时保留深度信息。摘要神经风格迁移（NST）涉及视觉媒体的艺术风格化。它可以被描述为将艺术图像的风格转移到普通照片上的过程。最近，许多研究已经考虑了NST算法的深度保持能力的增强，以解决当输入内容图像包括各种深度的许多对象时发生的不期望的效果。我们的方法使用具有实例归一化层的深度残差卷积网络，该网络利用高级深度预测网络将深度保留作为内容和风格的额外损失函数我们展示了有效保留内容图像的深度和全局结构的结果三个不同的评估过程表明，我们的系统是能够保留的风格化的结果的结构项目页面：https：//ioannoue. GitHub. io/depth-aware-nst-using-in。HTML.CCS概念• 计算方法学→图像处理;图像表示; ·应用计算→美术;媒体艺术;1. 介绍神经风格迁移（Neural Style Transfer，NST）涉及各种形式的数据（如图像、视频和3D模型）的艺术风格化。在2D图像风格化的上下文中，这是NST主要应用的地方该技术能够将艺术图像的风格模式映射到普通照片上，合成出既保留照片内容又能体现特定艺术品艺术影响的新颖图像，已引起学术界和工业界的广泛关注许多研究扩展了Gatys等人开创性的2D工作。[GEB 16]到其他媒体，如3D图像，视频和游戏[RDB 17;HWL*17;GGZY18;DGV 20]。多项研究还讨论了计算复杂性、速度或美学以及程式化结果的视觉质量[JAF 16;ULVL 16;SKLO 18;HJL*20]。最近，大量研究致力于增强NST算法的结构和深度保持能力，这是基于以下观察结果：通过在整个图像中均匀地应用样式模式，风格化图像通常会忽略大部分内容信息[LCLR 17;CLW*19;KKM 19]。为了消除这些不期望的影响，当输入内容图像包括各种深度的对象时，这些影响尤其明显，已经提出了除了内容和风格损失之外还包括训练中的深度重建损失的算法[LCLR 17;CLW*19]。这是通过利用最先进的深度估计方法来实现的[CFYD16]。我们提出了一种方法，该方法是基于图像transforma- tion网络介绍约翰逊等人。[JAF 16]并产生保持内容的全局结构和深度的风格化结果。我们的算法使用实例规范化（IN）层-arXiv：2203.09242v2 [cs.CV] 2022年9月+v：mala2255获取更多论文© 2022作者Eurographics Proceedings © 2022 The EurographicsE. 约安努基于实例归一化的Maddock/深度感知神经风格转换而不是批量归一化（BN），Ulyanov等人提出的风格转移方法的修改。[2016 - 12 - 16]提高了质量此外，我们利用最先进的深度估计网络[RLH*20;RBK 21]来计算深度信息，作为内容 和 风 格 损 失 的 额 外 损 失 函 数 。 该 方 法 扩 展 了 Liuetal.[LCLR17]最初引入了将深度重建损失用于图像变换网络的训练的想法，作为生成考虑输入内容图像的深度的风格化结果的方式。我们表明，我们的方法，通过使用一个更准确的深度估计approach比刘等。，并通过使用实例规格化替换批量规格化图层，能够产生更好地体现图像不同区域之间的样式对比的结果，从而提高样式化的质量。本文的其余部分组织如下。第二节介绍了相关的工作。我们的方法在第3节中进行了详细的介绍和分析。第4节包含了我们的方法的结果以及对其有效性的讨论。最后，第5节给出了结论和对未来工作的讨论。2. 相关工作Gatys等人在对象识别中获得了卷积神经网络（CNN）与人类相当的能力。他提出了一个在自然图像上再现名画的系统[GEB 16]。该算法将内容图像和样式图像作为输入，并将噪声图像作为输入，随后通过寻求最小化包含内容损失和样式损失的定义的目标函数来优化噪声图像。内容由预训练的VGG-19网络的高级特征表示[SZ 15]，而风格被认为是一组汇总统计数据。为了表示风格，从多个层中提取特征，并使用Gram矩阵计算特征相关性尽管这个过程的有效性和复杂性，它需要大量的时间来生成一个单一的风格化的图像。Johnson等人的方法。[JAF16]避免了这种缓慢的优化过程，并提出了一种利用感知损失函数来训练其网络的算法。生成模型离线优化，允许使用单个前向传递产生风格化输出，这是更快的量级。类似的算法通过学习前馈网络来提高速度和整体计算成本[ULVL 16;UVL 17]，而进一步的工作考虑每个模型[DSK16;CYL*17]或甚至每个模型[HB 17;CS 16;GCLY 18]的多个样式的合并通过使用实例归一化（IN）或对比度归一化（而不是批量归一化），对早期方法进行了进一步改进类似于Johnsonetal。[JAF 16]，Ulyanovet al. [ULVL16]使用由卷积、池化、上采样和批量归一化组成的生成器。Ulyanov等人[UVL16]建议采用相同的配置，但采用对比度归一化层，以防止风格化结果取决于内容图像的对比度。结果表明质量更好，并抑制了整个图像中风格图案的不期望分布[UVL17]。其他方法从不同的角度看待这个问题试图重新定义什么是艺术品的这样的尝试包括Sanakoyeu等人的算法。[SKLO 18]，它训练网络在测量输入和风格化图像之间的内容相似性时专注于与风格相关的细节，从而产生一个更通用的过程，避免固定的风格表示（由预训练的VGG网络的特征Huet al.[HJL*20]旨在通过单独操纵颜色和纹理特征来控制风格化结果的美学。他们的系统输入两个不同的图像，参考颜色和纹理，而不是只有一个风格的图像。这些方法似乎超越了使用单一风格图像的局限性，提高了风格化结果的美学质量，提供了一个不同于以往研究的观点，即关注风格图像大多数上述研究都忽略了细节的深度保持和连贯性，然而，在评估NST方法为了解决这一局限性，Liuet al.[LCLR17]提出了一个基于Johnson等人工作的系统。[JAF16]但集成了深度估计。他们的方法建议在转换网络的训练中添加深度重建损失，并使用单图像深度感知网络[CFYD16]。这项工作的扩展由Cheng等人实现。[CLW*19]，其方法侧重于保留或增强艺术风格化结果的结构。使用全局结构提取网络（由深度图表示）和局部结构细化网络（由图像边缘表示），它们提供了一种可调节的方式来控制在样式化图像时保留的结构量。这导致风格化的输出，其不受风格纹理分散在整个图像上并且破坏内容结构的影响，这在美学上更好，特别是当内容图像包含各种深度的面部或多个对象然而，正如作者所建议的那样，这种方法可能不适合喜欢更抽象感觉的用户。Kitovet al. [KKM 19]，其基于Huanget al. [HB17]，在内容图像的不同区域中应用风格化，根据它们到相机的距离，具有不同的强度。我们的方法侧重于保留图像的全局结构，建立在刘等人的初始方法。[LCLR 17].先前的方法依赖于深度估计方法来从2D图像计算深度。从单个RGB图像预测深度是计算机视觉中的一个长期问题。随着深度学习的兴起而出现的最早的数据驱动方法主要使用在地面真实度量深度上训练的神经网络Ranftlet al.[RLH*20;RBK 21]依赖于有效的单目深度估计紧密依赖于训练数据的多样性和多样性的想法该方法由一个监督模型组成，该模型在五个不同的不同数据集上训练，考虑到室内和室外场景，包括各种背景下的静态和动态对象。作为我们的贡献的一部分，我们比较了这些国家的最先进的方法对深度-+v：mala2255获取更多论文E. 约安努基于实例归一化的Maddock/深度感知神经风格转换© 2022作者（S）© 2022欧洲图形协会。0××CjHjWj0 02图2：系统概述：图像变换网络将输入图像x变换为输出图像y。使用预先训练的图像分类网络（VGG-16）来定义内容和风格损失。对于深度损失的定义，我们使用最先进的深度估计网络（Mi-DaS）。为了生成风格迁移模型，对于特定风格，在训练期间优化总损失（内容损失+风格损失+深度损失）估计并利用深度估计网络来训练我们的模型，该模型包含深度重建损失。3. 方法3.1. 概述图2提供了我们的方法中使用的总体架构的概述。类似于Liuet al. [LCLR 17]中，我们的方法使用图像变换网络（fW）-一种不像Liuet al. [LCLR 17]，我们使用实例规范化（IN）层，而不是批量正常-图3：Johnson等人提出的系统的结果比较。[JAF 16]使用批量规范化（BN）和实例规范化（IN）时分类网络，以捕获内容损失和风格损失，以及深度预测网络来捕获深度损失。就像约翰-森等人一样。，我们使用VGG-16[SZ 15]）及其高级特征来定义内容和风格损失。基于观察到预先训练的卷积网络的较深层将输入图像转换为越来越关心图像内容而不是关于像素纹理或颜色的任何细节的特征图，内容损失由内容图像的特征表示与网络特定层的转换图像之间的平方欧几里得距离定义（relu2_2）：化，使得归一化应用于单个图像而不是整批图像。这是基于对φ0内容（y，x）= 1<$φj（y）−φj（x）<$2（一）Ulyanov等人[UVL16]这种修改通过防止实例特定的均值和协方差偏移，使网络对原始图像的对比度不可知。因此，我们的网络的最终配置包括（i）Johnson等人使用的模型。[JAF16]，但具有IN层，以及（ii）用于捕获深度损失的深度感知网络。图3展示了Johnson等人提出的网络在美学上的改进。配置了IN层而不是Batch Normalization。Johnson等人的原始方法。丢弃大部分内容信息，在整个2D图像中均匀地应用样式模式，而用IN替换Batch Normalization有利于结构和内容的保留。其中φ0是图像分类网络，φj表示处理具有形状H W C的图像时φ0的第j层的激活，其中H表示高度，W表示宽度，C表示通道数。为了计算风格损失，从多个层中提取特征，并且特征相关性由包含关于图像的非局部化信息的格拉姆矩阵G给出：φ1Hj WJ因此，使用IN层配置我们的架构是明智的Gj0（x）C，C'=∑ ∑φj（x）h， w， cφj（x）h，w， c'（2）因为我们的目标是关注深度和结构信息，并产生具有更好风格对比的结果。3.2. 内容风格损失CjHjWjh=1w= 10 0风格损失由变换后的图像y和风格图像y的基于Gram的风格表示之间的平方Frobenius范数定义：除了图像变换网络，我们还使用了两个lφ0，jφ0φ02损失网络捕捉三种不同的损失：预先训练的图像style（y，y）=<$G j（y）− G j（y）<$F（3）L+v：mala2255获取更多论文E. 约安努基于实例归一化的Maddock/深度感知神经风格转换© 2022作者Eurographics Proceedings © 2022 The Eurographics风格×××××总的风格损失然后被定义为：4。 结果和讨论φ0风格（y_i，y）=Σlφ0，j（y_i，y）（4）j∈J我们将我们的方法的结果与最先进的方法[GEB 16;JAF16;LCLR 17]进行了定性和定量比较。其中J= {relu1_1，relu2_2，relu3_3，relu4_3 }是所选择的层的集合。3.3. 深度损失图 4 ： Ranftl 等 人 的 深 度 估 计 方 法 的 视 觉 定 性 比 较 。（MiDaS）[RLH*20; RBK21]和Chen et al. [CFYD16]MiDaS[RLH*20;RBK 21]优于现有的单图像深度估计方法，这指导我们选择用于计算深度损失的深度网络。在他们的工作中，他们报告了一个整体更好的性能相比，陈等人提出的系统。[CFYD16]。图4提供了应用于各种图像的两种方法之间的视觉比较。这些图像来自一组不同的数据集，包括DIW[CFYD16] ， NYU[SHKF 12] ， Make3D[SSN 08] 和Sintel[BWSB 12]。我们使用来自测试数据集的图像，这些图像在两种算法的训练过程中都没有使用。所选择的深度估计网络（φ1）将图像作为输入并直接计算深度图。深度损失因此被定义为深度估计网络关于原始内容图像和变换图像的响应之间的欧几里得距离：- 是的我们进行了侧到侧的视觉比较，我们提出了一个用户研究的结果，旨在捕捉主观性时，评估结果的美学，并考虑定量指标，评估算法的能力，以保持内容4.1. 与最先进方法的lφ1（y，x）=1<$φ1（y）−φ1（x）<$2（五）深度3.4. 培训详情CjHjWj2图5：Gatys等人的方法之间的视觉比较。[GEB16]，Johnsonet al. [JAF16]（with IN），Liu et al. [2017 - 10 - 17]我们的Gatys等人的方法的结果。[GEB 16]和Johnson et al. [2016 -12 - 16]根据原该算法在Microsoft COCO数据集上进行训练[LMB*14]它包含80K图像。对于训练，每个图像被重新调整大小为256256。我们使用Adam优化器[KB14]，学习率为1 10−3，训练批量为4。就像-如前所述，在VGG-16损失网络的relu2_2层计算内容损失，在relu1_2、relu2_2、relu3_2和relu4_3层计算风格重建损失。深度重建损失在Mi-DaS[RLH*20;RBK 21]网络的输出层处计算。我们发现内容、风格和深度损失的最佳权重为1 105，11010和1103，分别。 源代码可以从项目的网页上获得：https：//ioannoue。GitHub. io/depth-aware-nst-using-in。HTML.最终实现的作者，而刘等人的结果。[LCLR 17]在作者许可下直接从他们的论文中检索图5显示了我们的方法的结果与Gatys等人的方法的结果之间的视觉并排比较。[GEB16]，Johnsonet al. [JAF 16]（实例归一化（IN））和Liuet al. [LCLR 17]. Gatys等人使用该系统生成的图像。[GEB16]很好地描述了样式图像的样式模式，然而，它们未能保留内容图像的整体结构和3D布局Johnsonetal.[JAF 16]通过实例规范化增强L+v：mala2255获取更多论文E. 约安努基于实例归一化的Maddock/深度感知神经风格转换© 2022作者（S）© 2022欧洲图形协会。在保留图像内容和不将样式模式均匀地应用于整个图像方面做得更好这同样适用于Liu等人的方法。[LCLR 17].虽然结果非常相似，但我们的系统能够更好地区分距离相机较远的对象和距离相机较近的对象。这在最后两幅图像中更加明显，其中我们的算法能够识别图像中心的对象并适当地对它们进行风格化，避免背景中不均匀的笔触分布。图6：我们对不同内容图像和不同绘画风格的结果的说明。我们的方法捕获了样式图像的颜色和纹理模式，同时保留了深度信息，使位于图像中心的对象脱颖而出。图6展示了使用我们的方法在各种风格图像上训练的模型的更多结果。在捕捉风格图像的颜色和纹理图案的同时，我们的方法还设法保持深度，并允许位于图像中心的对象这是突出的第一行的数字和第三个地方的教堂和元首，重新，正在强调。如Liuet al.[LCLR17]注意到，感知损失和深度损失之间存在权衡如果强调样式损失，则可以更准确地捕获样式模式，而增加深度损失权重将保留图像的更多内容和空间布局（图7）。图7：增加深度权重会保留更多的结构，但它捕获的样式模式较少。风格、内容和没有深度信息的风格化结果显示在左侧。我们的结果显示为从左上角到底部增加深度对于深度损失，左上图像以最低权重生成，右下图像以最高权重生成4.2. 用户研究为了定量衡量我们的方法的美学效果，我们进行了用户研究。我们选择了5种不同风格的图像，包括在以前的NST研究结果中呈现的常见艺术绘画6个内容图像显示在图6的左列中，5个样式图像和所得到的样式化内容图像显示在中间和右列中（其中一个样式图像重复）。研究人员向参与者展示了一系列30组图像。其中一个图像是由我们的算法生成的，而其他三个图像是使用随机算法生成的（Gatyset al. [GEB16]，Johnsonet al. [JAF 16]和Liuet al. [LCLR17]）。图像显示的顺序是随机的。对于前半部分的问题（1-15），内容和样式图像未在问题开始时显示。还提供了相同的15个问题（16-30）（随机顺序），但显示了用于生成结果的内容和风格图像。我们推断，排除问题的内容和风格图像将使我们能够更好地评估最终结果的美学效果，无论生成过程如何。参与者被要求从四个风格化的图像中选择一个他们在视觉上更喜欢的图像（即，最喜欢的风格化）。我们收集了20名参与者的结果 。 向 参 与 者 展 示 的 问 题 示 例 可 在 项 目 网 站 上 找 到 ：https：//ioannoue。GitHub. io/depth-aware-nst-using-in。html#userStudy。用户研究的结果如表1所示。该表显示了每种方法被选为最佳方法或最佳方法之一的次数比例我们的方法主导用户的喜好时，内容和风格的图像+v：mala2255获取更多论文E. 约安努基于实例归一化的Maddock/深度感知神经风格转换© 2022作者Eurographics Proceedings © 2022 The Eurographics最佳方法比内容风格[GEB 16][JAF16][LCLR17]我们省略百分之十三点三三百分之十三点三三6.67%百分之八十透露百分之六十0%的百分比33.33%百分之十三点三三总票数内容风格[GEB16][JAF 16][LCLR17]我们省略百分之二十二百分之十六点三三百分之十八点六七百分之四十三透露40.33%百分之十五点三三22.33%百分之二十二表1：用户研究结果。风格化图像使用我们的方法进行了比较对Gatys等人的方法。 [GEB16]，Johnshon et al. [JAF16]（与IN）和Liu et al. [LCLR 17].用户对两种不同类型问题的偏好：从问题中省略内容和风格图像（省略）和显示此信息（显示）。表的第一部分（最优选方法比率）显示了方法被选为最优选方法的次数比率。在某些情况下，不止一种方法被选为所有参与者的最爱表格的第二部分（总票数）显示了每种方法为所有问题收集的总票数没有透露给参与者，而Gatys等人的方法。[GEB16]是最流行的方法，当内容和样式图像作为问题的一部分被包括在内时。虽然Gatyset al.产生更有效地捕捉样式模式的样式化，我们的方法仍然表现良好，并且在比较最终结果时优于其他方法。这也突出了每个NST研究所遵循的评估的重要性，以及每个方面的价值。在这种情况下，我们证明，只评估结果的美学图8：所有30个问题的总体用户偏好。对于问题1-15，内容和样式图像被省略，而对于问题16-30，内容和样式图像被显示为问题的一部分。在计算结果之前的时间。此过程有助于去除任何颜色（将RGB图像转换为灰度），同时保留内容信息。该分析如表2所示。我们的方法在保持图像的结构和Gatys等人的方法方面表现得更好。[GEB16]在保留色调强度差异方面做得更好，因为它们的过程是用原始内容图像的副本（其被迭代地优化）来初始化的。在不考虑确切的NST操作的情况下，参与者预先与揭示内容和风格图像时相比，采用了不同的方法。图8中的曲线图更好地说明了这一点。这表明我们的方法是首选的大多数问题1-15的内容和风格的形象没有透露，也许[GEB16][JAF16][LCLR17]我们的SSIM0.39510.48570.41760.49050.45550.45164.3. 度量我们的第三个评估过程使用了受Liu和Zhu [ LZ21 ]评估程序启发的指标这里的目的是考虑深度和整体结构保存。在图像的结构评价方面，Liu和Zhu认为结构相似度（SSIM）比峰值信噪比（PSNR）和均方误差（MSE）更符合人类视觉系统（HVS），因此更适合于评价内容图像和风格化结果之间的相似性。我们还使用直方图（Hist），平均哈希（aHash）和差异哈希（dHash）来将我们的结果与其他最先进的方法进行比较。直方图可以检测色调和颜色强度差异，而图像散列[Buc21]算法分析LU上的图像结构，并可用于识别类似的输入。我们使用蔡等人的方法。[BX18]对杂质进行脱色，表2：Gatys等人的方法的SSIM、Hist、aHash和dHash度量的平均值。[GEB16]，Johnson et al. [JAF16]（with IN），Liu etal. [2017 - 10 - 17]我们的方法通过将每种方法的风格化结果与原始内容图像进行比较来测量值。对于每种方法，对9个不同的图像对执行此操作最佳结果用红色突出显示，第二佳结果用青色突出显示。此外，我们执行深度图和显着图比较。理想情况下，风格化的结果保留更多的深度信息和内容图像的结构。我们使用Ranftl等人的方法。[RLH*20;RBK 21]来计算深度图。我们测量原始图像的深度图和风格化结果的深度图之间的结构相似性（SSIM）。我们的方法设法保留更多的深度信息。这表明，当样式图像不显示时，深度变得aHash0.92190.82640.83160.8403这是考虑图像质量的一个重要因素dHash0.87670.75870.73780.7830+v：mala2255获取更多论文E. 约安努基于实例归一化的Maddock/深度感知神经风格转换© 2022作者（S）© 2022欧洲图形协会。[GEB 16][JAF 16][LCLR17]我们深度图0.86730.88480.88010.9112显著性图0.46050.47230.46750.5021表3：原始图像的深度图和显著图与Gatys等人的方法之间的平均SSIM。[GEB16]，Johnson et al. [JAF16]（with IN），Liuet al. [2017 - 10 - 17]我们的通过将每种方法的风格化结果的深度和显著性图与原始内容图像的深度和显著性图进行比较来测量值。对于每种方法，对10对不同的图像执行此操作，并计算平均值。最佳结果用红色突出显示，第二佳结果用青色突出显示。显著性检测被认为是图像分割的一个实例我们的风格化方法的目的是诱导尽可能小的变化，可能的显着地图的内容图像，再次导致更多的细节保存。我们在显着图上重复结构相似性测量，以更准确地估计结果。Jianget al.[JWY*13]用于执行显著性检测。深度图和显著图结构相似性的平均结果报告于表3中。我们的方法在保留内容细节方面表现最好（用红色突出显示），因为我们风格化结果的深度和显着性图更接近原始图像使用一种先进的深度估计方法，我们表明，结果可以显着改善相比，刘等的previous方法。[LCLR 17].整体结构、深度和主要区域被保留，从而产生美学上增强的结果。对 于 深 度 图 比 较 ， 我 们 使 用 了 Ran-FTL 等 。[RLH*20;RBK 21] ， 而 在 Liuet al. [LCLR 17] 和 Chenget al.[CLW*19] Chenet al. [CFYD16]已使用。与这些方法类似，在训练期间使用的相同深度预测网络也用于驱动生成结果的深度图比较。未来的工作可以考虑使用两种深度估计算法进行比较（[RLH*20;CFYD 16]）。4.4. 讨论视觉并排比较表明，类似于最先进的方法，我们的系统可以正确地捕获样式图像的颜色和纹理图案，此外，它可以产生保持深度并允许图像中心的主要对象脱颖而出的样式化。用户研究表明，我们的al-出租m实现的效果对结果的美学有一些积极的影响，因为它受到参与者的青睐。它还提出了关于用户研究的设计及其呈现形式的问题，即：将风格图像作为问题的一部分来显示，是否会引导用户最后，我们提供了一个定量评估，特定的度量，能够评估方法的深度和结构保留能力（如表2和表3所示）。为此使用了一小组图像在未来的工作中将考虑更大的评估此外，虽然SSIM已被选为驱动深度和显著图中的比较的度量，但也可以考虑不同的这三种评价方法--5. 结论我 们 已 经 开 发 了 一 种 方 法 ， 深 度 感 知 神 经 风 格 的 图 像transfer。我们已经证明，我们的模型可以有效地stylestyle2D图像，同时保留输入内容图像的深度和全局结构我们的系统用实例规范化替换了生成器网络的批我们已经表明，在以前的深度感知风格转换方法中没有使用的实例归一化提高了结果的质量。此外，我们已经证明，更准确的深度估计网络可以帮助在图像中保持更好的风格对比度，并进一步改善层次结构和深度信息的我们使用三种不同的方法定性和定量地评估了我们的结果，每种方法都在以前的研究中使用过。没有哪一种单一的办法能够占上风。虽然已经尝试提出不依赖于用户研究的稳健定量评价程序[YTBF18]，但如何最好地评价风格化图像仍然是一在我们未来的工作中，我们打算考虑计算美学评估领域[ZMY21]，以及这可能为NST技术的评估过程提供什么。6. 确认这项研究得到了EPSRC的支持[授权号EP/R513313/1]。引用[Buc21] BUCHNER，JOHANNES.ImageHash。2021年网址：https：pypi.org/project/ImageHash/6.[BWSB 12] BUTLER，D.J.，WULFF，J.，STANLEY，G.B、和B缺乏，M. J.“一个用于光流评估的自然主义开源电影”。欧洲计算机视觉会议（ECCV）由A。 FITZGIBBON等.（EDS.）第四部分LNCS 7577Springer-Verlag，2012年10月，第611[BX18]艾伦·C·艾，X·姜民· X·U和X·ING，X·廖芬。维护脱色”。IEEE图像处理国际会议（2018）6。[CFYD16]CHEN，WEIFENG，FU，ZHAO，YANG，DAWEI，和DENG，JIA。“在野外的单一图像深度感知”。arXiv预印本arXiv：1604.03901（2016）1，2，4，7.+v：mala2255获取更多论文E. 约安努基于实例归一化的Maddock/深度感知神经风格转换© 2022作者Eurographics Proceedings © 2022 The Eurographics[CLW*19]程志明，刘晓昌，王杰，等.“结构保持神经风格转移”。IEEE图像处理学报29（2019），909[CS16] TIAN QICHEN和MARK SCHMIDT。“快速基于补丁的任意样式传输”。2016年2月26日，中国人民解放军第二炮兵连第二炮兵连第一炮兵连第二炮兵连第三炮兵连第二炮兵连第二炮兵连第三炮兵连第四炮兵[CYL*17] CHEN，DONGDONG，YUAN，LU，LIAO，JING，et al.神经图像风格转移的显式表示。IEEE计算机视觉与模式识别会议论文集。2017，1897[DGV20] DELIOT，THOMAS，GUINIER，FLOWER和VANHOEY，KEN-网。使用深度神经网络在Unity中进行实时风格传输。2020. 网址：https://blogs.unity3d.com/2020/11/25/real-time-style-transfer-in-unity-using-deep-neural-networks/1。[DSK 16] DUMOULIN， VINCENT， SHLENS， JONATHON，KUDLUR，MANJUNATH。“艺术风格的学术代表”。2016年2月26日，中国人民解放军总参谋长办公室。[GCLY18]顾，SHuyang，CHEN，Cong Liang，LIao，Jing，Yuan，卢。“任意风格转移与深度功能洗牌”。IEEE计算机视觉与模式识别会议论文集。2018，8222[GEB 16] 加蒂斯，LEONA，ECKER，亚历山大S， 和BETHGE，马蒂亚斯。使用卷积神经网络进行图像风格转换。IEEE计算机视觉与模式识别会议论文集。2016，2414[GGZY18]高、昌、谷、德润、张、方俊、余，YIZHOU。ReCoNet：实时相干视频风格传输网络。2018. arXiv：1807.01197 [cs.CV]1.[HB 17]黄春和贝隆吉。 Arbitrary style transfer in real-time with adaptiveinstance normalization. IEEE计算机视觉国际会议。2017，1501[HJL*20]胡，ZHIYUAN，JIA，JIA，LIU，BEI，et al.第28届ACM国际多媒体会议论文集。2020，3320[HWL*17]黄浩智，王浩，吕文汉，等.视频的时间神经风格转移”。IEEE计算机视觉与模式识别。2017，783[JAF 16]JOHNSON，JUSTIN，ALAHI，ALEXANDRE和FEI-FEI，LI.实时风格转换和超分辨率的可能损失”。欧洲计算机视觉会议。斯普林格。2016，694[JWY*13]姜，胡会祖，王，靳东，袁，泽建，等.“Salient Object Detection: A Discriminative Regional Feature Integra-tion 2013年IEEE计算机视觉与模式识别会议。2013，2083-2090。DOI：10.1109/CVPR.2013.2717.[JYF*19]杨永成，杨，叶鄂周，冯，邹群雷，等。Neural style transfer ：A review. IEEE transactions on visualizationand computer graphics（2019）[KB14] KINGMA，DIEDERIK P and BA，JIMMY.亚当：一种随机优化方法4.第四届中国国际建筑博览会（2014）[KKM19] 伊托夫、维克托、奥兹洛夫采夫、康斯坦丁和米舒斯-蒂娜，阿根廷。使用实例规范化的深度感知任意样式传输。arXiv预印本arXiv：1906.01123（2019）1，2.[LCLR17]刘晓昌，郑成，明明，赖爱，于玉坤，和ROSIN，PAUL L.“深度感知神经风格转移” 非真实感动画与渲染研讨会论文集。2017年，1[LMB*14] LIN，T SUNG-YI，MAIRE，MICHAEL，BELONGIE，SERGE等al. 欧洲计算机视觉会议。斯普林格。2014，740刘世光，朱婷. “Structure-Guided Arbitrary Style IEEE Transactions onMultimedia（2021）6.[RBK21] RANFTL， RENGINEERING， 奥奇科夫斯基， 一个莱克西，和KOLTUN，V拉德伦。“Vision Transformers for Dense Prediction”. ArXiv预印本（2021）2，4，6，7.[RDB17] RUDER，MANUEL，DOSOVITSKIY，一个莱克西，和BROX，THOMAS 。CoRR （ 2017 ） . arXiv ： 1708.04538 。 网 址 ：http://arxiv.org/abs/1708.045381.[RLH*20] RANFTL，RENFTL，LASINGER，KATRIN，HAFNER，DAVID等al. “Towards Robust Monocular Depth Estimation: Mixing Datasets forZero-shot IEEE Transactions on Pattern Analysis and MachineIntelligence（TPAMI）（2020）2，4，6，7。[SHKF 12] SILBERMAN，NATHAN，HOIEM，DEREK，KOHLI，PUSHMEET，和FERGUS，ROB.“室内分割和支持rgbd图像的推理”. 欧洲计算机视觉会议。斯普林格。2012，746[SKLO 18]萨纳科约， 一个RTSIOM， K·奥托文科， DMYTRO，LANG，SABINE，OMMER，BJORN。“A style-aware content loss for real-timehd 欧洲计算机视觉会议2018，698[SSN08] SAXENA，一个关闭，联合国，MIN，和NG，一个安德鲁Y。Make3d：从单个静态图像学习3D场景结构。 IEEE transactions onpattern analysis and machine intelligence31.5（2008），824[SZ15]SIMONYAN，KAREN和ZISSERMAN，ANDREW。非常深的骗局-用于大规模图像识别的卷积网络。2015年。arXiv：1409.1556 [cs.CV]2，3.[ULVL 16] ULYANOV，DMITRY，LEBEDEV，VADIM，VEDALDI，ANDREA，和LEMPITSKY，VICTOR S.“纹理网络：纹理和风格化图像的前馈合成。”ICML。第1卷。2016年，41，2.[UVL16] ULYANOV，DMITRY，VEDALDI，ANDREA和LEMPITSKY，VICTOR.实例规范化：快速样式化缺少的成分。arXiv预印本arXiv：1607.08022（2016）2，3.[UVL17] ULYANOV，DMITRY，VEDALDI，ANDREA和LEMPITSKY，VICTOR.“改进的纹理网络：在前馈风格化和纹理合成中最大化质量和多样性”。IEEE计算机视觉与模式识别会议论文集。2017，6924[YTBF18] 是的，毛泽东，黄，唐，怀，哈，阿，南，戴维·福赛斯“风格转换的量化评估”。arXiv预印本arXiv：1804.00118（2018）7.[ZMY21]张，贾静，苗，永伟，余，靳辉。“A视觉艺术图像的计算美学评价综述IEEE Access（2021）7.