通用风格转移的最优解

5952通用风格转换Ming Lu* 1，Hao Zhao1，Anbang Yao2，Yurong Chen2，Feng Xu3，and LiZhang11清华大学2英特尔中国实验室3清华大学{lu-m13@mails，zhao-h13@mails，feng-xu@mail，chinazhangli@mail}. tsinghua.edu.cn{anbang.yao，yurong.chen} @ intel.com摘要通用风格转移试图显式地最小化特征空间中的损失，因此它不需要在任何预定义的风格上进行训练。它通常使用VGG网络的不同层作为编码器，并训练多个解码器将特征转化为图像。因此，风格转换的效果是通过特征变换来实现的。虽然已经提出了很多方法，但对特征变换的理论分析仍然缺乏。在本文中，我们首先提出了一个新的解释，把它作为最优运输问题。然后，我们证明了我们的配方与以前的作品，如自 适 应 实 例 归 一 化 （ AdaIN ） 和 白 化 和 着 色 变 换（WCT）的rela- tions。最后，我们推导出一个封闭形式的解决方案，命名为最佳风格转移（OST），根据我们的公式，通过额外考虑Gatys的内容损失。相比之下，我们的解决方案可以保持更好的结构，并实现视觉上令人愉快的结果。该方法简单有效，并从定量和定性两个方面论证了它的优越性.此外，我们希望我们的理论分析可以启发未来的工作在神经风格迁移。代码可在https://github.com/lu-m13/OptimalStyleTransfer上获得。1. 介绍自从Gatys的开创性工作以来，已经提出了各种关于神经风格转移的方法[8]。这些方法可以大致分为图像优化和模型优化[13]。基于图像优化的方法通过最小化内容损失和风格损失直接获得风格化输出。风格的丧失是可以避免的。这项工作是Ming Lu在英特尔中国实验室实习时完成的，由负责通信的Anbang Yao监督。通过Gram矩阵[8]、直方图[25]或马尔可夫随机场（MRF）[16]进行精细化。与此相反，基于模型优化的方法试图在像COCO这样的大型数据集上训练神经网络[22]。训练损失可以定义为感知损失[14]或MRF损失[17]。随后的作品[3，6，32]进一步研究了训练一个网络用于多种风格的问题。最近，[12]提出使用AdaIN作为特征变换来训练一个用于任意风格的网络。除了图像和模型优化之外，许多其他作品研究了语义风格转移[23，21，1]，视频风格转移[11，2，26，27]，por- trait风格转移[28]和立体风格转移[4]的问题。[13]提供了一个彻底的审查工作的风格转移。在本文中，我们研究了通用风格转换问题[19]。 我们的动机是明确地最小化 [8]《明史》：“，。因此，我们的方法不需要对任何预定义的样式进行培训。类似于WCT [19]，我们的方法也基于多尺度编码器-特征变换-解码器框架。我们使用VGG网络的不同层[31]作为编码器，并训练解码器将特征转换为图像。通过编码器和解码器之间的特征变换，达到风格传递的效果.因此，通用风格转换的关键是特征变换。在这项工作中，我们专注于特征变换的理论分析，并提出了一个新的封闭形式的解决方案。虽然AdaIN [12]在大型风格图像数据集上训练其解码器，但AdaIN本身也是一种它考虑了每个通道的特性为高斯分布，并假设通道是独立的。对于每个通道，AdaIN首先对内容特征进行规范化这意味着它只匹配协方差矩阵的对角元素。WCT [19]提出使用白化和着色作为特征变换。与AdaIN相比，WCT提高了5953通过匹配协方差矩阵的所有元素得到由于深度卷积神经网络（CNN）的通道然而，WCT仅匹配协方差矩阵，这与最小化Gatys的风格损失具有相似的精神。它没有考虑内容损失，不能很好地保持图像结构。此外，在白化矩阵和着色矩阵之间乘以正交矩阵也可以匹配协方差矩阵，这已经由[18]指出。[20]证明了匹配Gram矩阵等价于最小化具有二阶多项式核的最大平均偏差（MMD）。然而，它没有给出一 个 封 闭 形 式 的 解 决 方 案 。 相 反 ， 我 们 的 工 作reformulates风格转移作为一个最优的运输问题。光学传输试图找到匹配两个高维分布的变换对于神经风格转移，考虑到神经功能在每个激活作为一个高维样本，我们假设的样本的内容和风格图像是从两个多变量高斯（MVG）分布。样式传递等效于变换内容样本以适应样式样本的分布。假设变换是线性的，我们发现AdaIN和WCT都是我们公式的特例。尽管[18]也假设变换是线性的，但它仍然遵循白化和着色管道，并为白化和着色矩阵训练两个Meta网络。与此相反，我们直接找到最佳传输公式下的转换。如上所述，仍然存在无限变换，例如，在白化和着色矩阵之间乘以正交矩阵也可以是解决方案。因此，我们寻求一种变换，其另外最小化变换特征与原始内容特征之间的差异。这与Gatys的内容损失最小化具有相似的精神[8]。我们证明了一个独特的封闭形式的解决方案命名为最佳风格转移（OST），可以找到，一旦考虑的内容损失。在方法部分给出了OST的详细证明。由于OST进一步考虑了内容损失，因此与WCT相比，它可以保持更好的结构。我们的贡献可以总结如下：1. 我们提出了一种新的解释神经风格转换处理它作为一个最佳的运输问题，并阐明了理论关系，我们的解释与前mer作品的特征变换，例如，AdaIN和WCT。2. 我们找到了唯一的封闭形式的解决方案命名OST下的最佳传输解释，另外考虑的内容损失。3. 我们的封闭形式的解决方案保留了更好的结构，并实现了视觉上令人愉快的结果。2. 相关工作图像优化。基于图像优化的方法通过最小化特征空间中定义的内容损失和风格损失直接获得风格化输出。优化通常基于反向传播。 [7，8]建议使用Gram矩阵来定义示例图像的样式。[16]通过将MRF与卷积神经网络相结合来改进结果。[1]使用语义掩码来定义相应区域内的样式损失。为了改善肖像风格转移的结果这类似于[30]提出的增益图。[9]研究了风格转换过程中知觉因素的控制问题。[25]通过结合直方图损失改进了神经风格转移的结果。[26]将时间一致性损失结合由于所有上述方法通过反向传播来解决优化，因此它们本质上是耗时的。模型优化。为了解决反向传播的速度瓶颈，[14，17]提出训练一个馈送-前向网络来近似优化过程。他们不是优化图像，而是优化网络的参数。由于为每种风格训练一个网络是繁琐的，[3，6，32]进一步研究了为多种风格训练一个网络的问题。后来，[5]提出了一种基于补丁交换的任意风格转换方法。首先，通过深度神经网络转发内容和风格图像以提取特征。然后将风格转换转化为神经元交换，得到重构的特征图.该特征映射由解码器网络反转到图像空间。从那时起，编码器-特征变换-解码器的框架已经被广泛地探索用于任意风格传输。[12]使用AdaIN作为特征变换，并在内容和样式图像的大集合上训练解码器。[18]训练两个Meta网络的白化和着色矩阵，遵循WCT的公式[19]。许多其他工作也将神经风格转移扩展到视频[2，11，27]和立体风格转移[4]。这些作品通常联合训练除了风格转移网络之外的其他网络。通用样式转换。通用风格转换[19]也是基于编码器-特征变换解码器与AdaIN [12]不同，它不需要对任何风格图像进行网络训练。它直接使用VGG网络的不同层作为编码器，并训练解码器将特征转化为图像。通过特征变换达到风格转换的效果。[5]用最相似的样式特征块替换内容特征块。然而，最近邻搜索实现较少的转移效果，因为它倾向于保留原始外观。AdaIN认为activa-5954图1. (a)OST的通用风格传输管道。首先，我们使用编码器对内容图像和样式图像进行特征提取。然后利用特征变换的方法得到风格化的特征。最后，解码器将风格化特征转化为图像。顶层的输出被用作底层的输入内容图像。(b)解码器将特定层的特征反转到图像。虽然[10，29]建议训练解码器将特征反转为其底层的特征，这可能更有效，但我们在这项工作中使用图像解码器，因为解码器不是我们的(c)我们使用特征损失（由蓝色箭头表示）和重建损失（由红色箭头表示）来训练DecoderX（X=1，2，…（五）。将每个通道作为高斯分布进行分类，并通过均值和方差匹配内容和样式图像。然而，由于CNN的通道是相关的，AdaIN无法实现视觉上令人愉悦的传输效果。WCT [19]提出使用特征白化和着色来匹配样式和内容图像的协方差矩阵。然而，如[18]所指出的，WCT不是匹配协方差矩阵的唯一方法。[29]提出了一种结合WCT和AdaIN的补丁匹配方法。而不是通过原始特征找到最近的邻居，[29]使用投影特征进行这些投影特征可以由AdaIN或WCT生成。然而，这些方法都没有对特征变换进行理论分析。目前的工作，如WCT的关键观察是匹配的协方差矩阵，这是不够的，以找到一个好的解决方案。3. 动机OST的流水线如图1所示这与WCT相似我们使用预训练的VGG网络的不同层作为编码器。对于每个编码器，我们训练相应的解码器将特征反转为图像，如图1（b，c）所示。虽然[10，29]建议训练解码器将特征反转为其底层的特征，这可能更有效，但我们在这项工作中使用图像解码器[19]，因为框架不是我们的贡献。我们将神经风格转换问题转化为最优转换问题来研究特征转换问题。我们将内容图像表示为I，并且和风格图像，分别记为Fc∈RC×HcWc和Fs ∈RC×HsWs，其中HcWc和HsWs为激活次数，C为通道数。我们将Fc和Fs的列视为来自两个多变量高斯（MVG）分布N（μc，μc）和N（μs，μs）的样本，其中μc，μs∈RC是均值向量，Σc，Σs∈RC×C是方差矩阵。我们进一步-注意，来自内容分布的样本为u，来自样式分布的样本为v。因此，uN（µc，Σc）和vN（µs，Σs）。假设最优变换是线性的，我们可以如下表示。t（u）=T（u−µc）+µs（1）其中T∈RC×C是变换矩阵。由于我们假设特征来自两个MVG分布，T必须满足以下等式以匹配两个MVG分布。TΣcTT=Σs（2）其中T是T的转置。当Eq. 2满足时，我们可以得到t（u）N（μ s，Σs）。然后，我们演示了我们的公式与AdaIN [12]和WCT [19]的关系。我们将Σ c和Σ s的对角矩阵分别记为Dc和Ds。对于AdaIn，变换矩阵T=Ds./ D C，其中表示按元素划分。 因此，AdaIN不满足Eq. 2因为它忽略信道的相关性。只有对角线元素由AdaIN匹配至于WCT，我们可以找到1/ 2−1/ 2变换矩阵T=ΣΣ.由于两c1/2 −1/ 2s c样式图像为Is。对于内容图像的特征，WCT和WCTc是对称矩阵，WCT满足等式（1）。5955图2.T= Σ1/2QΣ−1/2的风格转换结果，其中Q为且E[u*Tδ]=E[δT u*]= 0。此外，E[δT δ]也是常数。因此，最小化Eq.6等效于最小化Eq.第七章：E[v*Tv*+u*Tu *−u*Tv*−v*Tu*]（7）使用矩阵迹的表示，Eq. 7可以改写如下。s ctr（E[v*v*T+u*u*T−v*u*T −u*v*T]）（8）单位正交矩阵。虽然T满足Eq. 2、结果差异很大。2.然而，WCT不是Eq. 2是因为T=<$1/2Q<$−1/2，其中Q是单位正交的其中tr表示矩阵的迹。由于E[v*v*T]= Σs，E[u*u*T]=Σc且E[v*u*T]=E[u*v*T]=φ，其中φ表示v*和u*的协方差矩阵，方程的解为：3可以重新表述如下。S c矩阵，是一个家庭的解决方案，方程。2.这一点也被[18]所证实。从理论上讲，有无限的解决方案，只考虑方程。2.我们在图2中示出了将随机单位正交矩阵乘以白化矩阵可以看出，Al-虽然T=Σ1/2QΣ−1/2满足等式2、风格转移T= arg max（tr（φ））（9）不接下来，我们引入一个引理，这个引理已经被[24]证明了。由于篇幅有限，我们不再重复证明。引理可以归纳如下。S c结果差别很大。我们的动机是通过另外考虑Gatys的内容损失来找到最优解因此，我们的公式可以表示如下，其中E表示期望。引理4.1给定两个高维分布X和Y，其中XN（0，Σ11）和YN（0，Σ22），我们将（X，Y）的分布定义为N（0，Σ），其中Σ可以表示如下。201- 02 - 02张晓波（||t（u）− u||（二）不.ΣΣ11φ=φT（十）S.T. t（u）= T（u − µc）+ µ sTΣcTT= Σs（三）max（tr（2φ））的问题具有唯一解，其可以表示为：4. 方法φ=Σ11Σ1/2（Σ1/2Σ11Σ1/2）−1/2Σ1/2（十一）在这一部分中，我们推导出方程的封闭形式的解决方案。3.第三章。22 2222 22∗ ∗我们替换Eq。1到Eq.的期望项3，得到：有了上面的引理，设X=v，Y=u，Σ11=Σs和Σ22=Σc，我们可以得到方程的解。9，可以表示为φ=ΣΣ1/2（Σ1/2ΣΣ1/2）−1/2Σ1/2。我们来写简历-公司简介E[（T（u−µc）+µs−u）T（T（u−µc）+µs−u）]（4）能量矩阵为φ=E[v*u*T]=E[v*（T−1v*）T]=E[v<$v<$T]（T−1）T=s（T−1）T。 因此，我们可以得到我们记u*=u−µc，v*=Tu*，δ=µs−µc。−1T二分之一二分之一1/2−1/2二分之一因此，我们可以得到u*N（0，Σ）和v*N（0，Σ）。（T）=Σc（ΣcΣsΣc）Σc.最后的Tcs可以表示为Eq.12个。此外，δ是恒定的C维向量。使用u，v和δ，我们可以重写Eq。4为：T=Σ−1/2（Σ1/2ΣΣ1/2）1/2Σ−1/25956（十二）c cE[（v+ δ − u）T（v+ δ − u）]（5）我们进一步展开方程。5至：E[v*Tv*+δT v *−u*Tv*+v*Tδ+δT δ−u*Tδ −v*Tu* −δT u*+u*Tu*]（6）由于u*N（0，Σc），v*N（0，Σs）和δ是一个常数C维向量，我们可以得到E[δT v*]=E[v*Tδ]= 0注：本方法的最终解非常简单。由于我们的方法还考虑了内容损失，因此与WCT相比，我们可以保留更好的结构。与以往的工作相反，我们提供了一个完整的理论证明所提出的方法。文中还论证了我们的方法与前人工作的关系。我们相信，无论是封闭形式的解决方案和理论证明将启发未来的工作在神经风格转移。5957表1.处理速度比较。5. 结果在本节中，我们首先将我们的方法与第5.1节中的Gatys [8]，Patch Swap [5]，AdaIN（使用我们的解码器）[12]，AdaIN+（使用他们的解码器）[12]和WCT[19]进行定性然后，我们在第5.2节中提供了我们的方法与Gatys，Patch Swap，AdaIN，AdaIN+和WCT的定量比较。在前面的工作之后，我们还在5.3节中展示了线性插值和语义风格转换的结果最后，我们将在5.4节讨论我们方法的局限性。参数：我们在COCO数据集上训练解码器[22]。平衡等式（1）中的特征损失和重建损失的权重。[13]设为1，如[19]。对于本工作中的结果，输入的分辨率固定为512 ×512。性能表现：我们实现了所提出的方法上一台配备NVIDIA Titan Xp显卡的服务器亲-在512×512的输入分辨率下，处理速度比较如表1所示。我们与我们服务器上发布的实现进行比较，这可能会导致与论文的细微差异。5.1. 定性结果我们的方法与Gatys：Gatys [8]是神经风格迁移的先驱工作，它可以处理任意风格。虽然它使用耗时的反向传播来最小化内容损失和风格损失，但我们仍然与它进行比较，因为它的公式是我们方法的基础如图3所示，Gatys通常可以实现合理的结果，然而，这些结果并不那么程式化，因为迭代求解器不能在有限的迭代中达到最优解。相反，我们的方法试图找到封闭形式的解决方案，这显式地最小化的风格损失和内容损失。相比之下，我们的结果更程式化，他们也很好地保留内容图像的结构。我们的方法与补丁交换：据我们所知，PatchSwap [5]是第一个使用编码器-特征变换-解码器框架的工作。它会选择某一层的VGG网络作为编码器，并训练相应的解码器。特征变换被公式化为神经元贴片交换。然而，使用原始特征的神经补丁交换倾向于简单地重建特征，因此结果不是程式化的。此外，Patch Swap只在某个图层中传递样式，这也降低了样式传递效果。[29]提出在投影域中匹配神经补丁，例如，白化特征[19]。除此之外，[29]使用多个层来转移风格，实现更程式化的结果。 我们的工作我们没有使用神经块匹配的思想，而是专注于理论分析，以提供封闭形式的解决方案。从图3中可以看出，我们的结果比Patch Swap更程式化。我们的方法与AdaIN和AdaIN+的比较：如动机中所讨论的，AdaIN [12]假设CNN特征的通道是独立的。 对于每个通道，AdaIN匹配两个一维高斯分布。怎么-CNN特征的通道实际上是相关的。因此，使用AdaIN作 为 特 征 变 换 不 能 实 现 视 觉 上 风 格 化 的 结 果 。AdaIN+[12]没有使用AdaIN作为特征变换方法，而是在大量内容和样式图像的集合上训练虽然AdaIN+只传输特定层中的特征，但它使用多个层中定义的样式损失来训练解码器我们用AdaIN和AdaIN+进行比较如图3所示，AdaIN和AdaIN+的结果是相似的，并且它们都未能实现视觉上令人愉悦的转移结果。因此，我们认为AdaIN和AdaIN+失败的原因是因为它们忽略了CNN特征通道之间的相关性。相反，我们的工作考虑了相关性，从而实现了更程式化的结果，如图3所示。我们的方法与WCT：WCT [19]提出使用特征白化和着色作为风格转换的解决方案。本文选用ZCA增白剂，并进行了一些实验具有如图4所示的ReLU31的特征的其他白化方法。可以看出，只有ZCA增白实现了合理的结果。这是因为ZCA白化是最佳选择，其使内容特征与白化特征之间的差异最小化。虽然ZCA白化图像可以保持内容图像的结构，但对最终的变换特征没有约束与此相反，我们考虑最小化内容特征和最终变换特征之间的差异。正如我们在动机部分所分析的那样，WCT满足Eq。2.因此，它完美地匹配两个高维高斯分布。但是，它忽略了Gatys的内容损失。相反，我们寻求封闭形式的解决方案，它还最大限度地减少了内容损失。如图3所示，我们的转换可以保留更好的结构（见红色矩形）。我们还注意到，最终特征可以是原始内容特征和变换后的特征的线性组合，如等式（1）所示。13.其中α是变换特征的权重。t*（u）=αt（u）+（1−α）u（13）我们在图5中显示了不同α值的结果。如图5所示，调整权重可以改变风格转移的程度。WCT具有更小的α，可以保留更多的内容图像的结构。然而，即使α很小，仍然存在明显的伪影。相反，我们的方法Gatys修补程序交换AdainAdaIn+WCT我们207.12s13.15s0.49s0.16s3.47s4.06s5958Input Gatys PatchSwap AdaIN AdaIN+WCT我们的结果图3.定性结果。我们将我们的方法与Gatys [8]，Patch Swap [5]，AdaIN（使用我们的解码器）[12]，AdaIN+（使用他们的解码器）[12]和WCT [19]进行比较。AdaIN忽略协方差矩阵的非对角元素，这导致较少程式化的输出。WCT没有考虑内容丢失，不能很好地保留内容图像的结构，如红色矩形所示我们的方法可以实现程式化和内容保持的结果。5959方法Gatys修补程序交换AdainAdaIN+WCT*我们的*内容损失0.0960.0860.1670.1510.2960.255风格损失-123.77100.815.8515.93.893.60风格损失-28577.0430647.65351.63355.5594.4457.8风格损失-36749.715607.24564.74905.51226.61203风格损失-4325939562192245133202767187907129695风格损失-515.9617.7314.112.4824.3312.37表2.平均内容损失和风格损失。* 表示完全匹配内容和样式特征的统计图4.不同美白方法的图解我们使用ReLU3 1的特征测试了可以看出，ZCA增白实现了更好的结果。图5.线性插值插图。顶行是我们的方法的结果，并且底行是WCT的结果。将内容特征与变换后的特征进行线性组合可以帮助保持结构。在等式中具有较小的α13、WCT可以保存更多的结构。然而，仍然存在明显的人为因素.相反，我们的方法始终取得令人满意的结果。Gatys修补程序交换AdainAdaIN+WCT我们2.171.052.001.942.673.07表3.用户研究的平均得分一致地实现视觉上令人愉悦的结果。5.2. 定量结果用户研究：风格迁移是一个非常主观的研究课题。虽然我们已经从理论上证明了我们的方法的优点，我们进一步进行用户研究，以将我们的工作与Gatys、Patch Swap、AdaIN、AdaIN+和WCT进行定量本研究使用16幅内容图像和35幅风格图像，从已发表的实现中收集，因此每种方法生成了560幅风格化图像。我们向测试人员展示内容、风格和风格化的图像。我们要求测试者从1（最差）- 5（最佳）用于评价风格转移的质量的目的。我们在网上对50名测试者进行了这项用户研究。平均评分列于表3中。该研究表明，我们的方法改善了以前的作品的结果。内容损失和风格损失：除了用户研究，我们还评估了Gatys定义的内容损失和风格损失[8]。我们计算了每种方法的平均内容损失和风格损失与用户研究的图像。我们将内容损失与神经激活的数量归一化。平均损失列于表2中。可以看出，与WCT相比，我们的方法实现了更低的内容损失和相似的风格损失。至于Gatys，Patch Swap，AdaIN和AdaIN+，它们未能实现风格化的结果，具有较高的风格损失，正如我们在定性比较部分中所分析的那样。5.3. 更多结果我们在图6中展示了更多的结果来证明我们的方法的推广，其中α设置为1。为了进一步评估线性插值，我们在图7中显示了具有不同α值的两个我们还将我们的方法与语义风格转换相结合，如图7所示。虽然我们假设神经特征是从MVG分布中采样的，但这些结果都是视觉上令人愉快的，这证明了所提出的方法的泛化能力。5.4. 限制我们的方法仍然有一些局限性。例如，我们评估视频风格转移的逐帧结果。虽然我们的方法可以保持更好的结构相比，以前的工作，逐帧的结果仍然包含明显的抖动。我们发现时间抖动不仅是由特征变换引起的，也是由编码器网络的信息丢失引起的。深度编码器网络即使没有特征变换也会导致明显的时间抖动。5960图6.更多结果。我们展示了更多的结果，其中α被设置为1。图7.线性插值与语义风格转换。虽然我们假设神经特征是从MVG分布中采样的，但这些结果都是视觉上令人愉快的，这证明了我们的工作的泛化能力。此外，风格迁移是一个非常主观的问题。尽管Gatys提出的Gram矩阵表示法已经得到了广泛的应用，但人们对风格的真实感受的数学建模仍然是一个未解决的问题。探索深度神经网络和图像风格之间的关系是一个有趣的话题。6. 结论在本文中，我们首先提出了一种新的解释神经风格转移，将其视为一个最佳的运输问题。然后，我们论证了我们的解释与前人著作的理论联系，例如，AdaIN和WCT。基于我们的配方，我们推导出独特的封闭形式的解决方案，另外考虑的内容损失。我们的解决方案保留了更好的结构相比，与以前的作品，由于最小化的内容损失。希望本文能对今后的风格转换研究有所启发。鸣 谢 。 本 工 作 得 到 国 家 重 点 研 发 计 划 项 目2018YFA0704000、 国 家 自 然 科 学 基 金 （ 批 准 号 ：61822111、61727808、61671268、61132007、61172125、61601021和U1533132）和Bei-京自然科学基金（L182052）。5961引用[1] 亚历克斯·J·尚潘达 语义风格的转换和转向-在艺术品上涂鸦。arXiv预印本arXiv：1603.01768，2016。[2] 陈东东，廖静，卢远，余能海，华刚。连贯的在线视频风格转移。在IEEE计算机视觉国际会议论文集，第1105-1114页[3] 陈冬冬、卢远、廖静、余能海、华刚。Stylebank：神经图像风格传递的显式表示。在IEEE计算机视觉和模式识别会议论文集，第1897- 1906页[4] 陈冬冬、卢远、廖静、余能海、华刚。立体神经风格转移。在IEEE计算机视觉和模式识别会议论文集，第6654-6663页[5] 田启晨和马克施密特。快速的基于补丁的任意风格转移。arXiv预印本arXiv：1612.04337，2016。[6] VincentDumoulin 、 JonathonShlens 和 ManjunathKudlur。对艺术风格的博学的表现。[7] Leon Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络进行纹理合成。神经信息处理系统的进展，第262- 270页，2015年[8] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在IEEE计算机视觉和模式识别会议论文集，第2414-2423页[9] Leon A Gatys，Alexander S Ecker，Matthias Bethge，Aaron Hertzmann，and Eli Shechtman.神经风格迁移中知觉因素的控制在Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，第3985-3993页[10] 顾沭阳、陈聪良、景辽、卢远。复杂的风格转换和深层的功能重组。在IEEE计算机视觉和模式识别会议论文集，第8222-8231页，2018年[11] Haozhi Huang ， Hao Wang ， Wenhan Luo ， Lin Ma ，Wenhao Jiang，Xiaolong Zhu，Zhifeng Li，and Wei Liu.视频的实时神经风格传输。在IEEE计算机视觉和模式识别会议论文集，第783-791页[12] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。在IEEE计算机视觉国际会议论文集，第1501-1510页，2017年[13] 景永成、杨业州、冯遵雷、叶景文、余益州、宋明丽Neural Style Transfer ： A Review.arXiv 预 印 本 arXiv ：1705.04058，2017。[14] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694-711页。施普林格，2016年。[15] Agnan Kessy、Alex Lewin和Korbinian Strimmer。光学白化和去相关。美国统计学家，72（4）：309[16] Chuan Li和Michael Wand。结合马尔可夫随机场和卷积神经网络进行图像合成。在IEEE计算机视觉和模式识别会议论文集，第2479-2486页[17] Chuan Li和Michael Wand。利用马尔可夫生成对抗网络进行预计算实时纹理合成欧洲计算机视觉会议，第702-716页。施普林格，2016年。[18] Xueting Li，Sifei Liu，Jan Kautz，and Ming-Hsuan Yang.学习线性变换快速任意风格转移。arXiv预印本arXiv：1808.04537，2018。[19] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.通过特征变换进行通用样式传递。神经信息处理系统的进展，第386-396页，2017年[20] 李阳浩，王乃彦，刘嘉颖，侯小迪。揭秘神经风格转移。arXiv预印本arXiv：1701.01036，2017。[21] Jing Liao，Yuan Yao，Lu Yuan，Gang Hua，and SingBing Kang.通过深层意象类比实现视觉属性转移。arXiv预印本arXiv：1705.01088，2017。[22] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议，第740-755页。Springer，2014.[23] 陆鸣，赵昊，姚安邦，徐峰，陈玉蓉，张丽。解码器网络在轻量级的重建结构的快速语义风格转移功能。在IEEE计算机视觉国际会议论文集，第2469-2477页，2017年[24] Ingram Olkin和Friedrich Pukelsheim。具有给定色散矩阵的两个随机向量之间的距离。Linear Algebra and itsApplications，48：257[25] 埃里克·里瑟皮埃尔·威尔莫特和康奈利·巴恩斯使用直方图损失的稳定可控神经纹理合成和风格转移。arXiv预印本arXiv：1701.08893，2017。[26] Manuel Ruder、Alexey Dosovitskiy和Thomas Brox。视频的艺术风格转移。德国模式识别会议，第26-36页。施普林格，2016年。[27] Manuel Ruder、Alexey Dosovitskiy和Thomas Brox。视频和球形图像的艺术风格转移。国际计算机视觉杂志，126（11）：1199-1219，2018。[28] Ahmed Selim，Mohamed Elgharib，and Linda Doyle.使用卷积神经网络进行头部肖像的绘画风格转移。ACMTransactions on Graphics（ToG），35（4 ）：129 ，2016。[29] 卢胜，林紫怡，邵静，王晓刚头像-网络：通过特征装饰的多尺度零激发样式传递。在IEEE计算机视觉和模式识别会议论文集，第8242-8250页[30] 史义昌、西尔万·帕里斯、康奈利·巴恩斯、威廉·T·弗里曼和弗雷多·杜兰德。风格转移为大头照por-5962性 状 ACM Transactions on Graphics （ TOG ） ， 33（4）：148，2014。[31] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。[32] Hang Zhang和Kristin Dana实时传输的多风格生成网络。欧洲计算机视觉会议，第349-365页。Springer，2018.