具有自适应感受野的笔画可控快速风格迁移

具有自适应感受野的笔画可控快速风格迁移永城景1、 2，杨柳1、 2，叶州杨3，尊雷峰1、 2，益州余4，大成涛5，明理松1、21浙江大学计算机科学与技术学院杭州2阿里巴巴-浙江大学前沿技术联合研究院，中国3亚利桑那州立大学，坦佩，美国4Deepwise AI Lab，北京，中国5UBTECH Sydney AI Centre，SIT，FEIT，悉尼大学，澳大利亚抽象。快速风格转换方法最近已经被提出来实时地将照片转换成艺术风格这项任务涉及控制风格化结果中的笔划大小，这仍然是一个开放的挑战。本文提出了一种笔划可控型传输网络，它可以实现笔划大小的连续和空间控制。 通过分析影响笔画大小的因素，我们建议明确考虑感受野和风格图像尺度。 我们提出了一个StrokePyramid模块来赋予网络自适应的感受野，以及两种训练策略来实现更快的收敛并分别在训练模型上增加新的笔划大小。 通过结合所提出的运行时控制策略，我们的网络可以实现笔划大小的连续变化，并在同一输出图像的不同空间区域中产生不同的笔划大小。关键词：神经风格转移·自适应感受野1介绍渲染具有给定艺术风格的照片一直是一个长期的研究课题[15，17，31，33]。传统上，风格转换的任务通常被基于视觉纹理建模的最新进展[12]，Gatys等人。首先提出了一种算法，该算法利用卷积神经网络（CNN）来重组给定照片的内容和艺术品的风格，并重建视觉上合理的风格化图像，称为神经风格转移过程[13]。自从Gatys等人的开创性工作以来，神经风格转移已经引起了学术界和工业界的广泛关注[1，3，23，25，30]。然而，Gatyset al.基于迭代图像优化，并且导致针对每对内容和样式的缓慢优化过程为了解决这个问题，已经提出了几种算法来加速风格转换过程，在文献中称为快速风格转换[14，29]。⋆项目网页：http://yongchengjing.com/StrokeControllable2Y. Jing等人(a)内容样式（b）笔划大小#1（c）笔划大小#2（d）笔划大小#3（e）混合笔划Fig. 1.使用不同笔划大小的风格化结果。所有这些结果都是由一个单一的模型在实时使用我们提出的算法。当前的快速风格转换方法可以分为三类，每风格每模型（PSPM）[34，35，19，24]，多风格每模型[34，35，19，24]，多风格每模型[34，35，19，24]和多风格每模型[34，35，19，24]。（MSPM）[39，7，26，2]和Arbitrary-Style-Per-Model（ASPM）[18，27]。PSPM的要点是训练一个前馈风格特定的生成器，并通过向前传递产生相应的风格化结果MSPM通过进一步将多个样式合并到一个生成器中来提高ASPM的目标是通过一个单一的模型来传递任意的风格。对于所有这样的快速风格转移算法，在效率和质量之间存在权衡[18，27]。在质量方面，PSPM通常被认为能产生更吸引人的风格化结果[35，18]。然而，PSPM在控制感知因素（例如，视觉感知）方面是不灵活的。例如，在一个实施例中，样式-内容折衷、颜色控制、空间控制）。在这些感知因素中，笔划是表征艺术品的最重要的几何图元之一，如图1所示实际上，对于同一纹理，不同的艺术家有他们自己的方式来放置不同大小的纹理，作为对该纹理“风格”的一种反映（例如，“风格”）。例如，在一个实施例中，MonetanddPollock）。为了使用PSPM实现不同的笔划大小，一种可能的解决方案是训练多个模型，这是耗时和空间的。另一种解决方案是将输入图像调整为不同的比例，这将不可避免地损害风格化的质量。然而，这些解决方案中没有一个能够在不折衷质量和效率的情况下实现连续的笔划大小控制或在不同的空间区域中产生不同的笔划大小。在本文中，我们提出了一种笔划可控的快速风格转移算法，可以将多种笔划大小到一个单一的模型，并实现灵活的连续笔划大小控制和空间笔划大小控制。通过分析风格化结果中影响笔画大小的因素，我们建议明确考虑感受野和风格图像尺度。为此，我们提出了一个StrokePyramid模块，赋予网络自适应的感受野和不同的笔画大小学习不同的感受野。然后，我们引入了一个渐进的训练策略，使网络收敛速度更快，增量训练策略，以学习新的中风大小的训练模型。通过结合两个建议的运行时控制技术，这是连续的笔画大小控制和空间笔画大小控制，我们的网络可以产生不同的笔画大小在不同的输出或不同的空间区域内相同的输出图像。笔划可控的快速风格转换3总之，我们的工作有三个主要贡献：1）我们分析了风格化结果中影响笔画大小的因素，提出在大多数情况下，笔画大小的控制应同时考虑感受野和风格意象尺度。2）提出了一种笔划可控的风格迁移网络和两种相应的训练策略，分别用于加快收敛速度和在训练好的模型上增加新的笔划大小3）我们提出了两种运行时控制策略，使我们的单一模型能够在同一输出图像的不同空间区域产生连续的笔划大小变化和不同的笔划大小据我们所知，这是第一个实现连续笔划大小控制和空间笔划大小控制的风格传递网络2相关工作本文简要回顾了快速风格迁移中的感知因素以及神经网络中的感受野调节。控制快速风格迁移中的知觉因素。笔画大小控制属于风格化过程中控制感知因素的范畴。在这一领域，最近提出了一些重要的工作然而，很少有人致力于在快速风格转换期间控制笔划大小。在[14]中，Gatyset al.研究了快速样式转换的色彩控制和空间控制。 Lu等.为实现这一目标，的工作通过合并语义内容来实现新的语义样式转换，从而实现所谓的快速语义样式转换[ 29]。另一个相关的工作是王等。’salgorithm，其中该算法针对高分辨率图像来学习大的笔触[36]。 他们发现目前的快速风格转换算法无法在高分辨率图像中绘制大笔划，并提出了一种由粗到细的架构来解决这个问题。请注意，[36]中的工作本质上不同于本文中的单个预训练模型。[36]仍然为相同的输入图像产生一个笔划大小。在…中的并行工作[39]还探讨了笔划大小控制的问题。与文献[39]相比，我们的工作具有灵活的连续和空间笔划大小控制的优点调节神经网络的感受野。 感受野是卷积神经网络中的基本概念之一，它指的是一个神经元响应的输入图像区域。它可以影响网络的性能，并成为许多任务中的关键问题（例如，网络的性能）。例如，在一个实施例中，语义分割[40]，图像解析）。为了调节感受野，[38]提出了扩张卷积（在[4]中也称为atrous卷积）的操作，它通过设置不同的扩张值来支持感受野的扩展，[5]中的另一项工作进一步提出了一种可变形卷积，该卷积利用附加偏移来增强常规卷积中此外，Weietal.[37]提出了一种基于学习的感受野调节方法，即自动膨胀或收缩特征图4Y. Jing等人内容风格LRF结果SRF结果内容样式LRF结果SRF结果图二.分别用大感受野和小感受野学习相同大小的大笔画的结果。LRF表示用大感受野产生的结果，SRF表示用小感受野产生的结果。内容图片的作者是Flickr的用户凯文·罗布森和b togol。3预分析我们首先回顾一下笔画大小的概念将风格转移中的图像视为一系列小笔划纹理元的组合，其被称为图像中的基本几何微结构[20，41]。图像的笔划大小可以被定义为所组成的笔划纹理元的平均尺度在基于快速风格转移的深度神经网络中，发现三个因素会影响笔画大小，即风格图像的尺度[36]，损失网络中的感受野[14]和生成网络中的感受野。该风格通常通过风格转移算法中的基于风格特征的统计数据[13]来确定，该基于风格特征的统计数据[13]是在来自预训练的VGG网络[32]的特征图上计算的。这些基于文法的统计量是尺度敏感的，即。例如，它们包含给定样式图像的比例信息。该特性的一个原因是VGG特征随图像比例而变化。我们还发现，对于其他风格的统计（e。例如，在一个实施例中，[25]中的基于BN的统计），得出相同的结论。因此，给定相同的内容图像，用不同尺度的风格图像训练的生成网络可以产生不同的笔画大小。虽然风格化结果中的笔划通常随着风格图像比例的增加而变大，但是当风格图像被缩放到高分辨率（例如，高分辨率）时，这是不可行的。例如，在一个实施例中，3000× 3000像素[14]）。这个问题的原因是预训练的VGG损失网络中的神经元只能影响输入图像中具有感受野大小的区域在VGG损失网络中，当笔画纹理元远大于固定感受野时，在相对较小的区域中，大笔画纹理元与较大笔画纹理元之间没有视觉除了上述两个因素外，我们进一步发现生成网络中的感受野大小也对笔画大小有影响在图2中，我们改变了生成网络中的感受野大小，而其他因素保持不变。值得注意的是，对于某些风格，较大的笔画尺寸产生较大的感受野。为了解释这个结果，我们将生成网络的训练过程解释为教导卷积核在每个区域中用感受野的大小绘制预定义大小的笔画纹理元。因此，给定两个不同大小的输入图像，经训练的网络的内核在相同的图像中绘制几乎相同大小的笔划纹理元。笔划可控的快速风格转换5传输网络上采样Sty图三.快速样式转换的前馈过程。对于小输入图像和大输入图像的输出中的相同大小的区域，它们的笔划大小几乎相同。图片来源于Flickr用户BillChenSF。区域的大小，如图3所示特别地，当生成网络中的感受野小于笔划纹理基元时，内核只能学习在每个区域中绘制整个笔划纹理基元的一部分，这影响笔划大小。因此，对于大的笔画尺寸，网络需要更大的感受野来学习全局笔画配置。对于小的笔画尺寸，网络只需要学习局部特征。综上所述，对于笔划大小控制，通常应考虑生成网络由于在大多数情况下风格图像不是高分辨率的，在这项工作中没有考虑损失网络中的感受野的影响。4该方法4.1问题公式化假设Ti∈T表示图像的笔划大小，T表示所有笔划大小的集合，并且ITi表示具有笔划大小Ti的图像I。本文研究的问题是将不同的笔画尺寸Ti∈T纳入前馈快速神经风格传递模型。首先，我们将前馈风格化过程公式化为：g（I c）= I o，I o p（I o|Ic，I s），（1）其中g是训练的生成器。并且输出图像I。的目标统计量P（I。）由两个分量表征，这两个分量是从输入图像I。导出的语义内容统计量和从样式图像Is导出的视觉样式统计量。我们用于生产多种冲程尺寸的前馈式传输过程可以建模为：g′（Ic，Ti）=ITi，ITip（ITi|Ic，Is，Ti）（Ti∈T）.（二）o o o我们的目标是使一个单一的生成器g’，以产生具有多个笔划大小的风格化的结果Ti∈T相同的内容图像Ic。6Y. Jing等人笔划金字塔见图4。使用StrokePyramid概述我们的网络架构。它由几个具有门控功能的笔划分支组成。每个笔划分支对应于特定的笔划大小。4.2网络架构基于第3节中的分析，为了将不同的笔划大小整合到一个单一的模型中，我们建议设计一个具有自适应感受野的网络，并且每个感受野用于学习对应的笔划大小我们提出的方法的网络架构如图4所示。我们的网络由三部分组成。在我们的网络的核心，提出了一个StrokePyramid模块，将网络分解成几个笔划分支。通过逐渐增长的卷积滤波器，每个分支具有比前一个分支更大的感受野。以这种方式，我们的网络还鼓励相邻笔划大小控制结果之间的笔划一致性（其指笔划方向、配置等的一致性），所述笔划大小控制结果应当仅在笔划大小上不同。通过处理不同的笔划分支，StrokePyramid可以调节生成网络中的感受野通过不同的感受野，网络学习绘制不同大小的笔划特别地，为了更好地保持所需的笔划大小，使用更大的感受野学习更大的笔划，如第3节中所解释的在测试阶段，给定指示期望笔划大小的信号，StrokePyramid自动调整网络中的感受野，并且可以产生具有相应笔划大小的程式化结果。除了StrokePyramid之外，网络中还有两个组件预编码器模块涉及网络中的前几层，并且在不同的笔画分支之间共享，以学习内容图像的语义内容和风格的基本外观笔划解码器模块将来自笔划金字塔的特征映射作为输入，并将笔划特征解码为具有对应笔划大小的风格化结果。为了确定要解码哪个笔画特征，⋯卒中分支1卒中分支2G⋯ ⋯卒中分支3G笔划分支iG⋯ ⋯笔画解码器VGG损耗网络⋯笔划可控的快速风格转换7我OO我们在每个笔划分支中增加门控函数G门控函数G被定义为ΣG（FBsi）=aiFBsi，ai=1（0≤ai≤1），（3）我其中FBsi是StrokePyramid中的分支Bs的输出特征图，其对应于笔划大小Ti。对于α的选择，在训练阶段，αi是二进制的。更具体地，当i=k（i.例如，所选择的笔画可以被绘制为（B（k））。 因此，ai=0，而ni=k。在这种情况下，ai可以是分数，这是我们连续笔画大小控制的基础。来自StrokePyramid的所有笔划特征需要经过选通函数，然后被馈送到笔划解码器Dec中，以被解码成具有期望笔划大小的输出结果ITkΣ12月（我G（FBsi））= ITk.（四）4.3损失函数语义缺失。语义损失被定义为保留内容图像中的语义信息，其被公式化为VGG网络的特征空间中的内容图像Ic和输出风格化图像Io之间的欧几里得距离[13]。设Fl（I）∈RC×H×W表示给定图像I的VGG网络中第l层的特征映射，其中C、H和W分别表示通道数语义内容损失然后被定义为：Lc= Σl∈{lc}Fl（Ic）− Fl（Io）其中{lc}表示用于计算内容损失的VGG层的集合。中风损失。视觉风格统计可以很好地由预训练的VGG网络的不同层中的风格图像Is的滤波器响应之间的相关性来表示。这些特征相关性可以通过计算VGG网络中某层特征图上的Gram矩阵由于基于文法的统计是尺度敏感的，因此可以通过简单地调整给定样式图像的大小来获得不同笔划大小的表示。通过将Fl（I）重塑为Fl（I）′∈RC×（H×W），得到了Gram矩阵G（Fl（I）′）∈特征图Fl（I）’上的RCXC可以计算为：G（Fl（Is）′）=[Fl（Is）′][Fl（Is）′] T.（六）因此，尺寸Tk的冲程损失可以定义为：ΣL=G（Fl（R（I，T））′）−G（Fl（IBsk）′）2，（7）TKS KOl∈{ls}8Y. Jing等人其中R表示将样式图像的大小调整为适当的根据所需的笔划大小T和IBsk进行表示输出Ko第k个笔划分支。{ls}是用于样式丢失的VGG层的集合。冲程分支的总损失Bsk然后被写为：LBsk=αLc+βkLTk+γLtv，（8）其中α、β和γ是平衡因子。Ltv是总变差正则化损失，以促进所生成的图像中的平滑度。4.4培训战略渐进式训练。为了在一个网络中训练不同的笔画分支，我们提出了一种渐进式训练策略。该训练策略源于后一笔划分支的训练受益于先前学习的分支的知识的直觉考虑到这一点，网络逐步学习不同笔画分支的不同笔画大小假设要学习的笔划大小的数量是K。对于每K次迭代，网络首先更新第一个笔画分支，以学习最小的笔画尺寸。然后，基于所学习的第一分支的知识，网络使用第二笔划分支来学习具有样式图像的对应比例的第二笔划大小。特别地，由于第二笔划分支基于第一笔划分支来增长卷积滤波器，因此也调整先前迭代中的更新的分量。类似地，用相同的渐进过程来更新随后的笔划分支在接下来的K次迭代中，网络重复上述渐进过程，因为我们需要确保网络保留先前学习的笔划大小。增量训练。我们还提出了一个灵活的增量训练策略，以有效地增加新的中风大小的训练模型。给定一个新的期望的笔画大小，而不是从头开始学习，我们的算法通过在StrokePyramid中添加一个单层作为新的笔画分支来逐渐学习新的笔画大小。增强层的位置取决于先前学习的笔画大小及其对应的感受野。通过固定其他网络组件并仅更新增强层，网络学习根据先前学习的笔划特征绘制新的笔划大小，从而可以快速收敛。4.5运行时控制策略连续笔划大小控制。我们的算法比以前的方法的优点之一是，我们的算法可以赋予一个单一的模型与更精细的连续的笔划大小控制的能力我们提出了一种笔划插值策略，利用我们的架构在特征嵌入空间中的训练笔划大小之间进行插值，而不是使用大量的样式图像尺度进行训练给定一个内容图像Ic，我们假设FBsm和FBsn是StrokePyramid中的两个输出特征图，可以解码成风格化的结果笔划可控的快速风格转换9O这两种方法都是针对特定的对象进行大小调整。iterpolat edf eatur eFBs~cano o然后通过控制图4中的门控函数在StrokePyramid中的输出特征图之间进行插值来获得：FBs~=amFBsm+（1−am）FBsn。（9）通过对在笔划解码器模块中获得的FB的任意值进行常规处理，可以获得具有任意中间笔划大小的风格化结果˜T可以生产。据我们所知，以前的方法都没有考虑到这一点连续行程大小控制。然而，从我们的角度来看，可能有一些可能的解决办法，可以从目前的办法中得出：1）在像素空间中具有不同笔划大小的风格化结果之间直接内插。2)设计一个不同编码器但共享一个解码器的网络，并用不同风格的图像尺度联合训练每个编码器和共享解码器。然后在来自编码器的两个表示之间进行插值。3)重新缩放样式图像并使用ASPM方法生成相应的结果。然而，我们的算法在以下方面相应地优于这些解决方案：1）我们在特征嵌入空间中操作插值，以获得感知上更好的结果[19，6]。2)我们的笔画表示是用StrokePyramid中的不同感受野获得的。如第3节和图2中所解释和验证的，我们的笔划表示在感知上优于用相同的感受野获得的那些。此外，我们提出的StrokePyramid的结果在笔划大小控制期间在笔划方向和配置上更一致。对比结果见补充资料。3)ASPM在视觉质量上妥协，并且通常不能有效地产生精细的笔画和细节。我们的算法优于ASPM的质量和风格化速度。空间笔划大小控制。以前，在快速风格转换社区中，风格化的结果通常在整个图像上具有几乎相同的笔划大小，这在实际情况下是不切实际的我们的算法支持在不同的空间区域混合笔划大小，也只有一个单一的模型。在这样可以增强风格化结果中的对比度信息。我们的空间笔划大小控制是通过控制门控函数通过不同的对应笔划分支馈送掩蔽的内容图像，然后组合这些风格化的结果来实现的。可以通过手动标记或通过预先训练的语义分割网络转发内容图像来获得掩码，例如。例如，在一个实施例中，DeepLabv2 [4].通过进一步结合我们的连续笔划大小控制策略，我们的算法为从业者提供了一个更精细的控制程式化的结果。5实验5.1实现细节我们提出的网络是在MS-COCO数据集上训练的[28]。在训练之前，所有图像都被裁剪并调整大小为512× 512像素我们收养亚当我10Y. Jing等人(a) 内容风格（b）培训a分离式发电机(c) 图像大小调整+转发+SR(d) 我们所提出的方法图五.我们提出的算法和第4节中的上述两种可能的行程控制解决方案SR表示图像超分辨率技术[21]。第二行中的图像表示红色框中的缩放区域优化器[22]在训练期间。选择预训练的VGG-19网络[32]作为损失网络，并且{relu1 1，relu 2 1，relu 3 1，relu 4 1，relu 5 1}用作样式层，并且relu4 2用作内容层。默认情况下，初始学习的笔划大小的数量设置为3，以确保笔划解码器的能力，并且在我们的实验中，对于所有样式的不同笔划大小，尺度为256、512和768更多信息可在补充材料中找到。5.2定性评价与以前的解决方案比较。我们的算法和两个上述可能的解决方案的样本结果如图5所示（图5（b）由[19]产生我们的算法实现了与图5（b）中关于质量的第一可能解决方案相当的结果图6显示了我们的算法和其他快速风格转换算法的示例结果。与[19，35]相比，我们使用不同笔画大小的结果在笔画方向和笔画配置（图6中蓝色笔画的位置）方面更加一致。在[19，35]中，笔划或笔划和笔划图形的检索更加复杂，因为它们使用不同的编码器-解码器对来分别学习不同的笔划大小。相比之下，我们的StrokePyramid可以鼓励相邻笔划大小控制结果之间的笔划一致性，这些结果应该仅在笔划大小上有所不同与[36]相比此外，我们的模型大小比[36]小得多，分别为0.99 MB和 32.2 MB。与其他单模型笔划大小控制算法[18，27]相比，我们的结果捕获更精细的笔划和更多的细节。此外，我们的结果似乎在视觉质量方面更优越更多的解释和比较结果可以在补充材料中找到。运行时用户控件。在图7中，我们示出了我们提出的连续冲程大小控制策略的样本结果。我们的网络是用样式图像的三个尺度作为默认值来训练的，我们在它们之间进行笔划插值，以获得总共六个笔划大小。永远看不到测试内容图像笔划可控的快速风格转换11SS #1：SS #2：SS #3：图六、我们的算法和其他快速风格转换算法产生的不同笔划大小（SS）的一些示例结果每列表示相同算法的结果。样式图像与图5相同。在训练期间。我们还展示了[18，27]的结果以进行比较，如第4.5节所述。我们比较了不同算法的结果，全球和本地。在全球范围内，我们的算法似乎实现了卓越的perfor-曼斯在视觉质量方面在局部，与[18，27]相比，我们的算法在产生细笔划和保留细节方面更有效。此外，如图8所示，我们的相邻连续笔划大小控制结果的绝对差具有更清晰的笔划轮廓，这表明我们的结果中的大多数笔划在连续笔划大小控制期间一起增大或减小大小。我们还制作了一个示例视频来演示我们在补充材料中的连续笔划大小控制。图9展示了我们的空间笔划大小控制策略的结果。我们的空间笔划大小控制是实现只有一个单一的模型。与图9（c）相比，控制不同空间区域中的笔画大小可以增强风格化图像的对比度，使AI创造的艺术更接近人类创造的艺术。5.3定量评价对于定量评估，我们重点研究了三个评估指标，分别是：渐进式训练和增量式训练时的训练曲线;测试内容图像的平均内容和样式损失;我们的单个模型的训练时间以及具有不同笔划大小的结果的相应生成时间。训练曲线分析。为了证明我们的渐进式训练策略的有效性，我们记录了渐进式学习几种大小的划水和单独学习不同划水结果示于图10（a）中。报告的损失值是在15个随机选择的内容图像批次上平均的可以观察到，[19个]多个模型[35]第三十五届[36个][18个国家]单个模型[27日]我们12Y. Jing等人[18]的[27]的我们的差分图像[18]：[27]：我们的：图7.第一次会议。连续笔划大小控制的结果我们放大同一区域（红色框）以观察笔划大小的变化我们的算法产生更精细的笔画和细节。内容和样式图像可以在图4中找到。图8. 图7的每一行中的相邻图像的绝对差的结果渐进式学习多个笔画尺寸的方法比单独地仅学习一个单个笔画尺寸的方法收敛得相对更快结果表明，在渐进式训练期间，后一个笔画分支受益于前一个分支的学习知识，并且甚至可以通过共享网络组件依次改进前一个分支的训练。为了验证我们的划水增量训练策略，我们在图10（b）中展示了增量训练和从头开始训练的训练曲线。在实现可比较的风格化质量的同时，与从头开始学习相比，增量学习笔划可以显著加快训练过程。平均损失分析。为了衡量损失函数的最小化程度，我们将我们的算法与其他风格转移方法的平均内容和风格损失进行了记录的值在100个内容图像和5个样式图像上取平均对于每种风格，我们计算三种笔画大小的平均损失。如图11所示，我们算法的平均风格损失与[35]相似，而我们的平均内容损失略低于[35]。这表明我们的算法在最小化损失函数的能力方面实现了与[35]相当或稍好的性能。笔划可控的快速风格转换13个人培训：行程#1个人训练：中风#2个人训练：中风#3渐进式训练：中风#1渐进式训练：中风#2渐进式训练：中风#3n（）(a) 内容样式（b）内容掩码（c）相同的笔划大小跨图像(d) 我们的空间笔画大小控制图9.第九条。我们的算法允许灵活的空间笔划大小控制在风格化。由我们的单个模型产生的结果可以具有混合的笔划大小，这与实际工作中的字符更一致15.014.519.018.518.014.017.517.016.513.50 1000 2000 3000 4000 5000迭代13.00 2000 4000 6000 8000 1000012000迭代(a) 渐进式训练。(b) 增量训练。见图10。训练策略的训练曲线比较。（b）中的左下和右下图像是增量训练和从头开始训练的结果。速度和模型大小分析。 在一台NVIDIA Quadro M6000上，对一个具有三种冲程尺寸的模型进行完全训练大约需要2小时。在生成时间上，使用该算法在同一GPU上生成一幅1024×1024的图像平均耗时0.09秒。由于我们的网络架构与[19，35]相似，但对于某些笔划大小具有较短的路径，因此我们的算法可以基于[19，35]中的一个向量，并且对于Wang等人的向量。的algor i t h m、Huang和Bel l on gie的algor i t h m和Li等。的算法与[36，18，27]中的速度分析一致。我们的模型在磁盘上的大小是0.99 MB。增量训练从头n（）SS14Y. Jing等人风格损失（×104）140120100100806080 406020400 100 200 300 400500迭代(a) 内容损失00 100 200 300 400 500迭代(b) 风格损失图11个国家。我们的算法与最先进的神经风格转移算法的平均内容和风格损失的比较6讨论和结论在本文中，我们介绍了一个精细和灵活的笔划大小控制方法的快速风格转移。在不权衡质量和效率的情况下，我们的算法是第一个用单个模型实现连续和空间笔划大小控制的算法我们的想法也可以直接应用到MSPM方法。对于在现实世界中的应用，我们的工作为从业者提供了一个新的工具，将自己的艺术偏好注入到风格转移结果中，可以直接应用于制作软件和娱乐中。关于我们的工作对于风格转移之外的更大视觉社区的意义，我们的工作朝着学习人类视觉系统中的自适应感受野的方向迈出了一步，并主要验证了其在风格转移中的意义在未来，我们希望进一步探索学习适应性感受野的使用，以造福更大的视觉社区。例如，在一个实施例中，多尺度深度图像美学评估、深度图像压缩、深度图像着色等。我们的工作只是迈向更精细、更灵活的笔画大小控制的第一步，还有一些问题有待解决。最有趣的一如果语义分割网络可以作为一个模块纳入我们的网络中，以支持自动确定不同空间区域的笔画大小的空间笔画大小控制的过程将是更有效和此外，同一风格意象不同尺度的风格表征之间的关系尚不清楚。从一种比例的样式表示到另一种比例的样式表示的转换是更灵活的笔画大小控制的关键。致谢。 前两位作者贡献相当。 宋明丽为通讯作者。本课题得到了国家重 点 研 究 发 展 计 划 （ 2016YFB1200203 ） 、 国 家 自 然 科 学 基 金（61572428，U1509206）、中央高校基础研究基金（2017FZA5014）和国家重点研究发展计划（2016YFB1200203）的支持浙江省（2018 C01004）和澳大利亚ARC FL-170100117、DP-180103424。含量损失（×104）Gatys等人Ulyanov等人我们笔划可控的快速风格转换15引用1. Chen，D.，中国农业科学院，Liao，J.，Yuan，L.Yu，N.，Hua，G.：连贯的在线视频风格转移。IEEE计算机视觉国际会议论文集（2017）2. Chen，D.，中国农业科学院，Yuan，L. Liao，J.，Yu，N.，Hua，G.：Stylebank：神经图像风格传递的显式表示。在：IEEE计算机视觉和模式识别会议论文集（2017）3. Chen，D.，中国农业科学院，Yuan，L. Liao，J.，Yu，N.，Hua，G.：立体神经风格转移。IEEE计算机视觉与模式识别会议论文集（2018）4. Chen，L.C.，帕潘德里欧，G.，科基诺斯岛墨菲K Yuille，A.L.：Deeplab：使用深度卷积网络、atrous卷积和全连接crf的SE-mantic图像分割。IEEETransactions on Pattern Analysis and Machine Intelligence（2017）5. Dai，J.，Qi，H.，Xiong，Y.，李，Y.，张，G.，Hu，H.，魏云：可变形对流网络。在：IEEE计算机视觉国际会议论文集（2017）6. Dosovitskiy，A.，Brox，T.：基于深度网络生成具有感知相似性度量的图像。在：神经信息处理系统的进展。pp. 6587. Dumoulin，V.，Shlens，J.，Kudlur，M.：对艺术风格的博学的表现。在：学习表征国际会议（2017）8. 埃夫罗斯，匿名戒酒会弗里曼，W.T.：图像绗缝纹理合成和转移。第28届计算机图形学和交互式技术年会论文集。pp. 341ACM（2001）9. Elad，M.，Milanfar，P.：通过纹理合成进行风格转换IEEE TransactionsonImgeProcess ing26（5），233810. 范，Q.，Chen，D.，中国农业科学院，Yuan，L.Hua，G.，Yu，N.，陈，乙：参数化图像算 子的解耦学习在：欧洲计算机视觉会议（2018）11. 弗里戈岛Sabater，N.德隆，J.，Hellier，P.：拆分和匹配：用于无监督风格转 换 的 基 于 示 例 的 自 适 应 补 丁 采 样 。 In ： Proceedings of the IEEEConferenceonComuterVis isinandPater nRecognitin. pp. 55312. 洛杉矶的加蒂斯Ecker，A.S. Bethge，M.：利用卷积神经网络进行纹理合成。 In：AvancesinNeur alInpr o c e s i n g S y s i n g Pr o c e s i n g S ysingP r o c e s i n gSys i n g S i n gi pp. 26213. 洛杉矶的加蒂斯Ecker，A.S. Bethge，M.：使用卷积神经网络的图像风格转换。在：IEEE计算机视觉和图像处理会议论文集中。pp. 241414. 洛杉矶的加蒂斯Ecker，A.S.Bethge，M.，Hertzmann，A.，Shechtman，E.：神经风格迁移中知觉因素的在：IEEE计算机视觉和模式识别会议论文集（2017）15. Gooch，B.，Gooch，A.：非真实感渲染。A. K.彼得斯有限公司美国马萨诸塞州纳蒂克（Natick）16. 他，M.，Chen，D.，中国农业科学院，Liao，J.，Sander，P.V.，Yuan，L.：基于样本的深度着色。ACM Transactions on Graphics（Proc.Siggraph2018）（2018）17. Hertzmann，A.，Jacobs，C.E. Oliver，N. Curless，B.，销售部，D.H.：图像类比。在：Proceedings of the 28th annual conference on Computer graphics andinterativechniques. pp. 327-340 ACM（2001）18. 黄，X.，Belongie，S.：实时任意样式传输，具有自适应实例规范化。在：IEEE计算机视觉国际会议论文集（2017）16Y. Jing等人19. Johnson，J.，Alahi，A.，李菲菲：实时风格转换和更新的感知损失。 In：EuropeanConferenceonCom up uterVison。pp. 69 420. Julesz 湾 等 ： 纹 理 元 、 纹 理 感 知 的 元 素 及 其 相 互 作 用 。 Nature290（5802），9121. 金，J.，Kwon Lee，J.，Mu Lee，K.：使用非常深的卷积网络实现精确的图 像 超 分 辨 率 。 在 ： Proceedings of the IEEE Conference onComputerVisionandPatternRecognition中。pp. 164622. Kingma，D.Ba，J.：Adam：随机最佳化的方法2015年国际学习表征会议（International Conference on Learning Representations23. Li，C.，Wand，M.：结合马尔可夫随机场和卷积神经网络的图像合成。在：ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition中。pp. 247924. Li，C.，Wand，M.：用马尔可夫生成对抗网络进行预先计算的实时纹理合成。欧洲计算机视觉会议。pp. 70225. 李 ， Y. ， 王 ， N. ， 刘 杰 ， Hou ， X. ： 揭 秘 神 经 风 格 转 移 。 In ：Proceedingsof the Twenty-Sixth International Joint Conference on ArtificialIntelligence ， IJCAI-17. pp.2230- 2236 （ 2017 ） 。 http：//doi. org/10 。24963/ijcai. 2017/310，https://doi.org/10.24963/ijcai.2017/31026. 李，Y.，陈芳，杨杰，王志，卢，X.，Yang，M.H.：用前馈网络实现多样化纹理合成。在：IEEE计算机视觉和模式识别会议论文集（2017）27. 李，Y.，方角杨杰，王志，卢，X.，Yang，M.H.：通过特征变换进行通用样式在：神经信息处理系统的进展（2017）28. 林，T. 是的， 我是M Belongie，S.， 嗨，J.， Perona，P.， Ramanan，D. ，Dolla'r，P.，Zitnick，C.L.：微软coco：上下文中的公用对象。在：欧洲会议上的竞争对手。pp. 740-755 02TheDog（2014）29. Lu，M.，赵，H.，Yao，A.，徐，F.，陈玉，Zhang，L.：基于轻量级重构特征的解码器网络，用于快速语义风格传输。在：IEEE计算机视觉国际会议论文集（2017）30. Prisma Labs，I.：Prisma：Turn memories into art using artificial intelligence（2016），http://prisma-ai.com31. Rosin，P.，Collomosse，J.：图像和视频为基础的艺术风格化，卷。42.《施普林格科学商业媒体》（Springer Science Business Media）32. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的深度卷积网络。ArXiv预印本arXiv：1409.1556（2014）33. Strothotte，T.，Schlechtweg，S.：非真实感计算机图形学：建模、渲染与动画。02 The Dog（2002）34. Ulyanov，D.，Lebedev，V.，Vedaldi，A.，Lempitsky，V.：纹理网络：纹理 和 风 格 化 图 像 的 前 馈 合 成 。 In ： International Conference onMachineLearning. pp. 134935. Ulyanov，D.，Vedaldi，A.，Lempitsky，V.：改进的纹理网络：最大化前馈风格化和纹理合成的质量和多样性。在：IEEE计算机视觉和模式识别会议（2017年）上的进展36. 王，X.，Oxholm，G. Zhang，D.，中国农业科学院农业研究所所长，Wang，Y.F.：多式联运：用于快速艺术风格转换的分层深度卷积神经网络。In：ProceedingsIEEE计算机视觉与模式识别会议（2017）笔划可控的快速风格转换1737. 魏，Z.，Sun，Y.，王杰，Lai，H.，Liu，S.：学习深度图像解析网络的自适 应 感 受 野 。 在 ： Procee