照片到铅笔：高质量、控制细粒度的翻译方法与多样的绘画风格

一曰L2：干净第1章：孵化第3章：混合第2章：阴影线第4章：点画1Im2blog：可控的照片插图Yijun Li1，Chen Fang2，Aaron Hertzmann3，Eli Shechtman3，Ming-HsuanYang1，41 UC Merced2字节跳动AI3 Adobe Research4 Google Cloud{yli62，mhyang}@fangchen@bytedance.com ucmerced.edu{elishe，hertzman}@ adobe.com摘要我们提出了一种高质量的照片到铅笔的翻译方法与细粒度控制的绘画风格。这是一项具有挑战性的任务，因为有多种中风类型（例如，轮廓和阴影），铅笔阴影的结构复杂性（例如，阴影线），以及缺乏对齐的训练数据对。为了解决这些挑战，我们开发了一个两分支模型，该模型学习单独的过滤器，用于从一组钢笔画中生成粗略的轮廓和色调阴影我们通过使用图像过滤技术从原始铅笔画中提取干净的轮廓和色调插图来创建训练数据对，并手动标记绘画风格。此外，我们的模型创建不同的铅笔样式（例如，线草图和阴影样式）。在不同类型铅笔画上的实验结果表明，该算法在质量、多样性和用户评价方面优于现有方法1. 介绍素描是一种流行的绘画媒介，经常用于快速素描或精细的描绘。值得注意的是，两个主要组件是定义区域边界的轮廓，以及反映落在区域上的光量以及其强度或色调甚至纹理的差异的阴影。这些中的每一个可以以各种不同的风格应用。例如，铅笔轮廓可能或多或少阴影也可能或多或少粗略，并使用不同类型的阴影策略（图1（b））。因此，我们力求准确地再现这些绘画风格，并允许用户根据个人喜好进行选择。我们将任务分解为分别生成轮廓和阴影，并将每个任务表示为图像到图像的不幸的是，由于成本以及图纸中的空间失真，为任何艺术风格化任务收集配对训练数据都具有挑战性[6]。为了避免收集地面实况配对数据的负担，L粗糙(a) 轮廓线（b）阴影图1.大纲中的真实铅笔画示例（L1）L2）和阴影（S1-S4）风格，我们训练.我们反而建议创建数据对。特别是，我们过滤每个铅笔画的程序，提取出线，色调，和边缘.这将产生两组成对的数据，可用于我们的两个子任务，学习轮廓和阴影绘制。这些过滤器生成相同的抽象（轮廓，色调和边缘）时，适用于输入的照片。因此，在测试时，我们过滤输入照片，然后应用训练好的模型以用户选择的风格制作铅笔插图。我们实现了对不同铅笔样式的控制（例如，粗略度和阴影），其中样式标签被提供为输入选择单元。此外，过滤模块包含额外的可控参数，以生成不同的抽象输入，然后将其映射到具有不同特征的铅笔画。另一方面，我们发现，图像平移架构往往会产生不良的阴影图案。我们描述了这些问题，并展示了如何精心设计的网络体系结构可以解决这些问题。该研究方向的一个长期目标是为神经网络风格化算法提供更细粒度的控制。现有的基于学习的方法不提供太多的控制风格，除了通过改变训练输入。相比之下，经典的过程风格化算法可以提供许多不同的风格（例如，[1，35]），但没有相同的质量和一般性，可以来自学习的例子。我们的方法允许细粒度的风格控制，因为我们专注于分离轮廓和阴影风格，并为每个学习几个风格选项。15251526(a) 输入（b）CycleGAN [48]风格(c)Gatys等人[10]（d）我国：L1+S2(e)我们的：L1+S4（f）我们的：L2+S3图2.将该算法在不同轮廓和阴影组合下的合成结果与现有方法（放大细铅笔笔划）进行了比较。实验详情见第4.1本文的主要贡献概括如下：• 我们提出了一个两个分支的框架，学习一个模型生成粗略的轮廓和色调阴影，从铅笔画数据集。• 我们展示了如何使用抽象过程来生成成对的训练数据，用于学习用铅笔画画。• 我们展示了在一个框架内合成各种不同铅笔画风格的图像的能力。• 我们提出了一个架构，捕捉孵化纹理以及在阴影图，不像现有的基线。2. 相关工作程序性线条画。关于非真实感渲染（NPR）中的程序（非学习）风格化有丰富的文献[35，1]。早期的工作主要集中在交互式钢笔和墨水绘图以及2D输入[36，37]和3D模型[22，45，46]的阴影手绘与钢笔画类似，但它具有更大的自由度，因为单个铅笔笔划可能具有不同的色调，宽度，质地对于2D图像，几种程序图像风格化方法具有模拟铅笔绘图[24，34]。这些方法使用手工制作的算法和轮廓特征以及一组预定义的铅笔纹理示例进行着色。虽然程序化方法可以快速且易于理解，但用纯程序化方法准确捕捉各种插图风格仍然具有挑战性。图像到图像转换。由于风格化算法的编写困难，人们提出了许多从实例中学习的方法。图像模拟方法使用应用于单个训练对的纹理合成[15]，要求输入照片和输出绘图或绘画之间严格对齐。对于线条画，成对的输入图像是通过对每个输入图形分别应用模糊和锐化算子来手动创建的。此方法仅适用于有限类别的绘图，例如，当大多数阴影线笔划具有一致的方向时。虽然最近已经开发了神经图像翻译方法[18，49，43]，但由于难以收集对齐的配对训练数据，因此这些方法都没有被证明用于风格化。Chen等人[5]学习风格化，但在现有程序铅笔渲染方法生成的结果上进行训练[32]。然而，渲染的绘图展示了有限的草图和着色样式。最近，已经开发了几种方法用于从具有两个条件对抗损失和循环一致性正则化的未配对数据[48，23，31，17，25然而，如图2（b）所示，这些方法在捕获阴影纹理方面表现不佳。尽管深度图像类比[30]方法不需要配对数据，但它需要样本和目标照片具有非常相似内容的数据。已经开发了几种基于学习的算法，仅用于面部轮廓[44，41，2，9]。神经风格转移。第三种方法是转移风格样本的深层纹理统计，其不使用成对的训练数据。自Gatyset al. [10]提出了一种基于匹配深度特征之间的相关性（Gram矩阵）的艺术风格化算法，已经开发了许多方法用于不同方面的改进[20]，例如，效率[21，42]，一般-性[5，16，28，4，27]，质量[26，30，19]，多样性[27]，高分辨率[38]和照片写实主义[33，29]。然而，这些方法对于铅笔画表现得并不好。铅笔风格的渲染结果（图2（c））仅捕获了整体灰色调，但没有很好地捕获独特的阴影或轮廓风格风格控制。过程方法通常提供细粒度的样式控制，例如，[13]，但代价是可以考虑的努力和困难，在掌握某些风格。图像到图像翻译[17，25]和神经风格转移方法，1527已创建配对数据轮廓抽象图{Edge地图，色调插图}铅笔画图3. 所提出的算法的流水线。左：通过使用铅笔画的抽象过程生成的成对训练数据用于训练。右图：测试阶段（包括网络详细信息）。两个分支将分别输出轮廓和阴影绘制结果，这两个结果可以通过像素级乘法组合在一起，作为铅笔绘制结果的第三个选项。轮廓分支（顶部）中的灰色边缘模块是边界检测器[7]，在测试时是可选的。对于高纹理的照片，建议仅使用此模块来检测边界。技术细节见第3ODS仅提供高级控制，例如，通过选择不同风格的训练输入，在不相关的风格之间插值[8，11]，或者在高级传输参数中选择[11]。在这项工作中，我们专注于开 发 一 种 细 粒 度 的 风 格 控 制 方 法 ， 允 许 微 妙 的adjuvenile铅笔画。3. 程式化方法我们的方法是基于观察铅笔画可以分为两个组成部分：轮廓和阴影。轮廓描绘对象边界和场景中的其他边界，并且阴影或色调使用色调技术，例如阴影来描绘反射的照明、纹理和纹理。对于这个任务，我们使用轮廓提取算法，在运行时处理训练数据和测试图像。轮廓提取。我们使用扩展高斯差分（XDoG）过滤器[47]，无论输入照片是铅笔画还是照片，它都表现良好XDoG方法获取输入图像I，并将其与两个单独的高斯滤波器卷积，标准偏差为σ和k·σ。然后将S形函数应用于这两个图像的差：D（I;σ，k，τ）=Gσ（I）−τ·Gk·σ（I），（1）.1，如果D≥1真实，材料。 因此，我们的方法包括一个单独的轮廓分支和阴影分支。这两款车型分别是EX（D，N，N）=1+tanh（·（D−）），否则（2）单独训练，但可以在测试时组合，以生成插图风格的不同组合。图3显示了所提出的方法的主要模块。对于每个网络分支，成对的训练数据是不可用的，因此我们需要直接从线图创建输入输出对我们通过使用铅笔画上的抽象过程来生成训练数据，其中抽象估计轮廓或边缘和色调。这些过滤器的目的是产生类似的抽象从线条画- ings从照片。因此，在测试时，可以将相同的提取滤波器应用于输入照片，以产生与训练输入相同的域中的输入。3.1. 大纲分支outline分支的目标是从照片中生成类似于照片的轮廓。由于没有配对的训练数据，滤波器的行为由五个参数决定：{σ，k，τ，ε，ε}，用于对检测到的边缘进行灵活控制。在测试时，用户可以调整任何参数来控制线条的粗细和粗略程度，如图10和11所示。为了证明XDoG的有效性，我们将其与两种用于轮廓抽象的替代方法进行比较。第一个是基于结构化随机森林的边界检测器[7]。图4（b）中的结果表明，尽管它可以很好地检测照片中的轮廓，但它通常不能很好地处理铅笔画中的粗线，并生成两个笔划。第二种是专门为草图简化设计的方法[39]。如图4（c）的顶部所示，它在主轮廓上获得简化结果眼睛）。更重要的是，这种草图简化方法在抽象纲要轮廓样式64642561282561286466446464...12812825664 646464残余块输入照片轮廓线着色样式6464组合25612825612864646464...64128256128646464256残余块256上采样阴影处理64输入照片161664256语气边缘着色6464256XDoG边缘1528（a）输入（b）[7]（c）[39]（d）XDoG [47]图4.对比铅笔画（上图）和照片（下图）的不同轮廓提取结果。照片输入（见图4（c）的底行）。相反，XDoG过滤器处 理 线 条 粗 细 和 平 滑 非 轮 廓 区 域 效 果 良 好 （ 图 4（d））。对于测试时的一些高纹理照片，XDoG可能会产生太多的边缘（图5（b）的第二行在这些情况下，我们首先使用边界检测器[7]来提取它们的轮廓，然后由XDoG进行过滤。配对训练数据。为了生成成对的训练数据，我们首先从在线网站（例如，Pinterest）。我们使用两个轮廓样式标签之一来注释每个图形：“粗糙”或“干净”（图1（a））。在Web上以检索大纲样式作为主要查询方式进行数据采集。我们为每种风格收集了30张图片。我们使用一个2位的one-hot向量作为选择单元来表示这两种风格，它作为另一个网络输入来引导生成选定的风格。然后，对于每幅图，我们手动选择一组XDoG参数，以产生良好的轮廓。例如，对于粗略的输入，我们使用较大的σ来产生一条粗线，以覆盖沿同一边界的所有粗略线。我们在创建的配对数据上裁剪大小为256×256的补丁，并进行各种增强（例如，旋转、移位），产生大约1200个训练对。翻译模型。如图3（右）的顶行所示，翻译模型被设计为自动编码器，其间具有几个基于残差的卷积块。选择单元首先从2位向量映射到2通道映射，然后将其编码为特征映射（通过卷积）并与轮廓输入的特征级联在翻译模块之前，使用XDoG过滤器从照片中提取轮廓。在训练过程中不包括该模块，模型的其余部分是在上述轮廓/绘图对上训练的。对于高纹理图像，边界（边缘）检测器也可以在XDoG之前使用。如第4.2节所述，调整XDoG过滤器的参数可用于改变轮廓绘制样式，如线条粗细和草图。(a) 输入（b）XDoG [47]（c）边缘[7]（d）音调图5.高纹理输入的提取边缘和色调结果的示例。3.2. 遮阳店我们的着色分支的目标是根据输入的色调值在非轮廓区域生成纹理由于没有成对的数据可用于学习着色分支网络，我们应用抽象过程来生成训练数据并在测试时预处理输入。提取的目的是提取边缘和色调，并重新移动详细的纹理.然后模型根据这些映射学习应用铅笔着色。边缘和色调提取。对于边缘图，我们使用Doll a'r和Zitnick[7]的边界检测器，即使在高度纹理化的图像中也能识别重要的边缘我们在边界检测之后不使用XDoG，因为对于着色生成来说，清除轮廓线不是必需的.图5（b）和（c）显示了XDoG和边界检测器之间针对高纹理输入的为了提取色调图，我们在着色绘图或照片的亮度通道上应用引导滤波器（GF）[14]图5（d）中示出了提取的音调结果的示例。配对训练数据。我们从在线网站上收集了一组铅笔阴影图，并使用我们的四种风格标签之一对每张图进行注 释 ， 即 ，影 线 、 交 叉 影 线 、 混 合 和 点 画 （ 图 1（b））。我们搜索的数据与每一种着色风格作为主要的网络查询，并收集了20个着色图纸的每一种风格。与outline分支一样，我们使用4位one-hot向量作为选择单元。对于每幅图，我们提取其边缘图和色调图来构建配对数据。我们手动选择最佳参数（例如，GF [ 14 ]中的邻域大小），以产生良好的抽象结果。通过裁剪大小为256×256的斑块并进行数据扩充（例如，旋转），我们创建了大约3000个训练对。1529我每i i2(a) 音调（插图：（b）边切场(a)（b）（c）（d）Lrec+ LadvLper+ Ladv Lrec+iadv我们图7.使用不同损失函数训练的模型获得的铅笔轮廓结果的比较红色矩形中的插图：XDoG输入。Lrec：重建损失。Ladv：对抗性损失用单光子晶体对256×256的贴片进行扫描。Lper：(c) （d）双流实际损失iadv：使用三个鉴别器的对抗性损失斑块面积为25.6×256、12.8×128和6.4×64。我们最后的损失是tone→shading{edge，tone}→ shading图6.照片块上阴影结果的比较（c）-(d) 使用不同的网络架构获得。 输入是Lper和;光滑的照片补丁（红色插图）。(a)提取的色调映射。(b)（a）的边切场。(c)影线是单流结构的结果。出现与正常孵化不同的人工图案。(d)影线产生于双流体系结构。将生成类似图案填充的纹理，并抑制人造图案。翻译模型。我们发现，直接翻译从提取的色调的阴影绘图产生显着的文物时，适用于照片，特别是在光滑的地区。在这样的区域，艺术家绘制不同方向的铅笔纹理;这些笔划通常近似于图像中的色调而不是特定的梯度。然而，朴素的训练产生的结果试图过于接近输入梯度.图6（a）示出了平滑的照片补丁及其提取的色调。我们用线性积分卷积[3]将其梯度场可视化为与图像梯度无关的边缘切场当简单地依赖于色调输入时，图6（c）中的着色结果显示，通过遵循这些小梯度，生成的阴影线看起来非常不自然。为了解决上述问题，我们设计了一个双流翻译模型来生成阴影（图3（右下））。主流是来自输入的边缘图，这里没有小图像的指示翻译是基于现有的翻译框架，例如，[18]第十八话然而，我们使用不同的损失函数铅笔画现有的不执行我们的任务。我们现在描述用于模型的两个分支的损失函数。感知损失。我们使用感知损失[21]来最小化网络输出和地面实况（GT）铅笔画之间的差异，基于它们的深度特征：Σ4L=||Φ（G（x））− Φ（y）||第二条、第三条i=1其中x，y是输入和GT铅笔画，G是翻译模型，Φi是VGG-19[40]网络，直到ReLU i 1层。基于特征的感知损失已被证明比基于像素的重建损失Lrec生成更清晰的结果。对抗性损失。除了翻译模型G之外，我们还使用网络D来区分铅笔画的真实样本和生成的结果。G的目标是生成D无法区分的图像。这可以通过使用对抗性损失来实现[12]：梯度 我们用音调抽象来表示弱引导-Ladv=最小最大EyPY[logD（y）]融合到G D中的第二输入流中的音调（四）在更深的一层的主流。图6（d）显示，我们的双流网络架构的着色输出显着减少了伪影，并表现出更自然和逼真的笔划。此外，4位选择单元以与轮廓分支相同的方式馈送到网络，以引导生成不同的着色样式。3.3. 学画画使用配对数据，我们训练模型学习从抽象输入转换为图纸。我们的火车-+Ex<$PX[log（1−D（G（x）]，其中PY和PX表示铅笔画样本y及其提取样本x的分布。为了更好地捕捉铅笔画的全局风格和局部笔画，我们建议在训练过程中以多个尺度区分真实数据和假代。具体来说，给定生成的大小为256×256的输出，我们使用三个判别器在三个尺度（256×256，128×128，64×64）上判别斑块。每个节点都被设计为[18]中使用的PatchGANLLL1530Adv风格风格风格(a) 投入（b）Gatys等人[10个国家](c)CycleGAN [48](d)Lu等人[32]（e）我们的图8.对不同的铅笔画效果渲染方法进行视觉比较（放大查看详细信息）。用于[10，32]的样本显示在粉红色矩形中。顶部：为了直接显示轮廓的铅笔效果，我们选择了一个简单的线输入，它只被XDoG过滤（不需要先检测边界）。下：铅笔阴影效果的一个真实的照片的例子。总损失函数定义为：Σ3表1.用户对不同方法的偏好（%）。每行代表一个用户研究，比较三种风格化算法。顶行直接应用于输入图像，而底行L=Lper+βi=1iadv、（五）row使用[32]的色调调整作为预处理。其中β是平衡不同损失的权重，L是是第i个对手的损失。我们在所有实验中设置β=100。当学习多种风格时，在每次迭代中，批次中的所有示例都限于相同的风格。同时，我们在选择单元中将表示所选样式的相应位设置为1，并将其他位图7显示了使用不同损失训练的模型的概要结果。据观察，与重建损失相比，感知损失鼓励沿着轮廓绘制的单条线具有更好的同时，使用多个鉴别器比只使用一个鉴别器有助于合成更好的铅笔笔划和更多的粗略细节图7（d）显示，通过使用（5）中的损失函数的所提出的方法获得的轮廓结果看起来更像真实的绘图。4. 实验结果在本节中，我们提出了广泛的实验结果来证明我们的算法的有效性我们与NPR和基于深度神经网络的风格化方法进行了比较我们尝试以用户可控制的方式合成各种轮廓和阴影风格的铅笔画。更多结果和比较见补充材料1。1http://bit.ly/cvpr19-im2pencil-supp4.1. 比较我们比较了三种算法[10，48，32]，分别代表神经风格转移，非配对图像到图像翻译和NPR。作为Gatyset al. [10]是基于示例的，我们从我们的数据集中选择一个代表性的钢笔轮廓示例（图8（b）中的粉红色插图）来获得它们的风格转换结果。对于Cy-cleGAN [48]，为了训练铅笔画模型，我们从在线网站收集了一个由100张图像组成的照片数据集。与我们的铅笔数据集一起，他们构建了一个未配对的数据集，用于训练CycleGAN在两个域之间请注意，由于Cycle-GAN只支持传输某种样式，因此需要为每个轮廓和阴影样式训练不同的CycleGAN模型。Luet al. [32]也有两个阶段的设计，分别处理轮廓和着色绘图。着色绘制阶段还需要一个真正的铅笔着色示例。自从Luet al.[32]不要发布用于其结果的着色示例，我们从我们的数据集中选择一个代表性的铅笔着色示例（图8（d）中的粉红色插图）来生成其结果。图8显示了三种方法的视觉比较L方法CycleGAN [48]Lu等人[32个]我们原始色调10.311.478.3调整音7.132.660.31531(a) 输入（b）[32]带音调调整(c) Ours w/o tone adjust（d）Ours w/ tone adjust图9.比较了在W/和W/O调节输入色调的情况下的明暗处理结果。在轮廓图（上）和阴影图（下）上的odsGatyset al. [10]在（b）中，只表现出铅笔画的一些全局灰色感觉。线条不自然，阴影没有正确定位以反映输入中的对比度。CycleGAN [48]在轮廓周围和区域内部生成一些随机纹理，导致结果看起来像输入的灰色图像，没有清晰的铅笔笔划，如图8（c）所示。在没有配对对应的情况下，简单地依赖于循环约束和对抗训练在捕获具有现实主义笔画的铅笔画域的真实分布方面仍然是有限的。Luet al. [32]在图8（d）的第二行中示出了与某些内容的底层线、结构和水流）。阴影线来自真实的绘图，但总体结果看起来不像。此外，它们的基于梯度的特征还导致检测图8（d）的第一行中的粗线的两侧，这在绘画笔画中是不常见的。相比之下，我们在图8（e）中的结果在合理的绘图方向上呈现了更真实的铅笔笔划，并且包含与输入中的对比度相对应的更好的阴影。用户研究。我们诉诸用户研究[48，32]的定量评估，我们的方法作为铅笔画合成本来是一个高度主观的任务。Gatyset al.[10]没有被包括在用户研究中，因为它在我们早期的实验中明显不如其他人（图8（b））。我们使用[32]中提供的30张自然图像，并为每个受试者随机选择15张图像。我们以随机顺序并排显示所有三种方法的结果最后，我们收集了50名受试者的反馈，共750张选票，(a) 输入（b）边界[7]（c）清洁：基础(d) 清洁：σ=3(e)粗糙：σ=3(f)清洁：τ=0.97图10.为高纹理照片绘制轮廓结果。(b)是输入（a）的边界图，然后由XDoG用不同的参数对其进行过滤。 我们设σ=2。0，τ= 0。99，k= 1。6，θ= 0。1，XDoG中的X= 200，并在（c）中显示基本铅笔轮廓。（d）-（f）示出了通过调整一个参数而保持其他参数不变的结果。(a) 输入（b）粗糙：基础（c）粗糙：σ=4.5(d)清洁：σ=4.5 (e)粗糙：τ=0.98（f）粗糙：τ=1.6图11.简单卡通图像的轮廓结果（a）中的输入直接由XDoG滤波 我们设σ = 2。5，τ = 0。96，k= 1。6，θ= 0。1，n= 200，并在（b）中显示基本铅笔轮廓。（c）-（f）通过控制参数显示不同的轮廓结果在表1的第一行中，每种方法获得的投票百分比。研究表明，我们的方法获得了最多的选票，为更好的铅笔效果，近七倍的其他两种方法。Lu等人[32]观察到铅笔画经常表现出来自输入的全局色调变化，并描述了一种基于直方图的色调调整步骤来模拟这种观察。为了与这一步进行公平的比较，我们进行了第二次用户研究，其中输入被这一步预处理。调整色调的用户研究结果见表1的底行。同样，我们的方法比以前的方法获得了更多的选票我们显示了我们的结果与色调调整和不调整，1532输入图案填充交叉阴影混合点画图12.四种类型的着色结果的建议算法通过切换位在选择单元（放大的细节）。图9（c）和（d）以及Lu等人的相应结果。[32]在（b）中。色调调整步骤也为我们的方法提供了额外的用户控制。4.2. 用户控制我们的转换模型提供了对不同铅笔画风格的细粒度控制图10和11显示了用户可以通过选择单元在干净和粗糙的轮廓线风格之间切换图10（a）中的照片示例在衣服和背景中具有高度纹理，因此我们首先使用边界检测器[7]来检测其边界图，然后由XDoG进行过滤。作为XDoG中最敏感和最重要的参数，σ定义了线的厚度和粗略度。一般来说，当选择干净的样式时，增加σ的值会导致更粗的线条（图10（c）-（d））。当选择粗略样式时，增加σ值会导致重复行的增加（图10（e））。此外，通过调整其他参数（例如，τ），XDoG滤波器能够控制对检测到的边缘的灵敏度，这允许用户绘制强边缘和弱边缘（图10（f））。在图11中，我们显示了一个简单的卡通图像的轮廓结果，没有沉重的纹理。图12示出了两个示例的阴影结果，即，静物和肖像-铅笔画的两个流行的通过控制选择单元，用户可以得到不同的着色效果。彩色铅笔画。我们的算法扩展到彩色铅笔画是非常简单的，遵循[15，11]的方法。我们首先将输入图像从RGB转换到LAB颜色空间，然后用我们生成的灰度铅笔画结果的L通道替换L通道，最后映射回RGB空间。图13显示了两种颜色(a) 输入(b)我们的：L1+S2（c）我们的：L2+S4图13.我们的算法扩展到不同轮廓和阴影风格的彩色铅笔（放大细节）。所有示例的轮廓都是通过在其边界图上应用XDoG和学习模型来生成的。铅笔会产生不同的轮廓和着色样式。5. 结论在这项工作中，我们提出了一个照片到铅笔的翻译方法，灵活控制不同的绘画风格。我们设计了一个双分支网络，分别学习用于轮廓和阴影生成的单独为了便于网络训练，我们将过滤/抽象技术引入深度模型，避免了收集配对数据的沉重负担我们的模型使多风格的合成，在一个单一的网络产生不同的结果。我们证明了该算法的有效性和灵活性，对不同的铅笔轮廓和阴影风格。谢谢。这项工作得到了NSF CAREER Grant #1149783的部分支持，以及Adobe，Verisk和NEC的礼物。YJL由Adobe和Snap Inc.提供支持研究奖学金。1533引用[1] P. B enard和A. 赫茨曼 线博士从3d模型的翅膀。arXiv预印本arXiv：1810.01175，2018。一、二[2] I.伯杰，A. Shamir，M. Mahler，E. Carter和J.哈金斯肖像素描的风格和抽象。ACM Transactions on Graphics，32（4）：55，2013. 2[3] B. Cabral和L.C. 李多姆使用线积分卷积成像向量场在SIGGRAPH，1993中。5[4] D.陈湖，澳-地Yuan，J. Liao，N. Yu和G.华Stylebank：神经图像风格传递的显式表示。在CVPR，2017年。2[5] Q. Chen，J. Xu，and V.科尔顿。使用全卷积网络进行快速图像处理。InICCV，2017. 2[6] F. Cole，A. Golovinskiy，A. Limpaecher，H. S. 巴罗斯A. Finkelstein，T. Funkhouser和S.鲁辛凯维奇人们在哪里画线？ACM Transactions on Graphics，27（3）：88，2008。1[7] P. Dol la'r和C. L. 齐特尼克用于快速边缘检测的结构化森林InICCV，2013. 三、四、七、八[8] Dumoulin，J. Shlens和M.库德鲁艺术风格的学术在ICLR，2017。3[9] J. Fi séer，O. Jamri sReplika，M. Luk a'c，E.Shechtman，P. 阿森特，J. Lu 和D.是的。Stylit：照明引导的基于示例ACMTransactions on Graphics，35（4）：92，2016。2[10] L. A. Gatys，A.S. Ecker和M.贝丝使用卷积神经网络的图像风格在CVPR，2016年。二六七[11] L. A. Gatys，A. S. Ecker，M. Bethge，A. Hertzmann和E. 谢 克 特 曼 神 经 风 格 迁 移 中 知 觉 因 素 的 控 制 。 在CVPR，2017年。三、八[12] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在NIPS，2014。5[13] S. Grabli，E. Turquin，F. Durand和F. X. Sillion.从三维场景绘制线 条的可编程绘制。ACM Transactions onGraphics，29（2）：18，2010. 2[14] K.他，孙杰，还有X。唐引导图像滤波。PAMI，35（6）：1397-1409，2013. 4[15] A. 赫茨曼角E. Jacobs，N.奥利弗湾Curless和D.H.销售形象类比。SIGGRAPH，2001年。二、八[16] X. Huang和S.贝隆吉具有自适应实例规范化的实时任意样式传输。InICCV，2017. 2[17] X. 黄文Y. Liu，S.Belongie和J.考茨多模态无监督图像到图像翻译。在ECCV，2018。2[18] P. Isola，J.Y. Zhu，T.Zhou和A.A. 埃夫罗斯使用条件对抗网络的图像到图像翻译。在CVPR，2017年。二、五[19] Y. Jing，Y.Liu，Y.杨，Z.冯，Y.Yu，D.Tao和M.歌具有自适应感受野的笔画可控快速风格迁移在ECCV，2018。2[20] Y. Jing，Y.杨，Z.Feng，J.叶，Y。Yu和M.歌神经风格转移：审查. arXiv预印本arXiv：1705.04058，2017。2[21] J. Johnson，A. Alahi和L.飞飞实时风格转换和超分辨率的感知损失。在ECCV，2016年。二、五1534[22] E.卡洛杰拉基斯D.NowrouzezahraiS.Breslav，以及A.赫茨曼学习表面的钢笔和墨水插图的阴影。ACMTransactions on Graphics，31（1）：1，2012. 2[23] T.金，M。Cha，H.金，J. K. Lee和J. Kim。学习发现跨域关系与生成对抗网络。ICML，2017。2[24] H.李，S。Kwon和S.李你实时铅笔渲染。在NPAR，2006年。2[25] H.- Y.李，H.- Y. Tseng，J. - B. Huang，M. Singh和M.-H.杨通过解纠缠的表示进行不同的图像到图像的翻译。在ECCV，2018。2[26] C. Li和M.魔杖结合马尔可夫随机场和卷积神经网络进行图像合成。在CVPR，2016年。2[27] Y. Li，C. Fang，J. Yang，Z. Wang，X. Lu和M. H.杨用前馈网络实现多样化纹理合成在CVPR，2017年。2[28] Y. Li，C. Fang，J. Yang，Z. Wang，X. Lu和M. H.杨通过特征变换进行通用样式传递。在NIPS，2017年。2[29] Y. 李，M.-Y. Liu，X.李，M.-H. Yang和J.考茨一个封闭形式的解决方案，以真实感图像风格化.在ECCV，2018。2[30] J. Liao，Y.尧湖，澳-地Yuan，G. Hua和S. B.康通过深层意象类比实现视觉属性转移。ACM Trans-actions onGraphics，36（4），2017。2[31] M.- Y. Liu，T. Breuel和J.考茨无监督图像到图像翻译网络。在NIPS，2017年。2[32] C.卢湖，加-地Xu和J. Jia.素描与色调相结合的铅笔画制作。载于NPAR，2012年。二、六、七、八[33] F. Luan，S. Paris，E. Shechtman和K.巴拉深度照片风格转移。在CVPR，2017年。2[34] X.毛。利用线积分卷积从二维图像自动生成铅笔画在CAD/GRAPHICS，2001年。2[35] P. Rosin和J.Colomosse。基于图像和视频的艺术风格化。Springer，2013. 一、二[36] M. P. Salisbury，S.E. 安德森河Barzel和D.H. 销售交互式钢笔和墨水插图。见SIGGRAPH，1994年。2[37] M. P. 索尔兹伯里湾T. Wong，J.F. Hughes和D.H. 销售基于图像的钢笔和墨水插图的可定向纹理在SIGGRAPH，1997中。2[38] A. Sanakoyeu，D. Kotovenko，S. Lang和B.奥默一种实时高清风格传输的风格感知内容丢失。在ECCV，2018。2[39] E. Simo-Serra，S.饭冢湾Sasaki和H.石川学习简化：用于粗略草图清理的全卷积网络。ACM Transactions onGraphics，35（4），2016. 三、四[40] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556，2014。5[41] Y.松湖，澳-地鲍角，澳-地杨和M.- H.杨基于样本的实时人脸草图合成。2014年，在ECCV。2[42] D. 乌里扬诺夫河Lebedev，A.Vedaldi和V.Lempitsky 纺织网络：纹理和样式化图像的前馈合成。InICML，2016. 21535[43] T.- C.王兆国Y.刘杰- Y. Zhu，中国茶青冈A. Tao，J. Kautz和B. 卡坦扎罗基于条件gans的高分辨率图像合成与在CVPR，2018年。2[44] X. Wang和X.唐人脸照片素描合成与识别。PAMI，31（11）：1955-1967，2009. 2[45] G. Winkenbach和D.H. 销售计算机生成的钢笔和墨水插图。见SIGGRAPH，1994年。2[46] G. Winkenbach和D. H.销售用钢笔和墨水渲染参数曲面。在SIGGRAPH，1996中。2[47] H. Winnem oüller，J. E. Kyprianalus和S. C. 奥尔森XDoG：一个扩展的差分高斯纲要，包括先进的图像风格化。Computers Graphics，36（6）：740-753，2012.三、四[48] J. - Y. Zhu，T.帕克山口Isola和A.A. 埃夫罗斯使用循环一致对抗网络的不成对InICCV，2017. 二六七[49] J. - Y. 朱河，巴西-地Zhang，L.Pathak，T.Darrell，A.A. 埃夫罗斯O. Wang和E.谢克特曼多模式图像到图像的翻译。在NIPS，2017年。2