自动生成漫画的WarpGAN网络

10762自动漫画生成YichunShi Shi陈 德巴扬Deb陈Anil K.密歇根州立大学，East Lansing MI 48824{shiyichu，debdebay}@ msu.edu，jain@cse.msu.edu(a)照片（b）WarpGAN（c）WarpGAN（d）艺术家（e）艺术家图1：我们数据集中两个主题的示例照片和漫画。列（a）显示每个身份的真实面部照片，而WarpGAN生成的两个相同主题的漫画显示在列（b）和（c）中。（d）和（e）栏显示了艺术家绘制的漫画。摘要我们提出了WarpGAN，这是一个全自动的网络，可以在输入人脸照片的情况下生成漫画。除了传输丰富的纹理样式外，WarpGAN还学会自动预测一组控制点，这些控制点可以将照片扭曲成漫画，同时保持身份。我们引入了一个身份保护的对抗性损失，艾滋病患者区分不同的主题。此外，WarpGAN允许通过控制夸张程度和视觉风格来定制生成的漫画在公共领域数据集WebCaricature上的实验结果表明，WarpGAN能够生成漫画，不仅保留了身份，而且还为每张输入照片输 出 了 一 组 不 同 的 漫 画 。 五 位 漫 画 专 家 认 为 ，WarpGAN生成的漫画在视觉上与手绘漫画相似，只有突出的面部特征被夸大。1. 介绍特征被夸大，以创造一个喜剧或怪诞的效果讽刺的是，漫画是具有面部特征的图像，这些面部特征比面部本身更能代表面部。漫画是一种2D视觉艺术，试图以通常简化的艺术风格重新渲染对象甚至场景，漫画是具有某些人或事物的夸张特征的肖像。两个人的一些示例漫画如图1所示。漫画的迷人之处在于，即使有大量的扭曲，漫画中的人的身份仍然可以很容易地被人类识别。事实上，研究发现，我们可以比原始人脸图像更准确地识别漫画[2]。漫画家捕捉最重要的面部特征，包括脸和眼睛的形状，发型等。一旦艺术家勾勒出面部的草图，他们就会开始夸大个人特定的面部特征，使其与平均面部有更大的偏差。现在，艺术家可以通过计算机软件创作出逼真的漫画，方法是：（1）扭曲脸部照片以夸大形状漫画被定义为（人或物的）相同贡献的显著10763以及（2）重新绘制纹理样式[3]。通过模仿这个过程，研究人员一直致力于自动漫画生成[4，5]。大多数研究集中在设计一个好的结构表示来扭曲图像和改变脸部形状。然而，无论是身份信息还是漫画和人脸照片之间的纹理差异都没有相比之下，许多作品已经在深度神经网络传输图像风格方面取得了进展[6，7]。然而，这些方法仅仅关注于将纹理风格转换为面部特征中的任何变化。在这项工作中，我们的目标是建立一个完全自动化的系统，可以通过利用卷积神经网络（CNN）和遗传对抗网络（GAN）从照片中创建新的漫画。与漫画生成和风格转换的大量研究不同，本文强调了以下挑战：• 漫画生成涉及纹理变化和形状变形。• 面部需要以仍然可以识别的方式被放大• 漫画样本以各种视觉和艺术风格存在（见图1）。为了应对这些挑战，我们提出了一种新型的风格传递网络，命名为WarpGAN，它将形状变形和纹理渲染解耦为两个任务。类似于人类操作图像处理软件，我们系统中的生成器自动预测一组控制点，这些控制点将输入的人脸照片扭曲成与漫画最相似的形状，并通过非线性过滤传输纹理风格。识别器通过身份保留对抗损失来训练，以区分不同的身份和风格，并鼓励生成器合成不同的漫画，同时自动夸大特定于身份的面部特征。实验结果表明，与最先进的生成方法相比，WarpGAN允许纹理更新以及图像空间中的人脸变形，同时保持身份。与其他风格转移GAN [13，7]相比，我们的方法不仅允许纹理风格的转移，还允许形状的变形。该文件的贡献可概括如下：• 一种域转移网络，它通过自动估计一组稀疏控制点来扭曲图像，从而使纹理风格和几何形状一致。• 纹理风格转移和图像变形的联合学习，用于对抗性损失的域转移。• 通过人脸识别实验的定量评价表明，该方法在变换纹理风格后仍能保持身份信息，(a) [15]第16话：我的世界(b)[17]第十七话(c)基于地标的[18]（d）控制点估算图2：神经网络中不同类型扭曲模块的输入和输出给定一幅图像，WarpGAN可以根据局部特征自动预测控制点及其位移。翘曲此外，我们还进行了两项视觉研究，其中五位漫画专家建议WarpGAN生成的漫画（1）视觉上吸引人，（2）逼真;其中只有适当的面部特征被夸大，以及（3）我们的方法优于现有技术。• 一个开源的1自动漫画生成器，用户可以自定义纹理风格和模仿度。2. 相关工作2.1. 自动图像扭曲许多工作已经提出了通过自动变形来增强神经网络的空间变异性。他们中的大多数通过预测一组全局变换参数[14，16]或密集变形场[17]来扭曲图像。参数化方法估计的全局变换参数数量较少，因此不能处理细粒度的局部变形，而密集变形需要预测变形网格中的所有顶点，其中大部分是无用的，难以估计。 Cole等人。 [18]首先提出在神经网络中使用样条插值来允许基于控制点的扭曲，但他们的方法需要预先检测的地标作为输入。最近的几项工作试图将图像变形与GAN结合起来，以改善生成器的空间变异性，然而这些方法要么单独训练变形模块[15，12]，要么需要成对的数据作为监督[15，19]。相比之下，我们的扭曲模块可以作为普通生成器的增强插入，并且可以作为端到端系统的一部分进行训练，而无需进一步的1https://github.com/seasonSH/WarpGAN10764方法方法示例研究夸张空间翘曲形状变形[9]第一届全国人大常委会副委员长[8]绘制线2D标志3D网格用户交互式自动[八]《中国日报》[4]美国[9]第一章纹理转移Zheng等人[11]第十一届中国国际汽车工业展览会图像到图像图像+地标遮罩无无[10个国家][第十一届]纹理+形状美国[12]PCA标志图像到图像自动自动[12]我们的表1：漫画生成的各种研究的比较。大多数已发表的研究都集中在使面部变形或转移漫画风格上，而不像WarpGAN那样同时关注这两个方面。另一方面，WarpGAN在图像空间中对面部进行变形，从而真实地捕捉到从真实面部照片到漫画的变换。此外，WarpGAN不需要面部标志来生成漫画。改性据我们所知，这项研究是第一项使用深度神经网络进行自动图像扭曲的工作，具有自预测控制点。图2显示了不同扭曲方法的概述。2.2. 风格传递网络通过艺术特征的转移来实现图像的风格化，在文学作品中得到了广泛的研究。鉴于CNN提取语义特征的有效能力[20，21，22，23]，已经开发出强大的风格转换网络。Gatys等人。 [24]首先提出了一种神经风格转移方法，该方法使用CNN将风格内容从风格图像转移到内容图像。 的限制这种方法的一个优点是要求风格和内容图像在本质上相似，而漫画则不是这种情况。使用生成对抗网络（GAN）[25，26]进行图像合成一直是一个有前途的研究领域，其中最先进的结果已在从文本到图像翻译[27]，图像修复[28]到图像超分辨率[23]的应用中得到证明。域转移网络[29]，循环GAN [13]，StarGAN [30]，UNIT [6]和MUNIT [7]在-用不成对的图像集进行图像平移。所有这些方法都只使用去卷积网络来从潜在空间构造图像，并且性能很差 由于大的空间变化，漫画生成[11，12]。2.3. 漫画生成关于漫画生成的研究主要分为三类：基于变形，基于纹理，方法与两者。传统的工作主要集中在通过扩大给定形状表示与平均值的偏差来夸大脸部形状，例如2D地标或3D网格[8，4，5，9]，其变形能力通常受到限制，因为形状建模只能发生在表示空间中。最近，随着GAN的成功，一些作品试图将风格转移网络应用于图像到图像的漫画生成[10，11]。然而，他们的结果遭受较差的视觉质量，因为这些网络不适合大空间变化的问题。Cao等人。[12]最近提出用两个在图像和地标空间上训练的CycleGAN来解耦纹理渲染和几何变形但是，由于人脸形状是在特征点的PCA子空间中建模的，因此它们遇到了与传统的基于变形的方法相同的问题。在这项工作中，我们提出了一个端到端的系统与联合学习的纹理渲染和几何变形。与以前的作品相比，WarpGAN可以在图像空间中对形状和纹理进行建模，具有灵活的空间可变性，从而获得更好的视觉质量和更艺术的形状放大。漫画生成方法之间的差异总结在表1中。3. 方法设xp∈Xp为人脸照片域的图像，xc∈Xc为漫画域的图像，s∈ S为纹理风格的潜码。我们的目标是建立一个网络-通过变换纹理风格和夸张几何形状将照片图像转化为漫画的作品 我们的系统包括一个可变形发电机（见10765idtc c1Style Encoder纹理呈现内容编码器解码器经纱控制器可变形生成器经纱几何变形控制点位移ΔΔ���（图3：WarpGAN的生成器模块给定一个人脸图像，生成器输出一个具有不同纹理风格和一组控制点及其位移的图像一个微分模块采取的控制点和扭曲传输的图像生成漫画。名字意义xp真实照片图像x c真实漫画图像E c内容编码器Es型编码器p估计控制点M个恒等式名字意义图片图像的yp标签漫画图像的yc标签R解码器Dp的位移k个控制点出现在漫画领域。在训练期间，从正态分布中随机采样潜在风格码s N（0，I），并将其作为输入传递到解码器R中。R中的多层感知器解码s以生成R中自适应实例归一化（AdaIN）层的参数，这些参数已被证明在控制视觉风格方面是有效的[31]。然后，具有随机样式的所生成的图像R（Ec（x），s）被扭曲并传递表2：本文中使用的重要符号。图3）G、一个样式编码器Es和一个样式编码器D（参见图4）。表2总结了本文中使用的重要符号。3.1. 发生器WarpGAN中提出的可变形生成器由三个子网络组成：内容编码器Ec，到了晚上。 从Warp获得的各种样式-GAN可以在图5中看到。为了防止Ec和R在纹理渲染过程中丢失语义信息，我们结合身份映射损失[29]和重建损失[7]来正则化Ec和R。R.具体地，样式编码器Es用于学习从图像空间到样式空间S的映射。鉴于其自身的风格代码，照片和漫画都应该从潜在特征图中重建：Lp=Ex∈X[<$R（Ec（xp），Es（xp））−xp<$]（1）idtp p1解码器R和扭曲控制器。任何图像x∈RH×W×C，编码器输出特征图Ec（x）。这里H、W和C分别是通道的高度、宽度和数量内容解码器采用Ec（x）和随机潜在样式码s ∈ N（0，I）来呈现给定的图像转换为特定风格的图像R（Ec（x），s） 的warp控制器估计控制点及其距离，放置以扭曲渲染图像。图3中示出了可变形发生器的概述。Lc =Ex∈X[<$R（Ec（xc），Es（xc））−xc<$]（2）自动图像变形变形控制器是由两个完全连接的层组成的子网络.利用潜在特征图Ec（x）作为输入，控制器学习估计k个控制点p={p1，p2，，pk}和它们的位移。元素向量p={p1，p2，其中，每个pi并且是u-v空间中的2D向量。然后将这些点馈送到可微扭曲模块[18]。 让p′={p′，p′，.，p′}是目的地点，其中12k纹理风格转移由于有很大的变化在漫画图像的纹理样式中（参见图1），我们采用无监督的方法[7]从特征图Ec（x）中分离出风格表示，以便我们可以将输入照片转换为不同的纹理风格10766我我p′= pi+ πpi. 然后可以通过薄板样条插值计算大小为H×W的网格采样器Σkf（q）=w i φ（||q − p′||）+vTq + b（3）i=110767GppPPP身份损失照片和漫画的身份标签。G和D的身份保留对抗损失如下：LG=−Ex∈X，s∈S[logD（yp;G（xp，s））]（7）gp pLD=−Ex∈X[logD（yc;xc）]gc c- Ex∈X[logD（yp+M;xp）]（八）p p- Ex∈X，s∈S[logD（yp+ 2M;G（xp，s））]p p图4：所提出的WarpGAN概述。其中矢量q表示目标图像中像素的u-v位置，f（q）给出原始图像中像素q的逆映射，φ（r）=r2log（r）是核函数。将参数w、v、b拟合到最小值。这里，D（y;x）表示给定图像x的类y的logits。该算法训练出真实照片、真实漫画、生成漫画以及图像中的身份之间的差异生成器被训练成欺骗用户，将生成的图像识别为对应身份的真实漫画。最后，系统以端到端的方式进行优化，目标函数如下：第二章G G cp迈兹j<$f（pj）−pj<$以及曲率约束，minLG= λ pLp + λ gLg +λidt（Lidt+Lidt）（9）可以用封闭的形式来解决[32]。使用网格采样器最小L =λLD+λLD（十）通过逆映射函数f（q）构造，图像G（x，s）= Warp（R（Ec（x），s），p，np）（4）然后可以通过双线性采样生成[14]。整个变形模块是可微分的，可以作为端到端系统的一部分进行训练。3.2. 鉴别器补丁对抗性损失我们首先使用一个完全卷积网络作为补丁节点[7，13]。补丁分类器被训练为3类分类器，以扩大生成的图像和真实照片的风格之间的差异[29]。设D1、D2和D3分别表示漫画、照片和生成图像三类的logit。补丁对抗损失如下：LG=−Ex∈X，s∈S[logD1（G（xp，s））]（5）LD=−Ex∈X[logD1（xc）] −Ex∈X[logD2（xp）]DDpPGG4. 实验数据集我们使用来自公共领域数据集WebCaricature[33]2的图像进行实验。该数据集包括来自252个身份的6042幅漫画和5974张照片我们将所有图像与五个标志点对齐。然后，通过使用五个标志点的相似性变换来对齐图像，并将大小调整为256×256。我们将数据集随机分为126个iden的训练集乳房（3016张照片和3112幅漫画）和一个测试集126个身份（2958张照片和2930幅漫画）。本文中的所有测试图像都来自测试集中。我们在张量流中使用ADAM优化器，β1= 0。5和β2=0。9、整个网络每个小批量由一对随机的照片和漫画组成我们训练网络100，000步。学习-pc c中国 （6）-Ex∈X，s∈S[logD3（G（xp，s））]速率从0开始。0001，并线性下降到0经过50，000步。我们根据经验设定λ g= 1。0，λ p= 2.0，虽然补丁学习适合学习视觉风格转移，但它无法捕捉不同身份的区别特征不同人的夸张风格实际上可能基于他们的面部特征而不同（参见第4.3节）。为了将身份保持和身份特定的风格学习结合起来，我们建议将该分类器训练为3M类分类器，其中M是身份的数量。第一、第二和第三M类对应于真实照片、真实漫画和假漫画的不同身份。 设y p，yc∈ {1，2，3，. M}是漫画照片重构~对抗性损失10768λ idt= 10。0，控制点数k= 16。我们使用Tensorflowr1.9和一个Geforce GTX 1080 Ti GPU进行所有实验在此GPU上生成一幅漫画图像的平均速度为0。082秒。补充材料中提供了结构细节。4.1. 与最新技术我 们 定 性 地 比 较 了 我 们 的 漫 画 生 成 方 法 与CycleGAN[13]，StarGAN[30]，无监督图像到图像翻译（UNIT）[6]，2https://cs.nju.edu.cn/rl/WebCaricature.htm10769输入CycleGAN [13]StarGAN [30]UNIT [6]MUNIT [7]WarpGAN-1 WarpGAN-2WarpGAN-3图5：来自WarpGAN的3种不同漫画风格与其他四种最先进的风格传输网络的比较WarpGAN能够使面变形，与基线不同。输入w/oLgw/oLpw/oLidt，所有图6：没有特定损失函数的WarpGAN的不同变体。和多模态无监督图像到图像翻译（MUNIT）[7]用于风格转换方法3。我们发现，在所有三个基线样式转换网络中，Cycle- GAN和MUNIT展示了最具视觉吸引力的纹理样式（见图5）。StarGAN和UNIT生成非常像照片的图像，纹理变化极小或错误。由于所有这些网络都只关注纹理样式的传递，因此它们无法将面变形为卡通，这与WarpGAN不同。基线方法的另一个问题是，它们没有用于扭曲图像的模块，因此，它们试图仅使用纹理来补偿面部的由于com-3我们使用基线的官方实现来训练基线。由于这项任务的复杂性，训练它们变得越来越困难，并且它们通常会导致生成折叠图像。4.2. 消融研究为了分析我们系统中不同模块的功能，我们分别通过删除Lg，Lp和Lidt来训练WarpGAN的三个变体进行比较。 图6显示了包含所有损失函数的WarpGAN变体的比较如果没有拟议的身份保护广告-由于损失了对抗性，所以该方法只关注局部纹理风格，因此几何变形不能捕捉个人特征，接近于随机性。在没有斑块对抗损失的情况下，模型主要关注面部形状，并且模型无法学习各种纹理风格。该模型在不损失恒等映射的情况下，仍然具有良好的纹理渲染和形状放大性能.我们保持身份损失，以提高生成的图像的视觉质量。4.3. 形状夸张样式漫画家通常定义一组面部原型，并对如何夸大它们有一定的模式[34]。在WarpGAN中，我们没有采用任何方法来显式地夸大面部区域，而是引入了身份保留约束作为对抗性损失的一部分。这迫使网络夸大面孔，使其与其他身份更加不同，并隐含地鼓励网络为具有不同显著特征的人学习不同的夸张风格。图7中示出了网络学习的一些示例夸张样式。10770手绘WarpGAN输入WarpGAN输出大眼睛小眼睛长脸短脸大嘴巴大下巴大额头图7：WarpGAN学习的几种典型夸张风格。第一行显示具有某些夸张风格的手绘漫画。第二行和第三行显示了WarpGAN的输入图像和生成的图像以及相应的夸张样式。所有的身份都来自测试集。输入α= 0。5α = 1。0 α = 1。5α = 2。0图8：通过使用输入参数α缩放BMPp来更改夸张量的结果。4.4. 自定义夸张效果虽然WarpGAN被训练为确定性模型，但我们在部署期间引入参数α以允许自定义夸张程度。在扭曲之前，控制点的位移将按α缩放，以控制面形状将被夸大的程度。结果示于图8中。当α= 0时。0时，仅纹理发生变化且α= 1。0导致WarpGAN的原始输出。 即使α变为2。0时，结果图像看起来像漫画，但只有突出的面部特征被夸大。由于纹理样式是以一种分离的方式学习的，WarpGAN可以生成不同的纹理样式。方法COTS[35]第三十五话照片对照片94.81 ±1.22%90.78 ±0.64%手绘到照片41.26 ±1.16%45.80 ±1.56%WarpGAN到照片79.00 ±1.46%72.65 ±0.84%表3：使用两种最先进的面部匹配器COTS和SphereFace [35]的三种不同匹配协议的1级识别准确度。4.5. 定量分析人脸识别为了量化WarpGAN生成的漫画的身份保存准确性，我们使用两种最先进的人脸匹配器评估自动人脸识别性能：（1）商用现货（COTS）匹配器 4和（2）开源SphereFace [35]匹配器。进行识别实验，其中身份的一张照片被保存在图库中，而所有剩余的照片，或所有手绘漫画，或相同身份的所有我们使用10倍交叉验证评估秩-1鉴别准确度，并在表3中报告各倍的平均值和标准差。我们发现，生成的漫画可以匹配到真实的人脸图像具有更高的精度比手绘漫画。我们还观察到相同的趋势，这表明识别合成漫画是一致的和匹配器无关的。各种纹理样式。图5显示了WarpGAN三种随机抽样的风格。4使用卷积神经网络进行人脸识别。10771方法视觉质量夸张手绘7.707.16CycleGAN [13]2.432.27MUNIT [7]1.821.83WarpGAN5.614.87表4：来自5位漫画专家的视觉质量和夸张程度的平均感知分数。评分范围为1至10。仅输入扭曲仅纹理两者图9：WarpGAN在没有纹理/扭曲和两者的情况下训练生成的示例结果图像。知觉研究我们进行了两项知觉研究通过招募5名漫画艺术家，他们是各自领域的专家，将手绘漫画与我们的基线以及WarpGAN合成的图像进行比较。在WebCaricature测试集中，每126个子图片从随机图像生成一个Caricature第一次知觉研究使用了其中的30个，第二次使用了96个。专家们对这些错误的来源没有任何了解，他们仅仅依靠自己的感性判断。第一项研究评估了生成的漫画与手绘漫画的总体相似性。每个漫画专家都被展示了一张主题的脸部照片，以及分别由Cycle-GAN、MUNIT和WarpGAN生成的三个相应漫画。然后，专家们将三幅生成的漫画中的每一幅从“在视觉上最接近手绘漫画”到“最不类似手绘漫画”进行我们发现，WarpGAN生成的漫画在99%的时间里被评为与真实漫画最相似的漫画，相比之下，WarpGAN生成的漫画与真实漫画的相似度为0。5%和0。CycleGAN和MUNIT分别为5%。在第二项研究中，专家根据两个标准对生成的cari-catures进行评分：（i）视觉质素;及（ii）漫画是否以适当方式夸张，只有突出的面部特征变形。向专家展示一个主题的三张照片以及一幅漫画图像，该漫画图像可以是（i）真正的手绘漫画，或者（ii）使用三种自动风格转换方法之一来生成。从表4中我们发现Warp-GAN在三种方法中获得了最好的感知分数。尽管手绘漫画的比例更高，但我们的方法WarpGAN在自动生成漫画方面取得了巨大的飞跃，特别是在与最先进的漫画相结合时。5. 讨论与其他视觉风格转换任务不同[29，13，7]，将照片转换为漫画涉及纹理差异和几何过渡。纹理在放大局部细粒度特征（如皱纹的深度）方面是重要的，而几何变形允许放大全局特征（如面部形状）。传统风格传输网络[29，13，7]旨在使用解码器网络从特征空间重建图像由于解码器是一堆非线性局部滤波器，它们在空间变化方面本质上是不稳定的，并且当输入域和输出域之间存在大的几何差异时，解码图像通常遭受差的质量和严重的信息丢失另一方面，基于变形的方法本质上受限于不能改变内容和细粒度的细节。因此，风格转换和变形模块都是我们的对抗式学习框架的必要组成部分如图6所示，如果没有任何一个模块，生成器将无法缩小照片和漫画之间的差距，生成器和漫画之间的竞争平衡将被打破，导致崩溃的结果。对抗性损失传统GAN中的判别器通常被训练为二元[13]或三元分类器[29]，每个类代表一种视觉风格。然而，我们发现，由于漫画中形状夸张的变化很大，将所有漫画视为判别器中的一个类将导致生成器的混乱，如图6所示。然而，我们观察到漫画家倾向于给同一个人类似的夸张风格。因此，我们把每个身份域对作为一个单独的类，以减少学习的难度，也鼓励形状夸张后的身份保持。6. 结论在本文中，我们提出了一种新的漫画生成方法，即WarpGAN，它在联合学习框架中解决了风格转移和面部变形。在没有明确要求任何面部标志的情况下，这项工作中引入的身份保留对抗损失适当地学习捕捉漫画艺术家我们通过将合成的漫画与真实照片进行匹配来评估生成的漫画，并观察到识别准确率高于艺术家绘制的漫画。此外，五位漫画专家表示，WarpGAN合成的漫画不仅赏心悦目，而且逼真，只有适当的面部特征被夸大，我们的WarpGAN确实优于最先进的网络。10772引用[1] 牛津英语词典.漫画定义https://en.oxforddictionaries.com/定义/漫画，2018年。[在线; 2018年10月31日访问]。1[2] 吉莉安·罗兹苏珊·布伦南和苏珊·凯莉漫画的识别和评级：面孔心理表征的含义。认知心理学，1987年。1[3] 本 尼 · 齐 伯 Photoshop 漫 画 教 程 。 电 子 邮 件 地 址 ：www.youtube.com/watch?v=EeL2F4cgyPs ，2015年。[在线; 2018年11月4日访问]。2[4] 林亮，洪晨，徐应庆，沈香扬。基于实例的漫画生成与反演算法。太平洋会议计算机图形学与应用，2002年。二、三[5] 托马斯·莱温纳、泰勒斯·维埃拉、迪马斯·马提内斯、阿德莱森·佩西托、维内修斯·梅洛和路易斯·韦略。交互式三维漫画从谐波夸张。计算机图形，2011年。二、三[6] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。在NIPS，2017年。二三五[7] Xun Huang ， Ming-Yu Liu ， Serge Belongie ， and JanKautz. 多 模 态 无 监 督 图 像 到 图 像 翻 译 。 arXiv ：1804.04732，2018。二三四五六八[8] 苏珊·布伦南。漫画生成器：计算机动态放大人脸。莱昂纳多，1985年。3[9] 孝光韩、康城侯、董都、虞达丘、益州虞、周坤、崔曙光。 Carica- tureshop：个 性化和 逼真的 漫画素 描。arXiv：1807.09064，2018。3[10] Ziqiang Zheng ， Haiyong Zheng ， Zhibin Yu ， ZhaoruiGu，and Bing Zheng.照片到漫画翻译的脸在野外。arXiv：1711.10735，2017年。3[11] Wenbin Li，Wei Xiong，Haofu Liao，Jing Huo，YangGao ， and Jiebo Luo. CariGAN ： Caricature GenerationThrough Weakly Paired Adversarial Learning 。 arXiv ：1811.00445，2018年。3[12] 曹凯迪，廖景，陆远。CariGANs：不成对的照片到漫画翻译。arXiv：1811.00222，2018。二、三[13] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。 InICCV，2017. 二、三、五、八[14] Max Jaderberg，Karen Simonyan，Andrew Zisserman，等.空间Transformer网络。2015年，在NIPS中。二、五[15] 董浩业、梁晓丹、龚克、赖汉江、朱佳、尹建。用于姿势引导的人物图像合成的软门控warping-gan。arXiv：1810.11610，2018. 2[16] Chen-Hsuan Lin ， Ersin Yumer ， Oliver Wang ， EliShechtman，and Simon Lucey.St-gan：用于图像合成的空间Transformer生成对抗网络在CVPR，2018年。2[17] 雅罗斯拉夫·甘宁，丹尼尔·科诺年科，戴安娜·桑加图利娜，维克多·伦皮茨基。Deepwarp：用于凝视操作的真实感图像重新合成。在ECCV，2016年。2[18] Forrester Cole、David Belanger、Dilip Krishnan、AaronSarna、Inbar Mosseri和William T Freeman。从面部识别特征合成标准化的面部。在CVPR，2017年。二、四[19] Alia ksandrSiarohin，Env erSangineto，Ste' phaneLathuilie`re，and Nicu Sebe.用于基于姿势的人类图像生成的可变形gans。在CVPR，2018年。2[20] Joan Bruna，Pablo Sprechmann，and Yann LeCun.超分辨率与深度卷积足够的统计。arXiv：1511.05666，2015年。3[21] Leon Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络进行纹理合成在NIPS，第262-270页3[22] Leon A Gatys，Alexander S Ecker，Matthias Bethge，Aaron Hertzmann，and Eli Shechtman.神经风格迁移中知觉因素的控制。在CVPR，2017年。3[23] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew P Aitken ， Alykhan Tejani ， Johannes Totz ，Zehan Wang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在CVPR，2017年。3[24] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在CVPR，2016年。3[25] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，2014。3[26] Jiajun Wu ， Chengkai Zhang ， Tianfan Xue ， BillFreeman，and Josh Tenenbaum.通过3d生成对抗建模学习物体形状的概率潜在空间在NIPS，2016年。3[27] Scott Reed ， Zeynep Akata ， Xinchen Yan ， LajanugenLo- geswaran，Bernt Schiele，and Honglak Lee.生成对抗性文本到图像合成。arXiv：1605.05396，2016。3[28] Raymond Yeh ， Chen Chen ， Teck Yian Lim ， MarkHasegawa- Johnson，and Minh N Do. 语义图像修复-感知和语境的缺失。arxiv预印本。arXiv：1607.07539，2016年。3[29] Yaniv Taigman Adam Polyak和Lior Wolf无监督跨域图像生成。在ICLR，2017。三、四、五、八[30] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。2018. 三、五[31] Xun Huang和Serge J Belongie.实时任意样式传输，具有自适应实例规范化。InICCV，2017. 410773[32] 克里斯·A·贝伊和坎蒂拉尔·瓦迪坎德·马迪亚。图像扭曲方法综述。应用统计杂志，1998年。5[33] Jing Huo，Wenbin Li，Yinghuan Shi，Yang Gao，andHujun Yin.网络漫画：漫画人脸识别的基准。arXiv：1703.03230，2017年。5[34] Brendan F Kepper，Serhat S Bucak，Anil K Jain，andTayfun Akgul.漫画自动识别。InICB，2012. 6[35] 刘未央，温延东，余智定，李明，拉吉比丘，宋乐Sphereface：用于人脸识别的深度超球面在CVPR，2017年。7