游戏中自动生成角色面部参数转换方法的实验及应用

161面向游戏角色自动生成的面-参数转换天阳石网易伏羲AI实验室shitianyang@corp.netease.com邹正霞Yi Yuan*网易伏羲AI Labyuanyi@corp.netease.com施振伟*常杰范网易福喜AI实验室fanchangjie@corp.netease.com勇刘密歇根大学安娜堡zzhengxi@umich.edu北航shizhenwei@buaa.edu.cn浙江大学yongliu@iipc.zju.edu.cn摘要角 色 定 制 系 统 是 角 色 扮 演 游 戏 （ Role-PlayingGames，RPG）中的一个重要组成部分，它允许玩家根据自己的喜好而不是使用默认模板来编辑游戏中角色的面部外观。本文提出了一种根据输入的人脸照片自动生成游戏角色的方法。我们在面部相似性测量和参数搜索范例下通过解决大量物理上有意义的面部参数的优化问题来制定上述为了有效地减小生成人脸与真实人脸之间的距离，提出了两个损失函数，即具体设计了“识别损失”和“面部内容损失”。由于游戏引擎的渲染过程是不可微的，因此进一步引入生成网络作为“模仿器”来模仿游戏引擎的物理行为，从而使所提出的方法可以在神经风格转换框架下实现，并通过梯度下降法优化参数。实验结果表明，我们的方法实现了输入的人脸照片和创建的游戏中的字符在全局外观和局部细节方面的高度生成相似性我们的方法已经在去年的一个新游戏中被使用，现在已经被玩家使用了超过100万次。1. 介绍角色定制系统是角色扮演游戏（RPG）中的重要组成部分，其中允许玩家根据他们自己的偏好（例如，流行歌星或甚至他们自己）而不是使用默认模板。在最近的RPG游戏中，*通讯作者图1.我们的方法概述：我们提出了一种基于输入面部照片的游戏角色自动创建方法，该方法可以在面部相似性度量和搜索大量有物理意义的面部参数的情况下制定。用户可以根据自己的需要进一步选择微调我们创建的面部参数为了提高玩家因此，角色定制过程对大多数玩家来说是耗时费力的。例如，在“侠盗猎车手在线1“、“黑暗之魂III 2“和“正义3“中在RPG中创建角色面部的标准工作流程然后游戏引擎将这些用户指定的参数作为输入并生成3D面部。可以说，游戏角色定制可以被认为是“单眼3D面部重建”的特殊情况1https://www.rockstargames.com/GT AOnline2https://www.darksouls.jp3https://n.163.com网站162问题生成图像的语义内容和3D结构长期以来一直是计算机视觉领域中的困难任务。近年来，由于深度学习技术的发展，计算机现在能够自动生成具有新风格的图像[12，16，25]，甚至通过利用深度卷积神经网络（CNN）从单个面部图像生成3D结构[34，37，39]但遗憾的是，上述方法不能直接应用于游戏环境中。原因有三方面。首先，这些方法不是设计来生成参数化角色的，而参数化角色对于大多数游戏引擎是必不可少的，其次，这些方法对用户交互不友好，因为对于大多数用户来说直接编辑3D网格或光栅化图像是极其困难的。最后，给定一组用户指定参数的游戏引擎的渲染过程是不可微的，这进一步限制了深度学习方法在游戏环境中的适用性。针对上述问题，本文提出了一种根据玩家输入的人脸照片自动生成游戏角色的方法，如图11. 我们制定了上述与以前的3D人脸重建方法[2，34，37]不同的是，我们的方法通过预测一组具有明确物理意义的面部参数来创建骨骼驱动模型的3D轮廓在我们的方法中，每个参数控制每个面部组件的单个属性，包括位置，方向和比例。更重要的是，我们的方法支持额外的用户交互的基础上创建的结果，玩家可以根据自己的需要，使他们的个人资料进一步改进由于游戏引擎的渲染过程是不可微的，因此设计了一个生成网络G作为由于我们方法中的人脸参数搜索本质上是一个跨域图像相似性度量问题，我们利用深度CNN和多任务学习的优势，专门设计了两种损失函数，即由于所有CNN设计，我们的模型可以在统一的端到端框架中进行优化。通过这种方式，输入照片可以通过最小化创建的面部和真实面部之间的距离来有效地转换为逼真的游戏角色。我们的方法已经在一个新的游戏中部署，自10月。2018年至今已累计提供服务超过100万次。我们的贡献总结如下：1) 我们提出了一种端到端的方法，用于面部到参数的翻译和游戏角色的自动创建。据我们所知，很少有以前的工作已经做了这个主题。2) 由于游戏引擎的渲染过程是不可区分的，我们通过构建一个深度生成网络来模仿游戏引擎的行为。通过这种方式，梯度可以平滑地反向传播到输入，从而可以通过梯度下降来更新面部参数。3) 两个损失函数是专门设计的跨域人脸相似性测量。所提出的目标可以在多任务学习框架中联合优化。2. 相关工作神经风格转移：从一个图像到另一个图像的风格转换长期以来一直是图像处理中具有挑战性的任务[10，11]。近年来，神经风格转移（NST）在风格转移任务中取得了巨大突破[10-12]，其中深度卷积特征的集成使得可以从输入图像中显式分离“内容”和“风格”。大多数最新的NST模型都旨在最大限度地减少以下目标：Ltotal=L content+λL style，（1）其中L内容和L样式对应于对图像内容和图像样式的约束λ控制上述两个目标的平衡目前的NST方法可以分为两组：全局方法[5，9，12，19，21，26，29，35，36]和局部方法[6，25，27]，其中前者基于全局特征统计来测量风格相似性，而后者执行块级匹配以更好地保留局部细节。为了综合全局方法和局部方法的优点，最近提出了混合方法[16]。然而，这些方法被专门设计用于图像到图像的转换，而不是骨骼驱动的3D面部模型，因此不能应用于游戏环境中。单目3D面部重建：单目三维人脸重建的目标是从一张二维人脸图像中恢复出人脸的三维结构。该组的传统方法是3D变形模型（3DMM）[2]及其变体[3，32]，其中3D人脸模型163图2.所提出的方法的处理流水线。我们的模型由一个模仿者G（x）和一个特征提取器F（y）组成。前者旨在通过获取用户自定义的面部参数x并产生后者确定的特征空间中，可以执行面部相似性测量，以搜索一组最佳的面部参数。首先参数化[14]，然后优化以匹配2D面部图像。近年来，基于深度学习的人脸重建方法现在能够实现从2D图像到3D网格的端到端重建[8，34，37然而，这些方法对用户交互不友好，因为它不容易在3D网格上编辑，并且它们生成的面参数缺乏明确的物理意义。与我们类似的工作是Genova在本文中，我们介绍了一个更统一的解决方案，区分和模仿游戏引擎，而不管其渲染器和3D模型结构的类型，通过使用CNN模型。生成对抗网络（GAN）：除了上述方法之外，GAN[15]在图像生成[1，30，31，33]方面取得了很大进展，并且表现出了很大的潜力。潜在的图像风格转移任务[4，20，28，44，46]。与我们的方法类似的方法是绑定输出合成（TOS）[41]，它利用对抗训练来创建基于人类照片的参数化化身然而，这种方法是设计来预测离散的属性，而不是连续的面部参数.此外，在RPG中，学习直接预测一个大型的3D面部表情集面部参数x，并产生我们的方法的处理流水线如图所示。二、3.1. 模仿者我们训练了一个卷积神经网络作为我们的模拟器来拟合游戏引擎的输入输出关系，从而使角色定制系统具有可扩展性。我们在我们的模拟器G（x）中采用类似于DC-GAN [33]的网络配置，它由八个转置卷积层组成。我们的模仿者的架构如图所示。3.为了简单起见，我们的模仿者G仅用相应的面部定制参数拟合面部模型的前视图。我们将模仿者的学习和预测框架为标准的基于深度学习的回归问题，我们的目标是最小化游戏中渲染图像和原始像素空间中生成图像之间的差异。用于训练模仿者的损失函数设计如下：LG（x）=Ex<$u（x）{<$y−y<$$>}从二维照片的参数将导致参数的缺陷由于2D1=Ex <$u（x）{<$G（x）−Engine（x）<$1}，（二）到3D是出于这个原因，而不是直接学习预测连续的面部参数，我们通过优化输入的面部参数，以最大限度地提高创建的面部和真实的面部之间的3. 方法我们的模型由一个模仿者G（x）和一个特征提取器F（y）组成，其中前者的目的是通过接受用户自定义的其中x表示输入面部参数，G（x）表示模拟器的输出，y=Engine（x）表示游戏引擎的渲染输出。 我们使用l1损失函数而不是l2，因为l1鼓励更少的模糊。输入参数x从多维均匀分布u（x）中采样。最后，我们的目标是解决：G= arg min LG（x）。（三）G在训练过程中，我们随机生成20，000张具有相应面部定制的个人面部16422图3.我们的模仿者G（x）的结构。我们训练模仿者学习从输入面部定制参数x到由游戏引擎产生的渲染面部图像y图4.我们的模拟器G（x）生成的人脸图像的一些例子和相应的地面真理。这些图像的面部参数是手动创建的。人脸相似性度量问题。由于输入的人脸照片和渲染的游戏角色属于不同的图像域，为了有效地度量人脸相似度，我们设计了两种损失函数，分别从全局人脸外观和局部细节两个方面进行度量我们利用神经风格转移框架，并计算由深度神经网络学习的特征空间上的损失，而不是直接计算它们在原始像素空间中的损失。 参数生成可以被认为是在模仿者的流形上的搜索过程，在该流形上，我们的目标是找到使y和参考面部照片y r之间的距离最小化的最佳点yr= G（xr），如图所示。五、3.2.1判别损失我们引入了一个人脸识别模型F1作为两个人脸的全局外观的度量，例如，脸部的形状和整体印象。我们遵循知觉距离的思想，它已被广泛应用于各种任务，例如。图像风格转换[12]，超分辨率[21，24]和特征可视化[45]，并假设对于同一个人的不同肖像，他们的特征应该具有相似的表示。为此，我们使用最先进的人脸识别模型损失函数被称为“区分损失”，因为它预测来自真实照片和模仿者的面部是否属于同一个人。上述过程的判别损失函数定义如下：L1（x，yr）= 1 −cos（F1（y），F1（yr））参数通过使用游戏的引擎“正义”. 百分之八十= 1−cos（F1（G（x）），F1（yr）），（四）人脸样本用于训练，其余样本用于验证。图4显示了我们的模拟器的“渲染”结果的三个示例。这些图像的面部参数是手动创建的。由于训练样本是从统一分布的面部参数中随机生成的，因此对于大多数字符来说，它可能看起来很奇怪（请参阅我们的补充材料）。然而，正如我们可以从图中看到的那样。在图4中，所生成的面部图像和渲染的地面实况共享高度相似性，即使在具有复杂纹理的一些区域中，例如，头发这表明我们的模仿器不仅适合低维人脸流形中的训练数据，而且还学会了解耦不同人脸参数之间的相关性。3.2. 人脸相似度测量一旦我们得到了一个训练有素的模仿者G，面部参数的生成基本上就变成了一个其中两个向量a和b之间的余弦距离为定义为：cos（a，b）= 0.（五）a3.2.2面部内容损失除了区别性损失之外，我们还通过基于从面部语义分割模型提取的面部特征计算像素误差来进一步定义内容损失面部内容损失可以被认为是对两个图像中的不同面部成分的形状和位移的约束，例如，眼睛嘴巴和鼻子由于我们更关心对面部内容而不是日常图像进行建模，因此面部语义分割网络经过专门训练以提取面部图像特征，而不是使用在ImageNet数据集上预先训练的现成模型[7]。我们建立我们的面部分割模型165X∗x两个目标L1和L2的线性组合：LS（x，yr）=αL1+L2=α（1− cos（F1（G（x）），F1（yr）+<$ω（G（x））F2（G（x））−ω（yr）F2（yr）<$1，（七）其中参数α用于平衡两个任务的重要性。我们的特征提取器的图示如图所示。6.我们使用梯度下降法来解决以下优化问题：minLS（x，yr）S.T. xi∈[0，1]（八）图5.游戏角色的自动生成可以看作是模仿者在流形上的搜索过程。我们的目标是找到一个最佳点y=G（x∈ R），使y和参考人脸照片yr之间的距离在其特征空间中最小化。图6. 为了有效地度量两幅跨域人脸图像之间的相似性，我们设计了两种损失函数，即区分损失L1和面部内容损失L2，它们被定义在学习的特征空间上。基于Resnet-50 [17]，我们删除了其完全连接的层，并将其输出分辨率从1/32提高到1/8。我们在著名的Helen面部语义分割数据集上训练这个模型[23]。为了提高人脸语义特征的位置敏感性，我们进一步使用分割结果（类概率图）作为特征图的像素权重来构造位置敏感的内容损失函数。我们的面部内容损失定义如下：L2（x，yr）=<$ω（G（x））F2（G（x））−ω（yr）F2（yr）<$1，（6）其中F2表示从输入图像到面部语义特征的映射，ω表示特征上的逐像素权重，例如，ω1是眼-鼻-口映射。我们模型的最终损失函数可以写成其中x =[x1，x2，. . . 表示要优化的面部参数，并且表示输入参考面部照片。我们的方法的一个完整的优化过程总结如下：• 第一阶段训练模仿者G、人脸识别网络F1和人脸分割网络F2.• 第二阶段。修复G、F1和F2，初始化并更新fac-cial参数x，直到达到最大迭代次数：x← x − µLS（µ：学习率）。将xi投影到[0，1]：xi←max（0，min（xi，1））。3.3. 实现细节模拟器：在我们的模拟器中，卷积核大小设置为4×4，每个转置卷积层的步幅设置为2，因此特征图的大小将是double。每次回旋后都会出血。Batch-Normalization和ReLU激活嵌入在我们的模拟器中的每个卷积层之后，除了它的输出层。此外，我们使用SGD优化器进行训练，批量大小= 16，动量=0。9 .第九条。学习率设置为0。01时，学习率衰减被设置为每50个epoch 10%，并且训练在500个训练epoch之后停止。面部分割网络：我们使用Resnet-50 [17]作为分割网络的骨干，删除了它的全连接层，并在其顶部添加了一个额外的1×1卷积层。此外，为了提高产量，分辨率，我们在Conv 3和Conv 4处将步幅从2更改为1。我们的模型在ImageNet [7]上进行了预训练，然后在Helen面部语义分割数据集[23]上进行了微调，并使用像素交叉熵损失。我们使用与模仿器相同的训练配置，只是学习率设置为0。001。面部参数：面部的尺寸D-“male“的参数设置为264，“female”的参数设置为在这些参数中，其中208个是连续值（如眉毛长度，宽度和厚度），其余为166图7.使用我们的方法输入一些照片和生成的字符（“身份”和“表情”都是离散的（如发型、眉毛样式、胡须样式和口红样式）。这些离散参数被编码为独热向量，并与连续向量连接由于独热编码难以优化，我们使用softmax函数通过以下变换来平滑这些离散变量：eβxk设置α为0.01，最大迭代次数为50，学习率μ为10，每5次迭代的衰减率为20%。面对齐：执行面部对齐（通过使用dlib库[22]）以在其之前对齐输入照片。被输入特征提取器，我们使用渲染的h（x，β）=φD′i=1k= 1，2，. . . ，n，（9）eβxi其中D′表示离散参数的独热编码的维数β >0控制平滑度。我们设置相对较大的β，比如β=100，以加快优化速度。我们使用有关我们面部参数的详细描述，请参阅我们的补充材料。最佳化：对于第 二 阶 段 的优化，我们4. 实验结果及分析我们构建了一个名人数据集，其中包含50张面部特写照片来进行我们的实验。图7示出了一些输入的照片和生成的面部参数，游戏引擎可以根据这些面部参数在多个视图处渲染游戏中的角色，并且游戏中的角色与输入照片共享高度的相似性。有关更多生成的示例，请参阅我们的补充材料。167图8.不同目标函数之间的性能比较。4.1. 消融研究消融研究在我们的数据集上进行，以分析所提出的框架的每个组成部分的重要性，包括1）区分损失和2）面部内容损失。1) 歧视性损失。我们在我们的数据集上运行我们的方法，w/或w/o区别损失的帮助，并进一步采用Gatys的内容损失[12]作为基线。我们通过使用人脸识别模型输出的余弦距离计算每张照片与相应生成结果之间的相似性[42]，如图所示。8.我们可以观察到显着的相似性改善时，我们整合的歧视性损失。2) 面部内容丢失。图9示出了所生成的面部w/或w/o帮助面部内容丢失的比较。为了获得更清晰的视图，提取了面部语义图和面部组件的边缘。图在图9中，边缘图的黄色像素对应于参考照片的边缘当我们应用面部内容损失时，我们可以观察到输入照片和生成的面部之间的像素位置的更好的对应关系。3) 主观评价。为了定量分析这两种损失的重要性，我们遵循Wolf等人使用的主观评估方法。[41]。具体来说，我们首先在我们的数据集上生成50组具有不同配置的相似性度量损失函数（仅L1，仅L2和L1+L2）的字符自动创建结果。然后我们请15名非专业志愿者选出最好的工作在每一组，其中三个字符是随机顺序。最后，输出角色的选择率被定义为被志愿者选择为该组中最好的角色的百分比统计数据显示在选项卡中。1，这表明这两种损失都对我们的方法有利。4.2. 与其他方法相比我们将我们的方法与一些流行的神经风格转移方法进行比较：全局样式方法[12]和局部样式方法[16]。虽然这些方法不是专门为生成3D角色而设计的，但我们仍然比较了图9.所生成的面部的比较w/或w/o的面部内容损失的帮助。第一列显示了对齐的照片及其由我们的人脸分割模型产生的语义图。第二列和第三列示出了生成的面部w/或w/o面部内容损失。提取它们的边缘图以进行更好的比较，其中黄色像素对应于参考照片的边缘，红色像素对应于生成的面部。消融辨别。L1面部扫描L2选择比C×十三岁47%± 0.百分之三十八×C三十六27%± 0.百分之九十八CC50块26% ±0. 百分之四十表1.我们的方法的两个技术组件的主观评估结果1）区分损失L1，2）我们的数据集上的面部内容损失L2。选择率越高，说明越好。因为他们在很多方面与我们的方法相似首先，这些方法都是基于深度学习特征来测量两幅图像的相似性。其次，这些方法中的迭代优化算法都是在网络的输入端进行的。如图10，我们可以看到，通过将图像风格与内容分离并重新组织它们，很难生成生动的游戏角色。这是因为生成的图像不是从游戏角色流形中精确采样的，因此 我们还将我们的方法与流行的单眼3D人脸重建方法进行了比较：3DMM-CNN [39]，如图右侧所示。10个。我们自动创建的游戏角色与输入具有很高的相似性，而3DMM方法只能生成具有相似面部轮廓的面具。为了定量评估生成的面部和游戏中风格参考之间的相 似 性 ， 我 们 使 用 模 式 得 分 （ MS ） [43] 和Fre'chetInceptionDistance（FID）[18]作为我们的度量标准。对于每个测试图像，我们从模仿者训练集中随机选择一个图像作为其参考，并计算平均MS和FID。168图10.与其他NST方法的比较：全局风格[12]和局部风格[16]，我们使用每个性别的我们还比较了一种流行的单眼3D人脸重建方法：3DMM-CNN [39]。表2.不同方法的风格相似度和速度表现（模式分数越高或FID越低表示越好）方法全球风格[12]当地风格[16]3DMM-CNN [39]我们模式评分1 .一、0371 ±0.01341 .一、0316 ±0.0128–1 .一、1418±0。0049Fre´ chet起始距离0的情况。0677±0. 00180的情况。0554±0. 0025–0的情况。0390± 0. 0018时间（在TITAN Xp上运行）22s43s15s16s整个测试集。重复上述操作5次，以计算最终平均值和标准偏差，如表1所示。2.每个方法的运行时间也被记录下来。与其他方法相比，我们的方法实现了更高的风格相似度和良好的速度性能。4.3. 稳健性和局限性。我们进一步评估了我们的方法在不同的模糊和照明条件下，我们的方法被证明是强大的这些变化，如图所示。11.最后一组给出了我们方法的一个失败案例。由于L2定义在局部特征上，因此我们的方法对姿态变化敏感。图11.鲁棒性实验4.4. 一代与艺术肖像不仅限于真实照片，我们的方法也可以生成游戏角色的一些艺术肖像，包括169素描形象和漫画。图12示出了生成结果的一些示例。虽然图像是从完全不同的分布中收集的，但我们仍然获得了高质量的结果，因为我们的方法基于面部语义而不是原始像素来测量相似性。图12.游戏人物自动创建艺术肖像。5. 结论在本文中，我们提出了一种方法，用于自动创建一个游戏中的字符的基础上输入的人脸照片。我们制定下的面部相似性测量和参数搜索范式的创建，通过解决一个优化问题，在一个大的物理意义的面部参数。实验结果表明，该方法在全局外观和局部细节方面均能实现输入人脸照片与渲染游戏角色170引用[1] 马 丁 ·阿 乔 对 ky ， 苏 米 特 ·钦 塔 拉 和 Le'onBottou 。Wasserstein gan arXiv预印本arXiv：1701.07875，2017。[2] Volker Blanz，Thomas Vetter，et al.的可变形模型3D面的合成。在Siggraph，第99卷，第187-194页[3] 詹姆斯 布斯埃帕迈农达斯 安东纳科斯StylianosPloumpis ， George Trigeorgis ， Yannis Panagakis ， andStefanos Zafeiriou. 3d脸变形模型“在野外”。在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[4] Huiwen Chang ， Jingwan Lu ， Fisher Yu ， and AdamFinkel-斯坦Pairedcyclegan：不对称的风格转移适用于应用和卸妆。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月[5] 陈东东、卢远、廖静、余能海、刚华Stylebank：神经图像风格传递的显式表示。在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[6] 田启晨和马克施密特。 基于快速补丁的样式任意风格的传递。arXiv预印本arXiv：1612.04337，2016。[7] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，还有李飞飞Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。[8] 窦鹏飞，Shishir K. Shah和Ioannis A.卡卡迪亚里斯基于深度神经网络的端到端三维人脸重建。在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[9] Vincent Dumoulin、Jonathon Shlens和ManjunathKudlur。对艺术风格的博学的表现。ICLR，2017。[10] Alexei A. Efros和William T.弗里曼。图像绗缝纹理合成和转移。在第28届计算机图形和交互技术年会的会议记录中，SIGGRAPH'01，第341-346页，美国纽约州纽约市，2001年。ACM。[11] Michael Elad和Peyman Milanfar。通过tex传递风格真实合成IEEE Transactions on Image Processing，26（5）：2338[12] 利昂·A Gatys，Alexander S. Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[13] 凯尔·吉诺瓦，弗雷斯特·科尔Aaron Maschinot，AaronSarna，Daniel Vlasic，and William T.弗里曼。三维可变形模型回归的无监督训练。在IEEE计算机视觉和模式识别会议上，2018年6月。[14] ThomasGerig ， AndreasMorel-Forster ， ClemensBlumer，BernhardEgger ， MarcelLuthi ， SandroSchönborn ，andThomas Vetter.可变形人脸模型-一个开放的框架。2018年第13届IEEE自动人脸手势识别国际会议（FG2018），第75IEEE，2018年。[15] Ian Goodfellow ， Jean Pouget-Abadie ， Mehdi Mirza ，BingXu ， David Warde-Farley ， Sherjil Ozair ， AaronCourville，and Yoshua Bengio.生成性对抗网。在Z. 加赫拉mani ， M. 威 灵 角 Cortes ， N. D. Lawrence 和 K. Q.Weinberger ， 编 辑 ， Advances in Neural InformationProcessing Systems 27 ， 第 2672-2680 页 。 CurranAssociates，Inc. 2014年[16] 顾沭阳、陈聪良、景辽、卢远。阿-复杂的风格转移和深度的功能重组。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月。[17] Kaiming He ， Xiangyu Zhang， Shaoying Ren ， and JianSun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[18] 马丁·赫塞尔 休伯特·拉姆绍尔 Thomas Unterthiner，Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。神经信息处理系统进展，第6626-6637页。Curran Associates，Inc.2017年。[19] Xun Huang和Serge Belongie。任意样式传输具有自适应实例规范化的实时性。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表。[20] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯使用条件对抗网络进行图像到图像翻译在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[21] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。感知实时风格转换和超分辨率的损失。欧洲计算机视觉会议，第694-711页。施普林格，2016年。[22] 戴维斯E.王Dlib-ml：一个机器学习工具包。杂志机器学习研究，10：1755[23] Vuong Le ， Jonathan Brandt ， Zhe Lin ， LubomirBourdev，and Thomas S Huang.交互式面部特征定位。欧洲计算机视觉会议，第679-692页。Springer，2012.[24] Christian Ledig ， Lucas Theis ， Ferenc Huszar ， JoseCaballero，Andrew Cunningham ， Alejandro Acosta ， AndrewAitken，Alykhan Tejani，Johannes Totz，Zehan Wang，and Wenzhe Shi.使用生成对抗网络的照片逼真的单图像超 分 辨 率 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2017年7月。[25] Chuan Li和Michael Wand。 组合马尔可夫随机领域和卷积神经网络用于图像合成。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[26] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，XinLu，和杨明轩。通过特征变换进行通用样式传递。神经信息处理系统进展30，第386-396页。2017年。[27] Jing Liao，Yuan Yao，Lu Yuan，Gang Hua，and SingBing康通过深层意象类比实现视觉属性转移。ACM Trans.Graph. ，36（4）：120：1[28] 刘明宇和昂塞尔·图泽尔。耦合生成对抗网络。In D. D.李，M。Sugiyama，U.诉卢森堡I. Guyon和R. Garnett，编辑，《神经信息处理系统进展》29，第469-477页。Curran As-Sociates，Inc. 2016年。[29] Ming Lu ，Hao Zhao，Anbang Yao，Feng Xu，YurongChen，171和李章。解码器网络在轻量级的重建结构的快速语义风格转移功能。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表。[30] 吕永义、戴玉荣和唐志强。属性-使用条件CycleGan的引导面部生成。在欧洲计算机视觉会议（ECCV）上，2018年9月[31] Mehdi Mirza和Simon Osindero 条件生成的对抗网arXiv预印本arXiv：1411.1784，2014。[32] Weilong Peng，Zhiyong Feng，Chao Xu，and Yong Su.基于形状子空间的参数t样条人脸变形模型。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。[33] 亚历克·雷德福卢克·梅斯和苏米特·钦塔拉 Un-使用深度卷积生成对抗网络进行监督表示学习。arXiv预印本arXiv：1511.06434，2015。[34] Elad Richardson 、 Matan Sela 、 Roy Or-El 和 RonKimmel。从单个图像学习详细的面部重建。在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[35] 埃里克·里瑟皮埃尔·威尔莫特和康奈利·巴恩斯稳定和使用直方图损失的可控神经纹理合成和风格转移。arXiv预印本arXiv：1701.08893，2017。[36] Omry Sendik和Daniel Cohen-Or。 深度相关性纹理合成ACM事务处理图表，36（4），2017年7月。[37] Ayush Tewari 、Michael Zollhofer、Hyeongwoo Kim、Pablo Garrido、Florian Bernard、Patrick Perez和ChristianTheobalt。Mofa：基于模型的深度卷积人脸自动编码器，用于无监督单目重建。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表[38] Luan Tran和Xiaoming Liu。非线性三维人脸变形模型在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[39] Anh Tuan Tran、Tal Hassner、Iacopo Masi和Gerard梅迪奥尼使用深度神经网络回归稳健且有区别的3d可变形模型。在IEEE计算机视觉和模式识别会议（CVPR）中，2017年7月。[40] Anh Tuan Tran，Tal Hassner，Iacopo Masi，Eran Paz，Yuval作者声明：Dr.极致3D面部反射：透过闭塞看到。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[41] Lior Wolf Yaniv Taigman和Adam Polyak无监督创建参数化的化身。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表[42] 向武、何冉、孙哲南、谭铁牛。轻松的cnn用于具有噪声标签的深度面部表示。IEEE Trans-actionson Information Forensics and Security，13（11）：2884[43] 徐千童，高煌，杨元，川国，孙宇Felix Wu和Kilian Weinberger。生成式对抗网络评价指标 的 实 证 研 究 。 arXiv 预 印 本 arXiv ： 1806.07755 ，2018。[44] 自立一、张浩、谭平、龚明伦。Dualgan：图像到图像翻译的无监督双重学习。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表[45] Jason Yosinski、Jeff Clune、Anh Nguyen、Thomas Fuchs和霍德·利普森通过深度可视化理解神经网络。arXiv预印本arXiv：1506.06579，2015。[46] Jun-Yan Zhu，Taesung Park，Phillip Isola，and Alexei A.埃夫罗斯使用循环一致对抗网络的不成对图像到图像翻译。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表