没有合适的资源?快使用搜索试试~ 我知道了~
10481LADN:用于面部化妆和卸妆的顾乔博士,香港科技大学qiaog@andrew.cmu.edu王冠志*斯坦福大学、香港科技大学guanzhi@stanford.edu孟迪超mtchiu2@illinois.edu戴宇荣腾讯yuwingtai@tencent.com邓志强cktang@cs.ust.hk摘要我们提出了一个本地对抗解缠网络(LADN)的面部化妆和卸妆。我们的方法的核心是在内容风格的解缠网络中的多个和重叠的局部现有技术没有证明或未能在全局对抗设置中传递高频细节,或者仅训练单个局部判别器以确保图像结构一致性,因此仅适用于相对简单的风格。与其他方法不同的是,我们提出的局部对抗鉴别器可以区分在非监督设置中的跨图像风格传输中生成的局部图像细节是否与给定参考图像中的相应区域一致。结合这些技术贡献,我们不仅在传统风格上实现了最先进的结果一个精心设计的化妆前后未配对图像数据集发布在https://georgegu1997.github.io/LADN-project-页面。1. 介绍我们提出将局部对抗性鉴别器结合到图像域转换网络中,用于两幅图像之间的细节传递,并将这些局部对抗性鉴别器应用于重叠图像区域,以实现基于图像的面部化妆和去除。由en-*同等缴款。作者顺序由掷骰子决定。本研究部分由腾讯及香港特别行政区研究资助局资助,1620818(a) 源(b) 参考(c)转移结果(d)解除结果(e)放大视图图1:面部化妆和卸妆与戏剧性的化妆风格。请参阅补充材料,了解我们所有结果的高质量图像鼓励输入和输出之间的跨周期一致性,我们可以在单个面部图像上将化妆潜在变量与其他因素分开。通过增加数量和重叠局部鉴别器,可以无缝地转移或去除具有高频细节的复杂化妆风格,同时保留面部身份和见图1我们的论文的贡献是:• 通过利用局部对抗性鉴别器而不是将图像裁剪到不同的局部路径中,我们的网络可以无缝地传输和移除戏剧性的图像。化妆风格;• 通过在补给转移和移除分支上引入不对称损失函数,网络10482被迫将化妆潜在变量与其他变量分开,因此我们的网络可以生成照片般逼真的结果,其中面部身份大部分被保留;• 一个包含未配对的化妆前和化妆后的面部图像的数据集将在论文被接受后被发布用于非商业目的我们的目标应用程序,数字面部化妆[2,1],已经越来越受欢迎。它的反向应用,被称为面部卸妆[27,8]也开始获得更多的关注。目前深度学习的所有结果都只能用于或展示传统或相对简单的化妆风格,这可能是由于其网络架构的限制以及对其数据集的过度拟合。现有的方法通常不能在使用者身体上涂抹引人注目的化妆品之前转移/去除引人注目的化妆品,这通常是这种涂抹的主要用途,这可能需要几个小时才能完成。给定无化妆的干净面部的图像作为源,并且另一个化妆后面部的图像作为参考,化妆转移问题是合成新图像,其中来自参考的特定化妆风格被应用在源的面部上(图1)。主要问题源于提取仅化妆潜在变量的困难,该潜在变量需要与给定面部图像中的其他因素分离。这个问题通常被称为内容样式分离。大多数现有的作品通过特定区域的风格转移和渲染来解决这个问题[22,7,21,23,3]。这种方法可以精确地提取通常使用化妆品的特定和明确的面部区域(例如眼睛和嘴巴)中的化妆风格,但是它限制了这些面部区域附近的应用范围,因此不能转移/去除颜色和纹理细节可能远离这些面部特征的更引人注目的化妆品通过将多个和重叠的本地识别器合并在内容风格的解缠网络中,我们成功地执行了传输(分别为:去除)复杂/戏剧性的化妆风格,所有细节都忠实地传递(分别删除)。2. 相关工作鉴于大量关于摄影图像合成的深度学习工作,我们将回顾图像翻译和风格转移以及化妆转移方面的相关工作。我们还将回顾涉及全球和本地歧视的方法,并描述我们和他们之间的差异。风格转移和图像域翻译。 风格转换可以表述为一个图像域的翻译问题,这是由Taigman等人首先提出的方法工作全局鉴别器[13]第十三届全国人大常委会第十三次会议单个本地鉴别器图像完成[12,19],PatchGAN [16]、CycleGAN[28]多个重叠局部鉴别器LADN(我们的)表1:局部和全局判别器的相关工作。与已有的工作不同,本文在重叠的图像区域应用多个局部判别器。al. [25]学习生成函数以将样本图像从源域映射到目标域。Isola等人[13]提出了pix2pix框架,该框架采用了条件GAN来建模生成函数。然而,该方法需要跨域的配对图像数据用于训练。Zhu等[28]引入了CycleGAN来放松这种配对数据要求,通过将循环一致性损失纳入生成网络来生成满足所需域分布的图像。Lee等[15]最近提出了一种解纠缠表示框架DRIT,通过添加来自目标域的参考图像作为输入,利用未配对的训练数据使输出多样化。它们将图像编码到域不变的内容空间和另一个域特定的属性空间中。通过将内容和属性分离,生成的输出采用了另一个域中图像的内容,同时保留了其自身域的属性。然而,在化妆/卸妆转换的情况下正如我们的实验所示,这意味着只有淡妆风格可以处理。化妆品转移和移除。Tong等人 [26]首先通过解决颜色和微妙表面几何形状的化妆品贡献的映射来解决这个问题。然而,他们的方法要求输入成对的对齐良好的化妆前和化妆后图像,因此实用性受到限制。Guo等[10]提出了将源图像和参考图像分解成面部结构、皮肤细节和颜色层,然后相应地在每一层上传递信息。Li等[17]将图像分解为固有图像层,并使用基于物理的反射模型来操纵每一层以实现化妆转移。最近,已经开发了许多化妆品推荐和合成系统[21,23,3],但是它们的贡献是在化妆品推荐上,并且化妆品转移的能力是有限的。最近,风格转移问题已经成功地被公式化为最大化深度神经网络中的特征相似性,Liuet al.[22]提出通过在面部部件上局部应用风格转移技术来转移化妆风格10483除了化妆转移之外,从肖像中直接卸妆的问题也得到了研究人员的关注[27,8]。但他们都把化妆转移和卸妆作为单独的问题来处理。Chang等[7]将化妆转移和去除问题表述为无监督的图像域转移问题。他们用化妆参考来增强CycleGAN,使得参考图像的特定化妆风格可以被转移到非化妆面部以生成照片般逼真的结果。然而,由于它们裁剪出眼睛和嘴的区域,并将它们单独训练为局部路径,因此更多地强调这些区域。因此,其他区域(例如鼻子、脸颊、前额或整体肤色/粉底)上的化妆风格不能被适当地处理。最近,Liet al.[18]还通过将“化妆损失”并入虽然他们的网络结构有些相似,但我们是第一个实现了化妆潜伏的解开,以及在极端和戏剧化的化妆风格上的转移和去除。全局和局部判别器。 自Goodfellow et al.[9]提出了生成对抗网络(GANs),许多相关的工作已经在全局设置中采用了鉴别器。在域转换问题中,虽然全局搜索器可以区分来自不同域的图像,但它只能捕获全局结构以供生成器学习。本地(补丁)鉴别器可以补偿这一点,通过假设由补丁直径和建模图像作为马尔可夫随机场分离的像素之间的独立性Li等[16]首先利用不同局部补丁的鉴别器损失来训练生成神经网络。[ 13 ]中也使用了这种在图像完成[12,19]中,全局鉴别器用于保持图像结构的全局一致性,而局部鉴别器用于确保完成区域中生成的斑块与图像上下文的一致性Azadi等人[5]类似地将局部鉴别器与全局鉴别器结合在字体样式传输问题上。相反,只有一个单一的本地采样和本地补丁使用以前的作品,我们在公司的多风格鉴别器专门为不同的面部特征点定义的面部补丁。因此,我们的判别器可以判别生成的面部化妆风格与化妆参考是否一致,并迫使生成器学习从参考中转换出特定的3. LADN在缺乏足够的像素对齐的化妆前和化妆后图像数据集的情况下,我们将跳过连接EcXGYX我EaX伊EaYGXEcYyJxj跳过连接图2:生成网络结构。Ec和Ea的输出是C和A,它们在瓶颈处连接并馈送到生成器。在Ec和G之间添加跳过连接,以在生成的结果中捕获更多细节。在3.1节中将化妆转移和去除公式化为无监督图像域平移问题。然后,我们将描述整个网络架构,并分别在第3.2节和第3.3节中讨论我们的局部风格鉴别器的设计。我们的非对称损失将在3.4节中描述,网络中的其他损失函数将在3.5节中描述。3.1. 问题公式化设化妆前人脸和化妆后人脸的图像域分别为XRH×W×3和YRH×W×3在无人监督的情况下,我们有{xi}i=1,···,M,xi∈X表示化妆前的例子,{yj}j=1,···,N,yj∈Y表示化妆后的例子,其中i,j是人脸图像的恒等式。注意,Y中的化妆风格对于每个化妆训练示例可以是不同的,并且不存在相同身份的化妆前和化妆后对。化妆转移问题的目标是学习一个映射函数ΦY:xi,yi-y〜i,其中y〜i表示来自同时保持来自xi的恒等式。这可能是因为-被模拟为具有条件的无监督跨域图像平移问题。 卸妆问题可以类 似 地定义为ΦX:yj→x~j,这是从 Y 到 X的无监督跨域图像平移问题没有条件反射。3.2. 网络架构近来,已经努力使跨域图像翻译的输出多样化。利用潜变量解纠缠的最新方法在类似问题中取得了巨大成功[15,4,11,6]。在化妆转移和卸妆的背景下,我们希望将化妆风格潜变量与非化妆特征1048410251137451261374210241282565126426Conv3x3(P=1,S=2)泄漏ReLU频谱归一化Sigmoid平均池化KXYyJDlocal(pY,pW)→1W(xi,yj)k k k2 222048 1Dl〇cal(pY,p〜Y)-0伊吉(a) p~Y6k k k图3:局部匹配器和局部鉴别器。局部面片pY、pW和pY(大小为102×102×3)被分别裁剪k k k根据化妆参考、变形结果和生成的图像。成对的pY、pW沿着颜色通道级联,并且K K作为正例被馈送到本地鉴别器中,而p-Y、p-Y中的那些作为正例。每个本地鉴别器由六个K K3×3卷积层(padding=1,stride=2),具有频谱归一化层和泄漏ReLU层,如图所示。在最后一层谱归一化之后,2×2×1特征向量被传递到sigmoid模块,然后被平均以产生单个标量值,该标量值是指示具有相同化妆风格的输入对的概率的输出。(身份、面部结构、头部姿势等)并通过这些潜在变量的重组产生新的图像在这个过程中,一个解纠缠框架可以抑制化妆风格和其他非化妆特征之间的错误相关性。因此,我们定义了捕获化妆风格潜在特征的属性空间A和包括非化妆特征的内容空间S,以及我们的网络由内容编码器{Ec,Ec}、风格编码器CNOD试图区分生成的图像和真实样本,而生成器G试图欺骗D,从而可以学习将生成的结果适应目标域。3.3. 本地风格鉴别器我们建议使用多个重叠的局部判别-a aX Yinators to realistic transfer makeup style that may{EX,EY}和生成元{GX,GY}。如图2所示,通过Ea(xi)=Ai,Ea(yj)=Aj包含高频细节,这让我们与众不同c cX Y来自[7],它使用专门的生成器和全局dis-seo-seo-seo和EX(xi)=Ci,EY(yi)=Cj,我们捕获属性以及来自源图像和化妆参考的内容然后将其馈送到生成器中以生成解makeup结果x∈j和makeup传输结果y∈i:GX(Ai,Cj)=x~j和GY(Aj,Ci)=y~i。(一)编码器和解码器设计有U-Net结构[24]。潜在变量A、C在瓶颈处级联,并且在内容编码器和生成器之间使用跳过连接这种结构可以帮助在生成的图像中保留来自源的更多身份细节。对于跨域图像自适应,我们包括-为非化妆域和化妆域引入两个判别器{DX,DY},其试图判别在生成的图像和真实样本之间,从而帮助生成器合成 真 实 的 输 出 。 这 就 给 出 了 对 抗 损 失Ladv=Ladv+Ladv,其中犯罪分子的三个关键地区,因此可能会错过化妆的细节,跨越这些地区以外。为了处理化妆转移yi的基础事实的缺乏,受[7]的启发,我们通过根据他们的面部标志将yj包装和混合到xi上来生成合成的基础事实W(xi,yj)虽然合成结果不能用作最终结果的真实地面,但是它们可以向补充传输网络提供关于生成的结果应该看起来像什么的指导。注意,扭曲结果有时具有伪影,其可以由网络在生成的结果中修复。 基于这个思想,我们使用局部判别器构造风格损失,这可以帮助生成器捕获风格从化妆参考在对抗学习过程中局部鉴别器的典型放置如图3所示,其中标记参考yj、标记参考W(x,y)和生成的图像yj中的对应块是结构域XYiJILadv=E xPX[logDX (x)]+ExGX [log(1−DX(x~))]用边界框标记。给定512×512的图像分辨率,每个局部鉴别器考虑一个局部im-bits。Ladv=EyPY [logDY(y)]+EyGY[lo g(1−DY(y))]。(二)(a)pYK(b)PW102K110485年龄斑块大小为102×102。请注意,当地的歧视-启动器是重叠的,其中一个启动器在10486KKKKKKK我J我我我一个关键的面部界标以及因此局部鉴别器的精确位置不是关键的。给定K个局部鉴别器的集合{D_local}k= l,···,K在每个面部标志处,来自化妆参考的局部补丁,其中hk是局部块的权重,并且f是拉普拉斯滤波器。对于所有局部补丁,我们将hk设置为相似,在眼部区域上稍微强调,因为眼部化妆可以包含微妙但重要的细节。e_p_Y(图3a),相应的本地补丁从平滑损失:与makeup转移结果yi相反,mak eupwarppW(图3b),并且根据生成的,我们不希望de-mak eup结果xj具有高-f图像p图像(图3c)被裁剪并送入频率细节,而不是它应该是平滑的局部locallocal本地成对。通过将不同对的基础真值设置为局部鉴别器,零件. 因此,我们对xj应用平滑损失,其定义为:鉴别器将学习判断pYpWY 作为阳性YL平滑=Σ SK||f(p<$X)||1、对(相同makeup样式的),并且将pk和p~k判断为(不同化妆风格的)反面对。同时生成器ΦY的目标是生成中文(简体)K其中p<$X是x<$j的局部面片,sk是p<$X的权重K K是与MAKEUP参考YJ相同的MAKEUP样式,因此形成了一个对抗性的学习过程当地的歧视者。局部鉴别器的损失是并且f是拉普拉斯滤波器。与Lho不同,我们为眼睛区域提供了显着较小的权重,因为我们不想丢失眼睛周围的高频纹理为L本地=kLlocal,其中Llocal被定义为脸颊和鼻子区域,我们分配更大的权重,因此,KLlocal=ExP,yPK[logDlocal(pY,pW)]在这些区域上构成更高的平滑度。xxxy+ExP,y Pk k k[l〇 g [1-Dl〇cal(pY,p〜Y)]。(三)平滑损耗尽量防止高频干扰,分量,而高阶损失试图iX jYk k ki相应的最小最大博弈定义为以提取该分量并将其并入y~j。因此,这些不对称损失与每个MaxminL本地的。(四)其它的是进一步改善化妆品的解缠D局部Ec,Ea,GYKXY通过这种设置,我们以合成结果为指导,并鼓励本地鉴别器从化妆参考中捕获化妆细节。图3给出了局部鉴别器的网络细节。3.4. 非对称损耗虽然转移和去除淡妆风格主要涉及眼影和嘴唇的重新着色,但极端的化妆风格在这个问题上提出了新的挑战。上潜在变量与非构成变量的比较。3.5. 其他损失函数重建损失:受CycleGAN [28]的启发,我们将重建损失添加到网络中。 我们将Ai,Ci馈送到GX中以生成x∈elf,将Aj,Cj馈送到GY中以生成y∈elf,它们应该分别与xi和yj相同。这给了我们自我重建的损失。从生成的结果x~j和y~i中,我们可以提取属性和内容,并使用它们来生成x_c_r_os和y_c_r_os,I j一方面,极端的化妆风格包含高频率组件,网络需要将其与其他高频面部纹理区分开(例如,睫毛)。另一方面,在某些情况下,极端的化妆品重新-应该与xi和yj 相 同。这是我们的交叉点重建损失我们使用L1损失来鼓励这种重建一致性,并将重建损失Lrecon定义为此外,几乎不能从化妆后的图像中观察到人的原始面部颜色(例如,图6(c)),L重建=||X i−xf||1+8||Xi−xcros s||1个以上(七)这需要网络重建或幻觉||1+8||yj − y ~ c r o ss||1、||1,JJ面部肤色不化妆。 为了解决这些问题-lenges,我们结合高阶损失Lho用于化妆转移分支以帮助转移高频细节,并且基于化妆背后的面部颜色是面部颜色的假设,结合平滑损失Lsmooth用于卸妆分支。其中,我们使用额外的缩放因子8来进行交叉循环重建损失,以鼓励弥补转让的结果拥有自己的化妆风格。KL损失:我们鼓励化妆风格的代表性{Ai,Aj}由属性编码器{Ea,Ea}捕获以被一般来说,光滑。X Y高阶损失:由于图像W(xi,yj)接近先验高斯分布。 因此,我们申请KL损失LKL=LKL+LKL,其中保留了化妆风格i j的大部分纹理信息为了从参考图像yj中提取(颜色变化,边缘),我们将拉普拉斯滤波器应用于pW,p~Y,并定义10487高阶损失LKL= E[(DKL(A)]||N(0,1))],K K如LKL=E[(DKL(Aj||N(0,1))],Lho= Σ HK||f(pW)−f(p~Y)||第1条,第(5)项和DJ∫(p)||q)=p(x)log.p(x)ΣDX.(八)kkKLKq(x)10488域域源引用全球K= 3K= 6K= 12图4:全局和局部样式判别器的结果。我们只使用全局风格判别器(第一列)和3,6,12个局部风格判别器而不使用全局风格判别器(第二,第三和第四列)来评估网络输出。第一行:输入源和参考图像;第二行:局部贴片的放置;第三行:不同设置下的化妆品转移结果。总损失:我们的总损失(a)(b)(c)(d)图5:局部高阶损耗的补偿转移结果和消融研究。第一行:源图像;第二行:化妆参考;第三行:来自网络的没有本地高阶损失的补转结果;第四行:从整个网络中获得补给转移结果。互联网我们使用面部标志检测器来过滤掉没有正面脸的图像。我曾为一个小小的小男孩,Ltotal=λlocalLlocal+λadvAdv域+λ重建L重建+根据化妆品的存在,λKLLKL+λhoL ho+λsmoothLsmooth,(九)提取眼影和嘴唇区域的色调值的直方图,并用于训练简单的多层感知器分类器。我们用分类器来标记残留物-其中λlocal,λadv,λrecon,λKL,λho,λsmooth是最后得到333张化妆前图像平衡不同目标的权重。我们将在第4.2节中提供设置这些权重的更多细节。4. 实验关于与最新技术水平进行比较的常规/淡妆转移、卸妆和用户研究的结果,请参见补充材料。在本节中,我们关注复杂和戏剧性的化妆的结果,其中现有的工作没有表现出显着的结果。4.1. 数据收集由于大多数人脸图像数据集用于识别或识别任务,因此它们通常缺乏面部化妆所必需的标签只有少数关于化妆的数据集是公开的,但大多数都是分辨率不足的。其中一些仅包含使用商业软件生成的化妆面部,因此化妆风格的范围非常有限。因此,我们收集了自己的数据集,从收集没有遮挡的高质量人脸图像开始。和302个化妆后图像。为了实现极端化妆转移,我们通过视觉检查每个化妆是否延伸到嘴唇和眼影区域来手动选择和下载具有极端化妆的面部图像。我们获得了115张在化妆颜色、风格和区域覆盖方面差异很大的极端化妆图像,并将它们纳入化妆后图像集。4.2. 培训详细信息我们将K=12个局部鉴别器合并到我们的网络中,并设置λlocal=2,λadv=1,λrecon=80,λKL=0。01,λho=20,λsmooth=20。 对于L_ho,对于包含睫毛、眼睑的区域,我们将h_k设置为4,对于覆盖鼻子和嘴的区域,我们将h_k设置为2在Lsmooth中,对于脸颊、鼻子区域,s k设置为4,对于0。1、眼睛部位。为了在局部鉴别器的数量变化时平衡损失,我们另外将来自局部鉴别器L_local的损失和与局部补丁L_ho和L_smooth相关的损失归一化为1/K = 1/12。 整个网络通过均值= 0、增益= 0的正常初始化来初始化。02.我们利用一个域L10489亚当优化器[14],学习率为0。001和指数衰减率(β1,β2)=(0. 5,0。999)。输入和输出图像的分辨率为512×512,由于GPU内存限制,批大小设置为1 该网络首先在λ smooth = λ ho = 0的条件下训练700个epoch,使网络在正常的化妆风格下稳定,然后再进行训练对于2000个时期,λho=20,λsmooth=20,以提高极端和戏剧性化妆风格的性能。输入的面部图像根据面部标志被裁剪和正面化,并且输出被类似地裁剪回来。4.3. 局部鉴别器为了评估局部判别器的效果,在单个全局判别器和不同数目的局部判别器的设置下进行了对比实验图4的最后一行示出了仅具有单个全局风格鉴别器的网络未能从化妆参考捕获完整的化妆风格,仅在眼睛周围添加一些随机颜色相比之下,当结合局部判别器时,网络变得集中于化妆风格的细节(如我们可以看出,与对应于化妆参考的全局情况相比,对于K=3,此外,使用更多的局部鉴别器可以进一步提高所转移的化妆风格的覆盖率和准确性。如图4所示,随着局部鉴别器(K=3、6、12)的覆盖范围的扩大,脸上的蓝/红带逐渐融合,而鼻子上的纹理显示出与参考化妆更强的相似性,特别是在K=12中比在K=6中。因此,多个和重叠的局部鉴别器对于我们的网络表现良好至关重要,这使得具有覆盖大面部区域的高频细节的复杂化妆风格的转移成为可能4.4. 化妆品转移结果如图5所示,我们的网络可以相当准确地将化妆风格从高度戏剧化的(图5b)转移到仅在眼睛和嘴巴上的(图5d)。虽然结果并不完美,因为图5a中的星星在转移结果中消失了,而且眼影上的颜色有点刺眼,但LADN是第一种转移和去除这种戏剧性化妆效果的方法。为了测试高阶损耗对传输结果的影响,我们在禁用高阶损耗的情况下运行网络,结果如图5的第三行所示。比较第三行和第四行,我们可以清楚地观察到,在没有高阶损失的情况下,一些精细细节变得模糊,并且这对于具有更多边缘的化妆风格(对于a、b和c)更严重(a)(b)(c)(d)图6:卸妆结果和平滑损失的消融研究。第一行:化妆参考;第二行:从网络得到去化妆结果而没有平滑损失。第三行:不同风格的完整网络的卸妆结果,从(a)4.5. 卸妆效果图6示出了卸妆结果,其中风格跨越从淡妆到浓妆/戏剧性化妆的范围。如在3.4节中所讨论的,卸妆问题是不适定的,因为在相同的化妆风格后面可能存在多个可能的面部。这可以通过图6c中的化妆参考来反映,其中化妆风格几乎覆盖了整个面部,并且网络对来自给定图像的化妆背后的面部颜色没有任何线索。使用不对称损失,我们的网络成功地区分化妆风格从面部纹理和消除它。然后生成器产生幻觉给身份一个合理的肤色。我们还通过图6中的消融研究证明了平滑损失对极端卸妆的功效。类似于高阶损失,平滑损失证明了其重要性,特别是当化妆涉及跨越嘴和眼睛区域之外的大区域的边缘时(对于c和d)。同时,该网络还可以产生令人满意的淡妆卸妆结果(图6a和6b)。去除涂抹的眼影和唇膏,重新覆盖正常的面部颜色,而其他非化妆区域没有显著变化。4.6. 定性比较据我们所知,我们是第一个实现转移和去除戏剧性的化妆风格,不需要额外的投入。图8示出了我们的结果与来自[10]和[20]的结果之间的极端化妆转移的定性比较对于[20],我们显示了细化步骤后的结果但如图所示,精致也模糊了化妆细节。类似地,来自[10]的结果描绘了诸如DIS-A之类的伪像。10490参考文献1源插值结果参考文献2图7:内插的化妆风格。Liao等人[20] Guoet al. [10个国家]我们图8:极端化妆转移的比较沿着皮肤区域的边界的连续性和化妆品的请注意,[10]中的方法基于传统方法,其需要两个面之间的面几何对齐的极高精度相比之下,我们的方法只需要大致正确的地标,以定义本地鉴别器的位置。4.7. 内插化妆风格LADN将属性空间与内容空间很好地分离开来,通过对两个属性向量进行插值,可以很容易地得到中间化妆样式。给定分别从化妆参考1和2提取的属性A1和A2,我们计算αA1+(1−α)A2(α∈[0,1]),并将所得的com-属性添加到生成器中以产生平滑过渡两种参考化妆风格之间的差异图7显示了从左到右的插值结果,描绘了平滑和自然的过渡:在不影响面部特征和面部结构的前提下,逐渐增加唇色和红色眼影,逐渐减少蓝粉色的极端妆容。这种插值能力使得我们的LADN网络不仅能够控制所生成的化妆品的量或厚重度,而且还能够混合两种化妆风格以生成如图所示的新风格化妆参考 卸妆效果图9:局限性。 数据集中的一个卸妆示例因此,通过LADN提供的这种简单的混合和匹配功能,大大拓宽了风格的范围。5. 局限性和结论我们的网络的一个局限性是,它很难重新移动极端的化妆风格,其中颜色在当地地区高度一致,但在当地补丁之间变化很大图9显示了这种风格,它将脸分为两半,每一半都在自己内部(左边是紫色,右边是橙色)。在存在非常少的高频细节的情况下,平滑损耗无法生效。 因此,卸妆网络为每半张脸在给定的化妆后面产生一张可信的脸。此外,我们的平滑损失被设计成鼓励卸妆结果中的局部平滑颜色过渡,这不同于现有的卸妆方法,现有的卸妆方法旨在在浅化妆品化妆之前恢复当然,我们的顺利损失也消除了痣,事后看来,这可能也是戏剧性化妆的一部分。总 之 , 我 们 提 出 了 局 部 对 抗 性 的 非 纠 缠 网 络(LADN),通过将局部风格鉴别器,解纠缠表示和非对称损失函数合并到跨域图像翻译网络中。我们将LADN应用于彩妆转移和卸妆,这证明了它在转移具有高频颜色变化和覆盖大面部区域的细节的极端彩妆风格方面的能力,这是以前的工作无法我们的网络在转移和去除浅色/典型化妆风格方面也达到了最先进的性能。我们相信这个框架也可以应用于化妆转移和卸妆之外的应用,这是一个富有成果的未来研究方向。10491引用[1] 美 图 - 美 颜 主 题 照 片 视 频 应 用 。 得global.meitu.com/en/products余弦值. 访问日期:2018- 10-02。2[2] Taaz虚拟改造发型。 http://www.taaz。com/.访问日期:2018-10-02。2[3] Taleb Alashkar , Songyao Jiang , Shuyang Wang , andYun Fu.用于化妆推荐的规则引导的深度神经网络2017年AAAI人工智能会议。2[4] Amjad Almahairi、Sai Rajeshwar、Alessandro Sordoni、Philip Bachman和Aaron Courville。增强的Cy-cleGAN:从非配对数据学习多对多映射。在Jennifer Dy和AndreasKrause编辑的第35届国际机器学习会议论文集,机器学习研究论文集第80卷,第195-PMLR。3[5] Samaneh Azadi , Matthew Fisher , Vladimir Kim ,Zhaowen Wang,Eli Shechtman,and Trevor Darrell.多内容甘为少数拍摄字体风格转移。2018年IEEE计算机视觉和模式识别会议(CVPR),2018年。3[6] JinmingCao , OrenKatzir , Peng Jiang , DaniLischinski , Danny Cohen-Or , Changhe Tu , andYangyan Li. Dida:用于域适应的双纠缠合成。arXiv预印本arXiv:1805.08019,2018。3[7] 张 惠 文 , 卢 静 万 , 余 菲 , 亚 当 · 芬 克 尔 - 斯 坦 .Pairedcyclegan:不对称的风格转移,适用于化妆和卸妆 。 2018 年 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),2018年6月。二、三、四[8] Ying-Cong Chen,Xiaoyong Shen,and Jiaya Jia.Makeup-go:肖像编辑的盲目恢复。在2017年IEEE计算机视觉国际会议(ICCV),第45112017年10月。 二、三[9] Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville和Yoshua Bengio。生成性对抗网。在第27届神经信息处理系统国际会议论文集-第2,NIPSCambridge,MA,USA,2014.麻省理工学院出版社.二、三[10] 郭栋和沈泰伦。数码脸部化妆的例子。2009年IEEE计算机视觉和模式识别会议(CVPR),第73-79页,2009年6月。二七八[11] Xun Huang , Ming-Yu Liu , Serge Belongie , and JanKautz. 多 模 态 无 监 督 图 像 到 图 像 翻 译 。 在 ECCV ,2018。3[12] Satoshi Iizuka,Edgar Simo-Serra,and Hiroshi Ishikawa.全局和局部一致的图像完成。ACM Transactions onGraphics(Proc.的SIGGRAPH),36(4):107:1-107:14,2017。二、三[13] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei AEfros.使用条件对抗网络的图像到图像翻译。2017年IEEE计算机视觉和模式识别会议(CVPR),第5967-5976页,2017年7月。二、三[14] Diederick P Kingma和Jimmy Ba。 亚当:一种方法用于随机优化。国际学习代表大会(ICLR),2015年。7[15] 李欣英、曾鸿宇、黄佳斌、曼尼什·辛格和杨明轩。通过解纠缠的表示进行不同的图像到图像的翻译。2018年欧洲计算机视觉会议(ECCV),2018年9月。二、三[16] Chuan Li和Michael Wand。利用马尔可夫生成对抗网络进行预计算实时2016年二、三[17] 陈立,周坤,林志颖。通过对固有图像层的基于物理的操作来模拟化妆。在2015年IEEE计算机视觉和模式识别会议(CVPR),第4621-4629页,2015年6月。2[18] 李婷婷、钱瑞和、董超、刘思、严琼、朱文武、林亮。Beautygan:实例级面部化妆转移,具有深层生成对抗网络。在2018年ACM多媒体会议上,MM 2018,韩国首尔,2018年10月22日至26日,第645-653页,2018年。3[19] Yijun Li,Sifei Liu,Jimei Yang,and Ming-Hsuan Yang.创新型面部修复。2017年IEEE计算机视觉和模式识别会议(CVPR),第5892- 5900页,2017年7月。二、三[20] Jing Liao,Yuan Yao,Lu Yuan,Gang Hua,and SingBing Kang.通过深层意象类比实现视觉属性转移。ACM事务处理图表,36(4):120:1-120:15,July 2017.七、八[21] 刘洛奇、许辉、邢俊良、刘思、西周、严水城。 你今天 真 漂 亮 在 2013 ACM International Conference onMultimedia,MMACM。2[22] 刘思,欧新宇,钱瑞和,王伟,曹晓春。像明星一样的化妆:深度本地化的化妆品转运网络。在第25届国际人工智能联合会议的会议记录中,IJCAI中国科学院出版社,2016. 2[23] Tam V. Nguyen和Luoqi Liu。智能镜子:智能彩妆推荐与合成。在2017年ACM多媒体会议论文集,MM'17,第1253-1254页,纽约,纽约,美国,2017年。ACM。2[24] Olaf Ronneberger,Philipp Fischer,and Thomas Brox.U-网:用于生物医学图像分割的卷积网络放大图片作者:Nassir Navab,Joachim Hornegger,William M.Wells和Alejandro F.Frangi,editors,Medical Image Computingand Computer-Assisted Intervention施普林格国际出版社.4[25] Yaniv Taigman Adam Polyak和Lior Wolf无监督跨域图像生成。国际学习表征会议(ICLR),2017年。2[26] Wai-Shun Tong,Chi-Keung Tang,Michael S Brown,and Ying-Qing Xu.基于实例的化妆品转移。第15届太平洋计算机图形和应用会议210492[27] 王舒阳和傅云。化妆后的脸在AAAI人工智能会议上,AAAI64.中国科学院出版社,2016. 二、三[28] Jun-Yan Zhu , Taesung Park , Phillip Isola , Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。在2017年IEEE国际计算机视觉会议(ICCV),第2242-2251页,2017年10月。二、五
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功