基于混淆人脸替换的隐私保护方法

一种基于人脸替换孙倩茹Ayush Tewari Weipeng Xu Mario FritzChristian Theobalt Bernt Schiele马克斯·普朗克信息学研究所萨尔信息学校区{qsun，atewari，wxu，mfritz，theobalt，schiele}@ mpi-inf.mpg.de抽象。随着越来越多的个人照片在社交媒体中被分享和标记，避免意外识别等隐私风险变得越来越具有挑战性。我们提出了一种新的混合方法来混淆身份的照片头部替换。我们的方法结合了最先进的参数化人脸合成与生成对抗网络（GAN）的最新进展，用于数据驱动的图像合成。一方面，我们的方法的参数部分给我们控制的面部参数，并允许明确的身份操纵。另一方面，数据驱动的方面允许添加精细的细节和整体真实感，以及无缝地融入场景环境。在我们的实验中，我们显示了我们的系统，提高了混淆率，同时保持了较高的相似性，原始图像内容的先前状态的高度逼真的输出1介绍视觉数据通过社交媒体以前所未有的规模公开共享。 然而，与此同时，由深度神经网络和大规模训练数据集实现的高级图像检索和面部识别算法允许比以往更可靠地索引和识别隐私相关信息为了解决这种爆炸性的隐私威胁，可靠的身份混淆方法至关重要。理想地，这种方法不仅应该有效地隐藏身份信息，而且还应该保持视觉数据的真实性，即，让困惑的人看起来更真实用于身份混淆的现有技术已经从简单地用通常令人不愉快的遮挡物（诸如黑盒或马赛克）覆盖面部发展到产生自然图像的更先进的方法[1-3]。这些方法要么以难以察觉的方式干扰图像以混淆特定的识别算法[2，3]，要么实质上修改图像中的人的外观，从而使他们甚至对于通用识别算法和人类也无法识别[1]。在后一类中，最近的工作[1]利用生成对抗网络（GAN）来修复以面部标志为条件的头部区域。它在识别率和图像质量方面都达到了最先进的性能。然而，由于图像生成过程缺乏可控性，这种纯数据驱动的方法的结果2Sun等人不可避免地通过修复不合适的面部姿势、表情或不可信的形状的面部而表现出伪像。相比之下，参数人脸模型[4]使我们能够完全控制面部属性，并在人脸重建、表情转移和视觉配音等应用中表现出令人信服的结果[4-6]。重要的是，使用参数面部模型允许控制人的身份以及通过在原始图像上渲染和混合改变的面部来保留诸如面部姿势和表情的属性。然而，这种朴素的面部替换产生了不令人满意的结果，因为（1）模型不能合成精细的细节，（2）不完美的混合导致不自然的输出图像，以及（3）只有面部区域被模糊，而更大的头部和头发区域，也包含了大量的身份信息，保持不变。在本文中，我们提出了一种新的方法，结合了数据驱动的方法和参数化的人脸模型，因此利用了两个世界中最好的。为此，我们分两个阶段来解开和解决我们的问题（见图1）。1）：在第一阶段中，我们用不同身份的渲染面部替换图像中的面部区域为此，我们取代的身份相关的组成部分，原来的人在参数向量的人脸模型，同时保留属性的原始面部表情。在第二阶段中，GAN被训练以在给定渲染的面部和头部周围的模糊区域作为条件输入的情况下合成完整的头部图像。在这个阶段，输入中的缺失区域被修复，并且添加细粒度细节，从而产生照片级逼真的输出图像。我们的定性和定量评估表明，我们的方法显着优于基线方法公开可用的数据集，具有较低的识别率和较高的图像质量。2相关工作身份混淆。模糊面部区域或用遮挡物（例如马赛克或黑条）覆盖它仍然是照片和视频中视觉身份混淆的主要技术在[7]和[8]中研究了这些方法在隐藏身份以对抗机器识别系统方面的性能 他们表明，这些简单的技术不仅会引入令人不快的伪影，而且由于基于CNN的识别方法的改进，效率也会降低。 在保持图像真实感的同时隐藏身份信息仍然是一个尚未解决的问题。只有少数作品试图解决这个问题。对于目标特定的混淆，Sharif等人。[3]和Oh et al.[2]使用了基于对抗性示例的方法，这些方法以不可感知的方式扰动图像，旨在混淆特定的机器识别系统。它们的混淆模式对人类是不可见的，并且混淆性能很强。然而，模糊处理只能针对特定于目标的识别器来保证为了混淆目标通用机器识别器甚至人类识别器，Brkic等人。[9]生成与目标人物面具重叠的全身图像。然而，具有统一姿势的合成人不匹配场景上下文，这导致最终图像中的混合伪影最近的工作[1]一种基于人脸替换的混合身份混淆模型3根据上下文对假头部图像进行修复，并将生成的具有不同姿势的头部混合到社交媒体照片中的各种背景和身体姿势中虽然在识别率和图像质量方面实现了最先进的性能，但这种纯数据驱动的方法的结果不可避免地表现出像面部姿势和表情等属性的变化这样的伪影参数化面模型。Blanz和Vetter [10]从200个高质量扫描中学习面部几何形状和纹理的仿射参数3D变形模型（3DMM）使用更多扫描[11]或使用来自野外图像的信息[12，13]构建了更高质量的模型这样的参数模型可以作为3D人脸重建问题的强正则化器，并且已经广泛用于基于优化的[5，14，12，15-最近，已经引入了基于模型的人脸自动编码器（MoFA）[4]，其将可训练的CNN编码器与专家设计的可微分渲染层作为解码器相结合，这允许对真实图像进行端到端训练。我们使用这样的架构，并将其扩展到从图像中重建面部，其中面部区域被涂黑或模糊以进行模糊处理。我们还通过替换身份特定参数来利用3DMM的参数的语义以合成具有不同身份的叠加面部 虽然使用参数化人脸模型获得的重建令人印象深刻，但它们仅限于模型的低维子空间。 许多高频细节没有被捕获，并且面部区域没有与覆盖的3DMM渲染中的周围环境很好地融合。一些重建方法超越低维参数模型[24，6，16，17，21，19]以捕获更多细节，但大多数缺乏对捕获的高频细节的参数控制图像修复和细化。我们提出了一种基于GAN的方法，在第二阶段，以改善渲染的3DMM面部像素更高的现实主义，以及在渲染的面部周围的模糊头部像素进行修补在[25，26]中，通过对抗训练将渲染图像修改为更逼真所生成的数据对于诸如注视估计和手部姿势估计之类的特定任务很好地工作，在真实图像上具有良好的结果Raymond等[27]和Pathak et al.[28]使用GAN来合成基于图像上下文的缺失内容这两种方法都假设缺失部分与其上下文之间具有很强的外观孙等人。[1]在绘制的头部像素的面部标志的条件我们的方法，参数化的人脸模型渲染的条件下，让我们控制，以改变所生成的脸的身份，同时也合成更多的照片般逼真的结果。3面部置换框架我们提出了一种新的人脸替换方法的身份混淆，结合了数据驱动的方法与参数化的人脸模型。我们的方法包括两个阶段（见图1）。①的人。在不同的输入方式上进行实验会导致不同级别的混淆1。在第一阶段，我们1阶段I输入图像选择：原始图像，模糊的脸和涂黑的脸。阶段II输入图像选择：原始头发、模糊头发和黑色头发。4Sun等人无需更换语义参数Conv编码器外务省解码器内画工阶段I输入图像非同一性参数副本第二阶段输入图像结果图像替代品身份参数外务省解码器内画工第二阶段输入图像结果图像翁卡特C用替换翁卡特C不仅可以基于参数化人脸模型（3DMM）来渲染重建的人脸，而且还可以用不同身份的渲染的人脸来在第二阶段中，GAN被训练以在给定渲染的面部和面部周围的进一步模糊的图像作为条件输入的情况下合成完整的头部图像这里的混淆保护耳朵、头发等中包含的身份信息。在该阶段中，用真实内容对模糊区域进行修复，并且添加渲染的3DMM中缺失的细粒度细节，从而产生照片级真实感的输出图像。原始图像模糊面部面黑原始头发头发模糊发黑的头发参数模型的数据驱动模型阶段I输入图像选择阶段II输入图像选择图1：我们的混淆方法基于数据驱动的深度模型和参数面部模型底行示出了阶段I和阶段II的输入图像选择。不同的输入组合导致不同的混淆级别。3.1第一阶段：面部置换我们的方法的阶段-I使用parametricfacemodel从输入图像重建3D面部。我们从输入中提取一个编码器来提取模型这允许我们渲染从人重建的合成面部，并且还使我们能够基于参数向量来修改其语义参数。我们将所有语义参数的集合表示为p =（α，β，δ，φ，γ），|p|= 257。这些参数描述面部的完整外观我们使用仿射参数化的3D人脸模型来表示我们的重建。α和β表示面部的形状和反射率，并且对应于面部的形状和反射率。一种基于人脸替换的混合身份混淆模型52人的身份。这些参数是从200个高质量面部扫描构造的PCA向量的系数[10]。δ是使用PCA对[29]和[30]的所选混合形状计算的表达基向量的系数。我们使用80α、80β和64δ参数。它们一起定义了[13]使用的拓扑中表示的面网格的每顶点位置和反射率。此外，我们还估计了面部的刚性姿态（φ）和场景照明（γ）。刚体姿态参数化，对应6个参数转换为3D平移矢量和用于旋转的欧拉角。使用与球谐基函数的前3个频带对应的27个参数来参数化场景照明[31]。我们的第一阶段架构基于基于模型的人脸自动编码器（MoFA）[4]，由卷积编码器和参数化人脸解码器组成编码器在给定输入图像2的情况下对语义参数p进行回归。参数面部解码器。如图1，参数面部解码器将卷积编码器的输出p作为输入，并生成重构的面部模型及其渲染图像。重建的人脸可以表示为vi（p）∈R3和ci（p）∈R3，i∈[1，N]，其中vi（p）和ci（p）表示顶点i在相机空间中的位置和阴影颜色，N为顶点的总数。对于每个顶点i，解码器还使用全透视相机模型来计算表示vi（p）的投影像素位置的ui（p）∈R2损失函数我们在阶段I中的自动编码器使用损失函数进行训练，该损失函数将输入图像与解码器的输出进行比较，E loss（p）= E land（p）+w photo E photo（p）+w reg E reg（p）。（一）这里，Eland（p）是界标对准项，其测量输入图像中的66个基准界标[13]与参数解码器的输出上的对应界标之间的距离。Σ66E land（p）= ||l i− u x（p）||二、（二）i=1L1是在面部网格上的标记的图像点，而dx是在面部网格上的标记顶点上的C或R的索引。使用dlib工具包计算图像标志Ephoto（p）是测量重建图像和输入图像之间的每顶点外观差异的光度对准项，ΣE照片（p）=i∈V||二、||2.（三）V是可见顶点的集合，I是当前训练迭代的图像。Ereg（p）是Tikhonov式统计正则化子，其通过惩罚远离其均值的参数来防止Ereg（p）= Σ80αi+we Σ64δi+wr Σ80βi .（四）i=1（σs）i2我们使用AlexNet[32]作为编码器。i=1（σe）ii=1（σr）i6Sun等人σs、σe、σr分别是形状、表达和反射率向量的标准偏差请参考[4，13]了解有关面部模型和损失函数的更多详细信息由于损失函数Eloss（p）是可微的，因此我们可以将梯度反向传播到卷积编码器，从而实现网络的自监督学习。身份参数的替换。人脸模型的可控语义参数具有在人脸重建后可以修改的优点注意，面部模型的形状和反射率参数α和β取决于人的身份[10，20]。我们建议修改这些参数（从现在起称为身份参数），并呈现具有不同身份的合成叠加面，同时保持所有其他维度固定。虽然所有的人脸模型尺寸都可以修改，但我们希望避免不合适的面部属性。例如，更改反射参数的所有维度可能导致渲染的面部和身体之间的肤色不对齐为了缓解这个问题，我们保持β的第一，第三和第四维度，这些维度控制面部的全局肤色，固定。在获得我们所有训练集（超过2k个不同身份）上的语义参数之后，我们首先将身份参数聚类成15个不同的身份聚类，其中各个聚类均值作为代表。然后，我们将当前测试图像的身份参数替换为最接近（Replacer1）、中间距离（Replacer8）或最远（Replacer15）的聚类的参数，以评估不同的混淆级别（图152）的情况。请注意，每个测试图像都有自己的替换器。(a) 原始图像（b）渲染的面部（自己的）（c）替换者1（d）替换者8（e）替换者15图2：替换阶段I中的身份参数允许我们生成具有不同身份的面部输入图像模糊处理。除了替换身份参数之外，我们还可选地允许通过模糊或涂黑阶段I的输入图像中的面部区域来进行附加的混淆（通过从原始图像重构面部来确定面部区域）。 这些混淆策略迫使第一阶段网络仅使用上下文信息来预测语义参数（图1）。3），从而减少在重建中捕获的面部身份信息的范围我们使用带有模糊面部区域的全身图像作为输入，同时使用原始图像作为输入，为这些策略训练网络。一种基于人脸替换的混合身份混淆模型7图3：阶段I输出：如果输入图像中的面部被涂黑或模糊，则我们的网络仍然可以预测与面部区域的轮廓对齐的合理的参数重建从上下文信息也很好地估计外观使用基于优化的策略进一步对齐结果。损失函数Eloss（p）3中的未修改图像。 该方法给出了即使对于这样的模糊输入图像也保留面部区域的边界和人的肤色的结果（图1B）。（3）第三章。面部的僵硬姿势和外观也得到了很好的估计。除了减少呈现的面部中的身份信息之外，当输入图像中的面部被模糊或涂黑时，阶段I网络还移除表情信息为了更好地将我们的重建与输入图像对齐，而不添加任何特定于身份的信息，我们进一步细化重建的刚性姿势和表情估计在使用我们的网络预测初始化所有参数之后，我们最小化（1）中的部分能量项p=argminErefine（p）（5）pE精炼（p）=E土地（p）+wreg Ereg（p）（6）注意，在细化期间仅Φ和δ被优化。我们使用高斯-牛顿优化器的10次非线性迭代来最小化该能量。从图3中可以看出，这种优化策略显著改善了重建和输入图像。 注意，输入图像混淆可以与身份替换组合以进一步改变渲染的面部的身份。阶段I的输出是面部重建的着色渲染。合成人脸缺乏高频细节，并且由于参数模型的表现力有限而不能与图像完美融合阶段II增强了该结果，并且通过从完整头部区域移除/减少上下文信息来提供进一步的混淆。3.2第二阶段：修复阶段II以来自阶段I的渲染的面部图像和头部周围的模糊区域为条件，该inpainter有两个目标：（1）在图像中修复模糊/涂黑的头发像素。3如果输入图像在第一阶段没有被模糊，我们直接使用[13]的预训练粗糙模型来获得参数和渲染的人脸。8Sun等人L=L头部区域;（2）修改所渲染的面部像素以添加精细细节和真实感以匹配周围的图像上下文。该架构由卷积生成器G和鉴别器D组成，并通过L1损失和对抗损失进行优化输入. 对于生成器G，混淆的图像I和来自阶段IF的渲染的面部两者的RGB通道被级联作为输入。对于鉴别器D，我们将修复图像视为假图像，将原始图像视为真图像。然后，我们将（假的，真的）对输入鉴别器。我们使用整个身体图像而不是仅仅头部区域，以便生成头部与包括身体和背景的周围区域之间的自然过渡，特别是对于混淆输入的情况。磁头发生器（G）和鉴别器（D）。头部生成器G是“U-Ne t”- b，如图所示[ 34]，即。e. 根据[1][35][36]，在编码器和解码器4之间具有k ip连接的情况下，将编码器自动地编码。它生成一个自然的头部图像给定的周围环境和渲染的脸。鉴别器D的架构与DCGAN [37]中的相同。损失函数我们使用L1重建损失加上对抗损失，命名为LG，以优化生成器和对抗损失，命名为LD，以优化鉴别器。对于生成器，我们使用头部掩蔽的L1损失，使得优化器更多地关注目标头部区域的外观LG=Lbce（D（G（I，F）），1）+λ <$（G（I，F）−IO）<$Mh<$1，（7）其中，M_h是头部掩码（来自注释的边界框），I_O表示原始图像，并且L_bce是二进制交叉熵损失。λ控制L1项5的重要性。然后，对于鉴别器，我们有以下损失：D DAdv =Lbce（D（I，0），1）+Lbce（D（G（I，F）），0）。（八）我们还尝试添加来自验证模型的去识别损失[38]，以便在生成的图像中改变人的身份然而，这与L1的损失有冲突的目标，我们无法在它们之间找到一个很好的权衡。图4显示了我们的内画器的效果。在（a）中，当给出原始头发图像时，内画器细化渲染的面部像素以匹配周围环境，例如，面部皮肤在底部图像中变得更加真实。在（b）（c）中，内画器不仅细化面部像素，而且还基于上下文生成模糊/缺失的头部像素。4网络架构和超参数在补充材料中给出⑤当λ太小时，对抗性损失在训练中占主导地位，更容易产生伪影;当λ太大时，生成器主要使用L1损失并且生成模糊结果。一种基于人脸替换的混合身份混淆模型9之前后(a)原始毛发（b）模糊毛发（c）黑色毛发图4：修复前后的可视化结果。在顶行中，渲染的面被覆盖到彩色图像上，以便更好地比较细节。4识别器本文中的身份混淆是目标通用的：它被设计为针对任何识别器，无论是机器还是人类。在本文中，我们使用这两个识别器来测试我们的方法。4.1机器识别器我们使用自动识别器naeil[39]，这是社交媒体图像中人物识别的最新技术与典型的人物识别器不同，naeil还使用身体和场景上下文线索进行识别。因此，它已被证明对常见的模糊技术（如涂黑或模糊头部区域）相对免疫[7]。我们首先在头部和身体区域上训练特征提取器，然后在这些特征上训练SVM身份分类器。我们可以连接来自多个区域的特征（例如头部+身体）以利用多个线索。在我们的工作中，我们使用GoogleNet的头部和头部+身体的功能进行评估。我们还验证了混淆结果显示出与基于AlexNet的类似物相似的趋势（参见补充材料）。4.2人类识别器我们还进行了人类识别实验，以评估混淆的有效性在一个感性的方式。给定原始头部图像和通过我们的方法的变体和其他方法的结果修复的头部图像，我们要求用户从修复的图像中识别原始人，并且还选择身份方面最远的人用户被引导专注于身份识别而不是图像质量。对于每种方法，我们计算其结果被选择为最远身份的次数的百分比（更高的数字意味着更好的混淆性能）。10Sun等人5实验混淆方法不仅应该有效地隐藏身份信息，而且还应该产生照片般逼真的结果。因此，我们根据识别率和视觉真实感来评估我们的结果我们还研究了两个阶段的不同输入方式产生的不同程度的混淆的影响5.1数据集我们的混淆方法需要在真实的社交媒体照片上进行评估。PIPA数据集[41]是最大的社交媒体数据集（37，107张Flickr图像，2，356个注释的个人），它显示了人们在不同的事件，活动和社会关系中的情况[42]。总共有63，188个人实例用头部边界框进行了注释，我们从中创建了头部遮罩。我们将PIPA数据集分成训练集和测试集，没有重叠的身份，遵循[1]。在训练集中，有2，099个身份，46，576个实例，在测试集中有257个身份，5，175个实例。我们进一步从[1]之后的两个集合中修剪具有强轮廓或后脑勺视图的图像，得到23，884张训练图像和1，084张测试图像。由于我们的流水线采用固定大小的输入（256× 256× 3），我们将数据集的图像大小归一化。为此，我们对图像进行裁剪和零填充，以便面部出现在整个图像中3× 4网格的顶部中间块我们的裁剪方法的细节在补充材料中给出。5.2输入模态我们的方法允许输入模态的18种不同组合，其是3种类型的面部模态、3种类型的头发模态和修改面部身份参数的选择的组合（默认替换者是Replacer15）。请注意，其中只有17个是有效的混淆，因为原始面部和头发的组合由于篇幅限制，我们比较了一个代表性子集，如表1所示。完整结果见补充材料。为了模糊输入图像中的面部和头发区域，我们使用与[1，7]中相同的高斯内核。请注意，与这些方法相比，我们重建的面部模型提供了面部区域的分割，允许我们精确地模糊面部或头发区域。5.3结果在本节中，我们评估所提出的混合方法与不同的输入方式的现实主义的图像和混淆性能。图像逼真度。我们评估修复图像的质量比较使用结构相似性得分（SSIM）[43]对地面真实（原始）图像进行分析。在训练期间，身体部位不被混淆，因此我们仅针对头部区域报告掩码- SSIM [1，35]（SSIM分数在补充材料中该分数测量修复的头部与原始头部的接近程度。一种基于人脸替换的混合身份混淆模型11表1：与现有技术方法比较的定量结果[1]。图像质量：Mask-SSIM和HPS评分（两者越高越好）。混淆效果：机器识别器的识别率（越低越好）和人类识别器的混淆率（越高越好）。v*简单地表示该行中的方法混淆方法评价第二阶段图像质量机器人第一阶段头发渲染脸部面具-SSIMHPS头体+头部混淆原始- -1.000.93 百分之八十五点六88.3%[1]第一章黑头+检测0.410.19 百分之十点一百分之二十一点四-[1]第一章黑头+PDMDec.0.200.11百分之五点六百分之十七点四-[1]，我们的作物黑头+检测0.430.34 百分之十二点七24.0%4.1%[1]，我们的作物黑头+PDMDec.0.230.15百分之九点七百分之十九点七百分之二十点一v1，原始覆盖无修复0.750.58 百分之六十六点九68.9%v2，原始原创原创0.870.71 70.8%71.5%-v3，原始原装替代品15-0.49 47.6%百分之五十七点四-v4，模糊原创原创0.860.59 百分之五十九点九65.2%-v5，模糊原装替代品15-0.41 百分之二十六点三41.7%-v6，模糊模糊自己0.550.55 百分之二十五点八38.0%-v7，模糊模糊替代品15-0.40 百分之十二点七29.3%-v8，黑色原创原创0.850.60 百分之五十九点三64.4%-v9，黑色黑色的自己0.470.41 百分之十四点二百分之二十五点七二点九厘v10，黑色黑色替换件1-0.45 百分之十一点八23.5%6.2%10Sun等人v11，黑色黑色替换件8-0.39百分之九点三22.4%百分之三十一点三v12，黑色黑色替代品15-0.33 百分之七点一百分之十八点一35.4%当使用Replacer时，SSIM度量不适用，因为地面实况图像不可用。因此，我们在Amazon Mechanical Turk（AMT）上进行了人类感知研究（HPS）[1，35]。对于每种方法，我们随机向20名用户展示55张真实图像和55张修复图像，在1s内回答图像看起来是真的还是假的混淆性能。混淆评估是衡量我们的方法可以欺骗自动人识别器以及人类的程度。我们在第4节中定义了机器识别器和人类识别器。对于机器识别器，我们在表1中报告了1084个测试图像 对于人类识别，我们随机选择45个实例，然后要求识别器从六种代表性方法的混淆图像中验证身份，给定原始图像作为参考：[1]中的两个方法和由v9-v12索引的四个方法，参见表1的最后一列。与最先进的技术相比 在表1中，我们报告了不同输入方式的定量评估结果，并与[1]进行了比较。 我们还在我们的裁剪数据上实现了与[1]完全相同的模型，以进行公平的比较。我们还比较了我们的结果与[1]的视觉质量，见图。五、我们最好的混淆率是通过v12实现的。[1]中最可比较的方法是黑头+PDMDec，其中输入是具有完全变黑的图像12Sun等人编号：661编号：687编号：691编号：987原始V9V12[1][1]，我们的庄稼图5：通过方法v9和v12得到的结果图像，与原始图像和[1]中使用PDMDec标志的黑头场景注意，与[1]的图像比例差异是由于不同的裁剪方法。头部和界标由PDMDec生成。比较v12与它，我们实现2. 6%的低识别率（2。6%高混淆机器识别器）使用头部特征。我们的方法做得更好（15. 在欺骗人类识别器方面，高出3%。此外，我们的方法在HPS、0. 33对0。15 [1]。图5显示，我们的方法在一致的肤色、适当的头部姿势和生动的面部表情方面生成了更自然的图像。参数模型与GAN。对于我们的混合模型的消融研究，我们用GAN替换阶段I中的参数模型。我们使用与[1]的阶段II网络相同的架构，但没有地标通道。这受到了使用GAN的区域完成方法的启发[44]。我们考虑两种比较场景：当输入面部被涂黑（索引为v13）时，我们与v8进行比较;当头部被涂黑（索引为v14）时，我们与v9进行比较。我们观察到，v13导致较低的mask-SSIM评分为0.80（v8为0.85），识别率相同，为64.4%。这意味着GAN生成较低质量的图像，而不执行更好的模糊处理。V14具有19的低分辨率。7%对s. v9是25。7%，但mask-SSIM（图像质量）仅为0。23，0。24低，V9是0。47. 如果使用因子（仅在使用我们的基于参数模型的方法时适用），我们能够实现18.1%的较低识别率，在图像质量方面仅牺牲0.08（参见表1中的v9和v12的HPS）。一种基于人脸替换的混合身份混淆模型13原始版本v2 v3 v6 v7编号：99编号：691图6：与原始图像相比，方法v2、v3、v6和v7的结果图像不同面部/毛发形态的分析。表1示出了输入的不同模态产生不同级别的模糊和图像质量。通常，图像质量与识别率大致相关。随着对图像的更高水平的修改，身份将被更有效地混淆，但是图像质量也将相应地劣化然而，我们可以观察到识别率下降得比图像质量更快。值得注意的是，当渲染的面部上没有修复时（v1），HPS分数为0。58，0。13低于v2，验证渲染的面不如修复的面真实。毫不奇怪，最好的图像质量是通过v2实现的，其目的是在没有模糊的情况下重建原始图像。最重要的是，当我们在第一阶段（v4）使用模糊的人脸时，机器识别率（头部）从70下降。8%至59。百分之九。这表明模糊面部区域确实部分地隐藏了身份信息。当我们模糊头发区域（v6）时，识别率急剧下降到25。8%，这意味着人脸周围的区域包含了大量的身份信息。 当我们从面部和头发区域（v9）中删除所有信息时，我们得到的识别率甚至更低，为14。百分之二。换脸效果很好。从表1可以看出，用另一个身份的参数替换面部参数是隐藏身份信息的有效方法。无论面部和头发输入模式如何，使用Replacer15渲染的面部比使用Own渲染的面部在两个识别器上的混淆性能都得到显著从近身份到远身份替换从表1中的vlO到vl2，我们可以看到使用Replacer8产生比Replacerl明显更好的混淆，例如， 对人类的混淆得到25。1%的改善。这一点通过Replacer15和Replacer1之间的比较得到进一步证明。在视觉上，Fig.6和图5表明，替换面部参数确实使面部非常不同。图像质量和模糊处理之间的权衡。图7示出了机器识别率与不同混淆方法的图像质量图（有些不在表1中，但在补充材料中）。曲线上从左到右的点是对阶段II使用“涂黑”、“模糊”和“原始”头发输入的结果14Sun等人0.80.70.60.50.40.30.20.10.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8HPS评分图7：不同混淆方法的散点曲线对于毛发区域上的不同混淆水平（涂黑、模糊、原始），HPS分数沿X轴变化该图允许用户在给定指定模糊阈值的情况下选择具有最高图像质量的方法。例如，如果用户想要冒最多30%可识别性的风险，则他/她可以获得的最高图像质量是大约0。45，对应于蓝色虚线上的中点（原始图像、模糊头发、替换物15的方法）。另一方面，如果用户要求图像质量至少为0。30，最好的混淆可能对应于红色虚线的第一点（涂黑的脸，涂黑的头发，Replacer15的方法）。这些图的全局覆盖显示了选择约束，例如当用户将隐私泄露率严格控制在20%以下时，只有两种适用的方法：黑头+PDMDec [1]（图像质量仅为0. 15）和我们的（涂黑的脸，涂黑的头发，替换15），其中图像质量在0. 33.6结论我们引入了一种新的混合方法来混淆照片中的身份头部替换。由于参数化人脸模型重建和渲染以及基于GAN的数据驱动图像合成的结合，我们的方法使我们能够完全控制面部参数以显式操纵身份，并允许照片般逼真的图像合成。通过我们的方法合成的图像不仅混淆了机器识别系统，也混淆了人类。我们的实验结果表明，我们的系统的输出，提高了在混淆率，同时生成更高的视觉逼真度的混淆图像的先前的状态致谢这项研究得到了德国研究基金会（DFG CRC 1223）和ERC StartingGrant CapReal（335545）的部分支持我们感谢dr. Florian Bernard的有益讨论。[1]，我们的作物，黑头+PDMDec[1]，我们的作物，黑头+检测I-原始图像I-原始图像，II-替换15I-面部模糊I-模糊面部，II-替换15 I-模糊面部I-涂黑面，II-更换件15识别率（头部+身体）一种基于人脸替换的混合身份混淆模型15引用1. 太阳，Q.，马，L.，SJ Gool，L.V.，Schiele，B.，Fritz，M.：通过头部修复进行自然有效的模糊处理。在：CVPR中。（2018年）2. SJ Fritz，M.，Schiele，B.：对抗性图像扰动隐私保护In：ICCV. （2017年）3. Sharif，M.，Bhagavatula，S.，鲍尔湖Reiter，M.K.：协助犯罪：对最先进的人脸识别技术进行真实和隐秘的攻击。2016年ACM SIGSAC计算机和通信安全会议（2016年）4. T e wari，A.， Zollhofer，M.， Kim，H.， Garrido，P.， 贝南菲尔德，F.， P erez，P.， C. ：Mofa：用于无监督monocular重建的基于模型的深度卷积面部自动编码器。In：ICCV.第2卷（2017年）5. 这是J Zollhüofer，M.， Stamminger，M.， C.， 我是M. ：Face2Face：实时人脸捕捉和RGB视频重现。在：CVPR中。（2016年）6. Garrido，P.， Zollhofer，M.， Casas，D. ，Valgaerts，L.， Varanasi，K.，Perez，P.，Theobalt，C.：从单目视讯重建个人化三维人脸模型。ACMTrans. Graph. （作者：SIGGRAPH2016）35（3）（2016）28：17. SJ Benenson河Fritz，M.，Schiele，B.：无脸人物识别;社交媒体中的隐私问题。In：ECCV. （2016年）8. 麦 克 弗 森 河 Shokri 河 Shmatikov ， V. ： 用 深 度 学 习 击 败 图 像 模 糊 。1609.00408（2016）9. Brkic，K.，西基里奇岛Hrkac，T.，Kalafatic，Z.：我认识那个人：图像中人物的生成性全身和面部去识别。在：CVPR研讨会。（2017）131910. Blanz ， V. ， Vetter ， T. ： 三 维 人 脸 合 成 的 可 变 形 模 型 。 在 ： SIG-GRAPH，ACMPresss/Addison-WesleyP u bl is hi ngCo.（1999年）18711. 布斯JRoussos，A.，Zafeiriou，S.，Ponniah，A.Dunaway，D.：从10，000张面孔中学习的3D在：CVPR中。（2016年）12. 布 斯 J Antonakos ， E. ， Ploumpis ， S. ， Trigeorgis ， G. ， Panagakis ， Y.Zafeiriou，S. ：三维面形“在水里”。 In：CVPR. （2017年）13. T e wari，A.， Zollhofer，M.， Garrido，P.， 贝南菲尔德，F.， Kim，H.，P'e rez，P.， B. C.：250hz以上单目重建的自我监督多层次人脸模型学习在：CVPR中。（2018年）14. Roth，J.，唐，Y.，刘X：基于无约束照片集的自适应三维人脸重建。IEEE Transactions on Pattern Analysis and Machine Intelligence39 （ 11 ）（2017）212715. Romdhani，S.，Vetter，T.：使用像素强度、边缘、高光、纹理约束和先验估计3D形状和纹理在：CVPR中。（2005年）16. Garrido，P.Valgaxerts湖吴，C.，Theobalt，C.：从单目视频重建详细的在： ACM Trans. Graph. （Proceedings ofSIGGRAPHAsia2013） 。 第 32章 .（2013）158：117. 施，F.吴，H. T.，唐，X.，Chai，J.：使用单目视频自动获取高保真面部表演。ACM Transactions on Graphics（TOG）33（6）（2014）22218. Richardson，E.，Sela，M.，Kimmel，R.：通过从合成数据中学习进行三维人脸重建。In：3DV. （2016年）19. Sela，M.，Richardson，E.，Kimmel，R.：使用图像到图像转换的无限制面部几何重建。In：ICCV. （2017年）16Sun等人20. Tran，A.T.，Hassner，T.，马西岛Medioni，G.G.：用一个非常深的神经网络回归鲁棒的和可辨别的3D变形模型在：CVPR中。（2017年）21. Richardson，E.，Sela，M.，奥尔-艾尔河Kimmel，R.：从单个图像学习详细的面部重建。在：CVPR中。（2017年）22. Dou，P.，Shah，S.K.，Kakadiaris，I.A.：基于深度神经网络的端到端三维人脸重建在：CVPR中。（2017年）23. Kim ， H.， Zoll oüfer ， M. ， Te wari ， A. ， 这 是 JRi chardt ， C.，Christian，T. ：In-verseFaceNet：从单个图像进行深度单次反向面部渲染。1703.10956（2017）24. Cao，C.，Bradley，D. Zhou，K.，（1991年），Beeler，T.：实时高保真面部表现。 ACMTrans. Graph. 34（4）（2015）46：125. Shrivastava，A.，Pfister，T.，Tuzel，O.，Susskind，J.，王伟，Webb，R.：通过对抗训练从模拟和无监督图像中学习。在：CVPR中。（2017）22 4226. Mueller，F. Bernard，F. Sotnychenko，O.，Mehta，D.，Sridhar，S.，Casas，D. Theobalt，C.：从单目rgb实时3d手部跟踪。在：CVPR中。（2018年）27. 是的R陈春，Lim，T.，Hasegawa-Johnson，M.，做，M.N.：具有感知和上下文损失的语义图像修复。1607.07539（2016）28. Pathak，D. ，Krahenbul，P.， 别这样，杰， 达瑞尔，T.， Efros，A.A. ：C〇ntexten-coders：通过修复进行特征学习。在：CVPR中。（2016年）29. Alexander，O. Rogers，M.，Lambeth，W. Chiang，M.，Debevec，P.：数字艾米丽项目：真实感面部建模和动画。In：ACM SIGGRAPHC〇urs，ACM（2009）12：130. Cao，C.，Weng，Y.，Zhou，S.，唐，Y.，Zhou，K.：Facewarehouse：用于 视 觉 计 算 的 三 维 面 部 表 情 数 据 库 。 IEEE Transactions onVisualizationandComputerGraphics20（3）（2014）41331. Ramamoorthi 河 Hanrahan ， P. ： 一 种 用 于 逆 修 的 信 号 处 理 框 架 。 In ：SIGGRAPH，ACM（2001）11732. Krizhevsky，A.，萨茨克弗岛Hinton，G.E.：ImageNet分类与深度卷积神经网络任务。 In：NIPS. （2012）109733. King ， D.E. ： Dlib-ml ： 一 个 机 器 学 习 工 具 包 。 Journal of MachineLe