人脸反欺骗的单边域泛化框架

8484面向人脸反欺骗的单边域泛化贾云培1，2，张杰1，2，单世光1，2，3，陈西林1，21中国科学院智能信息处理重点实验室，中国科学院计算技术研究所，北京，1001902中国科学院大学，北京，1000493中国科学院脑科学与智能技术示范中心，上海，200031yunpei. vipl.ict.ac.cn，{zhangjie，sgshan，xlchen}@ict.ac.cn摘要现有的人脸反欺骗领域泛化方法都是通过提取人脸的共同区别特征来提高泛化能力.然而，由于不同域的伪人脸分布差异 在这项工作中，我们建议一个端到端的单边域泛化框架（SSDG），以提高人脸反欺骗的泛化能力。其主要思想是学习一个广义的特征空间，其中真实人脸的特征分布是紧凑的，而假的是分散在域之间，但紧凑的每个域内。具体来说，训练特征生成器以仅使来自不同域的真实面部不可区分，而不是假的，从而形成单侧对抗学习。此外，设计了一种非对称的三重态损失，以抑制不同畴的假面分离而真面聚集。以上两点以端到端的训练方式集成到一个统一的框架中，从而产生更广义的类边界，特别是对于来自新领域的样本特征和权重归一化被纳入，以进一步提高泛化能力。在四个公共数据库上的大量实验表明，代码在线发布1.1. 介绍近年来，人脸识别技术在我们的日常生活中得到了广泛的应用，特别是在智能手机登录、访问控制等领域。然而，出现了许多呈现攻击（例如，、打印攻击、视频攻击和3D掩码攻击），这导致了巨大的安全威胁。1https://github.com/taylover-pei/SSDG-CVPR2020图1.左：传统的域泛化方法对齐源域以学习共享的特征空间，这无法在看不见的域上获得有区别的类边界。右：我们的单侧域泛化方法聚合了所有真实的示例，同时将来自不同域的假示例分离出来，以学习类边界，从而更好地泛化到新的域。人脸识别系统的安全风险问题日益成为人脸识别领域的一个重要问题为了解决这个问题，已经提出了各种人脸反欺骗方法，这些方法可以粗略地分为基于纹理的方法和基于时间的方法。基于纹理的方法利用手工描述符或数据驱动的深度学习来提取区分真实面部和虚假面部的纹理线索，例如颜色[5]、失真线索[11，39]等。相比之下，基于时间的方法利用连续面部帧中的各种时间线索，诸如rPPG [20，21]和光流[2，4]。尽管现有的最先进的方法在数据库内测试场景下已经获得了有希望的结果，但是它们不能很好地推广到跨数据库测试的情况下，其中训练（源域2）和测试（目标域2）是一个复杂的过程。2本文中的术语域表示数据库。常规DG假的真我们的DG假的真来源1来源2来源3目标分类器8485主）数据来自不同的域。其原因是传统方法没有考虑不同领域之间的内在分布关系，从而提取数据库偏向的判别特征[35]，导致对未知领域的泛化能力差。 为了解决这个问题，最近的人脸反欺骗方法[19，38]采用域自适应技术，通过利用未标记的目标数据来最小化源域和目标域之间的分布差异然而，在许多现实场景中，收集大量未标记的目标数据进行训练是困难和昂贵的，甚至没有关于目标域的信息。因此，一些研究人员开始从域生成（DG）的角度来解决人脸反欺骗问题 传统的DG方法[18，33]旨在学习通过对齐多个源域之间的分布来构造广义特征空间。他们假设未见过的脸的提取的特征可以映射到附近的共享特征空间，使模型可以推广到新的领域。由于来自源域和目标域的真实人脸都是通过对真实人进行成像来收集的，因此它们的分布差异很小，这使得学习紧凑的特征空间相对容易相比之下，由于攻击类型和收集方式的多样性，将来自不同领域的虚假人脸特征聚合在一起相对困难。因此，寻找假脸的广义特征空间难以优化，并且还可能影响目标域的分类准确性出于这个原因，如图1的左侧所示，尽管实现了用于真实示例和伪示例两者的紧凑特征空间，但仍然未能学习新目标域的判别类边界考虑到上述论点，除了约束真实人脸和虚假人脸尽可能可区分之外，我们建议将所有真实人脸聚合起来，而将不同域的虚假人脸分开。如图1右侧所示，我们的方法旨在迫使假面孔的特征在特征空间中更加分散，而真实面孔的特征更加紧凑，从而导致类边界，从而更好地推广到目标域。考虑到上述思想，我们提出了一个端到端的单边域泛化框架（SSDG），如图2所示。具体地说，训练特征生成器与域分类器竞争，以使来自不同域的真实人脸的特征不可区分，形成单侧对抗学习。由于假面孔的多样性，我们将不同领域的假面孔作为不同的类别，而将所有领域的真实面孔作为另一类别来执行非对称三元组挖掘，这确保了三个正确的-联系：1）将不同类别的假面孔分开;（2）对所有不分域的实数进行聚合; 3）所有的真面孔和假面孔都是可区分的。结果，可以实现具有不同特征的两个特征分布，从而为目标域提供更好的广义类边界。同时，在训练过程中，结合特征和权重归一化，进一步提高了泛化能力本文的主要贡献概括如下：1）基于虚假人脸的多样性，提出了一种新的端到端单边域泛化框架。2）设计了单边对抗学习和非对称三重丢失算法，实现了对真实人脸和虚假人脸的不同优化目标，并进行了特征和权重归一化，进一步提高了性能。3)我们做了全面的比较，并实现了国家的最先进的性能在四个公共数据库。2. 相关工作2.1. 人脸防欺骗方法在本小节中，我们回顾了最具代表性的人脸反欺骗方法，这些方法通常可以分为两组：基于纹理的方法和基于时间的方法，如前所述。基于纹理的方法通过各种纹理线索来区分真实人脸和虚假人脸。许多现有作品采用手工描述符用于面部反欺骗，诸如LBP [9，26]、HOG [14]、SURF [5]、SIFT [29]等。近年来，随着深度学习在计算机视觉中的快速发展，各种方法转向使用CNN来提取更具鉴别力的特征。Yang等人[42]是第一个使用CNN与二进制监督的脸反欺骗。April等人。 [3]提出了一种双流CNN架构来提取深度特征，结合纹理特征来检测攻击。而人脸去欺骗方法[16]将欺骗人脸逆分解为活体人脸和欺骗噪声进行分类。基于时间的方法利用连续人脸帧中的时间线索进行欺骗人脸检测。嘴部运动检测[17]和眨眼检测[28，34]是基于时间线索的面部反欺骗的最早解决方案之一最近，存在更通用的方法依赖于更有效的时间线索，而不是特定的活性信息。CNN-LSTM架构在[41]中提出，以多帧作为输入来提取用于面部反欺骗的时间特征 Liu等人[23]利用rPPG信号作为一种新的CNN-RNN网络的辅助监督[20，21]提取了更鲁棒的rPPG特征，以有效检测3D掩码攻击。 Yang et al. [43]考虑到全球时间和局部空间线索，以区分8486真实的前向传播虚假的前向传播来源造假来源真实不对称三元组挖掘分类器域鉴别器不对称三重损失交叉熵损失对抗性损失单边对抗学习图2.所提出方法的概述具有不同颜色边界的输入面表示不同域的示例参数共享特征生成器的训练，使不同领域的特征分布不可区分的真实的脸，但不为假的单面对抗学习。此外，非对称三元组挖掘实现分离的假脸，而聚合不同领域的真正的，迫使假脸的特征，以更分散的特征空间。特征和权重的归一化被纳入，以进一步提高泛化能力。真面孔和假面孔的区别虽然上述方法在数据库内测试场景下取得了显著的效果，但它们不能挖掘不同领域之间的分布关系，并且可能会提取数据库偏见的特征，导致对未知领域的泛化能力差。2.2. 领域泛化域自适应方法[19，36，38]和零拍摄面部反欺骗方法[24，30]都旨在提高泛化能力。相比之下，域泛化（DG）方法显式地挖掘多个源域之间的关系，而不访问任何目标数据，这更好地推广到未知的领域。以前的DG方法大多集中在最小化多个源域之间的分布差异，以提取域不变的特征。Motiian等人。 [27]提出了一种新的损失，以引导同一类的特征在潜在特征空间中接近。在[13，18]中利用自动编码器来对齐广义特征的源域分布。与我们最相关的工作是在[33]中提出的，其中多个特征提取器通过对抗学习来学习广义特征空间。然而，作为第一次尝试从DG的角度来解决人脸反欺骗问题，其训练过程并不是端到端的。此外，由于迪-由于攻击类型和采集方式的多样性，很难为虚假人脸寻找一个广义的特征空间，这通常会导致人脸反欺骗的次优解决方案。3. 该方法3.1. 概述由于假面孔之间的分布差异比真面孔大得多，因此它是不平凡的来比对不同领域的假面孔的特征因此，为真实人脸和虚假人脸寻找一个紧凑的广义特征空间是很难优化的，并且可能会对未知领域的分类精度带来负面影响。在这项工作中，我们专注于非对称优化目标的真实和虚假的脸是渴望不同的领域，学习一个特征空间具有更高的泛化能力，以未知的领域。如 图 2 所 示 ， 我 们 提 出 了 一 个 单 边 域 通 用 化 框 架（SSDG）的脸反欺骗。具体地说，特征生成器的训练是与主训练器竞争的，以使真实人脸的特征不可识别，形成一个单边对抗学习过程。此外，我们提出了不对称的三重损失明确地分离假面孔的不同领域，而真正的聚合。此外，特征和权重归一化被进一步合并以改善生成器。特征生成器的假面孔权重共享特征生成器关于RealL2正常化GRL8487总计1+exp（−10k）域1域2结构域3假的真不对称三元组挖掘图3.不对称三重态损失的图示。带有黑色边框的形状表示锚点，而与之链接的其他两个点分别是正点和负点。通过非对称三元组挖掘将不同领域的假面孔分离出来，而将真实面孔聚合在一起。与此同时，假面孔也被从所有真实面孔中拉开采用非对称三元组丢失后，假人脸的特征可以在特征空间中更加分散，从而更好地推广类边界在培训过程中的能力。因此，所提出的SSDG方法迫使假面孔在特征空间中更加分散，而真实的面孔更加紧凑，从而导致对看不见的域的更广义的类边界。3.2. 单边对抗学习假设存在N个源域，表示为D= N。{D1，D2，...，D N}。每一个都包含两类人脸图像，即，真实面孔Xr和假面孔Xf.由于所有的真实面孔都是通过对真实人物进行成像来收集的，因此我们推测，主目录以使域标签不能被识别。因此，在特征生成器和领域学习器之间设计了一个单边对抗学习过程，以学习真实人脸的广义特征空间。在学习过程中，特征生成器的参数以最大化领域损失为目标进行优化，而领域判别器的参数则以最大由于有多个源域用于分类，我们使用标准交叉熵损失来优化单侧对抗学习下的min maxLAda（G，D）=其中有很多比假的要小因此，为真实人脸寻找一个广义的特征空间相对容易，这就促进了对人脸的更多的捕捉D G-Ex，y<$Xr，YDΣNn=1n[n=y]logD（G（x）），（二）常见的辨别线索具体地说，我们提出了单边对抗学习来学习一个广义特征空间，它只在真实人脸的提取特征上进行。相比之下，对抗性学习不会对假的进行。我们首先将真实人脸与所有源域的假人脸分离，然后将它们馈送到相应的特征生成器中，该特征生成器将输入人脸转换为潜在特征空间，如下所示：Zr=Gr（Xr），Zf=Gf（Xf），（1）其中，Gr、Gf分别表示真实人脸和虚假人脸的特征生成器，Zr、Zf是相应的提取特征。由于采用了参数共享策略使Gr和Gf的所有参数相同，为了方便起见，下面我们将它们统称为G。表示为D的域域的子结构基于Zr来实现，以确定输入特征来自哪个源域。相反，特征生成器被训练来欺骗do-其中YD表示域标签的集合。为了同时优化特征生成器和域优化器，在特征生成器之后插入梯度反向层（GRL）[12]，其在反向传播期间将对抗损失的梯度乘以−λ。 我们设置λ=2-1和k=电流iters，其目的与[12]中介绍的目的相同，以抑制早期列车上噪声信号的影响ing阶段。通过单边对抗学习，实现了真实人脸的通用特征空间，其中可以进一步利用常见的判别线索。3.3. 不对称三元组挖掘由于攻击类型和数据库采集方式的多样性，虚假人脸的分布差异远大于真实人脸。因此，寻找一个分散的特征空间的假是相对容易的，以寻求一个紧凑的。考虑到这一点，我们显式地分离不同域的假面孔，以迫使它们在特征空间中更加分散在…8488我我我 我trast，我们聚集所有真实的，以迫使他们更多公式为：WTzcos（θ1）+b1=WTzcos（θ0）+b0，1 0紧凑. 为了实现真实人脸和虚假人脸的非对称优化目标，我们提出了非对称三元组损失来执行非对称三元组挖掘，这有助于学习更好的未见过领域的类具体来说，假设有三个源域可用，我们重新组合的真实和虚假的面孔来自三个不同的域到四个类别。如图3左侧所示，三个不同域的假面孔被视为不同的类别（分别为圆形、方形和三角形），而所有真实面孔被放在一起成为一个类别（十字形）。然后，对真实人脸和虚假人脸进行四类非对称三元组挖掘，以实现以下优化目标：1）分离不同域的伪人脸; 2）聚合所有源域的真实面孔; 3）把假面孔从所有真面孔中拉开。在此之后，如图3的右侧所示，假面孔的提取特征在特征空间中比以前更加分散，而真实面孔的提取特征更加聚集，从而为看不见的领域带来更好的通用类边界。特征生成器优化如下：其中Wi是最后一个全连接层中参数矩阵的第i列，b i是相应的偏置，θ i是归一化特征z与Wi 之 间 的 角 度。 根据[10，22，37]的工作，我们对Wi执行l2归一化以固定<$Wi<$=1并设置 bi=0，这使得决策边界变为cos（θ1）-cos（θ0）=0。因此，我们进一步约束特征学习过程通过权值归一化，促进学习更多的真实和虚假人脸之间的区别线索。3.5.损失函数由于所有源域数据都包含标签，因此在特征生成器之后实现面部反欺骗分类器，如图2所示人脸反欺骗分类器和特征生成器都通过标准交叉熵损失（表示为LCls）进行优化。将上述所有内容整合在一起，所提出的用于面部反欺骗的单侧域泛化框架的目标是：LSSDG=LCls+λ1LAda+λ 2LAsTrip，（4）最小LΣ（G）=（f（xa）−f（xp）<$2其中λ1和λ2是平衡参数。而不是AsTripG我xa，xp，xnI2（三）在[33]中将训练过程分解为两个阶段我们以端到端的方式训练所有组件。-<$f（xa） −f（xn）<$2+α），i i24. 实验其中，锚点xa和正例xp的标签是ai i4.1. 实验设置相同，而xi和反例xn则不同。α是预定义的裕度。3.4. 特征和权重归一化归一化方法在人脸识别领域已经被证明是有效的。在这项工作中，两个特征归一化和权重归一化，以进一步提高所提出的方法的泛化能力。特征规范化。特征范数与图像的质量高度相关，如[31，37]中所讨论的由于数据库收集条件的多样性（例如，、插图、照相机质量等），不同人脸图像在库内和跨库情况下的特征范数存在较大差异，阻碍了特征学习过程，也影响了生成能力。因此，我们对特征生成器的输出进行l2归一化，以约束所有特征共享相同的欧几里德范数，以进一步提高人脸反欺骗的性能。权重归一化。在这项工作中，人脸反欺骗问题被视为一个二元分类任务。由于使用softmax函数进行训练，因此可以在真实和虚假之间实现决策边界数据库。四个公开的人脸反欺骗数据库被用来评估我们的方法的有效性：OULU-NPU [7]（表示为O），CASIA-FASD [45]（表示为C），Idiap Replay-Attack[8]（表示为I）和MSU-MFSD[39]（表示为M）。我们随机选择一个数据库作为测试的目标域，其余三个作为训练的源域。因此，我们总共有四个测试任务：O& C& I到M，O& M& I到C，O& C& M到I，以及I& C& M到O。 许多不同之处（例如，、背景、解决方案、插图、种族等）在数据库内和跨数据库测试场景下都存在，特别是对于伪测试场景，这会导致它们之间的分布差异很大。实施详情。采用MTCNN算法[44]进行人脸检测和人脸对齐，以进行数据预处理。所有检测到的人脸被归一化为256×256×3作为网络的输入，其中仅使用RGB通道进行训练，以进一步降低网络的复杂度。我们只使用从每个视频中随机选择的一帧信息来训练我们的模型。使用动量为0.9、权重衰减为5e-4的SGD优化器超参数α被设置为0.1。8489表1.评估所提出的方法的不同组成部分与不同的架构。方法O C I至MO M I至CO C M到II C M到OHTER（%）AUC（%）HTER（%）AUC（%）HTER（%）AUC（%）HTER（%）AUC（%）SSDG-M w/o triplet21.1983.5426.7879.1023.9374.8625.4380.52SSDG-M，不带ssad24.0581.9428.1180.1521.2984.5226.6279.59SSDG-M w/o norm17.8689.7630.1178.3825.5773.9229.7475.48SSDG-M16.6790.4723.1185.4518.2194.6125.1781.83SSDG-R w/o triplet8.8196.8514.3392.2815.2183.0921.9885.54SSDG-R w/o ssad11.1995.1012.8994.0812.1496.6318.0690.43SSDG-R w/o norm10.2496.5812.7895.0612.6492.9215.9991.26SSDG-R7.3897.1710.4495.9411.7196.5915.6191.54表2.比较所提出的方法和相应的基线方法与不同的架构之间的结果方法O C I至MO M I至CO C M到II C M到OHTER（%）AUC（%）HTER（%）AUC（%）HTER（%）AUC（%）HTER（%）AUC（%）BDG-MSSDG-M17.1416.6787.7090.4728.0023.1173.4285.4520.9318.2187.0694.6126.2725.1779.9981.83BDG-RSSDG-R9.527.3893.5297.1712.7810.4494.3895.9412.8611.7193.0696.5916.4615.6191.3991.54我们的框架由PyTorch实现。并采用两种不同的特征生成器结构进行比较。第一种方法将特征生成器与MADDG [33]中定义的特征嵌入器相对于第二个，我们将ResNet-18 [15]的最后一个平均池化层替换为全局池化层（GAP），并使用GAP的所有上述层具体来说，我们在每个特征生成器的顶部添加了一个人脸反欺骗分类器是一个简单的线性模型，具有2节点FC层。域网关包含两个FC层，分别有512和3个节点。在下 文 中 ， 我 们 将 这 两 种 不 同 的 架 构 简 称 为 M和 R（即，、SSDG-M和SSDG-R）。评估指标。根据[33]的工作，我们使用半总错误率（HTER）和面积下曲线（AUC）作为评估指标。此外，还报告了受试者操作特征（ROC）和一些可视化（t-SNE [25]和CAM [32]），以进一步评估性能。4.2. 讨论4.2.1各网络组件我们进行了消融研究，以评估每个组件在不同网络架构 下 获 得 的 性 能 ， 即 ： 单 边 对 抗 学 习 （ 表 示 为SSAD）、非对称三元组损失（表示为三元组）以及特征和权重归一化（表示为范数）。比较结果示于表1中。可以看出，所提出的性能如果移除任何组件，则具有不同架构的方法都降级。比较结果表明，SSDG的各个组成部分对性能的改善都有贡献，并且所有这些组成部分的结合可以达到最佳效果。4.2.2与基线方法的比较我们进一步比较了SSDG方法和相应的基线方法，其目的是为真实和虚假的人脸寻找一个广义的特征空间。具体来说，我们在特征生成器之后添加了另一个域学习器此外，提出的非对称三重损失被替换为两类三重损失，以聚集所有的假面孔以及真正的面孔在一起。在基线方法中采用两种不同的网络结构（分别表示为BDG-M和BDG-R）以进行更多的比较比较结果示于表2中。首先，可以看出BDG-M方法的性能与表5中所示的最先进的MADDG方法[33]的性能相当。在全部测试任务 中 ， 它 们 的 平 均 HTER 结 果 分 别 为 23.09% 和23.05%。这是因为上述两种方法都旨在寻求一个广义的特征空间，不仅为真实的脸，而且为假的。相比之下，我们的SSDG方法优于BDG方法以及MADDG方法在所有测试任务与不同的网络架构，这表明，寻求一个广义的特征空间的假脸是次优的。作为8490表3.特征生成器的两种不同网络架构的比较结果骨干触发次数（G）参数（M）速度（FPS）平均HTER（%）平均AUC（%）基于MADDG的ResNet1847.592.383.3511.1836.40149.1520.7911.2988.0993.81表4.域泛化与有限源域的比较结果，用于面部反欺骗。方法M I至CM到OHTERAUCHTERAUCMS-LBP [26]51.1652.0943.6358.07国际开发协会[39]45.1658.8054.5242.17CT [6]55.1746.8953.3145.16LBP-TOP [9]45.2754.8847.2650.21MADDG [33]41.0264.3339.3565.10SSDG-M31.8971.2936.0166.88(a) BDG-R（b）SSDG-R图5.在O M I to C测试任务下，通过BDG-R方法（a）和SSDG-R方法（b）提取的特征的t-SNE [25]可视化（最佳彩色视图）。方法，以及推广到目标域。图4. Grad-CAM [32] O M I to C下SSDG方法的可视化。第一行显示的是真实的面孔，第二行显示的是假面孔。因此，对于人脸反欺骗任务来说，对真实和虚假人脸应用非对称优化目标是更可行的，这可以得到类边界，更好地推广到不可见的领域。4.2.3建议方法如图4所示，我们采用Grad-CAM [32]来提供我们方法的类激活图（CAM）可视化。它表明，SSDG方法总是关注内部人脸区域来寻找区分性线索，而不是特定于领域的背景，光照等，这更可能很好地推广到看不见的领域。具体来说，对于虚假人脸，我们的方法可以根据不同的攻击关注不同的区域，比如针对人脸的眼睛区域进行切割攻击。此外，如图5所示，我们从四个数据库中随机选择每个类别的200个样本，并绘制t-SNE [25]可视化图，以分析通过SSDG方法和相应的基线BDG方法学习的特征空间可以看出，与BDG方法相比，SSDG方法可以使相比之下，真实人脸的特征分布更紧凑。因此，SSDG可以实现更好的类边界4.2.4有限的源域我们 还评 估我 们的方法时，非 常有 限的源域 可用（即。只有两个源数据库）。具体地，选择MSU和Idiap数据库作为用于训练的源域，并且剩余的两个，即，、CA-SIA和OULU分别被用作测试的目标如表4所示，我们提出的方法实现了最佳性能，这与其他方法相比具有显著的改进。虽然只有两个源域可用，SSDG方法仍然可以迫使假脸的特征分散在特征空间中，这促进了学习一个更广义的类边界看不见的域。4.2.5不同架构的比较如表3所示，我们还比较了特征生成器的两种不同体系结构，即、基于MADDG的网络和基于ResNet18的网络，以评估不同骨干网的效果。具体而言，平均HTER和AUC代表四个测试任务的平均结果。并在256×256图像分辨率的单颗NVIDIA TITAN 1080 GPU上对每种架 构 的 推 理 速 度 进 行 了 测 试 。 可 以 看 出 ， 基 于ResNet18的网络比基于MADDG的网络更适合人脸反欺骗，不仅在准确性方面，而且在速度方面。我们相信，更有效的网络的SSDG方法可以实现更好的性能8491图6.人脸反欺骗领域泛化四个测试任务的ROC曲线表5.比较所提出的方法和国家的最先进的方法领域推广的脸反欺骗的结果方法O C I至MO M I至CO C M到II C M到OHTER（%）AUC（%）HTER（%）AUC（%）HTER（%）AUC（%）HTER（%）AUC（%）MS-LBP [26]29.7678.5054.2844.9850.3051.6450.2949.31二进制CNN [42]29.2582.8734.8871.9434.4765.8829.6177.54国际开发协会[39]66.6727.8655.1739.0528.3578.2554.2044.59颜色纹理[6]28.0978.4730.5876.8940.4062.7863.5932.71LBP-TOP [9]36.9070.8033.5273.1529.1471.6930.1777.61辅助（深度）22.7285.8833.5273.1529.1471.6930.1777.61辅助设备[23]--28.40-27.60---MADDG [33]17.6988.0624.5084.5122.1984.9927.8980.02SSDG-M16.6790.4723.1185.4518.2194.6125.1781.83SSDG-R7.3897.1710.4495.9411.7196.5915.6191.544.3. 与现有技术方法的如表5和图6所示，我们的方法在四个测试任务下优于所有最先进的方法，这证明了SSDG方法的有效性。这是因为除了MADDG之外的所有其他面部反欺骗方法[6，9，23，26，39，42][33]这种方法没有考虑不同域之间的内在分布关系。因此，只能提取数据库偏向的特征，这在跨数据库测试场景的情况下会导致虽然MADDG方法利用DG方法来提取常见的判别线索，但结果表明，为真实和虚假面部两者寻求广义特征空间难以优化，通常导致次优解。由于攻击类型和数据库采集方式的多样性，提取的假人脸特征在特征空间中的分布比真人脸特征更广，因此将不同领域的假人脸特征聚集在一起并不容易因此，我们的SSDG方法应用非对称优化目标的真实和虚假的脸学习一个更一般化的特征空间。此外，它表明，当我们重新排序使用基于ResNet18的网络时，可以进行显著的改进，这表明当SSDG方法与更有效的网络相结合时，可以实现4.4. 结论为了提高人脸反欺骗的泛化能力，提出了一种新的端到端单边域泛化框架。我们的SSDG学习了一个广义的特征空间，其中真实人脸的特征分布是紧凑的，而假人脸的特征分布是分散在域中的。这与现有的对称处理真实和虚假人脸的方法有很大的不同。为了实现这一大量的实验表明，我们的SSDG是有效的，并取得了国家的最先进的结果在四个公共数据库。总之，我们的工作意味着真实面孔和虚假面孔的分布确实不同，因此表明不对称地处理它们可以导致对未知领域的更好的泛化能力其他可能的非对称设计可以在未来进一步探索，例如，根据攻击类型而不是数据库来划分假面孔。确认本工作得到了国家重点研发计划（2005年）的部分支 持 & 。 2017YFA0700800 ） 和 国 家 自 然 科 学 基 金（Nos. 61806188、61772496）。8492引用[1] Kei Akuzawa，Yusuke Iwasawa，and Yutaka Matsuo.基于精度约束的自适应不变特征学习在领域泛化中的应用.arXiv预印本arXiv：1904.12543，2019。[2] 还有雷·安乔斯，穆拉利·莫汉·查卡，塞巴斯蒂安·马赛尔.人脸识别中基于运动的照片攻击对策Biometrics IET，第147-158页[3] Yousef Aiden ， Yaojie Liu ， Amin Jourabloo ， andXiaoming Liu. 使用补丁和基于深度的cnns的人脸反欺骗在国际生物识别联合会议（IJCB），第319-328页[4] 魏豹，洪丽，南丽，魏江。一种基于光流场的人脸活性检测方法。图像分析和信号处理国际会议（IASP），第233-236页，2009年[5] Zinelabidine Boulkenafet、Jukka Komulainen和AbdenourHadid。使用加速鲁棒特征和fisher矢量编码的人脸反欺骗。信号处理快报（SPL），第141-145页[6] Zinelabidine Boulkenafet、Jukka Komulainen和AbdenourHadid。基于颜色纹理分析的人脸欺骗检测Transactionson Information Forensics and Security（TIFS），第1818-1830页[7] Zinquiinde Boulkenafet ， Jukka Komulainen ， Lei Li ，Xiaoyi Feng，and Abdenour Hadid.Oulu-npu：一个具有真实世界变化的移动人脸呈现攻击数据库在关于自动面部手势识别（FG）的国际会议上，第612-618页IEEE，2017年。[8] 我叫程奥维斯卡，安德烈安乔斯，还有塞巴斯蒂安马塞尔。局部二值模式在人脸反欺骗中的有效性研究。在国际生物识别特别兴趣小组会议（BIOSIG），第1-7页[9] 蒂亚戈·德·弗雷塔斯·佩雷拉、尤卡·科穆莱宁、安德烈·安霍斯、何塞·马里奥·德·马蒂诺、阿卜杜勒·哈迪德、马蒂·皮耶蒂·凯伊宁和塞巴斯蒂安·马塞尔。利用动态纹理进行人脸检测EURASIP Journal on Image and VideoProcessing，第2页，2014年。[10] 邓健康，贾国，薛念南，Stefanos Zafeiriou。Arcface：用于深度人脸识别的附加角度余量损失。在计算机视觉和模式识别会议中，第4690-4699页[11] J a vierGalball y，Se'bastienMarcel，andJulianFierrez. 虚假生物特征检测的图像质量评估：应用于虹膜，指纹和人脸识别。Transactions on Image Processing（TIP），第710-724页[12] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无 监 督域 自 适 应 。arXiv 预 印 本arXiv ： 1409.7495 ，2014。[13] Muhammad Ghifary ， W Bastiaan Kleijn ， MengjieZhang，and David Balduzzi.用多任务自动编码器进行对象识别的域泛化在计算机视觉和模式识别会议中，第2551- 2559页[14] Diego Gragnaniello，Giovanni Poggi，Carlo Sansone，and Luisa Verdoliva.局部描述符的研究生物欺骗检测。Transactions on Information Forensicsand Security（TIFS），第849-863页[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在计算机视觉和模式识别会议（CVPR）中，第770-778页[16] Amin Jourabloo，Yaojie Liu，and Xiaoming Liu. Face de-spoofing：通过噪声建模反欺骗。在欧洲计算机视觉会议（ECCV），第290-306页，2018年。[17] Klaus Kollreider，Hartwig Fronthaler，Maycel Isaac Faraj和Josef Bigun。实时人脸检测和运动分析及其在“活性”评估中的应用。Transactions on Information Forensicsand Security（TIFS），第548- 558页[18] Haoliang Li，Sinno Jialin Pan，Shiqi Wang，and Alex CKot.领域泛化与对抗性特征学习。在计算机视觉和模式识别会议（CVPR），第5400-5409页[19] Haoliang Li，Wen Li，Hong Cao，Shiqi Wang，FeiyueHuang，and Alex C Kot.用于人脸防欺骗的无监督域自适应。Transactions on Information Forensics and Security（TIFS），第1794-1809页[20] Siqi Liu，Pong C Yuen，Shengping Zhang，and GuoyingZhao. 3D面具脸反欺骗与远程光电体积描记术。在欧洲计算机视觉会议（ECCV），第85-100页[21] Si-Qi Liu，Xiangyuan Lan，and Pong C Yuen.用于3d面具人脸呈现攻击检测的远程pho- toplethysmography对应特征在欧洲计算机视觉会议（ECCV），第558-573页[22] 刘未央，温延东，余智定，李明，拉吉比丘，宋乐Sphereface：用于人脸识别的深度超球面在计算机视觉和模式识别会议（CVPR），第212-220页[23] Yaojie Liu，Amin Jourabloo，and Xiaoming Liu.学习面部反欺骗的深度模型：二进制或辅助超视。在计算机视觉和模式识别会议（CVPR），第389-398页[24] 刘耀杰，乔尔·斯特豪沃，阿明·朱拉布鲁，刘晓明。深度树学习用于零拍摄面部反欺骗。在计算机视觉和模式识别会议（CVPR）上，第4680-4689页[25] Laurens van der Maaten和Geoffrey Hinton使用t-sne可视化 数 据 。 Journal of Machine Learning Research（JLMR），第2579-2605页[26] JukkaMaéaéttaé、AbdenourHadid和MattiPietik aéinen。基于微纹理分析的单张图像人脸欺骗检测。在国际生物识别联合会议（IJCB），第1-7页[27] Saeid Motiian 、 Marco Piccirilli 、 Donald A Adjeroh 和Gianfranco Doretto。统一的深度监督域自适应和泛化。在计算机视觉和模式识别会议（CVPR），第5715-5725页[28] 潘刚，孙林，吴朝晖，劳世宏。基于眨眼的反欺骗人脸识别从一个通用的网络摄像机。计算机视觉国际会议（ICCV），第1-8页，2007年8493[29] Keyurkumar Patel，Hu Han，and Anil K Jain.安全面部解锁 ： 智 能 手 机 上 的 欺 骗 检 测 .Transactions onInformationForensics and Security（TIFS），pages 2268[30] 秦云霄，赵晨旭，朱翔宇，王泽正，于梓潼，付天宇，周峰，石静平，雷震。学习Meta模型的零和少数镜头面对反欺骗。arXiv预印本arXiv：1904.12490，2019。[31] Rajeev Ranjan，Carlos D Castillo，and Rama Chellappa.L2约束的softmax损失用于区分性人脸验证。arXiv预印本arXiv：1703.09507，2017。[32] Ramprasaath R Selvaraju，Michael Cogswell，AbhishekDas，Ramakrishna Vedantam，Devi Parikh，and DhruvBatra.Grad-cam：通过基于梯度的定位从深度网络进行视觉解释。在国际计算机视觉会议（ICCV），第618-626页[33] Rui Shao，Xiangyuan Lan，Jiawei Li，and Pong C Yuen.用于人脸呈现攻击检测的多对抗判别式深域在计算机视觉和模式识别会议（CVPR）上，第10023-10031页[34] 孙林，潘刚，吴朝晖，劳世宏。基于条件随机场的眨眼活体人脸检测在国际生物识别会议（ICB），第252-260页[35] Antonio Torralba，Alexei A Efros，等.无偏倚地看数据集偏倚。在计算机视觉和模式识别会议（CVPR），第7页，2011年。[36] Xiaoguang Tu，Hengsheng Zhang，Mei Xie，Yao Luo