基于光流和纹理分析的人脸攻击检测方法研究-沙特国王大学学报.

沙特国王大学学报基于光流和纹理分析的人脸呈现攻击检测李磊a，夏兆强b，刘伟，吴军c，杨磊d，韩慧建aa山东财经大学计算机科学与技术学院b西北工业大学电子信息学院c安徽大学安徽省信息材料与智能传感实验室d山东农业大学信息科学与技术学院阿提奇莱因福奥文章历史记录：收到2021年2022年2月17日修订2022年2月17日接受2022年3月5日在线发布保留字：面部PAD生物识别光流和纹理分析深度学习A B S T R A C T针对虚假人脸给人脸识别系统带来的安全威胁，人们提出了许多对抗虚假人脸的措施，并取得了良好的效果，其中人脸运动是常用的线索之一。然而，在这些方法中，运动提示中更详细和可区分的信息没有被很好地探索。此外，用于面部呈现攻击检测（PAD）的纹理线索也没有很好地集成到运动中。因此，我们提出了一种检测方法，通过分析面部运动和纹理的线索。更具体地，首先提取连续视频序列的光流，其可以描述详细的运动方向和运动幅度。然后，将提取的光流与视频帧级联作为网络的输入在此基础上，区域和通道的注意机制联合引入自适应分配的分类权重。最后，融合的运动和纹理线索被送入一个卷积网络提取特征，并识别输入的视频序列是否来自活的人脸。在Replay-Attack、OULU-NPU和HKBU-MARs V1数据库上对该方法进行了测试。实验结果表明，我们提出的人脸PAD方法可以很好地分离各种类型的假脸相比，国家的最先进的方法。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍随着计算机视觉技术的发展，人脸识别已成功应用于各种授权验证系统（Akhtar et al.，2012; Wen等人，2015年;Mr. 2020; Taskiran等人，2020年）。例如，印度政府援引唯一身份认证系统来登记所有印度居民的个人身份。这种识别系统消除了用户输入复杂数字的需要或图形密码，用户只需将脸放在一个摄像头前即可完成身份验证。然而，这种便利的背后存在着潜在的安全漏洞，严重威胁着用户的隐私和财产安全。 更具体地说，这些人脸识别系统很容易被假脸愚弄（Li et al.，2014; Omar等人，2015），也就是说，黑客可以通过使用诸如用户的面部照片、视频等的假面部来入侵这些系统。此外，社交网络的快速发展使得难以进一步控制共享的面部*通讯作者。电子邮件地址：zxia@nwpu.edu.cn（中）Xia）。图像.例如，一款名为Tiktok的应用程序允许用户上传面部照片，并生成带有眨眼和微笑的视频。此视频一经发布，其他用户无需上传者授权即可随意下载。考虑到这些安全威胁，需要开发有效的虚假人脸检测方法来保护我们的财产和隐私。人脸呈现攻击是指黑客利用伪造的人脸入侵人脸识别系统的行为。根据不同的制造技术，这种虚假面部攻击可以分为四种不同的类别：打印照片、显示图像、重放视频和3D面部面具（Li等人， 2019年）。在第一种类型的攻击中，面部照片由2D打印机打印，然后在相机传感器前持有或佩戴。对于显示图像攻击，攻击者使用电子显示设备（例如，液晶屏）以显示面部图像。这两种攻击模式通常不包含任何活体信号，但具有类似于活体面部的纹理属性。关于重放视频攻击，具有眨眼和表情变化的面部视频由相机记录，并且变得比打印和显示的攻击更难被检测到。在3D面具攻击中，使用3D打印或倒置模具技术来制造具有深度和纹理的面具https://doi.org/10.1016/j.jksuci.2022.02.0191319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comL. Li，Z. Xia，J. Wu等人沙特国王大学学报1456信息作为活的。 从左到右，图。 1显示了打印、重放和3D掩码攻击的示例。对于面部呈现攻击，在过去的十年中已经提出了许多检测方法（Li等人，2018; Chingovska等人，2012; Erdogmus和Marcel，2013;Boulkenafet等人，2015;Zhang等人，2012; Li等人，2016年; Li等人，2018年; Li等人，2020年）。在这些检测方法中，真实人脸和虚假人脸之间的纹理和运动差异是最常用的两种线索。这主要是由于在制造过程中物理设备的不完善造成的纹理模糊和假面孔中缺乏生命信号。然而，这些方法没有利用微动差。例如，为了使用运动提示，Zhao et al. （2017）通过计算纹理变化差异来检测人脸呈现攻击，而Xu et al. （2015）调用LSTM网络通过卷积神经网络（CNN）提取特征差异。在这两种方法中，仅利用由运动引起的外部纹理差异。实际上，对于面部PAD，存在几种有效的内在运动线索：（i）在面部区域中，活体面部具有活体信号（例如，眨眼和表情变化）;（ii）在背景中，当攻击发生时，所使用的介质会抖动，导致部分背景与面部区域一起抖动（Anjos和Marcel，2011）。 如图所示。2、描述运动方向和强度的人脸和假人脸的光流呈现不同的数值。此外，如前所述，纹理是面部PAD的另一个关键线索。因此，本文提出了一种基于分析和结合运动和纹理线索的人脸PAD方法。更具体地说，在我们提出的方法中，首先提取连续的视频序列来描述运动方向和强度。然后，原始彩色图像的纹理信息和光流级联作为融合的纹理和运动线索。此外，考虑到不同区域和不同通道对识别结果的影响不同，分别引入局部和通道注意机制来解决权值分配问题。最后，使用具有Softmax损失函数的CNN来分析纹理和光流特征，并分类输入视频序列是否来自活体人脸。本文的主要贡献如下：1. 与以前的人脸PAD方法只使用运动或纹理线索不同，我们提出的检测方法使用更详细的运动方向和强度差异来区分真实和虚假的。此外，还将纹理信息与运动线索进一步融合，以提高提取特征的表达能力。2. 由于不同的区域和通道对分类结果的影响不同，在将融合张量输入CNN网络之前，引入区域和通道注意机制，分别自适应地分配不同区域和通道的权重。3. 最后通过三个最近的具有挑战性的人脸PAD数据库对所提方法进行了验证，并与现有方法进行了对比实验，结果表明了所提方法的有效性.论文的其余部分组织如下：第2节回顾了现有的方法，人脸呈现攻击检测。第三部分介绍了我们提出的基于光流和纹理分析的检测方法。第4节给出了所用数据库和实验方案的详细信息。第5节分析了获得的分类结果。第6节总结了本文，并讨论了未来工作的一些方向。2. 相关工作2.1. 基于纹理线索的方法在2D欺骗攻击中，假面孔通常通过纸张或电子显示器呈现。然而，这些图1.一、几种不同的假面孔。图二、 可视化深光流（Weinzaepfel等人， 2013），其中不同的颜色指示不同的运动方向和强度。L. Li，Z. Xia，J. Wu等人沙特国王大学学报1457设备将导致假面孔的退化，例如模糊的纹理。因此，可以通过计算真实人脸和虚假攻击之间的纹理差异来检测虚假人脸攻击因此，Määttä et al. （2011）和Chingovska et al.（2012）提取局部二进制模式（LBP）的变化来捕获纹理线索。在另一项工作中，为了描述纹理的 色 差 ， Boulkenafet et al. （ 2015 ） 和 Boulkenafet et al.（2016）提出了一种通过在RGB，HSV和YCbCr颜色空间中串联LBP特征的面部PAD方法。 除了使用LBP纹理特征，Agarwal et al.（2016）提出提取Haralick的特征来表示纹理线索。自学习特征也被提取用于人脸反欺骗。特别是随着深度学习技术的发展，提出了许多基于自学习的纹理检测方法例如，考虑到深度学习和手工制作功能的优势，Li等人。（2018）从卷积过滤结果计算传统LBP特征而不是只使用分类损失，孙等人。（2020）使用局部三元标签超视觉训练面部PAD的CNN，并报告了有希望的结果。 Liu等人（2019）开发了一种具有树结构的新型网络，将欺骗样本划分为高级语义子组，并使用分类监督和逐像素监督来更新参数。通过改进传统的LBP特征，Shu等人（2021）提出了一种称为LDP的新型纹理描述符来捕获纹理线索。为了在面部分析中使用颜色线索（Mrsabi等人，2021）和放大颜色纹理差异，Li等人。（2020）提出了一种紧凑的网络，其中可以更容易地检测到假面孔。Alshaikhli等人（2021）将具有空间和通道注意力机制的Resnet-50引入面部PAD，并获得了有希望的性能。这些基于纹理分析的方法可以在使用质量较差的虚假人脸的攻击中表现出令人满意的检测性能，例如，粗糙面结构。但在处理高清打印机或显示屏打印的假面孔时，系统性能会大大下降。2.2. 基于运动提示的方法与打印或显示的面部欺骗相比，真人面部比静态照片具有可区分的运动信息。在此基础上，运动线索可以用来检测静止的假面孔。例如，在无向条件随机场框架中，Pan等人（2007）开发了基于分析输入视频序列是否具有眨眼信号的检测方法。考虑到表达引起的纹理变化，Pereira等人（2012）和Phan等人（2016）提取了LBP-TOP和LDP-TOP特征来分别描述这种纹理变化。在另一项工作中（Tirunagari等人，2015）中，使用动态模式分解算法来分解面部肌肉的抽动模式。深度学习也被用于从面部视频中学习运动特征。例如，Xu et al.（2015）首先使用CNN从视频帧中提取特征，然后将它们作为长短记忆网络（LSTM）的输入来计算特征变化。除了LSTM之外，常用的3D CNN也已经在面部PAD中开发（Li等人，2018年）。Rehman等人（2020年）使用监督CNN分类器检测呈现攻击，该分类器由视差层组成，用于学习动态视差图。对于脉搏的活性信号，Li et al. （2017）提出了一种通过从人脸视频中估计脉冲来检测人脸的方法。同样使用脉冲分析，Heusch和Marcel（2018）提出了一种基于长期频谱统计的方法，用于准确描述实时人脸视频中的脉冲。虽然这些方法可以有效地应对静态照片或面具攻击，但当攻击者在摄像头前重放人脸视频时，它们仍然很容易被愚弄。2.3. 图像质量分析方法针对虚假人脸的图像或视频往往图像质量较低、清晰度不高的问题，提出了一些基于图像质量分析的检测方法。例如，Zhang et al.（2012）和Li et al.（2016）使用DoG滤波器和学习的特征映射函数分别从清晰和模糊的人脸图像中提取不同的频率分量除了分析高频信息外，纹理中缺失的细节和锐度也可以描述图像质量线索。因此，Pinto et al. （2015）提出了一种通过分析低层特征的人脸反欺骗方法。在Wen等人（2015）中，四个图像质量线索（即，镜面反射、模糊度、色矩和颜色多样性）被用于打印和重放攻击检测。为了更准确地描述图像质量，使用定量图像质量评估协议来描述图像质量（Galbally等人， 2014年）。考虑到假脸通常显示低纹理质量，提取不需要参考图像的图像质量特征和密集光流特征并将其组合用于脸PAD（Feng等人， 2016年）。Daniel和Anitha（2021）通过联合利用基于熵的纹理和质量特征来检查不同的假面孔基于图像质量分析的人脸PAD方法在检测低分辨率印刷照片攻击或粗糙人脸面具时表现出令人满意的性能。但是，作为基于纹理线索的方法，它们很可能会失败的高质量的假面孔。2.4. 硬件方法除了直接从可见相机传感器提取特征之外，还可以使用附加的或非常规的硬件（例如，多光谱、深度和光场照相机）也可用于捕获更多可区分的信息。例如，Erdogmus和Marcel（2013）和Zhou等人（2019）通过计算捕获的面部图像是否具有深度信息来检测面部欺骗。在其他的工作中，近红外（NIR）所捕获的反射图被应用于检测虚假人脸.最近，Jiang等人（2019）将可见光和NIR图像连接起来，并将它们输入到人脸反欺骗CNN模型中。在另一种检测方法中，Mohamed et al.（2019）提出从可见光和近红外图像对中提取LBP特征。 由于光场摄像机允许从单次捕获中利用视差和深度信息，Singh 等 人 （ 2019 ） ， Zhang 等 人 （ 2019 ） ， Weitzner 等 人（2019）。（2020）使用这种相机来检测面部欺骗。尽管这些基于硬件的PAD方法可以实现比仅使用可见光图像更好的性能，但其中一些方法在某些条件下仍然存在操作限制。3. 提出的人脸呈现攻击检测方法如前所述，在真人和假面孔之间存在不同的运动模式在此基础上，我们提出了一种基于运动和纹理线索的人脸PAD方法。图 3给出了该方法的主要结构，主要由四个模块组成：图像序列、光流和纹理、注意力模块和CNN网络。该方法首先计算图像序列的光流场，并将光流场与序列的第一幅图像连接起来，光流场可以描述运动的方向和强度以及纹理信息。然后，考虑到不同的空间区域和通道对分类结果的权重不同，在注意模块中引入区域注意机制和通道注意机制，分别对不同区域和通道的权重进行L. Li，Z. Xia，J. Wu等人沙特国王大学学报1458我ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffið Þ¼þ¼×！！.X.X我0××第一不JJ22TJR22¼ωωSI我我图三.提出了基于光流和纹理分析的人脸PAD方法的体系结构，它由四个模块组成：图像序列、光流和纹理、注意力模块和CNN网络。在该架构中，I/P和O/P分别表示特征映射的输入通道维度和输出通道维度，Conv是卷积层的缩写。最后，将注意力结果输入CNN网络，以提取特征描述并分类图像序列是否从活体面部捕获。3.1. 光流和纹理模块为 了 描 述 运 动 的 方 向 和 强 度 ， 我 们 使 用 DeepFlow 算 法（Weinzaepfel等人，2013）以从连续图像序列中提取光流。设I1;I2;. . . ;Ii;. . . I可以是真人或假面孔的图像序列其中m表示图像序列的长度，并且I i：X！re为在X上定义的第i个图像，具有c个通道。分别提取第一幅图像与序列中其他图像之间的光流。它们被表示为x1;x2;. 。 . ;xi;. . . ;xm-1g，其中x是 表示I1和I1之间的光流。在计算过程中，目标是估计-mate的流X！ R2.As示在Weinzaepfel等人（2013）中，x的能量为 需要优化的是数据项E D、平滑项E S 和对于匹配项EMi，其基于等式（1）计算四、EM¼c/Wkxi-x0ik24x0i 是xi的预先计算的向量场;cx是二进制项，当且仅当在x处匹配可用时，它等于1，并且/x表示每个点x处的匹配x0ix。对DeepFlow算法进行了较为详细Weinzaepfel et al.（2013）.在光流提取之后，连续序列的第一颜色帧与它们连接，表示为S1/4fI1;x1;x2;。 . . ;xm-1g，如图所示。 四、3.2. 关注模块如前所述，纹理和光流的不同区域和通道对真实人脸和虚假人脸的识别应该具有不同的例如，由于打印机或显示设备的不完善而导致的纹理差异应主要体现在面部区域;我匹配项EMi：关于光流，由于印刷面没有活体信号，假脸的较慢的光流通道EwiZEDiaESibEMidx1其中鲁棒惩罚器Ws2ps2s2与s0： 001用于三个项，x表示图像中的一个点（Brox和Malik，2010）。关于a和b，它们是调谐参数，可以根据大量视频上的定性证据手动确定，或者从地面自动估计真实数据（Brox和Malik，2010; Sun等人， 2008年）。对于数据项EDi，它是具有归一化因子的颜色和梯度恒定性假设的单独惩罚，如等式（1）所示二、应具有较高的权重，而活面孔的较快光流通道应具有较高的权重。因此，在输入模块和CNN之间分别引入了区域和通道注意机制。对于区域注意机制，它自适应地为不同的图像区域分配如图3所示，它主要由三个级联的Conv ReLU池化块和一个上采样层组成。在每个块的Conv层中，所有内核的大小设置为3 3，卷积步长设置为1。经过这三个区块之后，特征图的大小将会缩小到1=原始大小的8，这意味着原始CEDi ¼ dW第1页xT<$Jjxi！C西第1页xT<$Jjxi！ð2Þ输入图像将从192 192减少到24 24。因此，使用具有双线性插值的上采样层将卷积块的输出放大到192×192，其中，jj1/4r3Gx1/4rG=1/4r2Gk f还可以防止反卷积的棋盘效应随我去吧XYJ223x x3y为区域注意机制的输入，WR为输出表示第j个信道l，Gx和Gy的归一化是图像Ii分别相对于x和y轴的导数，并且31/4 π@x;@y;@tπT是时空梯度。关于平滑项ESi，它是鲁棒惩罚的梯度流范数，如等式中所示3 .第三章。E ^^^上采样层。具有区域权重的经处理的图像可以被写为OR IR WR，其中是矩阵的点积。关于信道注意机制，输入数据的不同信道被分配不同的权重。例如，当识别打印照片攻击时，运动速度应该有更高的权重，而光流XL. Li，Z. Xia，J. Wu等人沙特国王大学学报1459！！××××××XWXWXWNX见图4。 将序列的光流和第一个图像的颜色纹理连接起来。具有快速运动速度的实时面部具有更高的权重。此外，该模块的输入融合了纹理线索和运动线索，不同的线索对识别结果也有不同的影响。除了自适应地分配不同光流通道的权重外，通道注意力还可以有效地融合运动和纹理线索。与区域注意机制不同，渠道注意机制需要拟合与输入渠道维度一致的输出权重。更具体地说，它包含6个级联的Conv ReLU池化块和一个全连接（FC）层，其中FC层的维度等于m×2。令IC是信道注意机制的输入，WC是FC层的输出。在FC层之后，Softmax用于计算每个通道的权重，如等式10所示。五、W0 1/2ewc;ewc2... . ;ewcm2 ]的一种卷积块作为注意力模块。在第一块中，使用滤波器大小为3的卷积层3364和一个ReLU层处理注意力模块的输出。 然后，通过最大池化层将特征图池化，以降低空间维度并扩大感受野。以这种方式重复五次，最终池化层输出大小为3 3 256的最终特征图。对于人脸PAD，其实质是对输入的图像序列进行分类，是从一张活生生的脸上捕捉到的。因此，在最终池化层之后，引入具有两个神经元的FC层（表示为P）以降低特征维度。值得一提的是，所有卷积滤波器的大小被设置为3× 3，允许具有低数量参数的模块（Sajjadi等人，2017年）。CNN网络更详细的配置参数如表1所示。在训练阶段，最常用的Softmax损失Cm2eckk¼1m2eckk¼1m2eckk¼1ð5Þ函数被调用来测量分类误差（Parkhi等人，2015），它可以最大限度地提高正确类的概率，并基于back的算法更新网络参数其中wc克雷奇是WC的第k个元素。所述被处理的图像传播（BP）（Chauvin和Rumelhart，1995年），如图所示，信道权重可以写为OC1/4ICωW 0C。关于区域关注机制和渠道关注的处理机制，需要根据当量六、Xeak实验分析L¼ -k¼1fyklogNeakk¼12016年6月3.3. CNN网络作为近年来机器视觉领域的关键技术，细胞神经网络（CNN）被用于融合运动和纹理信息从数据中提取特征。在CNN网络中，它还包括串行其中N是需要分类的类的数量（此处是训练样本的独热标签的第k个值，并且ak表示FC层的第k在测试阶段，我们对输入图像序列I^fI1;I2;进行分类。 . . G基于表1CNN网络的详细配置参数，它由六个Con v！ReLU！池化数据块，一个FC层和一个Softmax层。电话：+86-21 - 8888888传真：+86-21 - 88888888type Conv ReLU mPool Conv ReLU mPool Conv ReLU mPool Convfiltersize<$3;3]过滤器调光3numfilts 64步幅1/2;2]1/2;2]1/2 ;2]1/2;2]1/2 ;2]1/2;2]1/2垫1/2;1]001/2;1]001/2;1]001/2;1]电话：+86-510 - 8888888传真：+86-510 - 8888888类型ReLU mPool Conv ReLU mPool Conv ReLU mPool FC Softmax过滤器大小num filts垫0 0½1;1]0 0½1;1]0 0 00L. Li，Z. Xia，J. Wu等人沙特国王大学学报14601/4fgð·Þð·Þð·Þð·Þ¼ð·Þð·Þð 布里 尔×××基于FC层的神经元输出的概率值。所提出的人脸呈现攻击检测方法的实现细节在算法1中示出。算法1我们提出的人脸PAD方法输入：视频序列I I1;I2;... ;Im;单热标签Y;初始化注意力模块A;初始化CNN网络S;迭代次数N;输出：分类结果P;1：提取第一帧I1; 2：对于I1/2至I1/2，3：计算I1和I1之间的光流x1- 1;4：结束5：将视频帧与光流图像连接为S¼fI1;x1;. . . ;xm-1g;6：对于i1至N，7.将S输入到A和S中，得到预测结果P;8：计算等式的Softmax损失P和Y之间的5;9：使用反向传播算法更新A和S的10：结束11：返回P3.4. 实现细节在训练阶段，我们提出的方法的参数首先使用（He et al.，2015年，如图所示，在Eq。7，这可以使卷积响应具有相似的分布，也有利于提高收敛速度。和HKBU-MAR的数据库包含此类攻击。因此，在评估显示图像攻击和3D掩模攻击时，仅4.1.1. 重放攻击IDIAP重放攻击数据库1（Chingovska等人，2012年发布的《2012年》由1300个视频剪辑组成，这些视频剪辑取自50名男性和女性的真人和假面孔。随着数据库的发布，视频被预先划分为三个主题不相交的子集，用于训练，验证和测试。在拍摄阶段，将受控和不利的光照条件视为不同的环境.对于不同类型的假面孔，打印的照片（打印在A4纸上），显示的图像（显示在iPhone 3GS上）和重播的视频（在iPad上播放）被用来攻击生物识别系统。真实和假面孔的样本如图所示。 五、4.1.2. OULU-NPUOULU-NPU数据库2（Boulkenafet等人，2017年发布，用于手机人脸识别系统的安全性。 在OULU-NPU，有4950个视频剪辑的生活和假面孔，55个人。在OULU-NPU数据库中，所有客户被随机分为3个主题不相交的子集（分别为20，15和20）进行培训，开发和测试。由于手机摄像头的质量和各种使用环境的不一致性，六种不同的移动设备（即，三星Galaxy S6边缘，HTC Desire EYE，魅族X5，华硕Zenfone Selfie，索尼XPERIA C5 Ultra Dual和OPPO N3）在三个会议中用于记录原始现场样本并呈现重播的假样本。除了重放的攻击，两个打印机打印的假面孔也被考虑在内。 图 6可视化了一些真实和虚假人脸图像的样本。4.1.3. 香港浸会大学-MARs V1HKBU-MARs V1数据库3（Liu等人， 2016年发布的）是一个具有挑战性的3D面罩攻击数据库。代替兰特1/4p200=1/4p200=1/4p200=1/4p200=1/4p200ð7Þ常见的2D呈现的攻击，它包含来自8个人和面具的120个视频为了增加掩模的复杂性，它们由两种不同的工艺制成。更具体地说，其中，rand·样本来自零均值和单位标准品导数，高斯函数，并且 nl是卷积层中的输入的信道数量。随机梯度下降（SGD）算法被用来更新 W1。动量和重量衰减分别设置为0.9和0.0005。为了确保稳定--为了保证算法的收敛性，将学习率设为10- 4，并将所有样本随机地重新分配到小批量中。在馈入网络之前，序列的帧大小被归一化为224 224 3，范围从0到1。我们提出的人脸PAD方法是使用Pytorch1.5.0版本的工具箱实现的，并在RTX 2070 S上运行。我们提出的方法的代码将在https://github.com/lileiNPU/SpoofingOpticalFlowAnalysis上提供。4. 实验装置4.1. 实验数据如前所述，假脸攻击可以分为四种不同的类型：打印照片，显示图像，重放视频和3D面具。在公开的数据库中，重放攻击，OULU-NPU和HKBU-MAR包含常用的各种假面孔。因此，我们选择了三个数据库来测试我们提出的方法，并与最先进的性能进行比较。然而，对于显示图像攻击和3D掩码攻击，只有偿还攻击数据库，由Thatsmyface制成，质量较差，2个面具由REAL-F制成，质量良好。在拍摄阶段，Logeitech C920网络摄像机具有1280720分辨率用于捕获在室内照明条件下进行视频采样。图7示出了具有不同质量的活体面部和面罩的一些示例。4.2. 评价方案在性能评估方面，检测结果根据标准化的ISO/IEC 30107-然而，与FAR和FRR不同，攻击者的潜力（即，BPCER和APCER还考虑了“最坏情况”下攻击者的专业知识、资源和动机）。为了比较系统的整体性能与一个单一的价值指标，平均分类错误率（ACER），这是BPCER和APCER之和的一半，在实验中使用。值得注意的是，这些指标对不平衡的数据不敏感，并且在现有的研究中被广泛使用。1https://www.idiap.ch/dataset/replayattack/download-proc。2https://sites.google.com/site/oulunpudatabase/welcome。3http://rds.comp.hkbu.edu.hk/mars/W1L. Li，Z. Xia，J. Wu等人沙特国王大学学报1461图五、重播攻击数据库中的真人和假面孔第一行和第二行分别来自受控和不利情景从左到右：实时面孔和打印的照片，显示的图像和重播的视频。图六、OULU-NPU数据库中的真人和假面孔从左到右：实时面孔和打印照片，打印照片，重播视频和重播视频。图7.第一次会议。香港浸会大学-MARs V1资料库内的真人面孔及3D面具从左列到右列：活面孔、活面孔和3D面具。对于掩模样品，第一个质量较差，第二个质量较好5. 实验结果与讨论在本节中，我们报告并讨论基于光流和纹理分析的检测的法首先，我们的方法在常见的2D假脸攻击（即，打印照片攻击、显示图像攻击和重放视频攻击）。然后，所提出的系统的性能进行比较，以国家的最先进的PAD算法。最后，L. Li，Z. Xia，J. Wu等人沙特国王大学学报1462我们验证了所提出的算法对3D掩码攻击的性能。5.1. 打印照片攻击如前所述，我们提出的方法主要包括光流和纹理融合模块，注意力模 块和 CNN 网络 模块 。因此 ，在 印刷 照片攻 击的 测试阶 段APCER、BPCER和ACER的评价方案见表2。从表中可以清楚地发现 ， 不 同 颜 色 空 间 的 纹 理 图 像 对 算 法 性能 的 影 响 较 大 ， 这 与Boulkenafet等人的结论一致。（2016年）。例如，对于没有通道注意机制（CA）或区域注意机制（RA）的基本CNN，在HSV颜色空间中获得的重放攻击数据库的最佳ACER为0： 82%，并且超过YCbCr颜色空间的检测误差的一半考虑到打印机的打印色域的分布，颜色空间的有效性实际上是由打印机的颜色不完美造成的 图 8将整个托盘的可见颜色与打印机和显示器进行比较。在信道注意和区域注意机制方面，它们可以有效地提高检测算法的性能。例如，通过具有区域注意机制的CNN获得重放攻击数据库的最佳ACER，其等于0： 72%。在OULU-NPU数据库上，最佳ACER为2：49%，使用区域和通道注意机制获得CNN。与基本CNN相比，注意机制分别使ACER降低了57： 9%和10： 4%。值得注意的是，Replay-Attack数据库和OULU-NPU数据库的最佳ACER不是通过相同的机制获得的。然而，根据平均ACER协议，HSV颜色空间中具有RA和CA机制的基本CNN适用于检测打印照片攻击。此外，注意机制的不同顺序也会影响检测结果。例如，在HSV颜色空间中具有CA和RA机制顺序的CNN的平均ACER是1： 98%，而在HSV颜色空间中具有RA和CA机制顺序的CNN的平均ACER是1： 79%。 图 9可视化了活面孔的区域注意力图，见图8。显示器（RGB）和打印机（CMYK）的色域与可见颜色的整个调色板相比（Boulkenafet等人， 2016年）。OULU-NPU数据库的打印假面孔。从光流注意图中可以发现，活体人脸在人脸和身体区域具有较高的权重，而印刷假人脸在背景区域具有较高的权重，这表明活体人脸和印刷假人脸之间的运动差异主要体现在具有活体信号的区域。图10示出了输入的融合纹理和光流图像的对应通道注意力权重。在这些权重中，第三通道（即，HSV颜色空间的V通道）具有更高的权重，这意味着颜色纹理对于检测虚假面部是重要的5.2. 显示图像攻击在这一部分中，我们提出的方法对显示图像攻击的有效性进行了评估重放攻击数据库。与印刷照片攻击的测试一致，分别评估了具有或不具有注意机制的基本CNN以及不同颜色空间的影响。表3详细呈现了所获得的APCER、BPCER和ACER协议。从不同颜色空间下的实验结果可以看出，HSV颜色空间能更好地体现人脸与显示图像之间的颜色差异。更具体地，在HSV颜色空间中，所有模式的ACER为2： 06%; 1：6%; 2： 08%; 1： 39%和0： 16%。与RGB和YCbCr颜色空间相比，这些ACER此外，对于不同颜色空间的纹理图像的拼接，我们发现直接拼接不同颜色空间的纹理图像并不能有效地提高算法的性能，反而会增加算法的表2对Replay-Attack和OULU-NPU数据库的打印照片攻击的APCER（%）、BPCER（%）和ACER（%）进行了测试，其中CA和RA分别表示通道注意机制和区域注意机制模式重放攻击OULU-NPU平均APCERBPCER宏碁APCERBPCER宏碁宏碁CNN + RGB1.470.691.083.121.992.561.82CNN + HSV0.880.770.823.921.642.781.80CNN + YCbCr2.940.481.713.061.992.532.12CNN + RGB + HSV + YCbCr1.030.690.863.801.522.661.76CNN + CA + RGB1.760.401.082.943.283.112.10CNN + CA + HSV1.030.890.964.351.873.112.04CNN + CA + YCbCr1.910.651.283.492.813.152.22CNN + CA + RGB + HSV + YCbCr0.880.930.903.612.583.092.0CNN + RA + RGB2.500.691.594.042.463.252.42CNN + RA + HSV1.320.560.943.311.992.651.80CNN + RA + YCbCr1.910.481.202.943.042.992.10CNN + RA + RGB + HSV + YCbCr0.880.560.723.313.283.292.01CNN + RA + CA + RGB2.060.361.212.453.512.982.10CNN + RA + CA + HSV1.470.691.082.882.112.491.79CNN + RA + CA + YCbCr2.350.561.462.882.342.612.04CNN + RA + CA + RGB + HSV + YCbCr2.5001.253.432.112.772.01CNN + CA + RA + RGB1.470.360.923.862.223.041.98CNN + CA + RA + HSV2.060.601.333.491.762.621.98CNN + CA + RA + YCbCr1.760.561.163.612.112.862.01CNN + CA + RA + RGB + HSV + YCbCr1.180.690.933.182.222.701.82L. Li，Z. Xia，J. Wu等人沙特国王大学学报1463见图9。 在OULU-NPU数据库中可视化了真实人脸和印刷假人脸的纹理图像和光流图像的区域注意图示例。图10个。在OULU-NPU数据库中可视化真人脸和打印假脸的渠道关注度算法的检测误差。例如，在HSV颜色空间中具有CA和RA的CNN的ACER是0： 16%，而在级联颜色空间中具有CA和RA的CNN的ACER等于2： 16%。基于平均ACER可以发现，对于显示图像攻击，CA、RA和HSV颜色空间组合下的方法检测误差最小，其中所有显示图像攻击均正确表3Replay-Attack 数 据 库 中 显 示 图 像 攻 击 的 APCER （ % ） 、 BPCER （ % ） 和 ACER（（%），其中CA和RA分别表示通道注意机制和区域注意机制。模式重放攻击APCERBPCER宏碁CNN + RGB3.241.092.16CNN + HSV3.240.892.06CNN + YCbCr3.381.212.30CNN + RGB + HSV + YCbCr2.430.931.68CNN + CA + RGB2.570.771.67CNN + CA + HSV2.280.931.60CNN + CA + YCbCr2.871.132.0CNN + CA + RGB + HSV + YCbCr2.350.931.64CNN + RA + RGB3.601.132.37CNN + RA + HSV3.310.852.08CNN + RA + YCbCr3.971.172.57CNN + RA + RGB + HSV + YCbCr1.180.200.69CNN + RA + CA + RGB3.380.772.07CNN + RA + CA + HSV2.060.731.39CNN + RA + CA + YCbCr3.680.692.18CNN + RA + CA + RGB + HSV + YCbCr1.840.120.98CNN + CA + RA + RGB3.600.732.16CNN + CA + RA + HSV00.320.16CNN + CA + RA + YCbCr3.751.012.38CNN + CA + RA + RGB + HSV + YCbCr3.311.012.16APCER = 0%。与使用具有RA和CA组合顺序的CNN的打印照片攻击不同，使用CA和RA组合顺序的CNN获得了显示图像攻击的最佳ACER。这说明，不同攻击方式下，真实人脸和虚假人脸的区分特征是不同的。5.3. 重播视频攻击与打印照片攻击和显示图像攻击相比，重放视频攻击具有眨眼、表情变化等活体信号，使得这类攻击更难被检测到。因此，我们进一步测试我们提出的方法是否可以有效地抵抗重放视频攻击。详细结果见表4。对于Replay-Attack数据库，通过具有RA和CA组合顺序的CNN在HSV颜色空间中获得最佳检测性能，其中APCER = 0： 59%，BPCER= 0： 16%和ACER = 0： 37%。但对于OULU-NPU数据库中，通过CA和RA组合顺序的CNN在融合的RGB，HSV，YCbCr颜色空间中获得最佳检测性能，其中APCER = 5：69%，BPCER = 2： 69%和ACER = 4： 19%。考虑Replay-Attack