指纹与心跳信号的融合：多模态生物认证系统的安全性评估

沙特国王大学学报融合心脏信号拉米M.Jomaa，Md Saiful IslamAbdullah，Hassan Mathkour，Saad Al-Ahmadi沙特国王大学计算机与信息科学学院计算机科学系，利雅得11543，沙特阿拉伯阿提奇莱因福奥文章历史记录：收到2021年2021年12月11日修订2022年1月12日接受2022年1月20日在线提供保留字：生物特征认证演示攻击检测卷积神经网络指纹心跳信号A B S T R A C T呈现攻击（PA）的脆弱性仍然是广泛使用的基于指纹的认证系统的主要安全问题之一，特别是对于无人值守和远程应用。PA可以通过向生物特征传感器呈现人工制品、尸体或符合性样本来执行，目的是规避系统策略。在本研究中，我们将指纹与心跳讯号融合，发展出一个多层式生物认证系统，以对抗个人助理在第一层中，通过使用微调的卷积神经网络（CNN）来防止伪影攻击在第二层中，使用轻量级CNN通过使用持续时间为0.5 s的心脏信号（也称为ECG信号）来防止尸体攻击。在随后的层中，在特定的阈值的强大的指纹匹配器被用来防止一致的攻击。在最后一层中，指纹和心脏信号的分数级融合用于生物特征认证。所提出的系统进行了评估，通过不同的认证和攻击的情况下，使用多模态数据集，包括两个公共数据库的指纹和心脏信号可在线。实验结果产生了一个错误的匹配率（FMR）约为零（0.1%）与一个可接受的错误不匹配率（FNMR）。所获得的结果是令人鼓舞的，该系统纳入应用程序需要高安全认证。版权所有©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍指纹认证是最广泛采用的生物计量系统，因为该模态的若干优点，诸如独特性、可接受性、普遍性、可收集性和高准确性（Galbally等人，2019; Jain和Kumar，2012）。由于指纹扫描仪准确、廉价、方便和紧凑，基于指纹的认证系统在商业和民用应用中的部署不断增长，例如机场、笔记本电脑、智能手机和考勤登记系统。缩写：PA，呈现攻击; CNN，卷积神经网络; FMR，错误匹配率; FNMR，错误不匹配率; CWT，连续小波变换; MCC，细节识别码; CV，交叉验证; IAPMR，冒名顶替者攻击呈现匹配率; HTER，半总错误率。*通讯作者。电 子 邮 件 地 址 ： rami@ksu.edu.sa （ R.M.Jomaa ） ， saislam@ksu.edu.sa（M.S.Islam），mathkour@ksu.edu.sa（H. Mathkour），salahmadi@ksu.edu.sa（S.Al-Ahmadi）。沙特国王大学负责同行审查tems. 尽管具有优 势，但基于指纹的 系统非常容易受到演 示攻击（PA ） ， 特 别 是 在 无 人 值 守 和 远 程 应 用 程 序 中 （ Islam ， 2015;Marasco和Ross，2015）。演示攻击是最常见的攻击，不需要任何系统实现经验。物联网和可穿戴设备的进步鼓励研究人员开发安全认证设备。将指纹和心脏信号融合在一起，可以为开发一个更高性能的鲁棒性认证系统提供机会。由于手指可以采集到高质量的心脏信号进行生物认证，因此可以设计一种同时采集心脏信号和指纹的集成传感器。ISO/IEC30107（标准，2016）将PA定义为向输入生物识别传感器呈现欺诈样本，意图规避系统策略。对于指纹，最重要的PA类型是伪像、尸体和一致性攻击。 作为人工制品（也称为欺骗），用不同材料（如硅胶、明胶、粘土或甘油）制造的人造或假体指纹被呈现为真实指纹的副本（Galbally等人，2019年; Schuckers，2016年）。图1示出了两个不同个体的真实指纹和伪像指纹的示例。对于尸体攻击来说，一根被切断的或死了的手指https://doi.org/10.1016/j.jksuci.2022.01.0041319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comR.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5133●Fig. 1. 来自两个不同主体的真实指纹和人工指纹的例子。（Sengottuvelan和Wahi，2007）可以呈现给传感器。 对于符合性攻击（其根据ISO/IEC 30107也被认为是PA），零努力冒名顶替者简单地将他的生物计量样本呈现给传感器并声称另一个授权人的身份。PA可以由冒名顶替者执行，以被识别为另一个授权个人，或者由有意逃避被识别为授权个人的隐藏者执行（Standard，2016）。虽然指纹认证是生物识别研究的一个密集领域，但使认证系统对PA具 有 鲁 棒 性 是 一 个 具 有 挑 战 性 的 问 题 （ Marasco 和 Sansone ，2010;Yambay等人，2019年）。这种传感器级别的攻击无法通过现代数字技术（例如密码学和水印）来防止。经常推荐的预防PA的解决方案是检测所呈现的样品的活性（Galbally等人，2019; Sandouka等人，2021）通过使用基于硬件和软件的方法（Coli等人，2007年）。在前一种方法中，附加的硬件设备，例如短波红外光谱（Tolosana等人，2020）、脉搏血氧仪（Reddy等人，2008）和使用化学传感器的气味检测（Baldisserra等人，2006），需要捕捉活性特征。在基于软件的方法中，通过使用高级图像处理算法提取活性特征来检测指纹的活性（Nguyen等人，2018; Nogueira等人，2016; Sandouka等人，2021年）。大多数现有的活性检测算法被设计为简单地将呈现的指纹分类为活性或伪影类。另一种防御PA需要多模态生物特征融合的假设，冒名顶替者欺骗所有使攻击更困难的模式（Ross等人，2006年）。然而，一些研究（Biggio等人，2012;Johnson等人，2010; Marasco等人，2011; Rodrigues等人，2009年）建议，即使融合了几种模式，也可以通过仅欺骗一种生物识别模式来绕过多模式生物识别系统。这种方法降低了多模态系统的优势，如果弱模态与非常安全的模态融合，在本文中，我们提出了一种新的多层生物识别通过将指纹与心脏信号（也称为心电图、ECG或心脏信号）融合，在分数水平上，结合了防止PA对指纹系统的技术。由于心脏信号已经被接受为具有固有活性的安全生物特征模态，并且由于可以捕获从 手指 （Agrafioti等 人， 2011; Islam and Alajlan， 2017; Zhaoetal.，2012），该模态是用于与指纹的多模态融合的自然候选者。先前，在若干工作中已经考虑了这两种模态的融合以提高认证性能（Alajlan等人，2013; Jomaa等人，2015; Pinto等人，2018; Pouryayevali，2015;Singh等人，2012;Zhao等人，2012年）。虽然这些方法中只有少数被认为是对伪影攻击鲁棒的（Komeili等人，2018），我们的方法被设计为对三种类型的PA具有耐久性，即，藏物，尸体，和顺从性攻击所提出的系统旨在实现高度的鲁棒性对PA的目标指纹，同时保持良好的认证精度，这是必不可少的应用程序与高安全性要求。心脏信号的主要优点是它同时是生物特征模态和活性的证据。现有的方法使用特定的活性特征（例如气味）而没有其自身的签名。因此，与现有方法相比，心脏信号与指纹的融合提出了对PA的额外鲁棒性，因为攻击者用自己的签名欺骗这种活性特征将更具挑战性。该系统由四个层次组成，即防伪层、防尸体层、防一致层和融合层.伪影预防层包含预训练和微调的卷积神经网络（CNN）以防止伪影攻击。防尸层利用心脏信号固有的活性特性，防止尸体以及神器攻击。一致性预防层用于通过使用鲁棒的指纹匹配器来增加对一致性攻击的鲁棒性。最后，融合层将指纹和心跳信号进行融合，提高了认证性能.我们使用多模态数据集对系统进行了评估，该数据集是通过定制指纹（包括伪造指纹样本）和心脏信号生物力学的两个公共数据库获得的。实验结果表明，该方法对PA具有良好的鲁棒性，具有近似为零的错误匹配率（FMR）和可接受的错误不匹配率（FNMR）。本文的主要贡献如下。一种用于认证和防止PA：该系统集成了多模式认证和PA预防方法，以提高鲁棒性。通常，PA检测和多模式认证通常被认为是生物特征识别中的两个不同问题。PA检测是将呈现的样本分为PA或非PA的两类分类，而无需任何认证尝试。另一方面，多模态生物计量认证方法产生认证决定，例如接受或拒绝，假设很难一起攻击所有模态（Biggio等人，2012; Johnson等人，2010;Marasco等人，2011; Rodrigues等人， 2009年）。针对三种最常见类型的PA的鲁棒性：身份验证系统被设计为针对三种常见类型的PA（即一致性攻击、伪像攻击和尸体攻击）具有鲁棒性。大多数现有的作品被设计为仅对一致性攻击具有鲁棒性。虽然有几个工程已被认为是文物攻击检测，但据我们所知，没有现有的工程认为同时防止所有三种攻击。一种新颖的多层体系结构：所提出的认证系统由四个不同的层组成。前三层旨在防止三种常见类型的PA，例如伪影，尸体，符合性，最后一层用于多模式认证。本文的其余部分组织如下。相关工作在第2节中突出显示。在第3节中，提出了所在第4中，数据集和实验●●R.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5134描述了结果第5中给出了关于所得结果的讨论。第6总结了未来可能的工作。2. 相关作品在本节中，我们回顾了与提高指纹认证对文献中报告的PA的鲁棒性相关的方法。由于伪影预防是指纹认证系统中的一个重要步骤，我们在2.1节中回顾了伪影检测的重要工作。在第2.2小节中，我们总结了现有的多模态融合方法，包括指纹和其他旨在预防PA的模态。在2.3小节中，我们研究了指纹和心脏信号的融合方法。2.1. 荧光检测方法可以通过从手指本身提取和分类合适的特征来分析指纹的活性特性来检测伪像指纹。大多数现有的活性检测算法被设计成简单地将呈现的指纹分类为活性类或伪影类。传统上，伪影检测方法被分为基于硬件和基于软件的方法（Coli等人，2007年）。在前一种方法中，附加的硬件设备，例如脉搏血氧仪（Reddy等人，2008）、短波红外光谱（Tolosana等人，2020）、化学传感器（Baldisserra等人，2006）和光学相干断层扫描（OCT）（Nasiri-Avanaki等人，2011），用于捕获手指的活性特征，其包括温度、血压和气味（Baldisserra等人，2006年）。在基于软件的方法中，一些活性特征是从指纹本身提取的。已经被研究用于指纹活性检测的一些频繁使用的特征是局部二进制模式（LBP）（Nikam和 Agarwal，2008 ）、局部相位量化（LPQ）（Ghiani等人，2012）、韦伯局部描述符（WLD）（Gragnaniello等人，2013）和局部对比度相位描述符（LCPD）（Gragnaniello等人，2015年）。在这些手工制作的技术中，需要专家知识来进行特征提取和分类。最近，几项工作研究了深度学习技术（主要是CNN）用于指纹活性检测的利用（Nguyen et al.，2018; Nogueira等人，2016; Souza等人， 2017年）。CNN在伪影检测方面与传统方法相比表现出了不断的改进将CNN引入指纹活性检测的开创性工作之一描述于（Nogueira等人，2016年），其中通过使用预训练的CNN模型来检测假指纹来应用迁移学习。使用称为Inception-V3的公知CNN模型提取和处理细节点的局部块，其在指纹活性检测中实现了最先进的准确性（Chugh等人， 2017年）。提出了一种轻量级CNN结构，以使用由统计直方图和重心（CoG）表示的局部补丁（Zhang et al.，2019年）。在（Park等人，2019年），提出了另一个小型CNN网络，以克服将活体拘留系统部署到移动设备中的困难。2.2. 多模混合结合多种生物特征模态的多模态系统被认为对PA是鲁棒的（Ross等人，2006年），假设冒名顶替者必须欺骗所有模态，从而使攻击更加困难。几位研究人员研究了将指纹与不同的生物特征（如人脸）（Johnson 等人， 2010; Marasco 等人， 2011; Rodrigues 等人，2009;Wild等人， 2016），心脏信号（Hammad和Wang，2019;Jomaa等人，2018; Komeili等人，2018年; Zhao等人， 2012）和指纹动力学（Bhardwaj等人，2017年）。主要地，利用分数级融合，因为它是最常见的融合方法之一，具有若干优点，例如简单性、可扩展性和融合模态的丰富信息的保存（Ross等人，2006年）。应用了不同的评分融合方法，例如，加权和、似然比和模糊逻辑。在（Rodrigues等人，2009），通过利用关于每个融合模态的安全性的辅助信息来扩展基于似然比的分数融合方法。在（Johnson等人，2010年）。虽然这些研究中的大多数集中在并行分数融合方法（例如，加权和），也研究了顺序融合方法（Akhtar等，2012; Komeili等 人 ， 2018; Pouryayevali ， 2015 ） 。 在 （ Bisogni 和 Nappi ，2019）中，通过基于优化问题计算融合分数来找到多生物特征数据的分数和常数之间的线性组合，提出在一些研究中，活性检测方法通过利用指纹样本的质量测量被集成到多模式系统中（Marasco等人，2011年）。大多数先前的对PA鲁棒的多模态认证系统使用PA分数的分布与真实分数的 分布相同的最 坏情况假设 来评估（Huang等人， 2018 年;Johnson等人，2010年; Jomaa例如，2018; Rodrigues等人，2009年）。事实上，当使用真实PA评估这样的认证系统时，这种假设是悲观的并且降低了性能（Biggio等人，2012年）。其他几项研究（Biggio等人，2012; Johnson等人，2010; Marasco等人，2011; Rodrigues等人，2009）提出，可以通过仅欺骗一种生物特征模态来绕过多模态生物特征系统，从而降低多模态系统的优势。2.3. 指纹与心脏信号的融合指纹和心脏信号可以是多模态融合的自然组合，从而产生针对PA的鲁棒认证系统。事实上，心脏信号是具有固有活性属性的安全生物计量模态，并且可以从手指捕获高质量的心脏信号（Agrafioti等人，2011;Islam andAlajlan，2017; Zhao et al.，2012年）。已经通过融合这两种模式提出了几种多模式认证方法（Alajlan等人， 2013; Hammad和Wang，2019; Komeili等人，2018年）。在（Pouryayevali，2015）中，提出了一种用于多模态系统的分数融合算法，以顺序方式融合心脏信号和指纹生物特征模态。在第一步中采用心脏信号匹配器来认证受试者，并且如果接受，则她/他的指纹由指纹匹配器认证。在最后一步中，采用用户加权评分融合方法进行并行评分融合。作者假设他们的工作对PA是鲁棒的，即使他们没有测试他们的方法来证明他们的假设。在（Jomaa等人，2018年），提出了一种顺序融合方法，其中心脏信号评分得到提高在并行融合步骤中。这种方法进行了评估，对PA显示有前途的结果。（Hammad和Wang，2019）的作者基于CNN融合了心脏信号和指纹，但没有评估他们的方法对PA的鲁棒性。在（Komeili等人，2018），作者提出了一种多模式系统，通过融合这两种模式与ECG记录的自动模板更新。据观察，这些方法中的大多数产生高的假验收率（FAR）这是不期望高安全性R.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5135≥¼：a≥应用程序，其中接受未经授权的主体可能会造成严重的安全威胁。此外，据我们所知，以前的方法都没有考虑三种类型的PA目标指纹样本。3. 方法图2给出了通过融合指纹和心脏信号的所提出的多层认证系统的架构。对于用户的认证，指纹和心脏信号的探针样本应同时呈现给多模态生物特征传感器。这些样本在不同的层中用于与在注册过程中收集的参考（也称为图库）样本进行比较，以产生不同的分数（例如，伪影分数、尸体分数和匹配分数）并决定用户的接受或拒绝。在设计过程中，需要从用户那里收集一组额外的数据，称为验证（或训练）集，以确定系统的参数。如前所述，认证系统由四层组成，即，伪影防止层、尸体防止层、一致性防止层和融合层。每个子系统都是独立的子系统，具有自己的学习任务，并在认证过程中产生分数。伪影预防层包含预训练和微调的CNN以计算伪影分数（sa），将其与预定阈值ta进行比较。如果sa ta，则该过程以拒绝输出终止，否则它继续到下一层。在尸体预防层中，从心脏信号中提取的特征用于计算尸体评分（sd），并与预定阈值（td）进行比较，如果sd≥td，则拒绝。为了防止一致性攻击，鲁棒指纹匹配器拒绝具有阈值（tf）的在由验证集确定的零误匹配率（zeroFMR）下确定。在最后一层中，指纹（sf）和心脏信号（sh）的生物特征匹配分数的融合用于确定用户的真实性。3.1. 防浪层在这一层中，使用预训练和微调的CNN来计算伪影分数（sa），这是要制造的所呈现的指纹样本的概率。CNN（Nguyen et al.，2018;Nogueira等人，2016; Souza等人，2017）由一系列卷积和池化层组成，用于提取输入图像中的模式，并自动生成由全连接层用于分类的特征图。大量训练CNN所需的训练样本是一个特别关注的问题在生物识别系统中使用深度学习技术。幸运的是，CNN通过迁移学习显示出高性能，其中模型针对特定的分类问题进行训练，并且可以进行微调以分类不同的分类问题。VGG-19 （ Simonyan 和Zisserman ， 2014 ）是已知的CNN 模型，其被用作基于迁移学习的指纹生物计量学的伪影检测器，产生最先进的性能（Nogueira等人， 2016年）。VGG-19模型最初使用ImageNet数据集进行预训练，以预测1000个类。我们将FC层末尾的1000单位soft-max输出层替换为sigmoid函数，以产生伪影的概率为：s111-x通过使用仅包含两个类的指纹生物特征数据集来调整修改后的模型，即，伪像和真实（正常）。我们考虑在这个过程中使用由不同类型的材料制成的工件。然而，如果使用新材料来构建伪像指纹，则检测性能可能会下降。因此，我们需要使用这种新材料的伪影指纹样本再次微调CNN模型。由于使用了迁移学习技术，这可以有效地完成。在图3中解释了修改的CNN的调谐过程和伪影分数计算的过程。如果sa ta，则探针样本被视为伪影，其中ta是基于验证集中伪影的先验概率图二. 所提出的多层认证系统的体系结构。R.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5136×图3.第三章。微调CNN以计算伪影分数。3.2. 防尸层如果冒名顶替者向传感器呈现切断的或死的手指，则伪影检测器可能无法将其检测为PA，并且认证过程进入尸体防止层。我们假设，一个冒名顶替者有可能通过附加任何其他人的心脏信号，使用尸体样本进行攻击。幸运的是，心脏信号对每个人都有独特的签名（Pelc等人，2019年），而且很难复制它，不像指纹。因此，尸体防止层使用该生命体征来过滤掉尸体生物特征样本，其可以包括尸体以及可能已经使伪影检测器过度的伪影样本。在这一层中，机器学习技术已被用于从探头心脏信号计算尸体分数（sd）。该分数是基于探测心脏信号与用于人的训练样本的相似性度量来计算的，即，该分数的值越大，表明探针样品是尸体的概率在过去 的二十年中 ，已经提出 了许多心脏 生物特征认 证方法（AlDuwaile和Islam，2021; Islam等人，2012; Rathore等人，2021年）。这些传统方法中的大多数需要长的心脏信号段。近年来，深度学习技术，特别是CNN，已成功地用于使用较短的ECG段来创建鲁棒且高效的认证系统（AlDuwaile和Islam，2021; Srivastva等人， 2021年）。在这项工作中，我们使用了一个轻量级的CNN模型，用于从短持续时间（0.5 s）的心脏信号生成尸体评分，如图4所示。该模型由一个CNN块组成和四个剩余块。最后两个残差块使用最大池化层作为梯度变得非常小时的跳过连接，并防止权重值发生变化。最后，使用具有n个节点的全连接（FC）层以及随后的softmax来生成尸体分数（sd）。具有显著少量可学习参数（32，000）的网络用R峰周围长度为0.5 s的ECG信号进行训练和测试。在这项工作中，我们使用了100从100个人收集的ECG记录。的更多细节数据库见第4.1节。首先，使用有效的R峰检测方法（Islam和Alajlan，2013a，b）从记录中检测所有R峰。然后每个心电图记录被分割成单独的心跳，如图所示，每个峰周围0.5 s。 五、这一切成功都见图4。 基于CNN的尸体评分计算。使用连续小波变换（CWT）将心跳变换为首先分离所需的探测心跳，然后用70%的心跳训练网络，并用30%的剩余心跳进行测试。交叉验证识别准确率为99.83%。现在，训练好的网络的最后一个全连接层中的每个节点都会产生一个尸体R.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5137≥2我1212我图五. 一段信号和分段的心跳。从相应的人的探针样本得分。使用称为最小-最大归一化的常用归一化技术将从所有探针样品获得的尸体评分归一化为区间[0，1]，尸体样 本的检测可以 通过在对应 于心脏信号的 零假不 匹配率（zeroFNMR）的阈值td处操作心脏信号匹配器来实现。由于这一层的目标是确保样本不是尸体（我们假设尸体攻击可以用与来自任何其他人的心脏信号相关联的死手指来执行），因此在由验证集获得的zeroFNMR阈值处操作心脏信号匹配器是至关重要的。zeroFNMR表示没有真正的用户被拒绝验证集。因此，在该级别，没有真正的用户被该方法拒绝的可能性很高。在迭代学习过程中使用验证集确定阈值，其中对具有递增值的不同阈值进行匹配，然后迭代停止使用矢量相关性测量，基于柱面之间的局部相似性来计算两个指纹之间的得分（SF）为了避免一致性攻击，我们将探针指纹样本与参考样本进行匹配，并在特定阈值（tf）处比较所获得的分数，其中使用验证集获得zeroFMR该高阈值在防止一致性攻击中具有重要作用，因为指纹样本不是伪影并且源自活体对象的概率高（因为它穿过伪影和尸体防止层）。在迭代学习过程中确定阈值，如图所示。 8，对不同的阈值进行匹配，并随着值的增加而增加，当在验证集上获得零假匹配时，迭代停止。当分数（sf）低于阈值（sftf）时，探针指纹样本被识别为符合者，并且因此被拒绝，否则，系统进行到真实指纹的下一层过程。3.4. 融合层在前三层中提供的预防措施，挑战PA并在条件满足时拒绝它们为了进一步验证所呈现的样本的真实性并提高认证性能，在最后一层中使用指纹和心脏信号的分数级融合尸体得分sd（在尸体预防层中获得）是在[0，1]范围内的非负实数，在该层中被转换为心脏信号相似性得分（sh），如下所示：当获得零假不匹配时，如图6所示。一探针生物特征样本被识别为尸体，sh¼1-sdð2Þ当尸体分数高于阈值（sd td）时，拒绝;否则，样本被分类为源自活体，并且系统进行到认证过程的下一层。3.3.保形层该层旨在通过使用强大的指纹匹配技术来防止零努力一致性攻击。对于指纹匹配，在文献中已经提出了许多特征（Alonso-Fernandez等人，2009年）。我们采用了一种算法，如图7所示，称为细节点编码（MCC）（Cappelli等人，2010），其被认为是最准确的最先进的算法之一（Valdes-Ramirez等人，2019年）。MCC是只注意细节指纹表示技术，取决于每个细节点邻域的离散化现在，使用加权和融合规则将指纹的归一化相似性得分（在一致性预防层中获得）与sh融合，以获得融合得分为：sfhwfsfwhsh3其中wf和wh分别是指纹和心脏信号模态的权重。最后，如果sfh>tfh，则接受所呈现的样本，其中tfh是阈值。几种 常见 的技术 ，如d- 素数 （可 判定性 ）技术 （Daugman ，2000），可以用来计算权重（wf和wh）。d-素测度用于计算两个不同分布分离的程度。对于第i（i= 1，2）模态，涉及多模态生物特征认证，这两个分布是真实平均值li和方差ri的得分，以及冒名顶替者得分，1 1形成一个三维的局部结构，称为圆柱体。一平均值 和方差ri。第i个模态的d-素数测度气缸代表的空间和方向关系2 2在细节和它的邻居之间。整体相似度计算方法如下：d0¼。我-我。=qffiffirffiffiffiiffiffiffi-ffiffiffiffiffirffiffiffiiffiffiΣffiffi=ffiffiffi2ffiffið4Þ第i个模态的权重与相应模态的d撇值成比例，由下式给出wi¼d0=Xd0第1页ð5Þ图六、利用零FNMR进行尸体预防的阈值（td）的迭代学习如第IV. A节所述，在交叉验证过程中使用验证集计算每种模态的权重（wi）为了计算认证阈值tfh，我们采用使用验证集的迭代学习过程，其中随着阈值的增加，针对不同的阈值计算FMR和FNMR，并且tfh是实现FMR和FNMR的等错误率（EER）的阈值。JR.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5138图7.第一次会议。匹配MCC的相似性得分。4. 实验和结果4.1. 数据集为了评估所提出的系统，需要多模态生物特征数据集，其中应该使用多模态传感器同时捕获来自个人手指的指纹和心脏信号。据我们所知，这种多模式生物识别设备还没有商业化。然而，开发这种认证设备的可能性非常现实，因为可以从手指获取高质量的ECG信号（Islam和Alajlan，2013 a，b; Islam和Alajlan，2017）。ECG信号的长捕获时间的另一个主要障碍可以通过利用轻量级CNN模型（AlDuwaile和Islam，2021）并将其嵌入硬件设备中以最小化捕获时间来避免，如第3.2小节所述。由于缺乏公开可用的数据库，虚拟个体已被用于许多先前的工作（Biggio等人， 2012;Jomaa等人，2020; Rodrigues等人，2009）通过随机地将来自不相关个体的不同模态的生物计量样本与来自不同模态的生物计量信号（例如指纹和心脏信号）之间没有相关性的假设相关联，即使对于同一个体。因此，我们使用公开的指纹和心脏信号数据库构建了一个适当的自定义数据集。对于指纹生物识别，我们使用LivDet2011数据集（Yambay et al.，2012），包含大约16，000个真实和伪影（欺骗）图像的样本。在该数据集中，真实指纹图像和伪像指纹图像被分为训练集和测试集，即，每一个都包含大约8000个样本。CNN由一组微调，用于认证的样本从另一组中提取。从这个数据集，我们收集了至少四个真实的样本和三个工件样本的主题。对于心脏信号数据，我们使用从Physikalisch-Technische-Bundesanstalt（PTB）数据集获得的60秒ECG记录（Bousseljot等人，2004年），如（伊斯兰教和阿拉吉兰，2013年a，b）所列。通过第3.2节中讨论的方法将每个ECG记录分为单独的心跳。从ECG记录的四个等分部分中随机选择四个心跳作为探测心跳，剩余心跳用于训练和测试light CNN模型。然后，通过将心跳分配给一个人的真实指纹来编译多模态生物特征样本。对于每个虚拟个体，我们有四个心脏信号样本，四个真实指纹样本和三个伪指纹样本。因此，第i个受试者的第j个多模态生物特征数据（FPi + HSi）j通过将第i个受试者的第j个多模态生物特征数据（FP i+ HS i）j与第i个受试者的第j个多模态生物特征数据（FP i + HSi）j耦合来获得第j个真实指纹（FP i）j与第j个心脏信号片段（HS i）j，其中j = 0，. ，3，如图所示。9.第九条。为了微调修改和预训练的VGG-19模型，我们使用了MATLAB中的MatConvNet工具箱（Vedaldi 和Lenc，2015）。我们使用了LivDet11数据集的一半（大约8000个指纹样本），其中包括大约4000个真实样本和4000个伪造样本。随机梯度下降（SGD）用于训练，具有大小为10的小批量和10- 6的固定学习率。 微调过程收敛于该数据集的15个时期，如图所示。 10，其中验证集的分类误差小于0.02%。我们使用了四重交叉验证（CV）方法的per-personal评估所提出的认证系统。对于CV的每个折叠，我们将每个受试者的数据分为三个部分，参考（也称为图库）样本，验证（训练）样本和探针（测试）样本，如表1所示。为了测试认证系统的性能，我们考虑了四种类型的样本，即善意样本、符合样本、伪品样本和尸体样本。在善意出示中，所声称的身份的指纹和心脏信号的善意样本被出示以进行认证。对于一致性攻击，我们提出了任何其他虚拟个人的指纹和心脏信号作为参考主体进行身份验证。对于伪影攻击，我们提供了声称身份的伪影指纹样本以及随机选择的任何其他主题的心脏信号样本。由于很难获得尸体指纹样本，我们假设尸体手指可以产生与活体手指相同的指纹（最坏情况）。因此，对于尸体攻击，一个真正的指纹样本，见图8。使用零FMR的一致性预防的阈值（tf）的迭代学习。R.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5139××××见图9。 从数据库中提取的第i个虚拟主题的多模态数据。4.2. 结果见图10。微调CNN模型在训练集和验证集中的分类误差。提供了所声称的身份以及随机选择的任何其他受试者的心脏信号样本。表1显示了用于第j倍CV中第i例受试者不同类型呈现的参比品、验证品和探针的样品为了获得验证和测试阶段的匹配分数，我们分别将每个参考样本与验证和探测样本进行比较。一个C#框架（Medina-Pérezet al.， 2014）用于匹配两个指纹以获得指纹匹配分数（SF）。为了得到尸体评分（sc），HBS fea-在这里，我们展示了不同实验的结果，四组数据代表了前面提到的不同类型的演示。我们测试了整个系统的身份验证性能（所有四层），以及通过从系统中删除一个或多个层来配置不同层的效果报告了认证系统每种配置的四重CV的平均结果。当提供真正的探针样品时，使用FNMR（标准，2017），而对于零努力符合性展示，使用FMR进行评估。 对于尸体和人造事实呈现，我们使用冒名顶替者攻击呈现匹配率（IAPMR）（Chingovska等人， 2019年）。IAPMR是不正确接受PA作为真实主体的比例，占PA总数的一种称为半总错误率（HTER）的附加度量（Galbally等人， 2019），当涉及一致性攻击和尸体伪影攻击时，也分别如（6）和（7）所表示的那样使用。HTER1/4FNMR HTER1/4FNMRHTER =2/ 6FNMRHTER1/4FNMRδIAPMRδ =2μ 7μ m具有所有四个层的所提出的系统的认证性能在表2中示出。在这里，对于尸体层的训练，我们使用了工件和尸体样本的验证集。值得注意的是，该系统成功地防止了所有三种类型的攻击。然而，真实样品的FNMR是tures（Islam等人， 2012）从参考文献中获得，通过卡方距离匹配验证或探测心脏信号样本。对于CV过程的每个折叠，如果我们有n个独立样本，其中有4个真实样本和3个欺骗样本，则验证集包含n个真实分数和n个（n-1)一致性、尸体和伪影呈现中的每一个的分数。探针组包含n2个真实的分数，以及n（n-1)符合性、尸体和伪影展示各得2分。表1第i个受试者的生物特征认证的不同演示数据集样本（j= 0，.. . （3）参考（FPi + HSi）j相对高（与表3事实上，HTER对于具有高PA概率的认证系统来说仍然足够我们通过移除工件层来测试工件层对身份验证性能的影响。表3示出了通过使用相同的实验方案，即，该方法用每倍CV的相同数据集进行训练和测试。值得注意的是，由于去除了伪影层，FNMR略有下降，但伪影攻击的IAPMR显著增加，从而表明伪影层的有效性我们测试了文物和尸体层的同时影响，通过删除这两个层的认证性能。 训练不需要验证集的伪影和尸体样本，但使用相同的探针数据集进行测试。表4示出了四倍的平均结果。验证样品探针善意（FPi + HSi）（j+1%4合格品（FP k+ HS k）（j +1%4|k-i尸体（FP i+ HS k）（j +1%4|k-i（AFP i）j%3+（HS k）（j +1|k-i善意（FPi + HSi）（j+2%4，（FPi + HSi）（j+3%4表2所提出的系统的认证性能（具有所有四个层）。FNMR（%）FMR/IAPMR（%）HTER（%）样品善意2.07––Conformant(FPk+ HS k）（j +2%4，（FP k+ HS k）（j +3%4|k- iConformant–01.04尸体(FPi+ HS k）（j+2）%4，（FP i+ HS k）（j +3）%4|k- i尸体0.291.18伪影（AFPi）（j+1）+3+（HSk）（j+2）+4，（AFPi）（j+2）+3+伪影01.04(HSk）（j +3%4|k-i平均2.070.11.09R.M. Jomaa，Md Saiful Islam，H.Mathkour等人沙特国王大学学报5140表3没有工件层的配置的认证性能表5无伪影和一致层的配置的身份验证性能。FNMR（%）FMR/IAPMR（%）HTER（%）善意2.01––呈现FNMR（%）FMR/IAPMR（%）HTER（%）Conformant–0.361.19善意2.13––尸体0.231.12Conformant–3.132.63伪影2.072.04尸体0.211.17平均2.010.871.45伪影2.172.15平均2.131.841.98CV.可以观察到，FNMR进一步下降，但神器和尸体攻击的IAPMR显著增加，表明这两层的有效性。我们通过删除伪影层和conformer层来测试这两个层对身份验证性能的同时影响。使用相同的探针数据集测试配置，表5显示了四倍CV的平均结果。据观察，一致性和IAPMR伪影攻击的FMR显著增加，表明这两个层的有效性。最后，我们测试了融合层的认证性能，通过删除其他三层。训练不需要验证集的伪影和尸体样本，但我们使用相同的探头数据集测试了配置。表6显示了四倍CV的平均结果。可以观察到，FNMR略有下降，而用于confor-tunate攻击的FMR以及用于神器和尸体攻击的IAPMR显著增加，表明这三个层的有效性。5. 讨论随着在公共和商业应用中越来越多地使用基于指纹的认证系统，PA正在成为需要在不损害指纹认证本身所提出的优点的情况下解决的问题。使用从手指捕获的心脏信号与使用多层架构的指纹融合，可以是开发鲁棒的抗PA生物特征认证系统的有效方法。该系统集成了伪影、尸体和一致性预防层，以将指纹与心脏信号生物特征相结合，以预防受到指纹模态影响的PA1.09%的平均HTER（如表2所示）显示了所提出的系统的真正潜力。为了确定不同层的重要性，我们已经分析了系统的错误，通过测试系统的性能与五种不同的配置，通过删除一个或多个层。每种配置的详细结果见表3图11比较了完整系统和不同配置的错误率，即，FNMR用于真实呈现，平均FMR/