基于深度学习的指纹识别及防欺骗技术

工程科学与技术，国际期刊23（2020）264完整文章基于补丁的深度学习机迪亚放大图片作者：Jianga， Jiangb，Jiang A.Jalabba中东大学信息技术学院，约旦安曼11831b马来亚大学计算机科学与信息技术学院，吉隆坡50603，马来西亚阿提奇莱因福奥文章历史记录：收到2019年2019年4月30日修订2019年6月16日接受在线提供2019年保留字：深度学习判别限制玻尔兹曼机指纹认证A B S T R A C T在身份盗窃日益严重的今天，基于指纹的生物识别系统在保护和访问限制方面具有越来越重要的意义。恶意用户通过呈现伪造的尝试来违反它们。例如，由明胶、橡皮泥和硅胶模具制成的人工指纹可能被伪造者滥用于获取和身份欺诈，以克隆指纹。这个过程称为欺骗。为了检测这种伪造，已经实现了一些使用手工制作的描述符的现有方法以用于确保用户存在。它们中的大多数在识别中给出低准确率。所提出的方法使用区分限制玻尔兹曼机来识别指纹准确地对伪造材料用于欺骗。©2019 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍如今，生物识别系统面临的主要挑战之一是恶意行为的快速威胁。大多数恶意行为者使用一种常见的呈现攻击类型，称为呈现攻击的主要目标是模仿具有所需授权的目标受害者。当中间欺骗伪造者通过窃取受害者的指纹故意猜测不知情的个人的身份时，就会发生这种情况未能防止设备上的指纹欺骗[3]可能会危及许多应用中的机密信息，例如视频监控[4]，生物识别[5]和社交媒体中的面部索引[6]。这个问题促使研究人员采用对策技术，并将它们结合到基于生物特征的系统中，以击败这种伪造。图1示出了从真手指和假手指获得的指纹的从视觉上看，它无法区分真假。图1中的第一行显示了真实的指纹。第二行显示假手指是从由不同制造材料制成的假手指上获得的。许多欺骗指纹*通讯作者。电子邮件地址：duliyan@meu.edu.jo（D.M. Uliyan）。由Karabuk大学负责进行同行审查已经开发了检测技术[8因此，指纹的错误表示和伪造指纹的检测仍然是一个悬而未决的问题[11]。针对这一问题，提出了多种对策[12] 它采用多种因素来保护信息。欺骗性伪造[13，14]可以定义为通过提供伪造的用户身份来进行身份验证，从而欺骗基于生物特征的系统的技术。认证系统主要基于行为和生物特征（诸如面部识别、虹膜特征、语音信号、指纹和手掌静脉）来考虑用户的个体[15]。在指纹欺骗伪造的情况下，中间欺骗伪造者使用手指模具来欺骗生物计量认证系统。例如，手掌图像已经被打印出来，并且很容易击败生物识别系统[16]。因此，根据是否使用附加传感器，指纹欺骗检测方法被分为1) 基于硬件（探索额外的指纹读取器）[17]：最先进的指纹读取器可以以高分辨率扫描输入的指纹，适合匹配。指纹读取器对两种类型的手指图像执行错误表示检测：未处理和原始指纹图像[15]。虽然这些原始图像包含为欺骗检测提供区别信息的清晰信息，但是这些原始图像必须被处理，诸如颜色转换、归一化或滤波，以提取https://doi.org/10.1016/j.jestch.2019.06.0052215-0986/©2019 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchD.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264265Fig. 1. 使用Cross Match 2013阅读器的指纹样本[7]。匹配的特征基于硬件的方法的主要目标是揭示活性的特征，例如血流[18]，皮肤变形[19]，气味[13]。如[20]中所指出的，在LivDet数据集中测试了有关活性检测方法的更多细节。2) 基于软件的方法依赖于意图传感器扫描的图像信息，而不需要更多的硬件成本，将图像分类为：活手指和欺骗手指[10]。其中，基于软件的方法具有一个优点，即可以在普通的指纹扫描仪上对利用指纹图像中的假材料伪造的指纹进行识别和检验。本文研究了基于软件的欺骗性材料下的指纹检测方法。软件方法可以分为两大类[21]：基于特征[22]和基于深度学习。基于特征的指纹识别方法主要是在早期提取单个特征点来区分指纹的活性，对各种伪造材料的识别效果并不理想。 可以注意到，深度学习方法用于学习各种类型的欺骗材料的假指纹[23]。2. 相关作品近年来，随着使用指纹识别的认证系统在许多应用中的快速使用，观察假指纹的任务变得至关重要，因为指纹可以通过使用不同类型的工具（例如木胶，明胶，硅胶或印刷指纹）轻松伪造[1]。 真实手指的纹理可能在表面上具有持久的残留效果由于真假指纹纹理完全相同，这一问题很容易欺骗基于指纹的认证系统。在[24]中已经探索了各种指纹欺骗材料。真实的情况是，伪造者试图通过复制某个指纹图像来绕过指纹识别传感器。克隆的指纹有一个伪像，这是用来做演示攻击。研究中的主要挑战是如何区分真实的活体指纹与假指纹[25]，这是受到ISO标准IEC 30107-3（E）的启发。它通过建立一个通用框架来指定呈现攻击事件并检测它们，为呈现攻击检测提供了基础[26]。使用两种公知的方法来制作和复制指纹：1) 配合方法：使用者的手指必须放入一定的弹性材料中[27]。这些材料有助于使用例如硅树脂、明胶或PlayDoh来创建指纹的模具。2) 非合作方法：当用户意外地在表面上留下指纹痕迹时，来增强这些痕迹这个过程可以通过捕获指纹痕迹并将其保存到图像中来完成。指纹图像被增强，然后，模具是在打印图像上创建的材料，如硅胶，明胶或PlayDoh[28]。 例如，密歇根州立大学的研究人员在2016年7月帮助警方解锁了一款指纹安全智能手机，该手机基于[29]提出的2D打印指纹欺骗方法。不同的材料可以显示这些特征：梯度，脊和强度伪造指纹。因此，现有的反欺骗指纹识别系统的任务广泛地取决于用于通过训练步骤[30]创建假指纹的制造材料的类型。例如[31]，提到单一的低级基于特征的方法难以执行各种欺骗指纹材料。指纹图像中的特征是鉴别不同种类伪造指纹的核心。在不知道伪造材料的情况下，多特征成为鉴别伪造指纹和真实指纹的一种实用方法。例如[10]，结合了多个特征：1-来自输入图像的梯度特征，其中通过SURF方法检测局部兴趣点。2-金字塔多尺度功能的直方图的方向梯度。3-纹理Gabor特征。结合这三个特征，动态评分级融合的方法来判断指纹是假还是真。他们的方法在LivDet2011数据集上进行了测试，平均等错误率为3.95%，平均分类错误率降低到2.27%。Rattani和Ross[32]提出了一种使用组合多个特征的指纹欺骗检测器：灰度共生矩阵（GLCM）与定向关联直方图（HOG）用于暴露活性指纹。Xia等人。[33]开发了一种基于亮度方差特征和局部二进制梯度方向的指纹识别方法。这些特征通过共现概率方法组合成一个特征向量，最后用支持向量机（SVM）分类器进行分类。在指纹欺骗识别系统中，已经确定了两种常见的方法来检测欺骗指纹：1）指纹检测器的活性特征，例如，通过检查脉搏、出汗模式和血压[34];2)被动式图案分析仪用于制作材料[35]例如，伪造的指纹缺乏与真实指纹的细节，指纹图案存在差异。最后一类欺骗问题是我们提出的方法发现的范围使用材料和传感器的威胁。在[5]中介绍了几种指纹识别中的欺骗方法。在静态提取特征的最常用方法中：基于纹理的反欺骗技术涉及统计特征分析[36]、基于脊的特征[37]、曲波变换[38]、基于功率谱傅立叶的特征[39]、局部相位量化模式[36]和局部二进制模式[40]。然而，最近的方法集中于组合多个特征，甚至可能是多个活性检测器。例如[41]，建议将活性检测器与单一模态融合以实现反欺骗功能。Galbally等人[42]利用欺骗指纹的多个特征，如方向确定度和局部清晰度来发现其活性。最近，一些受其深度学习特征提取启发的现有方法，如卷积神经网络（CNN）1https://statenews.com/article/2016/08/how-msu-researchers-unlocked-afingerprint-secure-smartphone-to-help-police-with-homicide-case266D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）2642½]2½]XðÞX.Σ.Σ·电子邮件地址.Σ2m n mnZ它可以被训练来区分活手指和欺骗[6，43]。已经采用深度学习来生成鲁棒的指纹欺骗系统。例如[31]，表明卷积神经网络可以识别已知制造材料的伪造指纹。Chugh等人[44]提出了一种指纹识别方法通过从图像本身提取局部区域。使用细节特征将这些块居中并对齐，以提供有意义的描述符。这些线索通过CNN模型进行训练，以改善检测结果。在本文中，我们提出了一种用于识别真实指纹和检测欺骗的深度学习方法我们的方法的主要贡献总结如下：1) 它试图区分真实的指纹图像与假的。2) 分析了基于尺度和示于图 2安排两种类型的层：具有随机m个神经元的可见层v与具有n个神经元的隐藏层h直接相关。然而，同一层中的神经元之间没有连接，这一限制使RBM得名。权重矩阵被构造为WmXn。它具有连接的、可见的和隐藏的神经元之间的权重，其中wij表示与第j个隐藏的神经元hj连接的第i个可见的神经元vi之间的对称权重。可见层V中的每个单元都与隐藏层h中的所有单元相连。假设层V和h具有二进制随机变量，即，V 0; 1m和h 0; 1n。其中m和n是可见层和隐藏层的单元数。RBM方法[48]中具有成功概率的Ber- noulli分布的V层和h层之间连接构型的能量函数定义为：E. V;h.-Xai vi-Xbj hj-X Xvi hjωwij旋转的ROI基于这些ROI特征，我们提出了一个用于训练检测的深度判别模型。1/1第1页1/1第1页论文的其余部分介绍如下。在第三节中，我们介绍了两种主要的技术：DRBM和DBM用于识别真实和伪造指纹的方法。实验结果见第4节。最后，第五给出了结论和未来的工作.3. 该方法我们提出了一种新的方法来确定假指纹关于欺骗欺诈，使用基于身份验证的系统，我们采用了从图像中提取的多个特征，称为深度特征，例如深度玻尔兹曼机（DBM）[45]。DMB的主要好处是其分层架构有助于研究特征之间的复杂关系，并能够对数据的高度详细特征进行深度学习。基于深度神经网络从输入图像中提取特征有助于深入理解数据。DBM是概率深度学习，通过从图像中提取高度详细的特征来处理复杂的模式。它适用于模式可能不容易检测或伪造的任务。在Cross Match[7]数据集上的结果表明，与手工制作的方法相比，我们的技术取得了良好的效果，结果显示了对欺骗攻击的高检测率。使用深度学习功能的动机包括：其中ai和bj是第i个可见层和第j个隐藏层的偏置层，分别。模型参数ai由向量a1/2a1;a2;·· ·：;aV]组成，并且bj由向量b1/2b1;b2;· ··：;bh]组成。可见光区联合分布函数的边缘概率层被定义为P100-1Xexp-E100;H100- 2H其中Z是如下定义的配分函数Z¼XX exp-E10v;h103vvHZ是（v，h）的可能对的和设V是m维向量，h是n维二元向量.虽然可见单元是二进制的，但我们总共有2mm n对v; h。由于RBM是概率二进制结构，因此可以包括不同的层，每个较高的层从较低的隐藏层获取较高的隐藏特征的动作之间的相关性。 下层基于联合分布生成与上层连接的可见单元，其中相互独立的条件分布概率P hj V和PVj h定义如下nP1000/1000/1000/1000wij hj ai第1页和1) 受限玻尔兹曼机（RBM）适用于许多应用，如图像分类和医学图像调查和模式分析，以解决各种学习问题。2) 受限玻尔兹曼机通常被开发用于提取特征并构建用于生成竞争性非线性分类器的自包含框架。3) 我们介绍了RBM算法，该算法引入了一个判别因子RBM训练。因此，下面将介绍两个主要的深度学习特征的概念：受限玻尔兹曼机（RBM）和深度玻尔兹曼机（DBM）。3.1. 受限玻尔兹曼机（RBM）RBM是一种基于概率图模型的随机神经网络，它采用两层结构来描述一组随机数据变量之间的依赖关系。成果管理制的结构是MPwhj<$1jvuwuj vi bj51/1其中/（）代表sigmoid函数，/x 1= 1expX.对于隐层RBM，其模型参数由值T/f a1; b1; w1; a1; b1; w1;：; am-1; bn-1; wmn-1; am; bn; wmngð6Þ给定可见神经元的训练输入数据T，由于RBM模型中存在各种隐藏层，因此不容易直接使用最大似然准则来近似向量T的参数为了解决这个问题，我们植入了一个基于贪婪的学习算法来训练输入图像中的堆栈RBM模型[49]贪婪学习算法试图找出第一层RBM的参数a1; b1;w1来对可见的训练数据进行建模。然后，它将第一层的参数保存到向量v<$a1; w1中，并从RBM中的第一层产生Gibbs采样作为P<$ hj<$1j v<$，以训练RBM的下一层a2;b2;w，设h=（a，b，W）为RBM的参数集. 的D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264267.ΣLLX1个 ;-2nRLnY.Yr2-.图二、两层的图形模型：a）RBM的第一层和b）RBM的三个隐藏层中的v和h，如[47]中所介绍的。训练步骤的目标是最大化来自输入向量T的所有可用训练样本的出现概率，输入向量T定义如下Y为了提高对噪声和丢失数据的识别性能。3)它具有从大量未标记的感官输入中提取深度特征的能力4）由于近似推理步骤的工作，它鲁棒地处理模糊输入也可以与自顶向下视图结合。如图3左图所示的深自下而上的玻尔兹曼机，其中每一层都捕获了下一层隐藏特征活动之间复杂的高阶经过自底向上的初始化DBM，以逐层的方式进行训练。学习过程使用称为平均场（MF）的方法来实现，以提高其性能。首先，采用一组RBM，并估计RBM中第一层的参数a1，b1，w1然后，保存第一层的参数，并从第一层中产生Gibbs采样，训练第二层RBM。平均场推断方法基于部分推断估计的参数来最小化RBM的总能量，其收敛速度比随机初始化方法快得多化。然后，它计算Q MFhjv;l的近似，l¼argmaxv2lPðvÞð7Þ表示完全分解的分布，以近似隐藏层的真实分布。这种近似是当指纹被读取器扫描时，计算如下到具有实值像素的灰度图像歧视性成果管理制[48]，它从概率的多项分布中生成Gibbs样本，使向量T具有高斯单位。因此，等式（1）可以重新定义如下QMFhjv;l图1 1。k¼1Q.hkkð10Þ其中L表示隐藏层的数量，F表示ME V h2vi-aibj hj-XXvihj wij隐藏层中的节点数。 Q.hk≤l，其中l≤1。作为1i¼1i第1页1/1第1页我DBM的结果，平均场推断的参数是一致的。可见层的条件概率的基础上方程。（3）定义如下：结构如下l¼fl1;l2;：; lLg=11P/Vi/1 jh/N。vijXj1/4wijhjhjjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjhjh我ð9ÞnM268D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264R2由 于 两 个 主 要原因，测量了平均场的选择：首先，它是一种常见类型的近似推理算法，用于计算收敛标准，这在很大程度上有助于其中r2是N的正态高斯分布的方差3.2. 深度玻尔兹曼机（DBM采用深度玻尔兹曼机有几个原因：1）DBM（二）深度学习机器的结构其次，当生物识别系统具有图像分析的任务时，我们假设具有单个提取特征的给定图像的隐藏层上的后续层那么，平均场应该是合适的。因此，所提出的方法旨在采用呈现攻击检测（PAD），并且通过记录来自LiveDet图三. a）三层深度玻尔兹曼机。b）：预训练包括学习一堆修改的RBM，然后将其组合以创建c）深度玻尔兹曼机。D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264269××¼×××××见图4。 输入图像和选定的ROI，每个ROI有10个构建的补丁。数据集并应用后处理，以消除由于扫描误差而导致的图像噪声，并通过缩放操作关闭脊线，以执行以下步骤：1. 输入和预处理：原始输入指纹图像作为训练集的灰度图像输入到RBM模型中，以从感兴趣区域（ROI）中提取特征。图4显示了使用的两种图像模式：输入图像的灰度和其归一化ROI的块包括10个缩放和旋转ROI的块。这一步可能有助于增加训练数据集的大小，并且在近似DBM的参数时必须防止数据丢失。第一步是强制性的，通过检查三个特征来观察指纹的反射：形状，从不同旋转角度的指纹的一致性。可以注意到，基于这些特征的攻击呈现检测率从伪像到真正的手指不同。它是实现，如图所示。 四、2. 基于判别RBM的深度特征提取：下一步是通过DRBM预训练灰度图像的补丁。该过程以贪婪的自下而上的方式应用，以便将实值补丁近似为激活的后验概率。3. DBM培训：在这一步中应用均值场算法，以更准确的方式更新DBM中堆叠的RBM的权重和偏差。最后，使用与DBM相同的架构构建多层Percep- tron网络，以执行反向传播训练。每个RBM堆栈的权重通过局部参数计算：每个单独训练的RBM的a，b和W，如图所示。五、4. 特征向量生成：对于每个指纹图像，我们已经针对输入图像的三个选定区域采用了三个RBM堆栈，这三个选定区域是：原始扫描指纹图像40×40像素大小，在各种缩放因子Sx 1/4 0：3; 0：6;0：9; 1：2; 1：5下检测到的五个块，以及在旋转角度h 30; 60;90; 120; 18下的五个旋转裁剪图像。虽然这些RBM的输入层包括40 40 3个可见神经元的大小，但隐藏层具有1000个神经元。这些特征被保存在每个补丁图像的大小为40 - 40 - 3的特征向量中。5. 线性判别分析（LDA）：我们已经考虑了原始指纹图像的11个（1个ROI + 5个缩放+ 5个旋转）补丁版本，大小为725 800，意味着特征空间为40 40 11 = 17600维。处理大矩阵在计算上是困难的直接LDA算法在[51]数据是一个复杂的数据。它优化了Fisher它适用于两类分类任务，如生物识别认证系统，以确定指纹是有效的还是伪造的。6. K -最近邻（KNN）：给定指纹图像，其10个补丁已使用K-最近邻算法构建和分类[52]。 KNN是最近邻分类模型，其中基于相似性度量（例如，距离函数）。由于KNN分类器存储训练数据，因此该模型有助于计算替代预测。特别地，KNN分类器旨在在欺骗指纹检测的上下文中应用二进制只有活指纹图像用于训练所提出的方法，如图所示。 六、见图6。利用KNN分类器训练欺骗指纹检测算法，区分真实指纹样本和已知欺骗指纹样本图五. 所提出的方法的框架。270D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264产品介绍ÞNFNT2××4. 实验结果4.1. 数据集在本节中，我们使用了最先进的LivDet2数据集：LivDet 2013[53]和LivDet 2015用于指纹欺骗基准[20，25]，这些数据集在所提出的方法中被考虑。LivDet 2013包含两种类型的图像：真实图像和欺骗图像，共有16.000张图像，平均分布为50%的图像用作训练集，其余50%用作分类测试集因 此 ， 由 四 种 指 纹 扫 描 仪 捕 获 的 真 实 图 像 ： Biometrika ，Crossmatch，ItalData和Swipe，Spoofs使用乳胶，play-doh和木胶等明胶材料LivDet 2013用于在没有用户干扰的情况下使用非合作方法创建欺骗图像。我们只使用了Biometrika和ItalData，因为它们的图像分辨率很高。第二个数据集是livDet 2015，包含由四个光学扫描仪捕获的一组图像;这些扫描仪是Digital Persona、GreenBit、Biometrika和Crossmatch。它注意到测试集有欺骗图像，这些图像使用未保存在训练集中的未知材料伪造。如表1所示，在我们的实验中仅考虑交叉配血中的明胶材料。Biometrika和Italdata中的人工指纹是在没有用户帮助的情况下创建的，而CrossMatch中的假指纹是通过用户合作创建的。应用明胶、木胶、硅胶、乳胶等材料制作合成指纹图谱.更简洁地说，对所提出的方法的实验评估应用于大型且复杂的LivDet 2013和2015数据集的集合。在LivDet 2013中，收集了超过1000个现场尝试以及1000个来自各种材料（如Play-Doh，Gelatin和Ecoflex）的欺骗手指。在LiveDet 2015中，根据传感器，对来自51个受试者的分辨率为1000 dpi的1010个活体手指进行了大约2011次训练尝试，所有10个手指中每个手指有2个指纹，以及5个欺骗材料上的1001个欺骗指纹，以每个欺骗材料产生近200个指纹图像。对于五种欺骗材料中的每一种，由20个受试者的5个指纹中的每一个制成500个欺骗手指。只有两次尝试适用于每个欺骗。4.2. 实验装置为了实现对这三个指纹基准的感知，我们的方法中的各种参数已经被调整以给出如表2所示的良好结果。所提出的方法的实现被应用在具有20 GB RAM的Intel（R）Xeon（R）CPU E5-2690v2（3.00GHz处理器）上，并且NVIDIA GPU使用Mat-lab 2016 a。4.3. 参数评价为了训练和测试数据集中的假指纹样本，我们在实验中分别尝试了不同的特定参数值：补丁数量，学习率和权重衰减。选择这些参数的适当值。如图 7.在训练DBM模型中使用来自原始输入指纹的10个ROI，显著地使得所提出的方法对输入图像的丢失或损坏的ROI具有鲁棒性。此外，当训练数据的大小在数据集中合适时，它给出了高准确度的检测率。10块输入图像的实验结果表明，训练数据的大小增加，达到约0.95的准确率。 图 8和图9示出2LivDet数据集可在http://livdet.org/registration.php上提供给研究人员。在所提出的方法中修改学习率和权重衰减参数的影响。4.4. 自身对照在三个数据集上训练DRBM + DBM方法进行指纹检测.我们使用两组从输入图像生成的补丁，缩放和旋转的ROI。为了评估我们的方法的进展，在我们的实验中，三个指纹扫描仪欺骗图像。我们已经使用了如表3所示的以下度量：准确率（ACC）、半总错误率（HTER）、假指纹准确率（FFA）和真指纹准确率（TFA），分别定义如下ACCNT10012新台币其中NT表示在测试数据集中识别的正确指纹的数量，NF是测试数据集中的假指纹的数量。最远距离13英里其中FAR是错误接受率，FRR是错误拒绝率。为了评估所提出的基于各种材料的用于欺骗指纹的方法的性能，假指纹准确度（FFA）和真指纹准确度（TFA）定义如下：FFA¼N1× 100%≤14 μ m三氟乙酸（TFA）/N2× 100%，15毫升其中N1表示NF中被错误识别的假指纹图像的数量。N2表示在NT中被识别为真实指纹的真实指纹图像的数量。如表3所示，当我们在Italdata数据集上测试图像时，所提出的方法对于单个测试图像的计算成本为45 s。每个步骤都是单独给出的一幅图像的指纹DBM训练耗时30 s，KNN分类器耗时4.8 s。类似地，在CrossMatch上测试一个图像所需的总计算时间为85秒，由于大的空白区域，这比Italdata和Biometrica慢。我们已经测试了三种类型的欺骗材料：木胶，明胶，Play-Doh和2D打印的。为了检验所提出的方法的时间复杂度，进行了实验考虑了训练指纹的数量以及测试指纹图像中使用的输入特征的数量。得到了所提出的DRBM + DBM模型的计算时间为不同数量的训练图像。在第一个实验中使用LivDet数据集。训练图像的数量范围从50到1000。所提出的方法的平均处理时间是针对训练指纹图像的数量计算的，如图10所示。结果表明，在大的时间复杂度O（.）的基础上，该方法的时间复杂度相对于训练样本数为O符号在第二个实验中，检查所提出的方法的时间复杂度，不同数量的图像特征被认为是计算所提出的计算时间，如图所示。 十一岁由于降维，所提出的方法使用具有大小为128个特征的特征向量基于128个特征的运行时间为45 s。输入图像的大小为750 800。我们选择ROI与大小40 40生产1600功能。对于R0I，5个旋转的贴片和5个缩放的贴片被D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264271×表1在所提出的方法中使用的LivDet数据集2013和2015的信息数据集LivDet 2013 LivDet 2015指纹扫描仪Biometrika ItalData CrossMatch扫描仪型号FX2000 ET10 L Scan Guardian图像尺寸315× 372 640× 480 640× 480分辨率dpi 569 500 500实时图像训练/测试1000/1000 1000/1000 1510/1500欺骗图像的训练/测试1000/1000 1000/1000 1473/1473合作课题否否是用于欺骗的材料Ecoflex，明胶，乳胶，Modasil，Wood Glue Body Double，Ecoflex，Play-Doh，OOMOO，明胶表2实验装置。参数值输入图像尺寸750× 800贴片尺寸40× 40贴片数量10片GB-RBM 864个可见神经元，1000个隐藏神经元最大历元500平均场算法30轮学习率0.01动量0.5-0.92重量衰减10合并尺寸1× 3特征向量的大小提取以产生1600 10 = 16000个特征。16，000个特征的运行时间增加到50 s，这略高，这仍然是未来减少时间计算的方向。如表4所示，使用非协同测试来增强留在表面上的潜在指纹并将负印象打印在2D片材上。然后可以将这个2D打印图像制成模具。我们的方法检测约TFA = 89%和FFA = 88%。TFA和FFA的主要区别在于TFA代表了被错误识别的假指纹图像的数量。FFA表示被识别为真实指纹的真实指纹图像的数量。此外，我们的方法的性能给出了一个值的后验概率的真正的指纹归一化，见图7。 该方法在Cross Match数据集上的准确率。见图8。 准确率与学习率。272D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264见图9。 准确率与重量衰减。表3在LivDet，2013（Biometrica和Italdata）和LivDet，2015（CrossMatch）上对拟定方法进行性能评价。方法DRBM + DBM模型处理时间图像（秒）数据集百分之九十六3.50%66 s Biometrica百分之九十五6.44%85秒CrossMatch百分之九十四点五百分之二点八45秒意大利数据范围0-1（0是伪像指纹的程度，1是真实指纹的程度）。用于进行决策的阈值参数被设置为0.3。为了估计所提出的方法中的分类错误率，使用两种类型的分类错误率。攻击呈现分类错误率（APCER）和真实呈现分类错误率（BPCER）。APCER定义了被称为实时的欺骗指纹的速率BPCER定义了被称为欺骗的活体指纹的比率我们算法的APCER和BPCER率见表5。结果表明，在Biometrica、Cross-Match 和 ItalData 三 个 数 据 集 上 ， DRBM + DBM 模 型 在CrossMatch中表现最好，APCER = 9.03%，BPCER = 6.4%。见图11。所提出的方法的计算时间的基础上，每个图像的不同数量的功能。4.5. 最新技术水平比较表6中提到了一些实验结果，以显示我们的方法与其他方法相比的鲁棒性：[35，54平均分类误差（ACE）被用作鲁棒性的性能评估指标其定义如下：见图10。 当使用不同数量的训练指纹时，所提出的方法的计算时间。D.M. Uliyan等人/工程科学与技术，国际期刊23（2020）264273¼表4所提出的方法使用LivDet 2013的性能与关于四种类型的制造指纹材料与内存空间61.5 MB。利用欺骗材料检测伪影的方法表5在三个具有已知欺骗的数据集上的分类错误率百分比（%）生物统计学交叉配ItalDataAPCERBPCERAPCERBPCERAPCERBPCER5.80%百分之九点七3.8%6.4%百分之十一点六9.1%表6对比表显示了现有方法与我们的方法在LivDet 2013上的性能评估参考使用的技术AceNogueira等人[56]卷积神经网络3.9%蒋和辛[35]共生矩阵11.00%Gottschlich等人[55]梯度直方图6.7%Zhang等人[54]小波特征与局部二值模式二点一厘该方法DRBM + DBM3.6%[3] C. Roberts，生物特征攻击向量和防御，计算。秒26（1）（2007）14-25。[4] K.W. Bowyer，Face recognition technology：security versus privacy，IEEETechnol.Soc.Mag.23（1）（2004）9-19.[5] D. Menotti等人，虹膜，人脸和指纹欺骗检测的深度表示，IEEE trans.inform。法证科10（4）（2015）864-879。[6] M. Sajjad等人，基于CNN的防欺骗两层多因素认证系统，Pattern. Lett. （ 2018年）。[7] L. Ghiani等人，Livdet 2013指纹活性检测竞赛2013，生物识别（ICB），2013年国际会议，IEEE，2013.[8] Q. Huang等人， 基于支持向量机的假指纹库评价ACEFerrLiveFakeerrFake2ð16Þ分类，模式分类。Lett. 60（2015）1-7。[9] T. Chugh，K. Cao，A.K. Jain，使用基于细节的局部补丁进行指纹欺骗检测，生物识别（IJCB），2017 IEEE国际联合会议，其中Ferrlive是误分类的真实指纹的百分比，Ferrfake是误分类的假指纹的百分比。5. 结论本文提出了一种基于DRBM和深度玻尔兹曼机的指纹深度学习模型，该模型基于概率多层结构，能够稳健地处理复杂的纹理模式。在该方法中，训练一个DBM后，该结构已用于提取灰度指纹的深层特征KNN分类器与DBM提取的感兴趣区域的特征向量一起应用于检测欺骗行为。实验结果表明，深度学习模型对不同种类的欺骗性伪造品（如木胶，明胶和Play-Doh）具有鲁棒性深度特征是从灰度和深度视觉结构的真实图像中提取的，如缩放和旋转的补丁ROI。DRBM + DBM方法的性能评估在三个公开的指纹识别基准测试中取得了最先进的结果。然而，我们的方法仍然难以识别未知材料的假指纹在未来的工作中，我们需要扩展方法行为来处理指纹图像的时空特征，以探索活性特性。此外，我们需要探索所提出的方法在降低深度学习机器的时间复杂度方面的能力致谢作者感谢约旦安曼的中东大学为这篇研究文章的出版过程提供的财政支持。引用[1] E. Marasco，A.罗斯，对指纹识别系统的反欺骗方案的调查，ACM计算。监视器（CSUR）47（2）（2015）28。[2] G. Fumera，生物识别系统中的多模式反欺骗，在：S。Marcel，M.S.尼克松，S.Z.Li（Eds.），生物识别反欺骗手册：欺骗攻击下的可信生物识别，Springer，伦敦，2014年，pp。165- 184。IEEE，2017.[10] R.K. Dubey ， J. Goh ， V.L. Thing ， Fingerprint liveness detection from singleimageusing low-level features and shape analysis，IEEE Trans. INF. 法医安全11（7）（2016）1461-1475。[11] C. Wang等人，一种基于DCNN的带投票策略的指纹活性检测算法，中国生物识别会议，Springer，2015。[12] Y. Gao等人， 中级欺骗策略与对策，清华科技。18（6）（2013）599-605。[13] D. Baldisserra等人，基于气味分析的假指纹检测，国际生物识别会议，Springer，2006年。[14] Z. Akhtar 等 人 ， Evaluation of serial and parallel multibiometric systemsunderspoofing attacks ， IEEE Fifth International Conference ： Biometrics ：Theory，Applications and Systems（BTAS），IEEE，2012.[15] J.J. Engelsma，K. Cao，A.K. Jain，Raspireader：开源指纹识别器，IEEE Trans. 模式肛门。马赫内特尔（2018年）。[16] J. - G. Wang等人，基于Laplacianpalm表示的掌纹和手掌静脉图像的融合，PatternQuestion。 41（5）（2008）1514- 1527。[17] M.埃斯皮诺萨角Champod，P. Margot，指纹识别器对伪造指纹攻击的脆弱性，法医科学。Int. 204（1 -3）（2011）41-49。[18] M. Drahansky'，W. 芬克河Nötzel，基于指尖表面精细运动的活性检测，2006年，IEEE信息保证研讨会，2006年。[19] C.J. Lennard等人，Fingerprints and Other Ridge Skin Impertise，CRC Press，2016。[20] L. Ghiani等人，回顾指纹活性检测（LivDet）竞赛系列：2009年至2015年，ImageVis。Comput. 58（2017）110-128。[21] D. Yambay ， 指 纹 呈 现 攻 击 检 测 竞 赛 回 顾 ， Springer InternationalPublishing，Cham，2019，pp. 109- 131[22] Y.帕克，美国Jang，E.C.李，统计反欺骗方法的指纹识别，软。Comput. 22（13）（2018）4175-4184。[23] J.B. Kho等人，一种用于欺骗指纹检测的增量学习方法，Expert Syst. Appl. 116（2019）52-64.[24] C. 苏 塞 迪 克 角 Busch ， PresentationAttackDetectionMethodsforFingerprintRecognition Systems：A Survey，IET Biom.3（4）（2014）219-233。[25] V. Mura等人，LivDet 2017指纹活性检测竞赛2017，国际生物识别会议（ICB