合成潜在指纹生成器: 提高指纹匹配准确性和数据集性能

971合成潜在指纹生成器安德烈'巴西维埃拉Wyzykowski1和阿尼尔K。耆那教11密歇根州立大学{wyzykow 2，jain}@ msu.edu摘要给定一个完整的指纹图像（卷或巴掌），我们提出了CycleGAN模型来生成多个潜在的immuno，作为完整的打印相同的身份。我们的模型可以控制生成的潜印图像中的失真、噪声、模糊和遮挡程度，以获得NISTSD27潜印数据库中介绍的好、坏和丑潜印类别。我们工作的贡献是双重的：（i）证明合成生成的潜在指纹图像与NIST SD 27和MSP数据库中犯罪现场潜在指纹的相似性，如通过NIST NFIQ 2质量测量和SOTA指纹匹配器获得的识别准确性所评估的，以及（ii）使用合成的潜伏期来增加公共领域中的小型潜伏训练数据库，以提高DeepPrint的性能，一个SOTA指纹匹配器，设计用于在三个潜在数据库（NIST SD 27，NIST SD302和IIITD-SLF）上进行滚动指纹匹配。作为以NIST SD 27潜在数据库为例，通过人工潜在数据增强 ， DeepPrint 的 Rank-1 检 索 性 能 从 15.50% 提 高 到29.07%。我们用于生成合成潜在指纹的方法可以用于提高任何潜在匹配器及其各个组件（例如，增强、分割和特征提取）。https://prip-lab.github.io/合成潜在指纹生成器/1. 介绍自1891年指纹首次用于刑事侦查以来，指纹已成为准确、快速识别罪犯的最广泛使用的工具[5]。指纹在法庭上的频繁使用本材料基于美国政府支持的工作。国土安全部，拨款编号17STCIN 00001 -05-00。本文件所载的观点及结论乃作者的观点及结论，不应被解释为必然代表美国政府的官方政策（不论明示或暗示）国土安全部全世界都已证明它们被接受为定罪罪犯的科学证据。在这种情况下，潜指纹-在犯罪现场调查中从各种表面收集的指纹-对于识别涉及犯罪的嫌疑人至关重要通过将这些潜在指纹与执法数据库中的滚动/拍打指纹进行比较来识别这些潜在指纹对于刑事调查仍然至关重要潜在指纹图像通常包含各种噪声源，包括血液、污染物和自然分泌物。此外，手指在表面（如纤维素复合材料、玻璃、金属和塑料）上留下明显的痕迹，这导致在法医数据收集中捕获的潜像发生变化[41]。此外，人留下其指纹的每个表面为摩擦脊压痕提供了不同的背景，例如印刷或手写文本，如图1所示。图1：NIST特殊数据库27（SD27）中的潜指纹（底行）及其滚动指纹伴侣（顶行）的示例第二列显示了指纹及其细节点表示，最后一列显示了DeepPrint [9]表示为热图的深度网络嵌入（192维）。由于潜在指纹的质量较差，指纹识别中最具挑战性的问题之一是0.150.100.050.000.050.100.150.200.150.100.050.000.050.100.151110987654321 01110987654321 001234567891011121314150123456789101112131415972利用潜在指纹进行身份识别。给定一个查询潜在指纹，它需要与法医数据库中的大量滚动指纹和普通指纹进行比较。Jain和Feng [19]设计了一种基于细节点、奇异点（delta和core）和脊流图的潜在滚动匹配算法。后来，Cao et al.[4]改善法医科学，有助于许多错误的convictions，如在近一 半 （ 45% ） 的 DNA 免 责 案 件 和 四 分 之 一（24%）的所有免责在美国看到。并且这包括潜在指纹匹配中的错误通过实施基于深度学习的表示来增强低质量的潜像，数据库公有领域唯一手指的数量（滚动-潜在对的数量）在细节提取之前。这些研究证明存在许多公开的挑战，主要涉及将低质量的潜在指纹与在预订期间在监督下捕获的相对高质量的滚动/拍打指纹相匹配。事实上，NIST ELFT评估[18]表明，性能最好的潜在匹配算法在检索具有100 K滚动打印的图库的查询潜在匹配时只能提供67%的Rank-1准确度。当我们将其与超过99%的滚动匹配准确率进行比较时，很明显，潜在指纹识别为研究提供了肥沃的土壤[35]。在这种背景下，有几个因素使得对潜指纹识别进行研究变得困难：1. 可用于训练和评估潜指纹识别系统的公共领域数据库的稀疏性表1总结了学术出版物中使用的潜在指纹数据库。图2示出了来自这些数据库中的一些的潜在指纹示例。请注意，公共领域中仅有的两个潜在数据库是NIST SD 302和IIITD-SLF，它们是在实验室环境中收集的，而不是从犯罪现场收集的。学术出版物中最流行的潜在指纹数据库之一是NIST SD 27 [13]，但它是由NIST从公共领域提取的。虽然NIST SD 302和IIITD-SLF可用于研究，但它们相对较小，无法捕获在NIST SD 27等操作数据库中观察到的畸变类型和背景（见图1和图2）。2. 公共领域数据库中潜像的风格和质量变化有限这些因素包括摩擦脊面积小、摩擦系数小、摩擦系数 大等 。细 节 点、 模糊 区 域和 背景 复 杂性 。Gonzalez et al.[23]证明了潜在指纹识别准确性的这种变化所带来的挑战;即使是一个小小的不。虚假细节点的存在或未能检测到几个普通细节点会极大地影响潜在的识别准确性。考虑到潜在指纹与滚动指纹匹配问题的复杂性，尽管潜在指纹识别在执法和取证中起着关键作用，但缺乏公开可用的操作性潜在指纹数据库阻碍了潜在指纹识别的进展[7，32]。根据无罪项目，NIST SD 27 [13]否258犯罪现场图像MSP Latent DB [42]否1，910犯罪现场图像NIST SD 302 [12]是1，019 * 实验室收集IIITD-SLF [43]是150实验室收集* 在过滤SD 302h子集中的手指位置注释中存在的滚动和潜在配偶总不。潜在指纹的数量是9990个表1：本研究中使用的潜在指纹数据库本研究的目的是开发一种方法来生成大量的真实合成潜在指纹图像，这些图像将公开提供给感兴趣的研究人员。潜指纹合成的目的是推进潜像的预处理，包括：(i) 增强和分割，（ii）用于学习鲁棒表示的数据增强，以及（iii）设计用于潜在到滚动匹配的鲁棒匹配器。基于这些目标，本文旨在设计和开发模型，以从给定的一组卷状指纹中生成大量的合成潜指纹。对于每个卷印，我们能够生成多个具有不同质量等级的潜在印（好、坏和丑，遵循NIST SD27数据库的分类）。我们通过使用合成图像微调最先进的指纹匹配器DeepPrint [9]来验证我们的合成方法我们表明，这种数据增强导致DeepPrint在NIST SD 27、NIST SD 302和IIITD-SLF潜在数据库上的潜在指纹识别性能得到提高我们在本文中的贡献如下：1. 一种生成不同识别难度的合成潜指纹的方法。2. 从定性和定量两方面证明我们的合成潜指纹与真实潜指纹的相似性3. 用于数据增强的合成潜伏期的实用性，以提高用于潜在指纹识别的最先进的深度网络模型的性能。请注意，我们的目标不是要建立一个国家的最先进的潜在指纹识别系统，但目前的模型合成潜在的一代，以协助设计的SOTA潜在的匹配。出于这个原因，我们不解决与潜在项的预处理相关的问题，包括增强和分割，通常在COTS潜在项匹配器中完成https://innocenceproject.org/forensic-science-problems-and-solutions收集详细资料973[12]第12届中国国际纺织品展览会[编辑图2：IIITD-SLF、NIST SD 27、MSP latent和NIST SD 302的潜在指纹示例2. 背景我们首先在第2.1节中描述了一般的指纹合成方法，然后在第2.2节中描述了合成潜指纹的方法。2.1. 指纹图谱合成最早和最突出的指纹合成生成器之一是SFinGe[6]，其使用手工方法来生成由脊-谷图案形成的脊图案、细节点和纹理。但由于当时使用的模型以及计算资源的限制，图像缺乏视觉真实感。随着生成对抗网络（GAN）[14]的引入，下一代合成指纹方法[3，25，1]出现了，它能够生成普通和滚动指纹。然而，像SFinGe一样，它们不是为潜在指纹合成而设计的此外，这些发生器仅在每个手指上产生单个压痕。Engelsma等人[10]提出了一种称为PrintsGAN的最先进的方法，能够生成大量不同的身份，每个手指具有多个滚动/平面压痕虽然PrintsGAN已经显示出数据增强的前景，但在创建身份的多个印象与PrintsGAN一样，Grosz和Jain [15]开发了一种能够从同一身份合成多个指纹欺骗印象的模型。其他指纹合成方法使用CycleGAN[44]来生成逼真的纹理。 Wyzykowski等人[37，38]使用CycleGAN生成额外的中分辨率和高分辨率500 nm和1250 nm指纹图像，对应于基于SFinGe的身份生成器。Sams et.al [31]巩固了CycleGAN的使用，使StyleGAN 2[20]能够生成新的身份尽管取得了这些进展，但所有上述方法都没有集中于潜在指纹合成。2.2. 潜在指纹的合成与重建Ozturk等人[26]开发了一种用于自动潜指纹识别的算法。虽然这篇论文[24]第24话：一个人的秘密然而，作者没有使用合成潜在数据进行数据扩充，以显示其合成潜在数据库的实用性。此外，他们没有（i）提供生成的身份的数量，以及（ii）评估合成和真实指纹潜伏期之间的相似性Xu等人[40]证明了它们可以通过在潜像重建中使用数据增强来提高匹配性能然而，作者没有指定评估潜指纹重建的指标，如细节检测分析及其图像质量。3. 潜在指纹生成器本研究这个功能是必不可少的，因为不同数据库中的潜伏期取决于留下指纹的表面。我们在图3中用算法1中的伪代码详细描述了我们的方法在第3.1节中，我们详细介绍了CycleGAN在我们方法的两个阶段中使用的修改和参数。在第3.2节中，我们描述了指纹合成方法的第一阶段，其中我们创建了一个通用模型，能够将图像从滚动域转换为通用潜在域。然后，第3.3节详细介绍了第二阶段，我们为每个潜在的打印样式创建特定的模型。3.1. CycleGAN修改细节CycleGAN [44]是一种神经网络模型，专注于不成对的图像到图像翻译过程，即，能够映射两个不同的图像域并从这些域执行图像特征的变换的网络。通过Cycle-Consistency损失，CycleGAN可以执行双向样式转换，将输入图像转换为输出图像的样式，反之亦然。此外，CycleGAN不需要配对的例子来训练，这在处理潜在图像时是一个重要的优势，因为在许多数据库 中 ， 潜 在 和 滚 动 印 象 然 而 ， 当 我 们 使 用 原 始CycleGAN架构对潜在的CycleGAN进行初始训练时，我们注意到974卷印X指纹嵌入潜印Y'第一阶段：滚动到潜在发电第二阶段：聚类和模型改进滚动指纹数据库CycleGAN使用ResNet152V2CycleGANFinetune风格选择器全局和补丁鉴别器k种潜在风..全局和补丁鉴别器受控潜伏期合成潜在指纹数据库视觉相似性聚类指纹识别.型号k模型1模型粗使用K-Means聚类相似的潜在风格图3：使用所提出的方法创建合成潜在指纹的步骤。算法1潜在指纹合成输入：M（i）套卷印。激活函数Relu.此外，我们还使用了实例归一化。输出：来自M（i）的合成潜在指纹，表示为SLP（i）.第一阶段：发生器鉴别器可接受/使用配对的滚动和潜在指纹作为训练数据生成粗糙的CycleGAN风格模型GSM输出：GSMCycleGAN模型第二阶段：输入：（GSM CycleGAN模型）使用ResNet152V2 [17]从潜像中提取特征使用K-Means对潜在指纹进行聚类。对于每个k簇，使用滚动和聚类的潜在指纹作为训练数据生成微调的CycleGAN风格模型SMk。端对于每个CycleGANSMk模型，对于M（i）中的每个滚动打印，生成SLP合成潜在指纹。首尾相接输出：SLP（i）合成潜在打印。指纹其他作者[33，22]也报告了在不同图像风格上使用CycleGAN的类似问题。因此，我们决定使用一个全局代理（已经存在于Cyle-GAN中）和一个补丁代理，我们在图4. 补丁使我们的训练更加稳定，生成了更好的指纹脊线细节。我们使用CycleGAN的公共实现来执行本节中描述的我们使用Leaky Relu [39]作为生成器中的激活函数，负斜率为α=0。二、对于全局和补丁鉴别器，我们保留原始CycleGANhttps://github.com/towardsautonomy/CycleGAN_改进不可接受的潜伏期图4：具有鉴别器的CycleGAN架构。在我们的CycleGAN ar中有六个剩余块[16]-结构我们使用Adam优化器训练我们的模型[21]其中β1=0。5和β2=0。999循环一致性损失的权重为λ=10。我们对生成器使用0.0003的学习率，对学习器使用0.0001的学习率如果损失在50个epoch后没有改善，我们会提前停止[28]训练我们的工作旨在将滚动指纹转化为潜在指纹，而不是逆转这一过程（滚动为潜在指纹）。然而，通过利用周期一致性丢失，CycleGAN可以改善潜像，这可能会进一步提高指纹识别系统的性能，我们计划在未来的工作中进行研究。如第3.2节和第3.3节所述，我们将CycleGAN的修改版本用于阶段1和阶段2。3.2. 第一阶段：滚动到潜在世代第一阶段的目标是创建一个CycleGAN使用这个3.3. 第二阶段：聚类与模型精化潜在指纹图像可以具有不同的风格，这取决于指纹痕迹留下的位置或者是否有噪声、污垢、血液等，都在场因此，复制这种固有的变化至关重要。因此，第二阶段涉及解码器编码器贴片全球975对潜在指纹进行聚类，并生成针对每个聚类风格定制的自定义CycleGAN模型。首先，在第3.3.1节中，我们详细介绍了聚类潜在指纹的方法然后，第3.3.2节描述了CycleGAN中的微调过程，生成能够创建与集群对应的样式的模型3.3.1基于视觉相似性我们首先使用预训练的公共ResNet152V2 [17]模型来提取潜像的特征向量该网络使用ImageNet-21 K数据集进行训练[29]。我们使用ResNet 152 V2的最后一个具有2048个输出节点的全连接层作为特征向量，使用K-Means对合成图像进行聚类。作为这个过程的结果，我们获得了k组潜像，每个包含不同的模式和视觉特征。然后，这些k个集群作为输入，在第2阶段执行CycleGAN的微调（参见第3.3.2节）。3.3.2生成多个潜在打印样式我们使用在第一阶段中开发的CycleGAN模型来生成多个潜在的打印样式，并基于视觉相似性来微调k个k个CycleGAN模型中的每一个都生成每个潜在组中存在的特征的不同变化。因此，如果每个聚类的潜像的数量很小，则CycleGAN可能不能很好地收敛。第4.1节详细介绍了帮助训练更好地收敛的数据增强操作。使用k个微调的CycleGAN模型。可以对合成潜在指纹样式的分布施加更大的控制。我们的方法使用从NIST SD4数据库中获得的身份（表示为滚动指纹）进行实验验证。然而，可以使用任何其他滚动指纹数据库，例如，甚至来自PrintsGAN [10]的合成滚动图像，用于生成新的合成身份。PrintsGAN是一种神经方法，能够通过模拟表面上的扭曲、纹理和手指压力等参数来生成唯一身份。PrintsGAN和k纹理模型相结合，可以生成各种具有“虚拟”身份的潜在滚动配对指纹对4. 实验结果4.1. 合成潜指纹生成在我们算法创建潜在指纹集的第一阶段，我们训练了一个CycleGAN模型，该模型接收来自NIST SD4第一次采集的2，000个滚动指纹作为输入[36]。对于我们的目标纹理转移，我们https://www.tensorflow.org/api_docs/python/tf/keras/applications/resnet_v2/ResNet152V2使用MSP潜在数据库中的2，074个潜在指纹。在第一阶段结束时，我们有一个能够将滚动图像转换为潜像的模型。虽然在第一阶段训练的该模型已经能够生成潜指纹，但我们的目标是在潜图像的视觉特征中产生更大的多样性，提供不同的在第二阶段中，我们选择3个聚类（k=3），因为NIST SD 27潜伏期已经被划分为三个类别，即好的、坏的和丑陋的，具有三个不同的识别难度和视觉纹理水平。给定第一阶段中的三个聚类，我们执行方法的第二阶段，使用每个聚类的样式对粗略模型进行微调我们在训练过程中通过对图像进行随机垂直和水平平移（最大100像素）以及最大15度的随机旋转来动态应用数据增强此数据扩充操作不会更改指纹的身份。最后，经过训练，我们有三个CycleGAN潜印模型，每个模型都有不同的特征，包括失真，纹理和摩擦脊区域，这是一个在生成潜像时提供更多控制的因素为了创建我们最终的合成潜像集，我们使用了NISTSD 4 第 二 次 采 集 的 滚 动 图 像 [36] ， 并 使 用 三 个CycleGAN模型生成了2,000个新的潜像。我们现在有一个包含2,000个合成潜伏期的数据库，以及来自NISTSD 4的 2,000个滚动配对图像图5显示了MSP潜在数据库NIST SD27和我们的合成潜在图像中的好、坏和丑组之间的视觉比较4.2. 真实和合成潜在嵌入的相似性为了验证我们的合成潜伏指纹与MSP潜伏指纹和NIST SD27数据库中的真实潜伏指纹之间的相似性NFIQ 2提供范围[0，100]中的分数，其中分数越高，图像质量越好。 图6包含从MSP潜伏期、NIST SD 27和我们的合成潜印（SLP）获得的分数的频率直方图，表明NIST SD 27潜像的质量总体上优于MSP潜伏期和我们的合成潜伏期。我们的合成潜像的质量与MSP潜像相似，这是合理的，因为我们在CycleGAN的训练中使用了MSP潜像。为了进一步说明合成潜伏期与MSP潜伏期和NISTSD 27潜伏期的相似性，我们在图7中示出了t分布随机相邻嵌入（t-SNE）图。我们看到，真实数据库和我们的合成潜在者的潜在指纹的2D嵌入的位置是相似的。这些结果表明，我们能够真实地生成复制视觉的潜在指纹，976MSP潜伏期NIST SD27合成潜伏剂（我们的）TSNE -维度2好坏丑图5：来自NIST SD27、MSP数据库和我们的合成潜指纹（SLP）的好、坏和丑潜指纹。NIST SD27数据库带有一个主观分类，分为好，坏和丑类。MSP潜伏物和我们的合成指纹使用相同的分类。真实潜像的特征。0.07MSP潜伏期NIST SD27合成潜伏剂（我们的）20100.060.0500.04100.03200.02300.010.000 20 40 60 80 100NFIQ2评分：频率直方图图6：NFIQ 2评分的直方图。请注意，由我们的方法生成的合成潜伏期的质量直方图与来自NIST SD27和MSP数据库的犯罪现场潜伏期的质量直方图重叠。最后，对于三个CycleGAN模型中的每一个，分别针对好、坏和丑潜伏期，我们使用Verifinger V12.3SDK将合成潜像与来自 NIST SD4数据库的图9. 显示了三组合成内消旋体以及NIST SD27数据库的ROC图这一比较表明，好、坏和丑合成印刷品的识别难度与NIST SD 27潜伏期中相应三类潜伏期的20 10 0 10 20 30TSNE -维度1图7：192 D嵌入的2D t-SNE图，显示NIST SD 27、MSP和合成潜伏期图像的重叠。“好”合成图像的TDR为83.22%，NIST SD 27中“好”图像的TDR值为92.05%。TDR的差异可以解释如下：用于训练CycleGAN的MSP潜在数据库具有与NIST SD 27不同的质量分布。我们的目标不是复制NIST SD27图像，而是设计一种能够生成具有不同质量的潜在数据的方法。4.3. 细节分析为了进一步分析CycleGAN mod生成的好、坏和丑潜像合成潜伏剂MSPNIST SD27密度9772因此，在图8中，我们示出了由单个NIST SD4身份生成的好、坏和丑的潜在图像，其与由Verifinger V12.3提取的细节点重叠。请注意，在由好、坏和丑模型生成的图像中，细节点的数量减少。为了对真实和合成潜指纹之间的细节点计数进行定量比较，我们生成了258个潜指纹，与NIST SD 27中的相同。NIST SD 27的平均细节点计数为：68、45和35分别为好、坏和丑陋的潜伏期。合成指纹的对应细节点计数平均值为：55，39，35，分别。(a) NIST SD4轧制（88）（b）良好的潜伏性（a）（31）(c)来自（a）（21）（d）的不良潜伏期来自（a）（19）图8：从（a）中所示号括号中显示了Verifinger V12.3SDK的图像（a）-（d）中的细节点一般而言，4.4. 数据扩充以提高准确性该实验旨在表明，通过使用合成潜在指纹（SLP）作为数据增强来重新训练DeepPrint，可以提高滚动到滚动匹配器DeepPrint [9]的匹配精度在执行该实验时，我们试图确定DeepPrint范围内的相对性能增加，而不是相对于其他匹配器的相对性能增加，从而验证合成潜像对于提高任何指纹匹配器的识别性能以进行潜识别的有用性。作为 我们实 验的测 试集， 我们使用 NIST SD 27[13]，NIST SD 302（N2 N）[12]和IIITD-SLF [43]，在来自这些数据库中的每一个的潜像和配对的卷起/拍打图像之间执行匹配。此外，由于我们的方法允许好、坏和丑潜伏期的受控合成，我们仅利用坏和丑潜伏期进行数据增强，因为这些提供了更高的匹配挑战。我们的实验设计如下：（i）使用原始DeepPrint模型[9]作为参考模型。(ii)使用MSP潜在数据库图像微调DeepPrint，在潜在指纹的上下文中找到DeepPrint架构中的定位网络超参数LN使用与（ii）中相同的LN值允许直接比较和微调DeepPrint与我们的合成SLP潜指纹。(iii)在模型中生成一个变化，允许我们执行分数级融合，并使用与（ii）相同的图像进行微调，但具有不同的LN值，仍然提供令人满意的识别结果。我们实验中使用的模型总结在表2中。定位网络细节点越少，图像质量越低模型训练数据超参数100806040200102 101误检率%图9：NIST SD 4和NIST SD 27生成的合成潜在指纹（SLP）的ROC曲线两个比较的好、坏和丑ROC曲线似乎在这些图中分组在一起。在FAR= 0.1%。DeepP rint2和DeepP rint3模型不使用任何真实的潜在指纹进行再训练。表2：模型、训练数据和超参数。除了表2中的模型之外，我们还将Min-Max归一化应用于由DeepPrint2和DeepPrint3模型生成的分数，并进行模拟。多 个 评 分 水 平 融 合 [30] 作 为 ScoreFusion=（ns2+ns3），其中ns2和ns3是来自DeepPrint2和DeepPrint3的归一化分数。The “fused” model is referred to as 图10显示了在NIST SD27 [13]上评估的DeepPrint [9]、DeepPrint1、DeepPrint2、DeepPrint3和DeepPrint4SLP：良好- TDR：83.22%SLP：差- TDR：71.81%SLP：丑陋- TDR：52.21%SD27：良好- TDR：92.05%SD27：差- TDR：71.76%SD27：丑陋- TDR：37.65%真实检测率%DeepPrint [9]455K MSP卷印0.035DeepP rint1518 MSP对齐的滚动和潜伏0.018DeepP rint22K SD4（卷制，合成潜伏期）对（坏的，丑陋的）0.018DeepP rint32K SD4（卷制，合成潜伏期）对（坏的，丑陋0.007978706050403020102101误检率%Verifinger V12.345.45 10.81 22.71* 我们在N2N中使用了所有9，990个潜在我们将N2N潜像的分辨率降低到500dpi，并应用Clahe滤波器[27]来突出指纹脊。表4：不同DeepPrint模型相对于62，871个滚动指纹（54 K来自NIST SD 14，8，871 K来自NIST SD 300a）的背景集的Rank-1准确度（%），图10：DeepPrint [9]及其变体的ROC曲线在NIST SD27上进行评估[13]。除了每个数据库的潜在指纹的真实滚动伙伴之外在所有情况下，我们用合成图像训练的模型都比原始DeepPrint模型和用NIST SD27上的MSP潜伏期训练的微调模型表现得更好。我们将所有实验分析结果列于表3中。只有利用潜在的MSP潜伏期，才有可能提高系统尽管如此，有必要在滚动和潜在的配偶之间进行对准，这也是一项具有挑战性的任务。之所以需要这种对齐，是因为DeepPrint中的定位网络无法与潜在图像进行如此精确的对齐不过，对准问题并不存在0.550.500.450.400.350.300.250.200.15[8]第八话DeepPrint1DeepPrint2DeepPrint3DeepPrint4（融合）1 5 10 1520秩因为我们可以直接从卷式印刷品控制潜在的合成。这些结果证实Verifinger V12.3是性能最佳的匹配器之一，与FVC-onGoing [8]和NIST FpVTE [35]中报告的结果一致型号NIST SD27NIST SD302（N2N）* IIITD-SLF[9]第一届中国国际汽车工业展览会DeepP rint129.45 13.15 14.16DeepP rint232.55 13.97 15.0DeepP rint337.20 14.07 17.5DeepP rint439.92 14.31 20.83Verifinger V12.355.81 16.22 29.70* SD 302h子集中手指位置注释中存在的N2N潜在和滚动配偶我们将N2N潜像的分辨率降低到500 dpi，并应用Clahe滤波器[27]来突出指纹脊。表3：FAR = 0.01%时的真实检出率（TDR（%））4.4.1鉴别（1：N比较）本实验的目标是通过将NIST SD 27、NIST 302（N2N）和IIITD-SLF中的潜在指纹与由NIST SD 300a（8，871k）[11]和NIST SD 14 [34]（54K）的数据库。该分析的结果见表4，NIST SD 27的累积匹配特征（CMC）我们使用与NIST ELFT-EFS [18]相同的方案来评价我们模型的性能。图11：在NIST SD27潜在数据库上评估的各种DeepPrint模型的CMC曲线。5. 结论本文提出了一种新的方法，能够从任何滚动指纹数据库中合成潜在指纹。为了实现这一点，我们使用了CycleGAN的修改版本，除了原始CycleGAN中已经存在的全局判别器之外，还添加了一个补丁函数我们的方法生成的模型能够复制好，坏和丑陋的潜像存在于NIST SD27潜像数据库，从而允许生成风格控制的潜像。此外，通过比较二维NFIQ 2质量值和t-SNE图以及潜像与其配对的滚动图像的识别性能，我们可以声称合成潜像是逼真的，与真实潜像相似。最后，我们使用我们的修改后的CycleGAN模型生成的SLP潜像对原始Deep-Print [9]模型进行了微调我们实现了性能提升，并在三个潜在数据库上验证了这一点。在未来的工作中，我们计划通过增加背景和纹理变化的复杂性来此外，CycleGAN能够将潜在的恢复为滚动的。有了这个，我们计划提高潜在指纹的质量，从而提高深度网络中的潜在识别DeepPrint[8]：MSP纵向DeepPrint1：MSP潜在DeepPrint2：Bad and UglySLPDeepPrint3：Bad and UglySLPDeepPrint4：与DeepPrint 2和DeepPrint 3真实检测率%识别率（%）模型NIST SD27NIST SD302（N2N）*IIITD-SLFDeepPrint [9]15.504.189.8DeepPrint123.645.9814.13DeepPrint226.746.5614.7DeepPrint328.297.2417.12DeepPrint429.077.9318.21979引用[1] Keivan Bahmani ， Richard Plesh ， Peter Johnson ，Stephanie Schuckers，and Timothy Swyka.高保真指纹生成：质量、独特性和隐私。2021年IEEE图像处理国际会议（ICIP），第3018-3022页IEEE，2021。[2] 奥利弗·鲍辛格和埃尔哈姆·塔巴西指纹样本质量指标nfiq 2.0。BIOSIG 2011[3] Kai Cao和Anil Jain指纹图谱合成：大规模评估指纹搜索。在2018年国际生物识别会议（ICB），第31-38页IEEE，2018年。[4] Kai Cao，Dinh-Luan Nguyen，Cori Tymoszek，and AnilK Jain. 端 到 端 潜 在 指 纹 搜 索 。 IEEE Transactions onInformation Forensics and Security ， 15 ： 880-894 ，2019。[5] 理查德·M·卡普兰指纹是如何用于个人身份识别的。美国皮肤病学会杂志，23（1）：109[6] R. 卡佩利Sfinge：一种合成指纹生成方法生物识别技术，2004年1月。[7] 国家研究委员会等加强美国的法医学：前进的道路。国立科学院出版社，2009年。[8] 伯纳黛特·多里齐、拉斐尔·卡佩利、马特奥·费拉拉、达里奥·马约、达维德·马尔托尼、内斯马·胡马尼、索尼娅·加西亚-萨利塞蒂和奥雷·利安·马约。2009年国际生物多样性委员会指纹及网上签名验证比赛在生物统计学国际会议上，第725-732页Springer，2009.[9] Joshua J Engelsma，Kai Cao，and Anil K Jain.学习固定长度的指纹表示。IEEE Transactions on Pattern Analysisand Machine Intelligence，43（6）：1981[10] 放 大 图 片 作 者 ： Joshua J.Grosz 和 Anil K.贾 恩 。PrintsGAN ： 合 成 指 纹 生 成 器 。 CoRR ，abs/2201.03674，2022。[11] Gregory P Fiumara ， Patricia A Flanagan ， John DGrantham ， Bruce Bandini ， Kenneth Ko ， John MLibert，et al. NIST专用数据库300：来自指纹卡的未压缩的普通和滚动图像。2018年。[12] Gregory P Fiumara ， Patricia A Flanagan ， John DGrantham ， Kenneth Ko ， Karen Marshall ， MatthewSchwarz，Elham Tabassi，Bryan Woodgate，ChristopherBoehnen，et al. NIST专用数据库302：一对一的指纹挑战。2019.[13] 迈克尔·D·加里斯和迈克尔·D·加里斯NIST专用数据库27：从指纹潜像和匹配指纹图像中提取指纹细节点。美国商务部，国家标准与技术研究所，2000年。[14] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统进展。2014年27日[15] Steven A Grosz和Anil K Jain。伪造：合成指纹伪造图像.arXiv预印本arXiv：2204.06498，2022。[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[17] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.深度剩余网络中的身份映射。在欧洲计算机视觉会议上，第630-645页。施普林格，2016年。[18] Michael D Indovich，RA Hicklin，G I Kiebeninski，等.潜在指纹技术（ELFT）的NIST评估- 扩展特征集评估2. 美国国家标准与技术研究院，NIST，2012年。[19] Anil K Jain 和 Jianjiang Feng 。 潜 在 指 纹 匹 配 。 IEEETransactionsonpatternanalysisandmachineintelligence，33（1）：88[20] Tero Karras ， Samuli Laine ， Miika Aittala ， JanneHellsten，Jaakko Lehtinen，and Timo Aila.分析和改进了扫描仪的图像质量。 在IEEE/CVF计算机视觉和模式识别会议论文集，第8110-8119页[21] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[22] 权泰成和叶正哲利用可逆发生器实现无监督低剂量ct去噪。IEEE Transactions on Computational Imaging，7：1354[23] 十月五日，Loyola-Gonza'lez，EmilioFranciscoFerreiraMehn-ert ， Aythami Morales ， JulianFierrez，Miguel Angel Medina-P e' rez和Ra u'lMonr oy。细节点错误对潜指纹识别的影响：评估和预测。应用科学，11（9）：4187，2021.[24] 达里奥·马约，大卫·马尔托尼，拉斐尔·卡佩利，吉姆·L·韦曼和阿尼尔·K·贾恩。Fvc2004：第三届指纹验证比赛。在生物识别认证国际会议上，第1-7页。Springer，2004.[25] Vishesh Mistry，Joshua J Engelsma，and Anil K Jain.指纹合成：搜索1亿个指纹。2020年IEEE国际生物识别联合会议（IJCB），第1-10页。IEEE，2020年。[26] HalilstecIbrahimOüztuürk，BerkaySelbes，andYusufArtan. Min-net：用于自动潜指纹识别的细节块嵌入网络.在IEEE/CVF计算机视觉和模式识别会议论文集，第1627-1635页[27] Stephen M Pizer ， E Philip Amburn ， John D Austin ，Robert Cromartie，Ari Geselowitz，Trey Greer，Bart terHaarRomeny ， JohnBZimmerman ， andKarelZuiderveld.自适应直方图均衡及其变体。计算机视觉、图形和图像处理，39（3）：355[28] Lutz Prechelt提前结束，但什么时候呢？在神经网络中：贸易技巧，第55-69页。Springer，1998年。[29] Tal Ridnik 、 Emanuel Ben-Baruch 、 Asaf Noy 和 LihiZelnik-Manor。Imagenet-21 k预训练的群众。arXiv预印本arXiv：2104.10972，