多智能体多模式生物识别系统在边境控制的有效性和性能优越性

阵列14（2022）100171一种基于多智能体的多模式生物识别系统在边境控制Susara S Thenuwaraa，*，Chinthaka Premachandraa，Hiroharu Kawanaka ba日本东京芝浦工业大学电子工程系b日本三重县津市栗山町三重大学电子电气工程系A R T I C L EI N FO保留字：人工智能生物识别多智能体系统A B S T R A C T在过去的几年里，由于在边境地区缺乏适当的授权方法，边境罪犯和未经授权的移民在全球范围内急剧增加。通常，旅客控制由训练有素的移民官员完成，他们在边境比较护照和外表，而一些国家则由自动边境控制系统（ABC）完成。ABC是生物识别领域的可应用的现实世界应用之一，其通常与指纹和面部（多模态）生物识别授权一起实现。然而，在决策阶段选择合适的分类方法是一项具有挑战性的任务。本文提出了一种新的多模式生物认证体系结构，与多智能体系统（MAS），拿出最优的解决方案，利用MAS的共同特点，如协调，合作，和谈判的特点。实验是用四个可用的多模态数据集，即国家标准技术研究所（NIST）的多模态，SDUMLA-HMT多模态，BANCA和PRIVATE数据库已被报道，以证明所提出的方法的效率。实验结果表明，与以往的ABC系统相比，在认证阶段和计算速度方面具有优异的性能。1. 介绍生物识别是对个人生物模式的测量，如指纹，虹膜图案，声音和面部[1]。面部生物特征和指纹可以被识别为生物特征领域中具有成本效益和易于访问的特征。由于计算机安全领域的重大进步，它在过去几年中才变得可用[2]。此外，面部和指纹生物识别不需要记住，也不会轻易丢失。这使得用户更容易，它不能轻易被盗或借给朋友[3]。生物识别技术消耗这些特征并授权该人执行称为生物识别授权系统的特定任务[4]。有两种类型的生物识别认证系统;多模式和单峰。大多数研究都是使用多模态系统进行的，因为它比单峰系统有许多改进[4]。尽管存在对单一生物特征的欺骗攻击，但多模式生物特征系统仍然将其实力置于较高水平[5]。使用生物特征的客流控制可以被认为是生物识别领域的重大进步[4]。传统的边境管制是由训练有素的移民官员进行的，他们将护照或旅行证件在边境地点检查旅客的身份证件和外貌[5]。依赖护照人脸图像是整个授权过程的一个脆弱因素[14]。由于这个漏洞，毒品，欺诈，犯罪都在上升，在一个无法控制的水平。因此，这些威胁严重影响了该国的许多关键部门，如国家安全、金融和旅游业。另一方面，非法移民在一些国家是一个紧迫的问题。因此，基于生物特征的授权方法在客流控制中非常流行，并且是近十年来研究人员的重要趋势[12]。1.1. 自动化边境控制（ABC）边界ABC（e-Gates）是近年来生物识别领域的主要关键现实应用之一（[1，8，9]）。然而， 呃，在国际民航组织（ICAO）规定的边境地点，很少有生物特征可以用于自动边境管制[1]。有几个组织负责在边境点进行旅客管制，如民航组织、空运协会和加环网。这些组织特别是ICAO推荐了生物识别数据的一些功能，例如* 通讯作者。电子邮件地址：susara@susara.lk（S.S. Thenuwara）。https://doi.org/10.1016/j.array.2022.100171接收日期：2022年4月9日;接受日期：2022年4月19日2022年4月22日在线提供2590-0056/© 2022作者。爱思唯尔公司出版这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。可在ScienceDirect上获得目录列表阵列期刊首页：www.sciencedirect.com/journal/arrayS.S. Thenuwara等人阵列14（2022）1001712图像分辨率、角度、位置和深度[1]。这项研究已经进行了两个生物特征（面部和指纹）与国际民航组织推荐的标准。尽管如此，在识别策略中虹膜特征的准确性很高，但由于处理时间，传感器成本，捕获时间和隐私等许多原因，指纹和面部特征的组合在时间关键的环境中提供了可靠的结果[8]。图1示出了具有时间轴的ABC系统的评估。ABC系统的评估始于一个可用于特定用户群体的访问控制系统，并随着生物识别技术的不断发展，直到今天的电子边境系统，以处理未知的风险旅行者。在这段时间内，影响ABC业绩的几个因素急剧增加。自动生物识别授权系统是一项重大进步在过去的几年里，机器学习技术[6]。尽管许多分类算法在研究水平上具有很高的性能，但在现实世界的应用中，例如具有大型数据库的时间关键环境中，没有可靠的结果[7]。从一个单一的分类获得可靠的结果，并与现实世界的应用程序实现困难的任务，因为它影响了其他因素。因此，组合分类器（多分类器）更可靠，使用更广泛[9]。然而，组合方法的最优选择是决策阶段的另一项艰巨任务[10]。简单地说，为最终采用的版本找到融合方法是一个困难的过程，并且在融合过程完成后没有机会改变最终输出。该策略的基本思想是使用不同的分类技术来达到最佳解决方案。这种内置的测试策略是多分类器技术和最终决策过程中非常重要的一部分[17]。 假阳性率（FPR）和假阴性率（FNR）之间的平衡是这些问题中最关键的任务[11]。我们的方法是使用基于代理的架构进行谈判的策略，并拿出一个最佳的结果。1.2. 随现有系统问题其他因素，如乘客意识和残疾是不可控制的。传统的自动生物识别系统与ABC系统不同，如表1所示。英国的虹膜识别移民系统（IRIS）和欧盟的e-Gates是半自动ABC系统的好例子[5]。1.3. 智能多主体范例基于代理的体系结构与其环境交互，提供了动态性和灵活性，因为它在决策阶段具有合作、协调和谈判的特征[34]。在我们之前的研究“多智能体方法在边境控制中进行人脸识别”中，我们使用了两种流行的识别算法主成分分析（PCA）和线性判别分析（LDA），并采用多智能体范式来识别人脸（单峰）并授权乘客[ 13 ]。然而，在实际情况下，在具有大型数据库的单峰生物特征中存在许多困难，因此它是用经典算法实现的[6]。为了克服这些问题，我们提出了一个多分类器，多模态，多Agent为基础的架构在本文中。智能体可以执行分类任务，多智能体概念给出了多分类器智能体的最终决策方向[47]。这可以被认为是一个新的概念，使决策过程中的生物特征授权系统，它克服了其他组合方法的不可行性，以及有效的处理问题的融合[6]。目前有许多多模态生物识别系统可用于在不同的现实世界场景中授权人员[8]。然而，尽管在时间关键型应用中保持最佳结果相当困难，困难（电子门）[2]。指纹和面部特征的结合是主要成分 的我们 研究和相对 时适用表1生物特征识别与ABC系统的比较[1]。自动化边境管制系统通过对现有技术的综合考虑，并在边境地区运用ABC系统，可以得出如下结论。欧洲联盟（EU）e-Gate系统拒绝率为八分之一[5]，其他国家可能会有所不同国家所有的废品都被转移到手动门上，捕获和识别的位置并不重要。捕获和识别阶段存在巨大的噪声和不同的光照条件捕获和识别位置是重要的在捕获和识别阶段，噪音更小，光照条件相似出入境管制。 悉尼机场自动化程度图像中的多个人脸一次只能显示一个人脸图像2012年后，由于故障率和隐私案例的增加，系统将被淘汰[2]。但也有质量等一些可控因素面部表情、角度是识别阶段的障碍识别阶段的障碍更少生物识别技术、ABC系统的接受度和准确性、机场物流、移民官员的技能率和人机界面从大量人口中寻找身份从少量人口更多训练图像更少训练图像图1.一、 ABC系统的演 变与时间轴，从访问控制系统开始到eBoder系统[5]。S.S. Thenuwara等人阵列14（2022）1001713考虑到其他特征，例如：• 可用性，授权过程• 相对便宜，易于采用• 普遍性• 相似类问题--像双胞胎一样的相似面孔[7]。本文提出的方法是在授权策略的最终决策过程中采用基于Agent的体系结构。个体代理执行分类任务以识别生物特征。 其要点是智能体可以用概率矩阵“惩罚“其他智能体，以提供最优结果。智能代理是一个小型计算机实体，具有协商能力，反应和主动功能[13]。它们可以使用标准协议相互通信，并激活以实现共同目标[34]。图2示出了多模态生物计量授权系统的基于代理的所提出的架构的基本概述。代理的集合（多代理）有四个邮件层，分别是：控制器层：该层等待用户生物识别来激活内部代理。该层可以根据通信结果决定对Agent的惩罚，以达到共同的目标。决策层：该层确保推理完成后所有分类器代理的输出。这背后的基本思想是搜索最佳结果并消除其他代理。通信层：这一层负责代理之间的内部通信。它在谈判过程中有适当的行动计划，在沟通过程中有一定的决策能力。但是，代理会根据其他代理消息自动决定是否更改当前结果。分类器层：该层负责管理代理中的分类器算法。智能体具有不同的分类器来识别图像的特征。在这种体系结构中，置信度是融合（分类器的组合）的一个重要因素，而代理之间的通信。在本文中，我们称之为置信水平的降低是所提出的方法的测试阶段的灵敏度度量。此外，我们的主要目的是分析和图二. Agent的基本结构。知识库具有关于其他代理的信息。研究分类器的灵敏度。为了评估实验，使用了四个数据库，即：国家标准技术研究所（NIST）多模态数据集[2]，SDUMLA-HMT多模态数据库[18]，BANCA数据库[42]和PRIVATE数据库。进行了两个实验。一个用于测量和比较与以前的融合模型的精度和其他的比较与现有的ABC系统使用私人数据集。本研究的贡献如下：(1) 开发一个基于多模式多代理的乘客身份验证系统。(2) 评估所提出的系统使用多模态公开可用的数据库，并比较它与以前的融合方法。(3) 与其他ABC系统进行评估，以分析拟议系统的稳定性。该文件的其余部分组织如下。第2节介绍相关工作。第3节介绍了拟议的方法。第四部分讨论了硬件的设计与实现。第5节讨论了实验结果。最后，在第6节中得出结论。2. 相关工作近年来，许多研究人员利用机器学习算法进行了多模态生物特征研究。我们以前的研究&有许多类型的研究正在进行深度学习方法，以自主授权的在下一节中，我们优先考虑人脸和指纹生物识别技术以及融合方法，因为ICAO标准对自动客流控制系统[1]有一些规定。Hiren D Jochi提出了一种多代理生物特征认证系统，用于使用指纹和面部识别（BIOMET）进行人员身份识别和验证[14]。指纹的独特性质使其非常适合用于自动识别系统。指纹是由一系列具有独特特征的脊和槽组成的。该方法采用了分数级融合的方法，人脸特征的接受率高于指纹特征。实验进行了他们的数据库，其中包括200个人。然而，不使用公共访问数据库和较小的数据集大小的量是该方法的缺点。此外，评分水平融合方法更适合处理较少的图像[13]。El Mehdi Cherat等人讨论了使用指纹，手指静脉和面部图像融合的多模态生物识别系统的卷积神经网络（CNN）方法[15]。在这项最新研究中，还展示了个体和双生物特征融合的结果。带有SoftMax的CNN在SDUMLA-HMT多模态数据集上获得了更高的准确性，该数据集包含41，340个个体特征。仅使用一个数据集并使用手指静脉特征进行的实验可以被认为是缺点。AbderrahmaneHerbadji等人已经使用非对称聚集算子组合多个生物特征以改进人识别[16]。本文讨论了融合方法（非对称聚合算子），多模态生物测定使用公开可用的数据库和比较评分水平融合（最小值、最大值、t-范数、累积和）。实验结果表明，采用非对称聚合融合技术，多模态系统的识别精度比单模态系统高99.40%.David White等人讨论了护照官员照片ID在安全领域中被广泛使用。护照伪造者是受过高度训练的人，他们可以在边境比较身份证照片和外表。研究人员得出结论，护照官员在每个级别的表现都很差。在某些情况下，····S.S. Thenuwara等人阵列14（2022）1001714他们发现，准确的结果与经验或培训的长度无关。最后，他们提出，“护照工作人员错过了七分之一的假身份证”在澳大利亚的背景下。这意味着在人脸识别领域有巨大的需求，Waldemar W o'jcik et al. 讨论了人脸识别：问题，方法和替代应用[20]。人脸识别是图像分析领域最成功的应用所有用于人脸识别的机器学习方法，如人工神经网络（ANN），传统的神经网络（CNN）适用于广泛的训练数据集，不幸的是，这些方法是不准确的建模类在只有一个或少量的训练样本。Girija Chetty等人讨论了分布式人脸识别中的多代理方法[21]。所提出的系统包含多层架构，可以实现高性能的复杂人脸识别系统在各种视觉条件下的鲁棒本研究的主要目的是进一步研究人脸生物测量技术及其在视频监控和犯罪侦查中的应用。在功能层次上，它由三层组成，如中心代理、相邻代理和远程代理。皮肤分割、皮肤区域检测和人脸融合代理负责人脸识别。这些层使用一种流行的特征提取算法，称为主成分分析（PCA）。该系统是在一个名为ABLE的Java框架中开发的然而，系统只考虑了分布式的人脸识别阶段。整个系统的流程和通信协议在文中并不清楚。除此之外，Rajeev Gupta还提出了一种多智能体人脸识别方法[22]。肤色分割、肤色区域检测、特征提取、分类等都可以看作是人脸识别系统的一部分，以分布式的方式实现。MAS为这样的分布式和复杂系统提供了足够的功能。同一个人的面部图像可能由于年龄、表情、化妆、发型等而不同。每个人都有一张脸，并准备显示它。这个因素是一个很大的优势，比其他生物识别。建议的系统使用基于代理的解决方案，分割、肤色区域、特征提取、分类来一个新兴的解决方案。然而，所提出的系统没有用真实的生物特征样本进行评估，也没有与传统系统进行比较。Wasim Shaikht等人回顾了使用多智能体系统的人脸识别[23]。研究人员提出的传统算法由于光照的影响而导致性能下降.人脸跟踪和人 脸 识 别 可 以 通 过 使 用 JADE （ Java Agent DevelopmentEnvironment）的基于Agent的解决方案来解决代理通过执行分配的面部跟踪和面部识别任务来相互传递异步消息（ACL）进行通信和协调[22]。然而，拟议的系统没有测试和评估。单独的特征提取不能给出准确的结果，因为有许多识别代理负责，例如颜色分割，皮肤区域检测等。后来，Yanfei Zhu等人讨论了基于多相机系统的代理的人脸特征提取[24]。该系统将每个摄像机视为一个智能代理，它将从环境中捕获面部特征的姿态参数。从每个摄像机采集的图像可以更好地提取特征，可以解决由于角度引起的错误识别融合机制，找到一个最佳的框架，可以被认为是他们的研究未来的工作。 AdrianKapczyn'ski等. 提出了一种使用多代理方法的生物特征认证仿真模型[25]。多模态生物识别系统是一个关注不同的认证因素，算法和分布式。他们使用关键性能指标作为错误接受率和错误拒绝率。认证因素是在串行或并行体系结构被认为是他们的工作的研究挑战最后，邓章等人。提出了一个强大的智能人脸识别框架，使用基于GNP的多智能体系统[26]。遗传网络规划GNP-MAS方法与GNP-PCA方法相比具有最高的鲁棒性。根据实验结果，该方法提出了一种新的比传统的GNP-PCA方法具有更高的精度。BIOPASS II基于电子护照和面部识别的自动生物识别过境系统[27]可以被认为是准确度最高的ABC系统。它提供了关于葡萄牙和澳大利亚使用的RAPID和SmartGate的更多详细信息。识别任务是通过电子护照和边境的物理外观（面部）完成的但是，其系统仅在两个国家实施 ， 并 且 需 要 事 先 注 册 ， 这 意 味 着 不 足 以 处 理 其 他 国 家 。Spreeuwers等人使用史基浦机场的实际数据评估了ABC系统的自动人脸识别[28]。作者对他们的系统进行了评估，结果显示，在旅客护照中的数字图像具有很高的准确性（FAR为0.1%时，验证率为99%）。Kosmerlj等人讨论了边境控制环境中的人脸识别问题，并提出了一种使用人脸识别对护照持有人进行授权的系统[29]。他们使用了很少的数据库来分析挪威人的方法，并确定了一些限制，如头发，这可能会对面部识别产生重大影响。他们得出结论，只有单模态（面）不足以授权的人在客流控制。Kwon和Moon提出了一种利用公钥基础设施（PKI）进行人脸识别的乘客身份识别方法[30 ]第30段。他们的系统符合国际民航组织的标准。但该系统的准确性不足以达到国际民航组织的水平。Cantarero等人提出了ABC系统的多模态（面部和指纹）生物特征融合实现[31]。他们的系统在西班牙巴拉哈斯机场实施，并显示出高度适用于自动化大门。Conde等人在同一机场进行了实验，以分析不受控制环境中的人脸识别[32]。他们使用监控摄像头在几个位置捕获乘客图像，并使用SVM进行分类。然而，他们的系统不足以保持精度，由于各种约束，如照明。H. M. Nguyen等人介绍了生物识别融合在自动边境控制系统的乘客重新认证中的应用[44]。他们的目标集中在人脸图像识别与衣服的功能，可以确定为低适用性的ABC系统，但系统的整体准确率获得更高的准确率（99.20%）。表2显示了我们认为的适用性、性能、成本、授权延迟和总体性能经过全面的研究，我们得出了最好的方法，多模态生物识别在时间紧迫的环境中，基于智能代理的解决方案，使用协商协议。根据以前的研究人员，有必要对系统进行授权的人使用多模态生物识别在时间关键的环境中，以有效的方式。因此，所提出的解决方案使用了过去研究人员3. 拟议方法本节重点介绍所提出的基于多代理的多模式概念。首先讨论了多Agent协商策略，然后对多分类器和基分类器进行了概述。该系统主要包括人脸和指纹采集、MAS协商和认证结果输出三个部分。第一， 一名乘客的面部和指纹被捕获。然后应用预处理将图像从捕获的人脸图像和指纹引入CNN。然后，这些预处理的图像数据被用来检测乘客的身份和授权。通过使用多分类器将先前存储的面部和指纹图像数据与当前捕获的图像数据进行比较来完成乘客授权。在本文中，选择一个最合适的融合结果是基于多智能体方法，是这项工作的主要新颖之处。所提出的方法占用四个分类器作为代理，通过引入测试数据集得到误差均值，对两种分类方法进行比较。我们的方法论基于S.S. Thenuwara等人阵列14（2022）1001715表2美国ABC系统概述文献综述性能适用性成本授权延迟整体性能Jose Sanchez等人[1]第一章介质介质介质高介质H. M. Nguyen等人[44]高非常低介质低低快速通行证[46]高介质高低介质BIOMET [14]高介质高低高[27]第二十七话高介质介质高非常高El Mehdi Cherrat等人[第十五条]高介质高介质介质[30]第三十话介质低介质高低Conde等人[32个]高低高高低Spreeuwers等人[28日]高高介质介质高[44]第四十四话高介质低介质介质[13]第十三话介质高低介质低Cantarero等人[三十一]高介质介质介质高融合方法的测试和评估过程，并将惩罚分配到较低的置信水平。当用实验部分中描述的公开可用的四个数据集进行测试时，可以看到所提出的方法的优点。评估已经完成了多数表决和总和为基础的融合方法。图3示出了所提出的系统的基本概况和如下步骤步骤1：捕获面部和指纹生物特征，并对图像进行预处理。步骤2：评估来自多分类器的统计值步骤3：用于MAS协商的分类器的输出，并让它选择一个最佳值。步骤4：使用最优值输出具有认证状态的识别置信度。3.1. 多Agent协商策略正如在引言部分已经提到的，置信度是分类器级别的性能度量。在该方法中，信任度用于识别Agent协商过程中分类器的敏感性。最后的决策是在识别代理和知识库之间的协商后得出的验证过程。图4示出了基于多代理的系统的通信流程图。输入接口用于捕获两个生物特征，然后在开始分类之前进行预处理。已经选择了四种分类器用于识别和验证代理，例如具有SoftMax的卷积神经网络（CNN）[15]，支持向量机（SVM）[34]，线性回归（LR）[33]和Radom Forest（RF）。通过测试数据集上分类率误差均值之后，我们评估图3. 提出的基于多代理的系统的概述。见图4。提出了基于多智能体的多模态体系结构。数字1表示从识别代理发送的预测身份。2表示来自知识库的验证输入，3表示验证输出。使用t检验测量置信度的p值。下一部分逐步描述了多代理系统在验证代理、识别代理和知识库之间的协商部分，其在图4中以红色正方形表示。用于向旅客显示身份验证信息以继续入境流程的下一步的输出界面所有代理都同意训练分类器并协商测试阶段的结果。该过程的主要思想是根据识别代理的输出分配“惩罚”[ 39 ]。分类器级别的行动计划可说明如下：步骤1：开始所有分类器的训练过程，并计算每个分类器的训练平均值步骤2：通过比较测量值开始协商过程，并使用等式（1）计算惩罚。（降低他们的信心）。对所有类对前N个属性循环执行以下任务(1)选择一个代理，让它选择另一个进行惩罚。(2)检查受攻击代理分配给此属性的类，以及相应分类器的敏感性(3) 获取验证代理的输出，如果测试样品正确验证，则为“是”，否则为“否”。(4)向另一个代理发送一条消息，通过提高代理的置信度来建议惩罚··S.S. Thenuwara等人阵列14（2022）1001716×=-步骤3：完成协商过程，并从识别代理的最高置信水平获得总体结果。它是对测试模式进行分类的最合适的方法[40]。图5示出了所提出的方法的整个基于惩罚的协商过程的流程图。代理惩罚是一个循环过程，一旦代理发送消息以降低置信水平，接收方代理将惩罚发送方代理[48]。同样，这个过程具有循环行为，直到找到非负置信水平。训练平均值和测试模式之间的差异越大，获得弱分类器的机会就越大[36]。如果在使用验证水平进行监测时与知识库不匹配，则置信水平将降低。考虑到这种自主性，惩罚可以表示为以下等式（1）。通过置信度结果估计观察到的显著性水平（P值），并将其用作95%，当p值低于0.05时，可以考虑统计学差异。我们使用基于总和和基于多数票的融合技术来评估整个过程。森林（RF）被用作多分类器。CNN被用作监督学习模型下的基础。我们没有从头开始训练模型来开发人脸和指纹CNN模型。OX ford大学的Visual Geometry Group（VGG）发布了VGGNet模型，有两个深度学习模型VGG16和VGG19。 VGG19网络由于大量参数和联合表示而不适用于此应用[26]。这里，已经使用了VGG 16预训练模型，并且最后完全连接的层被新的层替换，并且VGG 16 wt中的前四个块被冻结。VGG16中包含16个加权层，并且使用ImageNet数据库实现了93.44%的准确率[18]。图6显示了VGG16的结构。最后，使用这些四分类基于多代理的结构以及使用不同的数据集将为实时应用提供迷人的结果。下一节详细说明了两个实验。3.2.1. 数据预处理处罚其中：（1）第一次见面Ri×Ln（N验证的秩）×秩数据预处理是分类过程图像增强和数据增强已经作为两种预处理技术完成[37]。所有图像的大小调整为224 224像素，以适合VGG16模型和用于旋转面部图像的增强技术[38]。- Dif：测试模式i和训练平均值之间的差异- Sen：第i个图案- R：第i和训练均值- Ln：输出“no”的自然对数- 等级：分类器等级因子在循环行为过程中存在一个阈值，当个体行为的结果超过惩罚值时，该阈值会改变个体行为的结果。因此，智能体可以决定另一条路径来达到结果。在等式（1）中，用于来自验证分类器的非负的自然对数。基于代理的架构使用基于Python的多代理平台开发[35]。3.2. 多分类器卷积神经网络（CNN）与SoftMax [15]，支持3.3. 计算复杂度最优值的计算复杂度主要由求解过程决定。考虑图5所示的用于协商过程的多代理模型架构。消息通信的成本可以计算如下：Comi=δ x（p）x （Ttrasm）+β（2）其中δ：标识消息的数量; p：惩罚; Ttrasm：发送数据的传输时间，β：网络中的消息延迟最大Q值选择如下。ai=argmaxQ（si，ai）（3）si=[M，p1，p2，p3，向量机（SVM）[34]、线性回归（LR）[33]和随机设置Q学习参数α，λ，w，rrefαγ设置MAS运动模型参数rc，c，c设置其他参数rs，m，n，N等。创建状态空间、行为空间和Q值。设置训练数据集的最大训练次数NT。初始化每个代理的值和状态s，由随机代理选择的动作。而（Q最大更新后的惩罚）呢。对于每个代理i。计算最后一个状态动作r（si，ai）的值。计算状态s′ i。更新p值3）。使用（4）计算并选择动作a′i。更新状态和动作：sis ′ i，aia ′ EndFor。Q-Traffic算法的计算复杂度是查询一个列表并在动作空间中找到最大Q值。事实上，在列表查询和惩罚应用后的最大搜索中列表的长度和图五、所提出的基于多智能体的方法的协商过程。见图6。 VGG16层结构。=IS.S. Thenuwara等人阵列14（2022）1001717==×比较数据的类型定义了比较的次数。4. 实验本节描述了实验分析的主要组成部分，如实验数据、方案、结果和所提出方法的比较。进行了两个实验：实验1：表4多模态数据集（指纹和人脸）。准确性真阳性+真阴性真阳性+真阴性+假阳性+假阴性灵敏度真阳性真阳性+假阴性真阴性（3a）（4a）用大数据集测量所提出的模型的精度，并与其他融合方法进行比较，E实验2：与特异性=真阴性+假阳性（5）使用私有数据集的先前ABC系统（D）。预处理在实验之前已经做了，以保持ABC过程的指导方针[1]。数据集A（NISTBSSR1）数据集B（SDUMLA-HMT）数据集C（BANCA）数据集D（PRIVATE）4.1. 实验数据号的图像45，990 33，540 8450 450在我们的讨论部分中，数据集A、数据集B、数据集C和数据集D分别代表美国国家标准技术研究院（NIST）多模态数据集[2]、SDUMLA-HMT多模态数据库[18]、BANCA数据库[42]和PRIVATE数据库。数据预处理已完成，以保持国际民航组织的标准[1]。因此，对图像应用了数据扩充和数据更新。224224像素图像最适合用于人脸图像的VGG16和增强方法（旋转和翻转）。数据集A：美国国家标准技术研究院（NIST）发布了BSSR1多模态数据集用于研究目的。在这个数据集中，指纹，虹膜和面部图像被链接在一起以识别个人。所有个人都被正式同意使用他们的生物计量学来推进研究目的[2]。这些数据是在指甲对指甲指纹挑战赛[8]期间从数百人那里收集的。前角面部图像和指纹（抬起和右）已被选中。数据集B：SDUMLA-HMT山东大学发布了一个多模态特征数据库，包括来自106个个体的七个角度的面部图像、指纹、手指静脉和虹膜[18]。数据集C：BANCA是多模态生物特征数据库[42]。数据集D：我们为上一次基于生物识别的授权研究创建的私人数据集，其中更新了大学450名学生的指纹和面部。该数据集用于我们实验室的授权过程的实际测试。这三个数据库（A，B和C）和不同的分类器与多智能体范式的参与显示所提出的自动化多模态生物识别系统的吸收结果。在下一节中，我们将讨论实验方案。四个多模态数据集包括88，430个个体4.2. 实验评价方案为了进行评估过程，将四个数据集分为撕裂、测试和验证，如表4所示。性能准确度测量采用以下等式（3）。灵敏度和特异性分别在等式（4）和（5）中表示。真阳性（TP）是正确识别的授权人员，真阴性（TN）是未正确识别的授权人员，假阳性（FP）是未授权识别的，假阴性（FN）是未授权识别的人员。的表3多模态数据集（指纹和人脸）。数据集A数据集B数据集C数据集D(NISTBSSR 1）（SDUMLA-HMT）（BANCA）（私人）号的图像45,99033,5408450450培训30，792 26，832 5070 270验证4599 3354 1690 90测试4599 3354 1690 90用于比较两个分类器[18]和数据集的分类率的准确率按字母顺序执行4.3. 实验结果（实验1）在使用多智能体之前，我们用四个数据集分别测试了其他分类器（人脸和指纹）。表5显示了CNN模型的不同分类器结果。指纹特征显示出最高的准确率为99.66%，与SoftMax分类器接合，SVM是与CNN基础模型接合的人脸生物特征的最高准确率分类器。下一步是找到融合和协商的多模态策略的结果。表6显示了使用四个数据集在识别和验证阶段的四个分类器的标准偏差。验证分类器比识别分类器提供了更好的结果，正如我们所期望的那样。结果显示，SoftMax和SVM分类器比其他分类器取得了更好的结果。结果表明，不同的分类器相比，更相似。然而，在应用多代理协商方法和其他融合技术之后，结果如表7所示。它显示了一个显着的改进的协商方法比总和和投票为基础的技术为所有的数据集。正如我们已经提到的，单峰系统容易受到攻击者的攻击，因此我们的目标是融合方法，而不是个人生物识别精度。受试者工作特征曲线（ROC）用于比较不同分类器与每个数据集[43]。 曲线的形状包含有用的信息。图图7和图8分别表示不同分类器在四个数据集上的ROC曲线。理想的分类器应该经过原点（0，0），左上角（0，1）和右上角（1，1）。所提出的方法显示在红色曲线中，它非常接近数据集A的理想状态，并且在其他数据集上也有显着改进。4.4. 与先前融合方法的下面的部分是我们所提出的系统的一个非常重要的结果大多数研究人员使用虹膜和其他最高级别的特征来完成生物识别授权系统[15]。然而，我们无法使用本文中已经提到的一些生物特征（ICAO标准）。因此，我们将我们提出的方法与其他研究人员所做的人脸和指纹授权系统进行了在表8中，将所提出的系统的准确性与我们的文献[13，15，16]中的其他多模态系统进行了比较和恢复。准确性更类似于El Mehdi Cherrat等人提出的三种多模态（指纹，手指静脉和面部）。然而，由于隐私和成本，不建议将指静脉特征用于客流控制[1]。计算时间是非常重要的····S.S. Thenuwara等人表5阵列14（2022）1001718不同的分类器准确度（%）结果与单峰生物特征。数据集A数据集B数据集C数据集D分类器脸Fprint脸Fprint脸Fprint脸FprintCNN SoftMax&99.3699.6698.5798.9997.4599.4599.5899.47CNN SVM&99.5699.4599.1199.1298.4598.5599.5099.44CNN LR&99.2599.4799.4799.2498.4198.7498.9898.77CNN RF&99.3599.5598.4798.6698.6697.6699.4598.66表6单个分类器的错误结果。分类器数据集A数据集B识别验证识别验证客流控制系统的测量[2]。此外，表8显示了不同融合方法的时间消耗比较[15，45]。该方法显示出更少的计算时间比其他融合方法与所有数据集。CNN&SoftMax10.12%，2.4109.62%3.4110.77%2.8909.22%3.414.5. 与现有ABC系统的比较（实验2）CNN SVM 11.12%&2.58CNN LR 12.12%&09.12%2.9609.10%12.12%2.3613.52%09.12%3.5509.12%在我们的研究中，与融合方法的比较是不够的，因此在这一节中描述了与少数可用的CNN2.63&RF 13.12%2.442.8109.02%2.512.5812.72%2.623.4109.12%3.21ABC系统来衡量整体绩效。实验2分两个阶段进行，第一阶段采集人脸和指纹数据集C数据集D分类器识别验证识别验证CNN&SoftMax11.52%2.4109.22%2.4711.18%3.9109.55%3.42CNN SVM 10.12%支持率&2.51CNN LR 11.12%&3.71美国有线电视新闻网RF12.12%&3.4108.52%2.5409.82%2.2509.57%3.4111.42%3.4712.62%3.8112.12%3.2109.98%2.4909.25%3.6109.82%2.33表7融合技术结果。融合技术数据集A数据集B建议多代理4.42% 4.77% 4.41基于总和9.22%2.56 08.12%2.41多数票11.12%2.61 10.52%2.41数据集C数据集D建议的多代理4.18%3.99 3.55%3.42基于总和9.42%3.458.98% 2.49多数票12.62%3.71 11.25%3.61见图8。 不同分类器数据集C的ROC曲线。图第七章 ROC曲线不同的 分类器数据集A（左）和数据集B（右）。S.S. Thenuwara等人阵列14（2022）1001719表8精度和计算时间与建议的系统相比算法数据集A数据集B准确度（%）时间（毫秒）准确度（%）时间（毫秒）ALGO199.497991.3497ALGO299.3148093.33345ALGO399.4056092.33456ALGO496.007891.0488ALGO599.626295.5267数据集C数据集D分类器准确度（%）时间（毫秒）准确度（%）时间（毫秒）ALGO189.497989.2579ALGO278.3745078.36580ALGO377.4448077.41340ALGO489.558890.0077ALGO590.129090.6270ALGO 1-指纹ANN指静脉ANN面部ANN[15].&&ALGO2-FingerprintCNN faceCNN [15].&ALGO 3-多模态非对称Agg算子[16]. ALGO 4-我们以前的研究Thenuwara SS [13].ALGO 5-提出了基于多代理的指纹CNN人脸CNN。&使用450名学生的生物识别技术，并在第二阶段完成授权。该实验是在64位Ubuntu 16环境中使用Intel Corei7处理器，8 GB RAM和NvidiaGeForce GTX 880 CPU完成的。Logitech HD QuickCam和AFS 510 USB扫描仪分别用于捕获面部图像和指纹。表9显示了比较结果 ABC系统与所提出的模型，通过检查的计算成本，安全性和准确性，提出的模型非常适用于ABC系统。数据集D的目的是测量实时边界控制中的FN和FP率，如我们实验室中的环境。假阴性和假阳性之间的平衡是非常重要的，图9示出了所提出的方法的显著改进。表9显示了与其他ABC系统的应用方面的比较。通过考虑他们研究论文中的系统[1]中的主要组件，与选定的ABC系统（准确度超过96%）进行了最终比较。准确性是指正确识别活体样本的能力，适用性是指如何使用生物特征识别任务的整体系统容量，成本是指捕获和识别阶段的实现和传感器成本，授权时间是指识别生物特征所花费的平均系统时间，安全性指的是使用已经识别出易受欺骗攻击的较低级别的单峰生物度量，而可用性指的是整个ABC系统的灵活性如何。2012年，BIOMET [33]被开发用于客流控制，准确率达到98%。他们曾经使用人脸和指纹融合，适用性较低，因为他们已经提到系统的容量较低。成本，时间和安全性非常低，因为具有成本效益的生物识别技术[7]。安全性可能相当低，因为功能级别的融合已经容易受到攻击者的攻击，并且系统的整体可用性中等。BOPPASSII [27]和Spreeuwers等人[28]显示，SmartGate ABC系统的信息准确率更高，分别为99.45%和99%。图第九章使用数据集D的不同分类器的ROC曲线FP和FN率。在澳大利亚和葡萄牙实施。两个系统都有很多关于调查结果的灵活性和识别时间的用户评论[4]。此外，Spreeuwers等人[28]的系统通