COVID-19疫情下的深度学习技术在人脸面具检测中的应用

智能系统与应用17（2023）200175一种新的DCNN-ELM混合人脸检测Charu Agarwala，Pranjul Itondia a，Anurag Mishrab，*a印度北方邦加济阿巴德Ajay Kumar Garg工程学院计算机科学与工程系，邮编201009b印度德里大学Deendayal Upadhyay学院电子系，德里110078A R T I C L EI N FO保留字：COVID-19面具检测器面具脸转移学习卷积神经网络A B S T R A C T冠状病毒病（2019年）在世界各地造成了大规模的生命和资本破坏。最新的变种Omicron被证明是所有以前的同类中最具传染性的确定、测试和实施各种措施，以尽量减少对人类的攻击。口罩是被证明在控制感染方面非常有效的措施之一。然而，这需要对执法进行持续监测。在本手稿中，使用不同的消融研究进行了详细的研究调查，以开发使用预训练的深度卷积神经网络（DCNN）模型与快速单层前馈神经网络（SLFNN）结合使用的面罩识别框架通常称为EX treme学习机（ELM）作为分类技术。ELM以其实时数据处理能力而闻名，并已成功地应用于图像处理和生物医学领域的回归这是第一次，在本文中，我们提出了使用ELM作为分类器的人脸面具检测。作为这一点的先驱，为了进行特征选择，测试了六个预先训练的DCNN，如Xception，Vgg16，Vgg19，ResNet 50，ResNet 101和ResNet 152。在使用ResNet152迁移学习模型与ELM作为分类器的情况下，获得了最佳的测试精度。通过对测试精度的不同消融研究进行的性能评估明确证明，ResNet 152-ELM混合架构不仅是所选迁移学习模型中最好的，当与用于面罩检测操作的几个其它分类器比较时，也证明了这一点。通过这项研究，建立了在实时域中使用ResNet152+1. 介绍在过去的两年里，整个世界都在遭受冠状病毒疾病，也被称为COVID-19。根据世界卫生组织（WHO）（WHO，2022年），截至2022年2月2日，全球共发生380，321，615例COVID-19确诊病例，包括5680，741例死亡病例。图1显示截至2022年1月30日全球报告的2019冠状病毒病病例和死亡人数。它是一种病毒，在人类中开始与普通感冒，发烧，恶心，并导致严重的医疗条件，如严重急性呼吸系统综合征（SARS）和慢性阻塞性肺病。这种病毒于2019年12月在中国武汉首次发现，并慢慢蔓延到世界各地，影响到整个地球。最近，几个月前，一种新的COVID-19病毒被称为奥密克隆的病毒被发现是所有同类中传染性最强的-欧洲和北美国家目前正处于脆弱状态，感染由于这会造成严重的健康问题，因此必须保护每个人免受这一流行病的影响。1.1. 口罩对预防COVID-19根据世卫组织的指导方针（世卫组织，2020年），所有人都必须遵循COVID的适当行为，不仅要保护自己，还要保护他人，因为它是一种高度传染性和传染性的疾病。为此，标准协议要求使用口罩、保持物理距离、定期洗手等。在这些措施中，使用口罩是必不可少的步骤之一，因为在拥挤的地方很许多研究人员在他们的研究工作中考虑了 这 一 重 要 方 面 （ Fenget al. ， 2020; Howard 等 人 ， 2020 年 ;Vaughan O 'Dowd等人， 2020; Schünemann等人，2020; Spitzer，2020）。Feng等人（2020）报告称，自COVID-19传播以来，口罩的使用在中国和其他亚洲国家（如南* 通讯作者。电子邮件地址：anuragm1967@ddu.du.ac.in（A.Mishra）。https://doi.org/10.1016/j.iswa.2022.200175接收日期：2022年2月22日;接收日期：2022年12月4日;接受日期：2022年12月29日2023年1月4日上线2667-3053/© 2023作者。爱思唯尔有限公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsC. Agarwal等人智能系统与应用17（2023）2001752图1.一、截至2022年2月3日，世卫组织区域每周报告的COVID-19病例和全球死亡人数（冠状病毒疾病（COVID-19）情况报告（who.int））。韩日他们在公共场所强制执行口罩规定。根据Howard et al. （2020年），在公共场所使用口罩可以减少人口密度高的地区的感染传播。因此，减少传染可以大大减少生命损失和货币效应。因此，他们建议使用口罩是控制病毒传播的有效方法根据Vessel据世界各地的他们说，口罩已经成为抗击当前流行病的公共技术的不可阻挡的一部分。Schünemann等人，2020详细描述了佩戴面罩的优点和缺点。最后，他们得出结论，口罩对普通人群和医疗保健专业人员都很有用。他们反思了戴口罩的最初想法，并深入研究了与之相关的政治讨论。Spitzer（2020）表明，口罩可以控制冠状病毒的传播，特别是在无症状人群中。此外，他还反思了口罩对学童的好处、重要性和用途的研究。在上述情况下，为了不受COVID-19影响，必须时刻佩戴口罩。在这种情况下，通过常规措施，很难知道一个人在公共集会或工作场所是否戴着口罩。因此，面具识别和检测已经成为一个关键的计算机视觉问题，以帮助全球文明。值得注意的是，与开发具有高精度的有效掩模检测器相关的研究仍然很少。因此，这已成为研究界非常感兴趣的领域。为了实现高度的准确性，使用、测试和比较了各种机器学习或深度学习架构。除了使用口罩以保护COVID-19的必要性外，由于车辆和工业污染增加，尤其是在大都市，使用口罩作为一种习惯也很重要。总的来说，可以说口罩的使用将在我们的日常生活中占据重要地位，未来我们肯定会制定一些好的策略来有效地实施它。1.2. 口罩检测这里简要介绍了面具检测的技术模型：Ge等人。（2017）利用局部线性嵌入算法与CNN的人脸识别，并获得76.1%的准确率。Bu et al.（2017）提出了一种级联CNN模型，用于从MASKED FACE数据集中识别被掩盖的人脸。Inamdar Mehendale&（2020）开发了一种名为“Facemasknet”框架的迁移学习方法他们声称他们获得了98.6%的准确率。Loey等人（2021a）提出了一种深度学习模型，其中他们使用了带有ResNet50的YOLO v2来进行人脸检测。他们声称他们提出的模型达到了81%的精确度。在另一项工作中，Loey等人（2021b）提出了一种混合深度学习模型。在这项工作中，他们将ResNet50模型与SVM、决策树和集成分类器等三种不同的分类器相结合，在使用集成分类器的情况下，最高精度达到99.64%。 Jiang等人（2020）提出了一种视网膜面罩模型，也称为“单级检测器”。该模型基于迁移学习概念，使用ResNet或MobileNet作为模型的骨干，特征金字塔网络（FPN）作为颈部，上下文注意力模块作为头部。他们表示，他们提出的模型达到了94.5%的精度。如前所述，除了预防COVID-19之外，由于环境中的污染和废物水平不断增加，因此，有必要区分戴口罩的人和不戴口罩的人。在这种情况下，需要智能技术来识别和识别戴面具和不戴面具的人由于我们知道使用局部特征描述符如LBP、BSIF、HOG、SIFT等进行特征提取遇到面部表情、姿态变化、场景背景、照度等各种问题 基于深度学习概念的方法可以解决这些问题，并且能够从数据集的图像中提取复杂的特征图（Filippidou &Papakostas，2020; Xu等人，2015年）。因此，发现用于特征提取的预训练DCNN模型优于上述传统特征映射这导致在排序精度和时间计算裕度方面获得更好的结果1.3. 拟议工作在这篇研究论文中，我们提出了一种基于迁移学习概念的新型深度学习框架架构，用于智能人脸检测和识别。为了实现该框架及其底层模型，我们使用两个不同的面部掩模图像数据集，即真实世界掩模面部识别数据集（RMFD）（Wang等人，2020）和面罩检测数据集（FMDD）（Larxel的面罩检测数据集，2021）。RMFD包含90，000张未蒙面面部图像和5000张蒙面面部图像，C. Agarwal等人智能系统与应用17（2023）2001753+图二、 来自RMFD数据集的一些图像。FMDD包含853个不同主题的实际图像。拟议的研究将分六个阶段进行 。 在 第 一 阶 段 ， 使 用 六 个 不 同 的 预 训 练 深 度 卷 积 神经 网 络（DCNN），即Xception，Vgg16，Vgg19，ResNet50，ResNet101和ResNet152，用于从人脸面具图像中提取特征图。然后使用提取的特征图来使用具有四种不同激活函数的ELM分类器完成分类任务，例如：Lea-ky_relu，Sigmoid，Relu和Tanh。Ismael S engür（2021）&使用各种深度转移学习方法，通过X射线图像分类进行COVID-19检测。他们使用AlexNet，VGG和ResNet架构进行特征提取以及包括SVM在内的各种其他我们也遵循类似的类比，使用Xception，VGG和ResNet架构进行特征提取，并将ELM作为分类器工具。注意，ELM作为能够在实时约束下工作的潜在分类器是众所周知的事实（Huang等人， 2006年）。根据我们的知识和信息，ELM分类器从未与迁移学习模型结合使用来实现人脸识别任务。第3.1详细描述了拟议框架。在第二阶段，使用面部掩模对上述SIX个预训练的DCNN进行微调，计算图像数据集及其各自分类精度并编译。这是为了将第二阶段的结果与第一阶段的结果进行比较，以检查ELM作为与DCNN结合使用的分类器工具对于上述图像数据集的有效性。这些结果在第3.2节中详细描述、讨论和比较。在第三阶段，通过对ResNet152模型的七个不同层的特征图可视化，对模型进行了深入的分析。这些结果在第3.3节中列出和分析。在第四阶段中，对所提出的混合ResNet152 ELM模型进行烧蚀研究。第3.4节介绍并分析了5项不同消融研究的结果。在第五阶段中，五种不同的分类器，如支持向量机（SVM），决策树（DT），K-最近邻（K-NN），随机森林（RF）和Entrance分类器（EC）被用于分类任务，以分类从各种先前训练的DCNN获得的提取的特征图。这是为了检查一个特定的分类器相对于其他分类器的相对优势。ELM再次显示，提出的文件。这是特别真实的，因为面罩检测操作倾向于使用大数据集，因此需要在实时约束下完成其任务。ELM分类器从来没有被用于更早的实时分类的面罩检测操作。该分类器，我们的研究结果表明，被证明是合适的，以达到最佳的分类精度的目标下实时约束。这在拟议的工作中带来了所需的新颖性。第3详细讨论了结果。2. 材料和方法2.1. 数据集在目前的工作中，两个显着的数据集用于训练和测试所提出的模型。这些数据集可以通过互联网自由访问。第一个数据集被称为真实世界蒙面人脸识别数据集（RMFD），由Wang等人（2020）准备。为了准备这个集合，作者使用了Python爬虫工具来跟踪公众人物的正面图像以及来自内部资源的相应面具图像。他们已经执行了许多手动任务来过滤掉不需要的图像。他们还为此使用了半自动化工具。该数据集包含掩蔽和未掩蔽图像。我们已经使用了4653图像从这个数据集在目前的工作。来自该数据集的一些图像显示在图中。 二、第二个数据集是面部掩模检测数据集（FMDD）（LarxelFace Mask Detection Dataset，2021），其中包含853张不同受试者的真实生活图像。由该数据集的创建者给出的注释文档另外用于将这些图像裁剪成单个单独的图像，以用于分类任务的目的。该数据集还包含掩蔽和未掩蔽的图像。在我们提出的工作中，我们利用4072个这样的单个图像。图3描绘了从该数据集中选择的几幅图像。2.2. 图像分类的迁移学习方法在所提出的研究工作中，面罩检测器框架结构的设计是基于迁移学习方法的优于所有其他分类器。这些结果被提出和分析（布朗利，二〇一七年;马塞利诺，2018年）。在这设计，SIX不同第3.5节。在第六个也是最后一个阶段，我们将我们的结果与3.6节中相同问题的其他一线研究工作进行了比较。将预训练的DCNN和ELM合并为用于一般图像处理应用和特别是面部掩模检测任务的另外的实时分类器的新颖想法是本发明的主要贡献。预训练的深度卷积神经网络，如Xception，Vgg16，Vgg19，ResNet50，ResNet 101和ResNet 152用于特征提取目的。这些预训练的模型在属于1000个类别的1000，000多张图像上进行了训练。这些预先训练的模型已经成功地解决了许多其他分类问题。图3.第三章。 来自FMDD数据集的图像很少。C. Agarwal等人智能系统与应用17（2023）2001754∑（（）+）==..... …1 ⎥1 ⎥⎢⎥3⎢⎢⎣⎥⎥⎦β⎢⎢⎥⎥⎢⎥3⎢⎢⎥⎥⎢⎢⎣⎥⎥⎦yDCNN，我们使用不同的机器学习分类器进行分类-=（）⎢2 ⎥⎢2 ⎥1. x R+ b1）...... g（z S. （xR+bS）诸 如 自 驱 动 汽 车 、 保 健 图 像 分 类 问 题 等 问 题 。 （ Filippidou&Papakostas，2020; Xu等人， 2015年）。CNN是一个深刻的学习过程，它包括堆叠在一起的许多层，并利用值之间的邻近关联。主要是，当数据集是图像形式时，CNN被用作深度学习模型，它可以执行特征提取和分类任务。不需要手动将特征提供给分类器。它具有使用卷积层从图像典型的CNN模型由以下四层组成：1 CNN的第一层称为卷积层。顾名思义，该层在图像的piXel窗口和内核之间执行卷积运算。卷积运算（表示为 *）用于从图像中提取特征这可以表示为具有输入图像J和内核K（也称为特征检测器）的数学公式。执行卷积运算后生成的输出称为特征图。 卷积运算由Eq. （1）：X（i，j）=（J<$K）（i，j）（1）2 该架构中的第二层被称为ReLu层（整流线性单元），其在生成的特征图上应用ReLu激活函数。该激活函数映射特征映射中（0，max）之间的所有值。它将所有负值映射到 0，其他值保持不变。3 第三层是池化层。该层用于执行降维。它减少了最后一层生成的输出的维数。最大池化是最常见的池化策略，它只保留输入窗口中的最大值4 第四层是全连接层，最终在池化特征图上执行分类操作。这些层可以2.3. 用于图像分类操作的机器学习分类器本节简要描述了本工作中使用的所有机器学习分类器。2.3.1. 极限学习机（ELM）ELM由Huang等人（2004）提出，作为单层前馈网络（SNFN）反向传播计算的一个熟练选项。它是一种快速前馈网络，具有良好的泛化能力。与其他传统前馈网络相比，它是一种快速学习计算，具有很好的推测执行能力。在这种架构中，输入权重被随机初始化，输出权重通过使用Moore-Penrose矩阵X逆（Fill Fishkind，2000&）计算。给定一组训练示例（Xi，yi），i1。R，隐藏神经元的数量为S，输出神经元的数量为U，数学上，ELM的公式由等式1给出（二）Mβl g zl，xl bl yj （2）L由方程式（2）输入层神经元到第l个隐层神经元的连接权由zl给出，bl的偏差和第l个隐层神经元到输出层神经元的连接权为β l.上面的方程也可以用方程给出的矢量形式表示。（三）Gβ=Y（3）⎡⎢g(z1. x1+b1）...... g （z S. x1+b（S）可以彼此堆叠以实现高精度。在本工作中，与传统的特征提取方法不同，我们使用预训练的深度卷积神经网络（DCNN）模型，允许在训练阶段提取特征。 在目前的工作中，我们使用SIX预训练的DCNN（Ayyar，2022;Kurama ， 2020 年 ） ， 如 Xception ， Vgg16 ， Vgg19 ， ResNet50 ，ResNet 101其中，G=..... ...... . . . . .你... …β=Rx SResNet152用于特征提取。此后，所计算的特征图被用作分类任务的前驱。在这项工作中，对于分类任务，代替全连接层的预训练β-T⎢ ⎥βT李⎢ ⎥yT加载有或没有面具的面部图像的任务我们有使用了五种机器学习分类器技术。这些是EX treme学习机（ELM）、支持向量机（SVM）、K-最近邻（K-NN）、随机森林（RF）和Entrance分类器（EC）。我们使用外部分类器有两个具体原因。(1)有一些很好的研究出版物使用外部分类器，如SVM，RF，K-NN和EC。我们进一步使用另一个分类器ELM，这是一个成熟的分类器，成功地分类在实时约束下。（2）ELM作为外部βTY=...TSS x UyT...TRR x U分类器在其它图像处理应用中是非常好的（Karpagachelvi等人，2012; Kim等人，2009年; Yang等人，2013; Agarwal等人，2014;Mishra等人，2018年）。我们也试图重现类似的面具检测效率。我们从这些分类器中编译我们的结果，并在此模拟的第一阶段中，将这些结果进行比较，以评估所选模型中最好的一个。请注意，特征提取步骤对于所有分类器都是相同的;因此它们的比较是基于它们在来自两个数据集的掩蔽和未掩蔽面部图像之间进行分类的功效。关于这些分类器的简要介绍见第2.3。方程组的线性方程组。(3)可以通过使用由方程给出的Moore-Penrose广义逆运算来求解。（ 4）、β=G<$Y（4）由方程式 (4)G† 是Moore-Penrose广义逆（填充&Fishkind，2000），并且可以计算为G<$G T G-1GT。ELM算法的原型描述如下：ELM（Training Dataset，g，S）训练数据集：（Xi，yi），i=1.. R g：激活函数S：隐藏神经元• 初始化：隐藏节点参数（zi，bi），i= 1，• 计算：G（隐藏层输出矩阵X）·计算：β=G+Y⎥C. Agarwal等人智能系统与应用17（2023）2001755）∑∑=l∑（不众所周知的事实是，由于其速度和泛化能力，E x treme学习机（ELM）优于传统的学习方法（Huang等人，2004年，2006年）。这在其与基于梯度的学习算法（诸如反向传播神经网络）的比较的上下文中是特别真实的，其中根据输入和输出之间的非线性关系来调整权重。相反，ELM在单个步骤中随机计算所需的权重，因此非常快。它是如此之快，以至于它已经显示出对于几种图像处理应用（例如人脸识别、图像和视频水印等）的不可比较的结果（Karpagachelvi等人，2012; Kim等人，2009年; Yang等人， 2013; Agarwal等人， 2014; Mishra等人，2018年）。在目前的面罩检测框架，leaky_relu，sigmoid，relu和tanh激活2.3.4. 随机森林分类器随机森林分类器通过在数据集的子样本上构建许多决策树来工作。它在构建树时使用装袋和特征随机性，并在进行预测时使用平均投票。对于二叉决策树，节点重要性可以使用由等式给出的基尼公式计算。（六）inj=wjPj-wleft（j）Pleft（j）-wright（j）Pright（j）（6）其中，inj是节点j的重要性，wj是到达节点j的样本的加权数量，Pj是节点j的杂质值，left（j）是来自节点j上的左分裂的子节点，right（j）是来自节点j上的右分裂的子节点。然后，决策树上每个特征的特征重要性（fim）可以使用等式（1）来计算。（七）函数用于ELM分类器进行我们的调查。fimj：节点j在j中的特征l上分裂，k∈ k中的所有节点（七）2.3.2. 支持向量机（SVM）分类器SVM是由Vapnik（Vapnik，1998;Cortes Vapnik，&1995）提出的。它可以用于回归和分类问题。作为一个分类器，它给出了一个很好的准确性和比较优越的时间复杂度比其他传统的分类器。它工作得很好其中fiml是特征l的重要性，并且inj是节点j的重要性。计算的特征重要性值需要使用等式在0和1之间归一化。（八）高维度数据。支持向量机的主要目标是找到最优的超平面，将数据分类为两个或多个类别用于双向或多向分类。数学公式诺姆fimll=fim∈的线性超平面的数据分为两个类中给出的方程。（五）现在，在随机森林级别，每个特征对于所有树T的重要性可以通过等式2来计算。（九）h=wT（x）+b=0（5）RFfiml =∑j∈范数为l，j的所有树（九）其中b是截距和偏置项，w表示超平面方程的权重向量。2.3.3. K最近邻（K-NN）K-NN是一种通用的算法，可用于处理数据集的缺失值和恢复。使用K-NN的主要目的是使用欧氏距离度量函数考虑训练数据集中最接近测试数据点的K个数据点或样本，然后将测试数据点分类到K个最近邻的所有类中具有最大数据点数量的类中。在目前的工作中，网格搜索方法被用来寻找超参数的值。2.3.5. 集成分类器Entrance分类器在投票的基础上进行预测。它不仅基于一个分类器，而且基于一组分类器进行预测。它结合了不同分类器所做的预测，以提高模型的整体性能。在目前的工作中，集成方法中使用的分类器有：K-NN，线性回归和决策树。见图4。 提出了一种用于人脸检测的混合DCNN-ELM模型。C. Agarwal等人智能系统与应用17（2023）2001756+=3. 实验工作和结果图五、大小调整图像样本的描述。i) 预训练的DCNN-ELM混合框架ii) DCNN模型我们使用以下系统配置来执行提议的研究工作：-使用Python 3.7软件的Intel i5处理器（16 GB RAM）和Google Colab（n1-highCPU-2实例，2vCPU@2.2 GHz，13 GB RAM，100 GB可用空间）。在这项工作中，数据集中80%的图像数据用于训练模型，20%的数据用于测试训练后的模型。注意，分类准确度用于所提出的和类似的面罩检测器框架的比较性能评估。分类精度的数学公式由等式给出。（十）、iii) ResNet152模型的特征可视化分析iv) 拟议的混合型ResNet152的烧蚀研究ELM模型v) 应用与不同分类器合并的预训练DCNN模型vi) 与同领域其他最先进研究工作的比较3.1. DCNN-ELM混合框架分类器完成的正确预测总数分类器完成的总预测（十）正如在第2中提到的，卷积神经网络本文的研究工作分为以下六个阶段主要由四种类型的层组成，例如（i）卷积层，其使用指定的内核执行卷积操作并从图像中提取特征，（ii）ReLu（校正线性单元）层，其将ReLu激活函数应用于图第六章 对于激活函数（a）leaky_relu（b）sigmoid，在ELM中改变隐藏单元的数量（S）的情况下，六个不同的混合DCNN + ELM模型的准确度得分(c)在RMFD数据集上的relu和（d）tanhC. Agarwal等人智能系统与应用17（2023）2001757=图第七章 对于激活函数（a）leaky_relu（b）sigmoid，在ELM中改变隐藏单元的数量（S）的情况下，六个不同的混合DCNN + ELM模型的准确度得分(c)relu和（d）tanh。卷积层，并将所有负值映射为零，同时保留正值，（iii）池化层，其对数据应用最大池化函数，并仅保留来自给定窗口的最大值，以及（iv）最后的全连接层，其执行分类任务。在所提出的方法中，为了分类的目的，ELM被用作分类器，而不是深度CNN模型的全连接层因此，在该模型中，完全连接层被删除，并使用ELM架构的数据集的分类通过预训练的DCNN模型计算的特征图被分为训练数据和测试数据。训练特征图作为ELM的输入用于训练，测试特征图用于ELM模型的测试所提出的混合DCNN-ELM模型如图所示。 四、在本模拟中，使用了六个不同的预训练DCNN模型。例如，Xception、Vgg 16、Vgg 19、ResNet 50、ResNet 101和ResNet152。这些都是在ImageNet数据集上训练的，该数据集由1000个类别的大约1400万张图像组成（Brownlee，2017;Marcelino，2018，Ayyar，2022）。根据每个DCNN模型所需的图像大小调整Facemask数据集中的图像大小。图1中示出了图像处理的一个示例。 五、在目前的工作中，这些预先训练的模型被用来计算给定数据集的特征图，并通过使用ELM分类器进行掩蔽和非掩蔽类别的图像分类。第1.3亦提及，Ismael S engür（2021）&使用相同的方法对X射线图像进行分类，对COVID-19进行了详细研究。他们提取了这些表1使用AlexNet、VGG和ResNet深度迁移学习模型对图像进行分类，并进一步使用具有不同核函数的SVM进行图像分类。他们已经证明，使用具有线性核的SVM的ResNet50特征提取器给出了94.7%的最佳分类准确率。我们也进行了类似的工作，尽管使用了一些不同的迁移学习模型和完全不同的分类器。我们使用ELM而不是使用SVM作为分类器工具。此外，我们的结果被发现是最好的ResNet152特征提取器。据我们所知，用于面罩检测任务的ELM分类器本节将详细介绍和分析这些结果ELM是一种快速的单前馈神经网络，因此它在图像分类中的使用使得该任务可以在实时范围内完成，并且所消耗的处理时间显著减少 ELM 分 类 器 在 本 工 作 中 使 用 四 个 激 活 函 数 ， 即 leaky_relu ，sigmoid，relu和tanh，具有不同数量的隐藏神经元（S）。对于性能评估，使用分类准确度分数准确度评分的变化隐藏单元数（S）的函数如图所示。 6（a-d）和图。 7（当准确度得分最大时，S1024的结果最好。这些图清楚地表明，对于RMFD数据集，leaky_relu激活的准确性得分最好。Sigmoid激活函数接近leaku_relu激活，而relu和tanh激活在性能评估顺序中排名第三和第四的情况下对于RMFD数据集，不同激活函数的混合DCNN+ ELM模型的准确度评分（%）为S=1024激活功能：ELMXceptionVGG16VGG19ResNet50ResNet101ResNet152平均漏热97.7499.1498.9299.0399.5799.7899.01乙状94.5298.698.9299.1499.3599.4698.33ReLU96.7799.3598.8198.9299.6799.5798.85Tanh95.4199.3598.8198.9299.3599.4698.55C. Agarwal等人智能系统与应用17（2023）2001758===+=+表2对于FMDD数据集，不同激活函数的混合DCNN+ ELM模型的准确度评分（%），S=1024激活功能：ELMXceptionVGG16VGG19ResNet50ResNet101ResNet152平均漏热91.594.1493.9294.695.5895.7894.25乙状91.5293.692.9294.3594.9695.193.74ReLU93.5794.8594.1594.3595.195.2494.54Tanh90.8594.1593.6194.2395.4695.6293.99表3RMFD数据集上S=1024的不同激活函数的混合DCNN+ ELM模型的计算时间（秒）激活功能：ELMXceptionVGG16VGG19ResNet50ResNet101ResNet152平均漏热0.881.551.40.940.980.991.12乙状1.031.521.40.940.910.931.12ReLU1.021.391.40.960.961.51.21Tanh1.721.641.641.151.161.191.42表4通过微调RMFD数据集的DCNN模型获得的准确度评分。准确度（%）Xception 94.23VGG 16 96.31VGG 19 97.22ResNet50 98.82ResNet101 98.3898.93FMDD数据集，观察到类似的结果。Leaky_relu被发现在作为隐藏单元的数量（S）的函数绘制的准确度分数方面略微优于所有其他三个激活函数。在这种情况下，S1024的结果也最好。对于RMFD和FMDD图像数据集，图6和图7中出现的结果分别汇编在表1和表2这只适用于S1024。在该表中，编译了所有预训练模型的结果。通过仔细观察这两个表，我们发现在RMFD数据集的ELM架构中，ResNet152迁移学习模型对S表3编译了混合DCNN ELM模型针对S1024的不同激活函数所消耗的计算时间（以秒为单位）。注意，对于具有4653个图像的RMFD数据集，发现对于任何预训练的DCNN模型使用ELM进行分类的平均消耗时间跨度非常小，1.12秒的平均计算时间跨度是最佳（最小）时间，因此它指示该过程是在实时尺度上完成的。榆树有仅一个参数被调整的优点，因此表现出实时结果。除了使用随机选择的输入权重和隐藏偏置之外，这使得它成为一个非常快速的神经网络。但是，ELM的这个特征也可能需要比传统的基于调谐的学习算法更多的隐藏节点。众所周知，ELM在不同的其他图像处理应用中显示出其实时能力（Karpagachelvi等人，2012; Kim等人，2009年; Yang等人， 2013; Agarwal等人，2014; Mishra等人，2018年）。类似的结果在目前的分类任务中也观察到，该任务要求对蒙面面部图像数据集进行分类，这在其他地方也有报道。3.2. DCNN模型在该实验模拟的第二阶段，使用RMFD数据集对迁移学习模型进行微调，这些结果列于表4中。在我们的例子中，DCNN模型是在RMFD数据集上训练的。ResNet152是一个最好的分类准确率为98.93%。因此，对于进一步的研究，只考虑ResNet152。图8（a）显示了训练和测试精度的微调图，作为使用RMFD图像数据集训练的ResNet152模型的历元数的函数。类似地，图8（b）示出了对于用RMFD数据集训练的相同ResNet 152模型很明显，训练是非常稳定的，而当我们增加epoch时，测试也会变得稳定。在类似的线路上，随着我们增加时期的数量，损失函数被最小化。因此，通过在该模拟的第2阶段中进行的所有这些调查，很明显，使用RMFD数据集训练的ResNet152模型是第2阶段中提到的所有考虑的迁移学习模型中见图8。 对RMFD数据集的ResNet152模型进行微调。C. Agarwal等人智能系统与应用17（2023）2001759图第九章 输入图像（尺寸：224 × 224 × 3）到ResNet152模型。图10. （a-g）。由ResNet152模型的七个不同层生成的特征图本文的1。事实上，在比较该实验模拟的两个阶段（阶段1和阶段2）的结果之后，我们可以明确地得出结论，在阶段1中获得的结果优于在阶段2中获得的结果。第二阶段取得的成果。这一引人注目的结果是使用ELM架构进行分类任务的结果，该架构不仅可以产生更好的性能，而且可以在最短的时间C. Agarwal等人智能系统与应用17（2023）20017510跨度落在实时域中。3.3. ResNet152模型见图10。 （续）转化成可识别或可见的图像模式。可视化这些特征将有助于我们通过给定的DCNN模型清楚地破译学习到的特征由于每个提到的DCNN架构都由大量的层组成，这里我们只列出了ResNet152架构的几个层的特征图。图9描绘了被供应到图像处理器的输入图像。众所周知，CNN/DCNN模型被用作强大的图像分类和识别任务的工具。它们通过使用应用于每个卷积层的各种滤波器来学习图像的特征。每个层学习的特征差异很大。为了理解DCNN模型如何工作并学习图像的特征，我们需要在其架构的不同层上可视化DCNN模型计算的特征图的表示。 特征图告诉我们DCNN层如何学习识别和提取图像中存在的不同特征。我们可以理解DCNN模型与类相关的预测背后的原因。要素可视化将图像中包含的内部要素来自RMFD数据集的ResNet152模型。图10（a-g）描绘了在每个卷积层的不同输出层处捕获的不同特征图。在这项使用ResNet152模型的工作中，我们观察到从卷积层1到卷积层5的输出请注意，我们已经对本文中提到的所有模型进行了这种提取。但是由于篇幅所限，我们只给出了ResNet152模型的特征图。呈现这些结果的第二个原因是，在第3.1节和第3.2节中，我们已经得出结论，与本工作中使用的其他DCNN模型相比，ResNet152模型产生了更好的结果。C. Agarwal等人智能系统与应用17（2023）20017511++见图10。 （续）通过观察图9（a-g）的这些特征图可以清楚地看出，随着卷积层数量的增加，这导致在输入图像的微观水平上越来越多地提取特征。我们还观察到，初始层更容易可视化和解释。它们捕获输入图像的主要低级特征，例如边缘，方向等。随着层数的增加，特征变得更难解释，更抽象。它们捕获有助于区分各类图像的高级特征。3.4. 混合ResNet152+ELM模型的烧蚀研究在本工作中，通过修改和改变不同参数和组件的值，对所提出的ResNet152 ELM模型进行烧蚀研究。在这项研究中，五个不同的变化，所提出的模型中使用的参数。这些是1）用不同的层替换avg_pool（GlobalAveragePooling 2D）层; 2）改变ResNet 152 ELM模型中使用的分类器; 3）改变ELM分类器中隐藏神经元的数量C. Agarwal等人智能系统与应用17（2023）20017512+++++表5替换ResNet152模型中的avg_pool（GlobalAveragePooling2D）层。表8通过改变激活函数计算分类精度图层名称精度精度召回F1_评分发现激活功能：ELM准确度（%）找到平均池99.78199.3999.69最高漏热99.78最高精度精度展平层99. 35 98. 9 99. 79 99. 37精度已删除GlobalMaxPooling2D 99.24 99.0 99.60 99.31准确度下降表6更改分类器后计算的准确度分类器\参数准确度（%）发现SVM 99.67精度下降决策树97.74精度下降随机森林+网格搜索99.57精度下降KNN 99.14准确度下降包围投票分类器99.57精度下降ELM 99.78最高精度Sigmoid 99.46精度下降Relu 99.57精度下降Tanh 99.46精度下降表9通过改变残差网络（ResNet）中的层数来计算精度。模型层数精度（%）发现ResNet-50 50 99.03精度下降ResNet-101 101 99.57精度下降ResNet-152 152 99.78最高精度表10从5项消融研究中获得的计算结果表7改变ELM分类器中隐藏神经元的数量（S）研究编号研究名称从消融研究中获得的最佳选择选项准确度（%）隐藏神经元数量准确度（%）发现16 93.98准确度下降32 98.0准确度下降64 98.6准确度下降128 99.57准确度下降256 99.57准确度下降512 99.67准确度下降1024最高精度2048 99.78相同精度4096 99.78相同精度在Resnet 152+ ELM模型中使用;4）改变1替换ResNet152模型2更改与ResNet152模型3ELM分类器4ELM分类器5更改ResNet模型提高了平均池99.78ELM分级机99.781024及以上99.78leaky_relu 99.78152 99.78Resnet152 ELM模型的ELM分类器，以及最