沙特国王大学学报集成方法和传统机器学习技术在工业5.0中用于基于Web的攻击检测Oumaima Chakira，Abdeslam Rehaimia，Yassine Sadqia，El Arbi Abdellaoui Alaouib，Moez Krichenc，d，Gurjot Singh Gabae，Andrei Gurtovea摩洛哥Beni Mellal，USMS大学，FPBM，利马提实验室b摩洛哥梅克内斯Moulay Ismail大学ENS科学系IMAGE实验室 IEVIA小组c沙特阿拉伯Al-Baha大学CSIT学院d突尼斯斯法克斯大学ReDCAD实验室瑞典林雪平大学计算机与信息科学学院阿提奇莱因福奥文章历史记录：2022年12月31日收到2023年2月3日修订2023年2月9日接受2023年2月15日在线提供关键词：网络安全防范方法工业5.0机器学习基于Web的攻击检测A B S T R A C T针对软件的网络安全攻击已成为网络犯罪分子有利可图的热门目标，他们有意识地利用基于Web的在文献中已经开发了几种基于机器学习的技术来识别这些类型的攻击。与单一分类器相比，集成方法尚未进行经验评估。据我们所知，这项工作是第一次经验评估的同质和异构集成方法相比，单一分类器的基于Web的攻击检测在工业5.0，利用两个最现实的公共基于Web的攻击数据集。作者将实验分为三个主要阶段：在第一阶段，他们评估了五个成熟的监督机器学习（ML）分类器的性能。在第二阶段，他们使用最大化和堆叠方法构建了三种性能最好的ML算法的异构集成。在第三阶段，他们使用了四个著名的同质合奏来评估装袋和升压方法的性能。基于ECML/PKDD 2007和CSIC HTTP 2010数据集的结果显示，bagging，特别是随机森林，在准确度，精度，F值，FPR和ROC曲线面积方面优于单分类器，其值分别为99.597%，98.274%，99.129%，0.523%，100和99.867%，99.867%，99.867%，0.267%，100在trast，单分类器的性能优于boosting和stacking。然而，在FPR方面，提升-超过了单一分类器。当准确度、精确度和FPR是主要关注点时，最大投票是合适的，而当召回率、FNR、训练和预测时间是关键因素时，可以使用单个分类器。在训练时间方面，集成方法比单个分类器更容易受到数据量的影响。该论文版权所有2023作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍*通讯作者。电 子 邮 件 地 址 ： oumaima. usms.ac.ma （ O. Chakir ） ， abdeslam.rehai-mi@usms.ac.ma（A. Rehaimi），y. usms.ma（Y. Sadqi），e.abdellaouialaoui@umi.ac.ma （ E.A. Abdellaoui Alaoui ） ， moez. redcad.org （ M.Krichen ） ， gurjot.singh@liu.se（G.S. Gaba），andrei. liu.se（A. Gurtov）。沙特国王大学负责同行审查工业5.0将智能、链接设备与人类认知和批判性思维相集成，以提高工业效率并促进人与机器之间的灵活性（Maddikunta等人，2022;Zeb等人，2022; Maddikunta等人，2022年）。下一次工业革命有可能通过将平凡和重复的任务委托给机器人和机器，同时将那些需要创造性解决问题的任务留给人类工人，从而提高生产的整体质量。此外，工业5.0不仅仅包括制造业，而是基于第四次工业革命（工业4.0）（Gaba et al.，2020;Boopalanhttps://doi.org/10.1016/j.jksuci.2023.02.0091319-1578/©2023作者。由Elsevier B.V.代表沙特国王大学出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comO. Chakir，A. Rehaimi，Y. Sadqi等人沙特国王大学学报104例如，2022; Masud等人，2021年），并通过信息和通信技术（ICT）的发展实现，包括人工智能（AI），自动化，大数据分析，物联网，机器人和边缘计算。然而，网络安全攻击是工业5.0以人为中心的应用程序所面临的关键挑战之一（Maddikunta等人， 2022; Leng等人， 2022;Kumar等人，2022 c）。事实上，在保护基于工业5.0的系统时，软件、网络、硬件、操作系统、固件和数据安全都应该考虑在内（Wu等人，2018年）。特别地，软件层已经成为黑客的利润丰厚的常见目标，黑客有目的地利用基于Web的威胁并发起可能危及关键工业5.0功能（例如机密性、完整性和可用性）的攻击（Maddikunta等人，2022年;Wu等人， 2018; Alsaedi等人，2022年）。 为了防止这些类型的攻击，有必要使用安全系统，例如入侵检测系统（IDS）（Sadqi和Mekkaoui，2021; Khan等人，2021）和入侵防御系统（IPS）（Liao等人，2013; Jemal等人，2021年）。当在保护Web应用程序的上下文中实现IDS或IPS时，通常将其称为Web应用程序防火墙（WAF）（Desmet例如，2006年）。换句话说，WAF可以被认为是在OSI应用层工作的IDS或IPS的特殊情况，专门用于分析HTTP和HTTPS流量，目的是通过检测或/和阻止与Web相关的攻击来保护Web应用程序（Sadqi和Maleh，2022）。基于签名的WAF，如ModSecurity，是最展开类型（Schmitt和Schinzel，2012; Tian等人，2019年）。这些系统可以以低误报率（FPR）有效地检测已知攻击，但是它们不能检测未知攻击，诸如零日攻击。相比之下，基于异常的系统在检测未知攻击方面表现更好，但它们产生更高的FPR。因此，传统的基于签名和异常的攻击检测和预防系统不适合保证现代Web应用程序的安全性（Jemal等人， 2021年）。 随着广泛用于图像和文本识别的AI技术的发展，网络安全研究的很大一部分都集中在这些方法上，因为它们似乎可以有效地提高基于签名和基于异常的攻击检测系统的性能（Chan等人，2013年）。自2011年以来，基于人工智能的技术在Web应用程序安全方面的关注度显著增加（Ghaffarian和Shahriari，2017;Alaoui和Nfaoui，2022）。最受欢迎的AI子集之一是基于机器学习（ML）的解决方案（Asif et al.， 2021;Kumar等人，2022 a; Kumar等人，第2022条b款）。具体来说，ML方法被认为是攻击检测系统的最前沿方法。但是，传统的ML模型通常会为越来越复杂的网络攻击提供高FPR和假阴性率（FNR）（Gupta和Rani，2020; Sommer和Paxson，2010）。为了解决传统ML方法的问题，集成方法（也称为多分类器系统，基于委员会的学习或分类器集成）是ML研究中最重要的方向之一，用于网络攻击检测（Tama和Lim，2021; Aburoman和Reaz，2017）。使用分类器集成背后的主要思想是，来自多个单独分类器的预测的聚合提供了更好的检测结果（Sagi和Rokach，2018; Abba等人，2022年）。此外，将多个分类器的预测绑定在一起将修复每个分类器产生的错误，并导 致比单个 分类 器（ Valentini 和Masulli ，2002; Opitz 和Maclin，1999; Belouch和Hadaj，2017）。根据Aburomman和Reaz（2017），有两种类型的集成方法：（1）基于相同类型的基础模型构建的同质集成，例如随机森林（RF），以及（2）包含各种类型的基础模型的异质集成，例如支持向量机（SVM），K-最近邻（KNN）和决策树（DT）。绝大多数多分类器系统是同质集合（Tama和Lim，2021）。最近，集成方法已广泛用于各种领域，包括网络安全（Tama等人，2020; Zhou等人，2020; Zhou和Wang，2019）。然而，网络安全领域对适当的高性能ML算法的需求仍然是一个尚未解决的研究问题（Tama和Lim，2021）。此外，大多数早期的研究都非常强调基于学习的技术在基于网络的攻击检测中的性能（Sommer和Paxon，2010;Tama和Lim，2021; Aburomman和Reaz，2017）。在Caruana和Niculescu-Mizil（2006）中，证明了基于学习的技术的性能评估取决于应用和实现。因此，仍然需要在基于Web的攻击检测的背景下，集成技术和基本分类器的基准。尽管在相关研究中经常使用准确度作为主要评价参数，但不可能公平地比较和评价不同的基于ML的解决方案（Maseer等人，2021年）。为了解决上述缺点，这项工作评估了集成方法在基于Web的攻击检测中的有效性，并使用可靠的评估指标（准确度（A），召回率（R），精度（P），F值（F1），FPR，FNR，ROC曲线，训练和预测时间（TT和PT））将其与单个分类器进行比较。特别是，最常用的单学习算法和集成技术进行了研究，考虑到同构和异构形式的集成分类器。此外，特别关注那些经常产生有效攻击检测结果的学习方法（Tama和Lim，2021; Aburoman和Reaz，2017; Maseer等人，2021年）。据我们所知，这项工作是第一次经验评估的同质和异质集成方法combustion到单一分类器的基于Web的攻击检测在industry 5.0，使用两个最常用的公共和现实的基于Web的攻击数据集。事实上，用于评估基于Web的攻击检测系统的可用公共数据集数量有限是基于Web的攻击检 测 中 最 大 的 问 题 之 一 （Oumaima例 如 ， 2021; Tama 等 人 ，2020）。公共数据集的可用性可以帮助Web应用程序管理员识别和分类安全问题，实施有效的对策和防御策略，并提高态势感知能力（Catillo例如，2021年）。为了构建高效的基于机器学习的Web攻击检测系统，使用包括在线流量并准确表示实际Web应用程序攻击的公共数据集至关重要（Tama等人，2020年）。基于ML的Web攻击检测系统建立在不包含Web流量的数据集上，无法准确检测针对Web应用程序的攻击。为基于网络的攻击检测生成的最知名和最广泛使用的数据集可能无法有效评估基于Web的攻击检测解决方案，因为它们不包含真实世界的Web攻击。这就是为什么在本文中，作者决定使用ECML/PKDD 2007，CSICHTTP 2010开源数据集，这些数据集适用于Web攻击检测。尽管使用过时的 公共攻 击检 测数据 集已经 引起 了批评 （Mastowidzki 等人 ，2015），最近发表在高质量期刊上的论文使用了ECML/PKDD 2007和CSIC HTTP 2010数据集（Shahid et al.，2022年; Luo等人，2020;Tekerek，2021）。使用广泛使用的公共数据集是最先进的ML方法的可靠性能比较所必需的（Yang等人， 2022年）。基于多因素预测相结合的原则，多个分类器将校正由每个分类器产生的错误最近的研究大多集中在使用集成方法，而不是单一的分类器，以提高检测性能的基于Web的攻击。O. Chakir，A. Rehaimi，Y. Sadqi等人沙特国王大学学报105据我们所知，没有研究证明这一原则在网络安全方面的有效性。通过对工业5.0中基于Web的攻击检测集成方法和单一分类器的实证评估，本研究旨在填补这一研究空白。定义了以下研究问题（RQ），以涵盖本文的目的和范围RQ1：集成方法是否适用于基于Web的攻击检测？RQ2：哪种集成方法更适合基于Web的攻击检测？RQ3：与单一分类技术相比，集成学习方法在基于Web的攻击检测中的有效性如何？作者认为，回答这三个核心问题将有助于帮助学者和从业者选择最合适的基于Web的攻击检测算法。在实验中，使用5个完善的监督ML分类器及其变体，包括SVM（Kumar例如，2019）、KNN（Kumar等人，2019）朴素贝叶斯（NB）（汗例如，2021）、DT（Kumar等人，2012）和逻辑回归（LR）（Kasongo和Yanxia，2020），他们的结果表明，哪些分类器将被集成到使用Max voting（Lower 和Zhan，2020）和Stacking（Belouch和Hadaj，2017; Lower和Zhan，2020）方法构建的异构集成中。接下来，使用bagging（Belouch和Hadaj，2017; Lower和Zhan，2020;Aburoman和Reaz，2016）和boosting（Belouch和Hadaj，2017; Lower和Zhan，2020; Schapire，1999）技术评估了四个众所周知的均匀集合RF，BaggingClassifier（BC），XGBoost和Gradient boosting（GB）本文的结构安排如下：第二节介绍了相关的工作。数据集，分类方法，评估指标在第3节中详细讨论。实验结果在第4节中给出并讨论。第5节介绍了当前提出的基于ML的Web安全系统（ML-WSS）的挑战。第六部分是结论和未来的工作。2. 相关工作在这一节中，作者强调了最近使用单一分类器和集成方法进行基于Web的攻击检测的著名作品。此外，针对集成分类器和单个分类器的性能比较，在网络攻击检测。2.1. 基于单分类器Kozik 等 人 （ 2015 ） 的 作 者 比 较 了 三 种 算 法 的 性 能 ： J48 ，AdaBoost和Naive Bayes（NB）。J 48的检出率为95.97%，NB为88.89%，Ada-Boost为83.23%。作者认为，关于准确性度量的信息足以证明ML算法的有效性。相比之下，本文讨论的其他性能参数是P、R、F1、FPR、FNR、ROC曲线、TT和PT。使用CSIC HTTP 2010数据 集 ， Smitha 等 人 （ 2019 ） 评 估 了 SVM ， Logistic Regression（LR），DT和神经网络（NN）算法在检测基于Web的攻击方面的性能。他们的实验结果显示，LR在A，R，P，F1和ROC曲线方面优于其他，分别为97%，95%，96%和97%。然而，在P方面，SVM表现更好，其值为94%。作者在Khan et al. （2017）研究了KNN，NB，J48，和SVM分类器在检测跨站点脚本（XSS）为基础的攻击使用定制的数据集1924例，1515良性和409 JavaScript代码作为有害的实例。根据他们的实验结果，所有四个分类器分别达到了97.14%，95.06%，99.22%和94.55%的准确率。作者在论文中研究了KNN、使用多项式和线性核的SVM以及RF分类器在检测XSS攻击方面的性能（Mereani和Howe，2018）。这些实验是在2,000个恶意和良性脚本的定制训练数据集以及13,000个恶意和良性脚本的测试数据集的帮助下进行的。根据它们的结果，所有这些分类器在A、P、R和TNR方面表现良好。2.2. 基于集成方法在Tama等人（2020）中，作者提出了一种基于异常的攻击检测系统的新方法，用于使用堆栈集成来保护Web应用程序。与建议使用弱基模型的传统堆叠集成相比，作者提出了RF，梯度提升机（GBM）和XGBoost的多个强模型的组合。基于CSIC 2010 V2、CIC-IDS 2017、NSL-KDD和UNSW-NB 15数据集的实验结果为了提高现有入侵检测系统的检测能力，Zhou et al.（2020）的作者提出了一种新的入侵检测系统，该系统基于用于选择良好特征的模糊特征选择（CFS）和集成方法，该集成方法通过使用投票分类器将来自三个分类器C4.5，RF和Forest的决策通过惩罚属性（Forest PA）组合成一个最终决策。他们基于NSL-KDD、AWID和CIC-IDS 2017数据集的实验结果分别获得了99.8%、99.5%和99.8%的较高A值。在Zhou和Wang（2019）中，作者提出了一种新的基于集成方法的XSS攻击检测方法，使用贝叶斯网络（BN）作为基本模型，最大投票方法作为最终决策函数。中使用的数据集是从GitHub和其他安全论坛收集的，它包括16151个XSS有效载荷和135507个用于训练的正常载荷，以及3497个XSS有效载荷和6503个用于测试的正常载荷。为了模拟真实世界的攻击场景，他们在数据集中不同百分比的恶意样本下测试了他们的方法的准确性。即使恶意样本占测试数据集的大部分（恶意记录百分比的45%），他们的方法也达到了98.54%的准确率。在Lower和Zhan（2020）中，作者使用NSL-KDD数据集对集成方法用于网络安全的有效性进行了研究。具体来说，他们测试了三种类型的方法，投票（他们评估了硬投票和软投票），装袋和提升。对于投票方法，作者（Lower和Zhan，2020）在他们的实验中使用KNN，DT，MLP分类器和LR作为基础模型。他们将实验分为三个步骤：首先，他们只组合了DT和KNN两个模型，然后，他们添加了MLP分类器。在最后一对于bagging和boosting方法，作者分别使用RF和AdaBoost分类器，以n棵决策树作为基础模型。他们逐步增加了DT的数量，以查看它是否会提高分类器的整体性能。他们的结果表明，与投票方法相比，RF和AdaBoost的准确率超过80.22%。在Tripathy等人（2020年），作者提出了一项研究，研究使用ML算法保护部署在云软件即服务（SaaS）上的Web应用程序免受SQL注入（SQLI）攻击的有效性，这是使攻击者能够窃取机密信息的关键SaaS漏洞之一。RF，AdaBoost，随机梯度下降（SGD），深度人工神经网络●●●O. Chakir，A. Rehaimi，Y. Sadqi等人沙特国王大学学报106(ANN)Tensorflow根据他们的结果，所有分类器的准确率都高于98%，但RF以99.8%的准确率超过了2.3. 集成学习方法与单个分类器的性能比较在文献中，有有限的论文，集中在性能比较集成和单一分类器ML为基础的解决方案的攻击检测。在Tama and Lim（2021）中，作者将集合的基本分类器与Stack of Ensemble（SoE）进行了比较。SoE架构结合了各种同质集成，包括RF、XGBoost和GBM。此外，随机搜索被用来找到每个基本分类的最佳学习参数。作者在Tama和Lim（2021）中验证了先前的研究结果，这些研究结果与集成方法相比，基于网络的攻击检测的单一分类器方法的性能显著提高。然而，由于它依赖于多个变量，包括基分类器、集成方法类别等，情况并非总是如此。通过评估10种监督和无监督学习算法（包括KNN、DT、RF、SVM、NB、ANN、卷积神经网络（CNN）、期望最大化（EM）、自组织映射（SOM）和k-Means）的真阳性和阴性率、A、R、P、F1、TT和PT，根据学者的说法，kNN，DT和NB算法然而，该文件没有考虑到并行集成方法。Tama和Rhee（2017）的工作重点是使用五个基本分类器（包括RF，DT，LR，功能树（FT）和CART）在基于网络的攻击检测背景下评估集成学习。然而，他们的研究并不包括同质集成评估。表1显示了所呈现的相关作品和这张纸比较表1中列出的所有作品，与本研究最相似的是Tama和Rhee（2017）。我们的工作与Tama和Rhee（2017）的区别在于，我们评估了同构和异构集成在工业5.0中用于基于Web的攻击检测的有效性，并将其性能与单个分类器的性能进行比较，以确定它们是否始终优于单个分类器。 与Tama和Rhee（2017）仅使用A，P，R和F1不同，本文的作者使用FPR，FNR，TT，PT和ROC曲线来评估学习算法的性能。3. 研究方法在本节中，作者描述了建议的基准测试方法。然后给出了实验中使用的网络攻击数据集、数据预处理和分类算法。最后，性能指标进行了介绍。3.1. 概述这项工作的主要目标是比较集成方法的有效性，以一个单一的分类器在基于Web的攻击检测领域，使用完善的公共数据集：ECML/PKDD 2007和CSIC HTTP 2010。实验分为三个阶段：第一阶段：作者比较了工业5.0中基于Web的攻击检测任务中最常用的ML算法的性能，包括KNN，DT，SVM，NB和LR。第2阶段：作者使用最大投票和堆叠方法，在评估指标方面创建了三种性能最佳的ML算法第3阶段：作者使用RF，BC，GB和XGBoost，这些都是装袋和助推的方法。3.2. 基准数据集目前广泛使用的用于攻击检测基准测试的标准公共数据集，如NSL-KDD和KDD Cup 99，不适合基于Web的攻击检测评估，因为它们不包括基于Web的攻击（Oumaima et al.，2021年）。为此，选择了专门为Web流量异常识别而创建的两个数据集ECML/PKDD 2007和CSICHTTP 2010（Web应用程序攻击数据集，2022）。在下文中，简要地介绍了所使用的两个数据集。3.2.1. ECML/PKDD 2007为ECML/PKDD发现挑战生成的数据集。该数据集分别包含24504个和10502个用于训练和测试的有效请求，以及15110个用于测试的恶意请求。它包括各种类型的基于Web的攻击，如XSS、SQLI、LDAP注入、XPATH注入、路径遍历、命令执行和SSI攻击（Web应用程序攻击数据集，2022; Raïssi等人， 2007年）。3.2.2. CSIC HTTP 2010包含向电子商务应用程序生成的实际请求的数据集。该数据集包含两种类型的请求，36000个用于训练的正常请求，36000个用于测试的正常请求，以及25000个分类为用于测试的攻击请求。它包含各种类型的Web攻击，如SQLI、XSS、CRLF注入和缓冲区溢出（Web应用程序攻击数据集，2022; Giménez等人，2010年）。ECML/PKDD 2007和CSIC HTTP 2010数据集的主要问题是它们只包含有效的训练请求（Oumaima等人，2021; Web应用程序攻击数据集，2022）。训练阶段是构建学习算法的最关键阶段，在此期间，算法学习识别正常活动和攻击模式。仅用合法数据训练的基于ML的攻击检测系统将不能检测模仿正常活动的攻击（Mokhtari等人，2021年）。因此，为了构建一个高效的基于机器学习的攻击检测系统，有必要使用合法和恶意数据来训练系统。因此，作者采用原始数据集，通过从测试数据集中提取攻击样本并将其用于训练，将其转化为个性化数据集。本工作中使用的数据集大小见表2。3.3. 数据预处理如图1所示，作者通过使用urlparse库从ECML/PKKD 2007和CSICHTTP 2010数据集中提取数据来开始实验。作者主要集中在提取合法和恶意数据。●●●O. Chakir，A. Rehaimi，Y. Sadqi等人沙特国王大学学报107算法1.建议的令牌化算法GET、POST和PUT请求。作者通过删除所有空数据和重复数据来清理数据后提取由于这是一个二进制分类问题，作者将字符串标签转换为数值。值为0表示合法数据，值为1表示恶意数据的类。然后，作者创建了一个标记化算法（参见算法1），通过许多步骤将输入字符串数据转换为标记列表，首先，作者使用相同的库urlparse解码输入数据，将URL字符（如像' '，' > '，'：'这样的字符有效载荷结构。为了保持相同的格式，作者将每个字符转换为小写。然后，使用特殊字符（如' '、'空白'、'='和'-'）拆分数据继续前进，作者收集了Tripathy等人（2020）中用于分割数据的几个关键字，以及他们自己的关键字，这些关键字是通过分析攻击类型和数据集的内容来收集的，以制作他们自己的用于标记化的单词因为所有的算法操作数字特征，作者使用CountVectorizer工具将每个标记编码为向量（Tama等人，2020年）。在这项研究中，作者使用ML算法的默认参数评估了ML算法的有效性，以确定其在默认情况下的性能。为了将数据分类为恶意和合法，作者将训练数据提供给分类器。最后，作者用测试数据对分类器创建的预测模型进行了评估3.4. 评估指标为了评估单个和集成学习分类器的性能，作者选择了基于Web的攻 击 检 测 的 最 常 见 指 标 （ Tama 等 人 ， 2020 年 ; Singh 等 人 ，2022;Hasan等人，2022），即准确率（A）、召回率（R）、精确率（P）、F值（F）、假阳性率（FPR）、假阴性率（FNR）、训练时间（TT）、预测时间（PT）和ROC曲线。准确度（A）：正确检测到的攻击数量与攻击总数之间的比率。●O. Chakir，A. Rehaimi，Y. Sadqi等人沙特国王大学学报108¼表1与本文相关工作的比较参比包埋方法算法评估数据集描述限制（Tama和Lim，2021）装袋，提升RF、GBM、XGboostA，FPR AUCCIC IDS2017，NSL-KDD，UNSW-NB15，UNSW 2018在基于网络的攻击检测中，作者评估了同质集成与单个分类器他们的实验表明，集成方法仅关注基于网络的攻击和同质集成，忽略P、R、FNR、TT和PT指标。（Tama等人，2020年）堆叠RF、GB、XGboost A和FPR CSIC 2010V2，CIC IDS2017，NSL-KDD，UNSW- NB15提出了一种基于堆栈的Web应用安全入侵检测系统。根据CIC-IDS 2017数据集的结果，所提出的方法在A和FPR方面取得了更好的性能，其值为99.99%和0.46%。仅使用A和FPR指标，基于网络的攻击数据集（NSL- KDD和UNSW-NB15），仅关注堆栈方法（Zhou等人，2020年）投票C4.5，RF，Forest PAA，R，P，F1，和FPRNSL-KDD，AWID，CIC- IDS2017提出了一种基于相关特征选择和投票方法的入侵检测系统。仅使用A，R，P和FPR指标，基于网络的攻击数据集（NSL- KDD），并且只关注投票方法（周和王，2019）投票BN A GitHub，安全论坛作者提出了一种新的基于XSS的攻击检测方法，使用投票方法。所提出的方法实现了99.54%的A。仅使用A指标，仅关注基于XSS的攻击和投票方法（Maseer等人，2021年）-KNN ， NB ，SVMRF，ANN ， CNNEM，SOM，k-意味A，P，RF1，TT，DTCIC IDS 2017作者评估了上述算法在异常攻击检测中的性能。根据他们的结果，kNN，DT和NB算法在Web攻击检测中表现得比其他算法更好。仅关注单个分类器（Lower和Zhan，2020）投票，装袋，助推KNN，MLP，DT，LR，RF，AdaBoost一个NSL-KDD作者评估了网络安全的整体方法。结果显示，RF和AdaBoost的A值超过80.22%。仅使用A来评估所提出的系统（Kozik等人，（2015年）Boosting J48，NB，AdaBoostACSIC HTTP 2010作者评估了上述算法在检测基于Web的攻击的性能。J48的A值最高，为95.97%。仅使用A、提升方法和单个分类器（Smitha等人，2019年度）-SVM、LR、DT、NN A、P、R、F1，ROC曲线CSICHTTP2010作者评估了上述算法在检测基于Web的攻击的性能。LR实现了最高性能，A、R、P、F1和AUC值分别为97%、92%、95%、96%和97%。忽略FPR、FNR、TT和PT指标，只关注单个分类器（Khan等人，（2017年）（Mereani和Howe，2018）-KNN，NB，J48，SVM-KNN、SVML、RF、SVMPA、R、P、F1、FPR、ROC曲线A、R、P和TNRLeakiEst示例XSSed档案作者评估了上述算法在检测XSS攻击的性能。J48的A值最高，为99.22%。作者研究了上述算法在检测XSS攻击的性能。KNN在A、P、R和TNR方面取得了最高的性能，分别为99.75%、99.88%、99.61%和99.61%。百分之九十九点八八。只关注基于XSS的攻击和单个分类器只关注基于XSS的攻击和单个分类器（Tripathy等人，2020年）装袋，提升RF、AdaBoost、SGD、DeepANN、BosstedTree和Tensorflow有效载荷作者评估了在检测SQLI攻击中的算法根据他们的结果，RF是最准确的，其值为99.8%。仅使用A度量，侧重于基于SQLI的攻击和同构集成.（Tama和Rhee，2017）投票，堆叠，装袋，助推RF，DT，LRFT，CARTA、P、R、F1 NSL-KDD、GPRS-WEP/WPA、GPRS-WPA2在基于网络的攻击检测中，作者比较了集成学习方法和单个分类器的有效性仅关注基于网络的攻击、异构集成，忽略FPR、FNR、TT、PT和ROC指标。拟议工作投票，堆 叠、装袋、提升MNB、BNB、KNN、SVML、SVMR、SVMS、LR、DT、RF，XGBoost，GB，BCA、R、P、F1、FPR、FNR、ROC曲线、TT和PTCSIC HTTP2010 ECML/PKDD 2007作者比较了同质和异质集成学习与单一分类器在基于Web的攻击检测中的有效性。只关注传统的基于web的攻击检测。表2本工作中使用的数据集大小。ATPTNTPTNFPFNð1ÞECML/PKDD 2007 CSIC HTTP 2010Recall（R）：计算正确检测到的攻击数量。TPR¼TP3000-2000●类列车数据测试数据列车数据测试数据正常19649842040001500攻击12510250540001500O. Chakir，A. Rehaimi，Y. Sadqi等人沙特国王大学学报109¼ ð Þ¼¼¼时时时时Fig. 1. 拟议的基准方法。精度（P）：该指标用于计算正确分类的合法请求的数量。PTP3公司简介● F值（F1）：查全率和查准率的调和平均值。ROC曲线：描述不同分类阈值下的假阳性率和真阳性率的图表。这是一种用于确定最佳分类模型的有用策略。高ROC值意味着模型可以检测到攻击，而低数值则表明效率低下。F1R：PRPð4Þ4. 结果和讨论4.1. 实验环境FPR：计算被分类器检测为攻击的合法数据的数量。本文中提出的实验是使用FPRFPFPFTTNð5Þ配备英特尔®酷睿™ i5的硬件环境3320 M*64 CPU，运行频率2.6GHZ，12G RAM，64位Windows 10操作系统。表3列出FNR：计算检测到的恶意数据数量，合法数据。这项工作中使用的各种工具FNTPFFNð6Þ4.2. 结果训练时间（TT）：表示训练整个数据集并创建具有最佳拟合的学习模型所需的时间。基于测试过程中生成的混淆矩阵测量评估指标，如A、R、P、F1、FPR和FNRTP和TN值表示攻击次数，而非TT¼结束培训-开始培训ð7Þ分类器正确分类的错误数据，而FN和FP值-检测时间（DT）：测量学习算法将整个测试数据分类为攻击或正常所需的时间。表3在这项工作中使用的工具。DT¼结束测试-开始测试ð8Þ工具汇编Sklearn脚本Python版本4.11.0 0.24.2 3.2.1 3.9.7●●●●●●O. Chakir，A. Rehaimi，Y. Sadqi等人沙特国王大学学报110UE指示攻击的数量和不正确分类的正常数据。从表4可以看出，DT在检测基于Web的攻击方面比其他分类器更准确。如表5所示，基于ECML/PKDD 2007数据集的结果表明，SVML、DT和LR分类器在A和F1方面的性能优于其他分类器。给定每个分类器的P和FPR，BNB，KNN和LR优于其他分类器。然而，可以观察到SVML、DT和MNB在R和FNR方面击败了相比之下，CSIC HTTP 2010结果显示，SVML、DT和LR分类器在A、R、P、F1和FNR方面的性能最高然而，在FPR方面，可以观察到SVMR的表现优于其他。在这项研究中，TT和PT也被测量，因为它们是任何Web应用程序安全系统的关键评估标准。从图2中可以看出，基于ECML/PKDD 2007数据集的结果显示，与其他分类器相比，MNB、BNB、KNN、LR和DT分类器具有最小的TT和PT，其值为（0.024s，0）、（0.023s，0.024s）、（0.007s，8.321s）、（4.211s，0.001s）和（55.655s，0.084s）。类似地，基于CSIC HTTP 2010数据集的结果显示，MNB、BNB、KNN、DT和LR分类器需要最少的时间来训练其分类模型，并分别以（0.007s，0.008s）、（0，0）、（0，1.273s）、（1.101s，0）和（0.813s，0）的值预测与其他分类器的不可见数据的一致性。图3描绘了基于ECML/PKDD 2007和CSIC HTTP 2010数据集的每个分类器的ROC曲线。从图中可以看出，SVML、DT和LR分类器的性能优于其他分类器，ROC值的面积超过96%。相比之下，KNN分类器的得分最低，为89%，这证明了该分类器在检测基于Web的攻击时的无效性。基于ECML/PKDD 2007和CSIC HTTP 2010数据集的实验结果表明，与其他分类器相比，SVML，DT和LR分类器在大多数评估指标方面都达到了最佳率。因此，这些分类器将作为本文剩余部分的基础模型。表6给出了基于ECML/EML的异质系综的混淆矩阵表4每个分类器的混淆矩阵。ECML/PKDD 2007 CSIC HTTP 2010分类器TNFPFNTPTNFPFNTPMNB78625584524601436641221378BNB8419142820771429711361364KNN8412852619791424762651235SVML83467432502140694141486SVMR8356642902215149732301270SVMs833090371213413151854941006DT8325950250514465401500LR8369511922313148515701430表5基于ECML/PKDD 2007和CSIC HTTP 2010数据集对每个分类器进行性能评估。ECML/PKDD 2007 CSIC HTTP 2010分类器A（%）R（%）P（%）F1（%）FPR（%）FNR（%）A（%）R（%）P（%）F1（%）FPR（%）FNR（%）MNB94.48198.20481.51189.0826.6271.79693.80093.80093.86693.7984.2678.133BNB96.07382.91499.95290.6390.01217.08693.10093.10093.18193.0974.7339.067KNN95.11279.00299.59788.1120.09520.99888.63388.63389.25788.5885.06717.667SVML99.29599.88097.12798.4850.8790.12096.40096.40096.53296.3976.2670.933SVMR96.76088.42397.19292.6000.76011.57792.23392.23393.23392.1890.20015.333SVMs95.78085.19095.95390.2
