IDS-ML：使用机器学习的入侵检测系统代码库

软件影响14（2022）100446原始软件出版物IDS-ML：一个使用机器学习的Li YangJiang，Abdallah Shami电子与计算机工程系，西安大略大学，1151里士满街，伦敦，安大略省，加拿大N6A 3K7，A R T I C L E I N F O保留字：入侵检测系统机器学习嵌入式学习超参数优化零日攻击A B标准由于现代网络的扩展和发展，网络攻击的数量和破坏性 在不断增加入侵检测系统是维护和加强网络安全的重要技术。IDS-ML是一个用Python编写的开源代码库，用于使用传统和先进的机器学习（ML）算法从公共网络流量数据集开发IDS。通过优化的ML模型，在存储库中开发的IDS可以识别各种类型的网络攻击，以保护现代网络。该代码库可以在任何入侵检测数据集上轻松实现和复制，以解决网络安全领域的问题代码元数据当前代码版本V1.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-260Reproducible Capsule的永久链接https://codeocean.com/capsule/8297382/tree/v1法律代码许可证MIT许可证使用的代码版本控制系统无软件代码语言，工具和服务使用Python，笔记本电脑编译要求，操作环境依赖Python 3.6+，Scikit-learn，Xgboost，Lightgbm，Catboost，FCBF，Scikit-optimize，Hyperopt河如果可用，链接到开发人员文档/手册https://github.com/Western-OC2-Lab/Intrusion-Detection-System-Using-Machine-学习/blob/main/README.md问题支持电子邮件lyang339@uwo.ca1. IDS和ML随着互联网和通信技术的迅速发展，以及在网络上可访问的大量应用，网络安全已经成为必须解决的严重问题。已经引入了各种网络安全机制和保护系统来保护现代网络，例如防火墙、身份验证技术、加密方法和入侵检测系统（IDS）[1]。IDS监视网络流量，以便识别异常活动或恶意网络攻击[2]。当检测到可疑行为时，IDS将生成警报并报告给网络管理员。此外，将采取相应的反措施来防御正在进行的攻击并防止未来的攻击[3]。入侵检测系统可以分为基于特征的入侵检测系统、基于异常的入侵检测系统和混合入侵检测系统[4]。 基于特征的入侵检测系统是为了检测已知的攻击，其模式或特征已经本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。∗通讯作者。电子邮件地址：lyang339@uwo.ca（L. Yang），abdallah. uwo.ca（A.Shami）。https://doi.org/10.1016/j.simpa.2022.100446接收日期：2022年11月10日;接受日期：2022年11月15日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsL. Yang和A. 沙米软件影响14（2022）1004462在系统中定义[5]。虽然基于特征的入侵检测系统通常在已知的攻击检测任务上实现高性能，但由于其模式是未知的，因此它们无法检测新的或零日攻击。另一方面，基于异常的IDS被设计为通过区分未知攻击和预定义的正常活动来检测零日攻击[6]。然而，它们在已知攻击检测上的性能通常低于基于签名的IDS的性能。混合入侵检测系统是将基于特征的入侵检测系统和基于异常的入侵检测系统相结合，以检测已知和未知的攻击。机器学习（ML）技术最近已经成为开发IDS的有前途的解决方案。ML是一系列技术的集合，这些技术采用数学公式来自动发现，检查和从数据中提取模式[7]。提取和获取有意义的信息有助于ML模型做出明智的判断和预测。ML算法可以分为监督和无监督学习算法[8]。监督学习算法是一类ML算法，使用标记数据将输入变量映射到目标变量进行训练，例如K最近邻（KNN）[9]，基于决策树（DT）的模型[10]和深度学习（DL）算法[11]等。无监督学习算法用于从未标记数据中发现模式，例如k均值[12]，高斯混合模型（GMM）[13]，隔离森林[14]等。对于IDS开发，监督学习算法通常用于通过在标记网络数据集上进行训练来开发基于签名的IDS，而无监督学习算法可以用于基于异常的IDS中，以区分异常数据和正常数据。有效识别网络攻击是网络运营商和管理人员面临的一项重大挑战，特别是在快速发展的现代网络中。为了提高入侵检测的准确性并抵御更多的攻击，许多先进的ML技术可以用于开发IDS，包括集成学习，迁移学习（TL）和超参数优化（HPO）。包围学习技术旨在通过集成多个单一ML算法的输出作为基础模型来提高模型学习性能，包括投票，装袋，堆叠等。TL是一种先进的技术，可以将其他数据集或任务上的预训练模型转移到目标数据上，以提高模型训练效率[17]。 HPO是自动调整ML模型的超参数以获得具有改进性能的优化ML模型的过程[18]。 在IDS-ML代码库中，使用先进的ML技术提供了三种新颖的IDS框架.2. IDS-ML代码功能和关键算法IDS-ML是一个代码库，允许研究人员设计IDS使用各种ML算法来保护现代网络。IDS-ML为以下研究问题提供解决方案• 入侵检测系统开发的一般过程是什么？• 我们如何使用ML算法来设计不同类型的IDS（即，基于特征的入侵检测系统、基于异常的入侵检测系统和混合入侵检测系统）？• 我们如何用先进的技术提高入侵检测性能（即，集成学习、TL和HPO）？IDS-ML的高级概述如图1所示。IDS-ML代码存储库为三种创新IDS的开发提供了代码实现：基于树的IDS [19]，Leader Class and ConfidenceDecision Enhancement （ LCCDE ） IDS [20] 和 Multi-Tiered Hybrid IDS（MTH-IDS）[21]。具体来说，IDS-ML代码存储库包括以下代码文件：1. Tree-based_IDS_GlobeCom19.ipynb：该代码是[19]中提出的基于树的IDS的实现，用于检测各种类型的已知网络攻击。提出的入侵检测系统训练四种常见的ML模型，决策树（DT），随机森林（RF），额外的树（ET）和极端梯度提升（XGBoost）作为基本模型，然后使用堆叠，集成学习方法，构建一个强大的集成模型，通过集成的四个基本模型。使用堆叠集成进行最终决策可以进一步提高入侵检测的准确性。2. LCCDE_IDS_GlobeCom22.ipynb：此代码是一个名为LCCDE的创新IDS框架的实现[20]，用于识别各种类型的已知网络攻击。它是通过为每个攻击类别或类型确定三种高级ML算法（XGBoost，LightGBM和CatBoost）中性能最佳的ML模型而开发的。然后，类领导模型及其预测置信度值用于对不同网络攻击类型的检测做出准确的决策。所提出的LCCDE框架的主要优点/改进是，它可以在基本模型中的数据集中的所有类（所有类型的攻击检测）上实现最高性能。因此，可以提高其整体性能3. MTH_IDS_IoTJ.ipynb：此代码是名为MTH-IDS [21]的组合式IDS的实现。它通过将基于特征的入侵检测系统与 基于异常的IDS基于特征的入侵检测系统是通过使用贝叶斯优化（BO），智能HPO方法，调整ML模型的超参数，并生成优化的ML模型扩展基于树的入侵检测系统模型。另一方面，基于异常的入侵检测系统的开发，提出了一个集群标记（CL）的k-means方法和偏见的分类器，以区分未知的攻击从正常的活动，并通过调整其超参数与BO的性能得到改善。通过实现全面的MTH-IDS框架，可以有效地检测已知攻击和零日攻击此外，代码库还介绍了迁移学习卷积神经网络（TL-CNN）IDS [22]和一般HPO教程[18]的公共代码。在TL-CNN代码[22]中，它实现了一个智能IDS，使用TL和优化的CNN技术开发一个改进的IDS框架。具体来说，它采用TL技术，通过将网络流量数据转换为图片，将VGG16，VGG19，Xception，Inception和InceptionResnet [23]等四种先进的CNN模型转移到入侵检测任务中。因此，一个新的机制，数据转换也被提出。此外，它采用粒子群优化（PSO）[24]，一种强大的HPO技术，自动修改CNN模型的超参数，以获得优化的CNN模型。最后，基本的CNN模型结合使用两个ensem- ble程序，置信度平均和级联，以提高入侵检测性能。HPO代码库[18]已经获得了超过1000颗GitHub星，它介绍了通用的HPO技术，可用于调整常见ML模型的超参数以优化其性能。所有代码中每个算法的详细信息可以在[18]-[ 22 ]中找到的 软件 是 发达 在 Python 编程语言基于几个Python包，包括Scikit-learn [25]，Numpy [26]，Pandas[27]，Xgboost [28]，Lightgbm [29]，Catboost [30]，FCBF [31]、Scikit-optimize [32]、Hyperopt [33]和River [34]。公共基准网络安全数据集CICIDS2017 [35]用于评估软件中提出的IDS框架 。 它 是 网 络 安 全 的 尖 端 数 据 集 ， 包 含 最 新 的 攻 击 模 式 。CICIDS2017数据集包含各种类型的网络攻击，包括拒绝服务（DoS）攻击，端口扫描攻击，暴力攻击，Web攻击，僵尸网络和渗透攻击。3. 软件影响网络安全是当前和未来几代网络面临的一个重要挑战。虽然已有许多关于入侵检测系统开发的论文，但公开的、完整的基于ML的入侵检测系统代码却非常有限。IDS-MLL. Yang和A. 沙米软件影响14（2022）1004463Fig. 1. IDS-ML代码库的高级概述。在麻省理工学院的许可下，以促进在这一领域的进一步研究。IDS-ML是一个创新和实用的项目，填补了开源入侵检测系统开发的空白。由于代码是公开的，许多研究人员和网络数据分析师在他们的项目或任务中复制和使用此代码。目前，它已经在GitHub上获得了135颗星和23个分叉。此外，该守则的相应论文已被引用120多次。可复制性和透明度是该软件的另外两个优势，这对于一般ML和大数据分析项目来说非常重要，可以提高公众的兴趣和信任。预计在不久的将来，它将吸引更广泛的关注和使用。电信行业也可以使用此代码设计IDS以保护其网络。该软件的另一个优点是它完全用Python编写，Python是一种具有易于理解的语法的编程语言，在最近的ML相关开发项目中得到了广泛应用。Python的灵活性使所提出的软件能够重用，扩展，并与入侵检测领域的各种其他库集成。从技术的角度来看，大多数现有的IDS代码库和软件都是基于传统的和基本的ML或DL算法开发的。IDS-ML知识库通过引入集成学习、迁移学习和超参数优化等先进技术，改进了现有的IDS研究。通过这些技术，可以显著提高现有入侵检测系统的检测精度和效率。 因此，网络研究人员和管理员可以通过学习先进的技术来改进他们的IDS，从而从IDS-ML软件中受益。随着IDS-ML存储库驱动的有效IDS的广泛应用，下一代网络中的网络攻击可以得到更好的解决，以增强网络安全。最后，除了网络用户之外，IDS-ML代码库中使用的ML技术可以用作通用模型来解决一般的分类问题[36]，如图像分类，疾病诊断，用户行为识别等。因此，一般ML研究人员和数据分析师可以从该软件中受益4. 结论和未来的研究方向网络攻击正变得更具破坏性和复杂性。检测不同类型的攻击并了解其模式是网络安全框架中的关键步骤。IDS-ML代码存储库提供了易于使用的IDS框架，可以将传统和高级ML技术应用于最先进的网络流量数据集，用于现代网络中的入侵检测。网络和cy-bersecurity研究人员可以利用这个代码，由于其易于实现和清晰的解释。该研究项目可以在两个主要研究方向上进行扩展和改进。首先，零日攻击检测性能仍然有很大的改进空间，因为它仍然是一个未解决的问题。先进的无监督异常检测技术和在线自适应方法，如极端梯度提升离群值检测（XGBOD）和性能加权概率平均增强（PWPAE），是提高零日攻击检测性能的有前途的解决方案。其次，由于6G网络有望成为零接触网络，能够实现完全自主的攻击检测和恢复，因此应该部署自动化ML（AutoML）技术来实现自动化入侵检测。虽然在IDS-ML中，我们使用了AutoML的一个重要过程HPO来自动优化ML模型，但仍然有许多其他AutoML过程值得探索，例如自动数据收集，自动数据预处理，自动特征工程，自动模型选择和自动模型更新/概念漂移适应。L. Yang和A. 沙米软件影响14（2022）1004464CRediT作者贡献声明李阳：概念化，方法论，软件，验证，形式分析，调查，数据管理，写作-初稿，可视化。Abdallah Shami：概念化，资源，文字审查竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了加拿大城市交通研究创新联盟（CUTRIC）的部分支持。作者感谢阿布达拉·马吉德、伊斯梅尔·哈米耶、加里·史蒂文斯和斯蒂芬·德鲁塞特在原始论文中的支持引用[1]S.汗，E。Sivaraman，P.B.洪纳瓦尔，先进的机器学习算法在网络入侵检测系统中的性能评估，在：M。Dutta，C.R.克里希纳河，巴西-地库马尔，M。Kalra （ Eds. ） ， Proc. Int. Conf. IoT Incl. Life ， ICIIL 2019 ， SpringerSingapore，Singapore，NITTTR Chandigarh，India，2020，pp. 51比59[2]R. Zhao，G.桂，加-地Xue，J.Yin，T.大月湾Adebisi，H. Gacanin，一种基于物联网轻量级神经网络的新型入侵检测方法，IEEE Internet Things J.（2021）1，http://dx.doi.org/10.1109/JIOT.2021。3119055。[3]L. Yang，杨树A. Mamarayed，A. Shami，P. Heidari，A. Boukhtouta，A. 拉拉比河布伦纳，S。Preda，D. Migault，使用优化的无监督异常检测的多视角内容交付网 络 安 全 框 架 ， IEEE Trans.Netw 。 Serv. 经 理 。 19 （ 2022 ） 686http://dx.doi.org/10.1109/TNSM.2021。3100308[4]A.K.Dwivedi ， 车 内 网 络 中 的 异 常 检 测 ， 2022 年 ， pp 。1http://arxiv.org/abs/2205.03537[5]A. Garg，P.Maheshwari，基于snort的入侵检测系统性能分析Commun.系统。带来的表，未来。来自环球的技术。01（2016）1http://dx.doi.org/[6]莫哈纳Vikram，使用无监督机器学习方法进行网络流量异常检测，2020年第5届国 际 会 议 通 讯 。电 子 系 统 ：2020 年 ， 第 页 。476http://dx.doi.org/10.1109/ICCES48766.2020.9137987[7]M. Injadat，A. Mambuayed，A.B. Nassif，A. Shami，Machine Learning towardsintelligent systems：applications challenges，and opportunities，Artiff.内特尔Rev.（2021）http://dx.doi.org/10.1007/s10462-020-09948-w.[8]L. Yang，杨树A. Shami，动态环境中的物联网数据分析：从自动化机器学习的角度来看，工程应用。内特尔116（2022）1http://dx.doi.org/10.1016/j.engappai.2022.105366[9]W. Zuo，L. Zhang，K.王，关于核差分加权k-近邻分类，模式分析。11（2008）247 http://dx.doi.org/10。1007/s10044-007-0100-z。[10] S.拉 苏 尔 湖 David， 决 策 树 分 类 器 方 法 综 述 ， IEEE Trans. 系 统 人 赛 博 恩 21（1991）660-674。[11] R.A. Khalil ， N. Saeed ， M. 马 苏 德 ， Y.M. Fard ， M. S. Alouini ， T.Y.Al-Naffouri，工业物联网中的深度学习：潜力，挑战和新兴应用，IEEE InternetThings J.（2021）1，http://dx.doi.org/10。1109/JIOT.2021.3051414。[12] K. Alsabti，S. Ranka，V. Singh，一种有效的k-means聚类算法，1997年，第43页，https://surface.syr.edu/eecs/43。[13] L.作者：Li，R.帕拉西奥斯河Welsch，通过高斯混合模型进行飞行操作和安全监控的异常检测，Transp。C部分64（2016）45http://dx.doi.org/10.1016/j.trc.2016.01.007[14] F.T.标准时间Liu，K.M. Ting，Z.H. Zhou，Isolation forest，in：Proc. - IEEE Int.Conf.DataMining，ICDM，2008，pp.413http://dx.doi.org/10.1109/ICDM.2008.17[15] T.G. Dietterich，机器学习中的Ensemble方法，在：Lect. Notes Comput。Sci.（包括Subser。Lect. Notes Artif.内特尔Lect.Notes Bioinformatics），在：LNCS，第1857卷，2000年，pp. 1-15。[16] J.Jiang，F. Liu，W.W.Y.吴角，澳-地唐，W。王，Q.- V. Pham，用于绿色物联网中 数 据 流 的 动 态 增 量 集 成 模 糊 分 类 器 ， IEEE Trans.Green Commun 。 网 络（2022）1，http://dx.doi.org/10.1109/TGCN.2022。3151716。[17] M.M.放大图片作者：Leonardo，T.J.雷兹河Zucchi，F.A. Faria，用于果蝇识别的基于深度特征的分类器（双翅目：实蝇科），在：2018年第31届SIBGRAPI会议。图像模式，2018年，pp。41http://dx.doi.org/10。1109/SIBGRAPI.2018.00012。[18] L. Yang，杨树A. Shami，机器学习算法的超参数优化：理论与实践，神经计算415（2020）295//dx.doi.org/10.1016/j.neucom.2020.07.061网站。[19] L. Yang，杨树A.默贾耶德岛Hamieh，A. Shami，车联网中基于树的智能入侵检测系 统 ， 2019IEEEGlob 。 Commun.确 认 ，2019 年 ， 页1http://dx.doi.org/10.1109/GLOBECOM38437.2019.9013892[20] L. Yang，杨树A. Shami，LCCDE：基于决策的集成框架，用于车辆互联网中的入侵检测，2022年IEEE Glob。Commun.确认，2022,pp. 1比6[21] L. Yang，杨树A. Mamarayed，A. Shami，MTH-IDS：用于车辆互联网的多层混合入侵检测系统，IEEEInternetThingsJ.9（2022）616http://dx.doi.org/10.1109/JIOT.2021.3084796[22] L. Yang，杨树A. Shami，一种基于迁移学习和优化CNN的车辆互联网入侵检测系统 ， 在 ： 2022 IEEE Int. Conf. Commun. ，2022 年 ， 第 102 页 。1http://dx.doi.org/10.1109/ICC45855.2022.9838780[23] K.西蒙尼扬A. Zisserman，Very deep convolutional networks for large-scale imagerecognition，2014，pp. 1http://arxiv.org/abs/1409.1556[24] B. Chopard ， M. 粒 子 群 优 化 算 法 ， 计 算 机 科 学 ， 2000. （ 2018 ）97http://dx.doi.org/10.1007/978-3-319-93073-2_6[25] F. Pedregosa等人，Scikit-learn：Python中的机器学习，J. Mach。学习. 第12（2011）号决议第2825-2830段。[26] C.R. Harris 等 人 ， 使 用 NumPy 进 行 数 组 编 程 ， Nature 585 （ 2020 ）357http://dx.doi.org/10.1038/s41586-020-2649-2[27] W. McKinney，Python中统计计算的数据结构，在：Proc.9th Python Sci。确认，第1卷，2010年，pp. 56-http://dx.doi.org/10.25080/majora-[28] T. Chen，T.他，Xgboost：极端梯度助推，R包。 版本0.4-2，2015，pp. 一比四[29] G.克角，澳-地孟氏T.芬利， T. Wang， W.陈威马角，澳-地是的，T.Y. Liu，LightGBM：一种高效的梯度提升决策树，高级神经信息处理。系统2017（2017）3147-3155。[30] L.普罗霍连科娃湾Gusev，A. Vorobev，A.V. Dorogush，A. Gulin，Catboost：使用分类特征进行无偏增强，高级神经信息处理。苏公网安备32020202000018号[31] S. Egea，A. Rego Manez湾Carro，A. Sanchez-Esguevillas，J.Lloret，智能物联网流量分类，使用新型搜索策略进行工业环境中基于快速相关性的特征选择，IEEEInternetThingsJ.5（2018）1616http://dx.doi.org/10.1109/JIOT.2017.2787959[32] T. Head ， MechCoder ， G. Louppe ， E. Al ， Scikit-optimize/scikit-optimize ：v0.5.2，2018，http://dx.doi.org/10.5281/zenodo.1207017。[33] J. Bergstra，B.科默角Eliasmith，D. Yellow，D. D. Cox，Hyperopt：一个用于模 型 选 择 和 超 参 数 优 化 的 Python 库 ， Comput 。 Sci. 发 现 。 8 （ 2015 ）http://dx.doi.org/10.1088/1749-4699/8/1/014008。[34] J.Montiel ， M. Halford ， S.M. Masterini ， G. 博 尔 韦 河 苏 尔 蒂 河Vaysse， A. Zouitine ， H.M. Gomes ， J. Read ， T. Abdessalem ， A. Bifet ，River：Machine learningfor streaming data in python，J. 马赫学习. Res. 22（2021）1[35] I. Sharafaldin，A. 哈比比 拉什卡里， A.A. 古尔巴尼 朝向 生成 一 新的入侵检测数据集和入侵流量特征，2018年，pp。108http://dx.doi.org/10.5220/0006639801080116[36] B. Groza，P.S.陈文，等，基于Bloom过滤的网络入侵检测技术，北京大学计算机科学与工程学院。14（2019）1037http://dx.doi.org/10.1109/TIFS.2018.2869351