深度长短期记忆在无线入侵检测中的优势

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 6（2020）98www.elsevier.com/locate/icte一种基于深度长短期记忆的无线入侵检测分类器Sydney Mambwe Kasongo，YanxiaSun南非约翰内斯堡大学电气电子工程科学系接收日期：2019年5月19日;接受日期：2019年在线预订2019年摘要无线网络已经发展了多年，并且它们已经成为一些最突出的通信媒体。这些网络通常在任何给定时间传输大量信息。这引发了许多安全威胁和隐私问题。提出了一种基于深度长短期记忆（DLSTM）的无线入侵检测系统分类器。使用NSL-KDD数据集，我们将DLSTM IDS与现有方法进行了比较，如深度前馈神经网络，支持向量机，k最近邻，随机森林和朴素贝叶斯。实验结果表明，DLSTM IDS优于现有的方法。c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：机器学习;深度学习;入侵检测;无线网络1. 介绍信息和通信技术（ICT）、物联网（IoT）和手持设备的最新进展已经导致无线网络的使用增加。这些网络通常持续处理大量信息。这产生了许多隐私问题，并使无线网络面临各种安全威胁。为了保护这些网络，引入了入侵检测系统（IDS）[1]。在最高级别上，IDS分为基于主机的IDS（HIDS）和基于网络的IDS（NIDS）[2]。此外，HIDS和NIDS都分为：基于异常的IDS、基于特征的IDS和混合型IDS。基于异常的IDS扫描网络并标记异常行为，而基于签名的IDS依赖于预定义的模式来标记入侵[3]。混合入侵检测系统是基于异常和基于特征的入侵检测系统的结合由于终端用户数量的持续增加，现代无线网络的复杂性与日俱增∗ 通讯作者。电子邮件地址：sydneybleuops@gmail.com（S.M.Kasongo），ysun@uj.ac.za（Y.Sun）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2019.08.004这又增加了网络流量和入侵的可能性。因此，必须设计稳健、有效和准确的入侵检测系统。为了开发高性能的IDS，已经进行了几项使用机器学习（ ML ） 技 术 的 研 究 。 这 些 方 法 包 括 ： 支 持 向 量 机（SVM）[4]，K最近邻（KNN）[5]，朴素贝叶斯（NB）[6]，随机森林（RF）[2]和人工神经网络（ANN）[7]。在这项研究中，我们专注于ANN，更具体地说，深度学习（DL）应用于IDS。DL是由Hinton教授[8]首先提出的，它被认为是ML的高级子领域。所提出的用于无线IDS的DL方法基于深度长短期记忆（DLSTM）递归神经网络（RNN），使用基于信息增益（IG）的基于滤波器的算法[9]。将DLSTM方法与以下方法进行比较：前馈深度神经网络（FFDNNs），ANN，SVM，KNN，NB和RF。结果表明，DLSTM RNN模型的性能优于其他现有的算法。本文的其余部分组织如下：第2节介绍了用于入侵检测系统的ML和DL技术。在第3节中，提供了LSTMRNN模型的概述，并提供了DLSTM RNN IDS。2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S.M. Kasongo和Y.Sun/ICT Express 6（2020）9899⎪⎪⎩<$Ct=ft<$Ct−1+it <$Ct′i t= σ（W i. [h t−1，xt]+ b i）架构介绍。第4节提供了实验装置并讨论了结果，第5节提供了结论2. 相关工作在[10]中，作者提出了一种基于LSTM-RNNs的智能网络攻击检测方法。神经网络模型的结构包括一个输入层，一个均值池层和一个逻辑回归层的输出。为了训练和测试该模型，使用NSL-KDD入侵检测数据集。用于评估模型性能的性能指标是检测率（DR），虚警率（FAR）和准确性。LSTM-RNN模型在训练数据上的准确率为97.52%，DR为98.85%，FAR为8.75%。这些结果表明，该模型优于其他模型，如SVM，KNN和贝叶斯。在[11]中，提出了一种基于RNN的入侵检测系统深度学习方法。在这项工作中提出的RNN-IDS是一个简单的RNN，有一个输入层，一个隐藏层和一个输出层。RNN-IDS使用NSL-KDD数据集进行训练和测试。用于性能评估的评价指标是检测的准确性。该模型与以下分类器进行了比较：随机森林，多层感知器，支持向量机，朴素贝叶斯和J48。对于二元分类，RNN-IDS在NSL-KDD训练数据上的准确率为99.81%，在NSL-KDD测试数据上的准确率为83.28%为多类分类，RNN-IDS实现了准确性Fig. 1. LSTM结构3. DLSTM RNN无线入侵检测系统3.1. 关于LSTM RNN与传统的前馈神经网络相比，递归神经网络（RNN）包含一个方向循环，能够记忆和记住以前的状态并将其应用于当前输出[11，12]。RNN存在梯度消失问题，为了解决这个问题，引入了长短期记忆（LSTM）[13]。本研究中使用的LSTM单元的结构如图所示。1.一、图中输入和输出之间的关系。在时间t和t−1，1由以下表达式给出t= σ（W f. [h t−1，x t]+ b f）⎪对NSL-KDD训练数据的正确率为99.53%，对NSL-KDD测试数据的正确率为81.29%。这些结果优于同行模型。在[12]中，开发了使用的性能指标Ct′=tanh（Wc. [ht−1，xt]+bc）z t= σ（W z. [h t−1，x t]+ bz）ht=zttanh（Ct），1 −e−2x（一）评价分类器的精度，检测率，准确性和虚警率（FAR）。然后将基于LSTM的IDS与使用以下分类器的其他IDS进行比较：使用Hessian-Free的RNN，使用随机梯度下降（SDG）和前馈神经网络的LSTM RNN。结果表明，使用Nadam梯度下降优化器的LSTM RNN优于其他IDS模型，在训练数据上的检测率为98.95%在 [9] 中 ， 提 出 了 一 种 使 用 前 馈 深 度 神 经 网 络（FFDNN）结合使用信息增益（IG）的基于滤波器的特征选择算法的DL方法。在这项研究中，进行了各种实验，使用FFDNN与IG上的NSL-KDD入侵检测数据集。将FFDNN-IG与SVM、KNN、NB、随机森林（RF）和决策树（DT）等模型进行了比较。结果表明，对于二进制和多类分类设置，FFDNN-IG优于其他模型。此外，结果表明，深度和网络中的神经元数量影响模型的准确性tanh（x）=1+e−2x（2）1σ=1+e−x（3）其中C是单元状态。σ（sigmoid）和tanh是激活函数。输入向量由x表示，输出由ht给出。W和b分别是权重和偏置参数。ft是forget函数，其作用是过滤掉不需要的信息。it和C′在单元状态中注入新的信息。zt输出相关信息。在定义LSTM网络是否深度方面没有通用标准。为了我们的研究目的，我们认为任何具有两个以上LSTM层的网络都是深度LSTM（DLSTM）。3.2. DLSTM RNN IDS架构本研究中提出的DLSTM RNN IDS的整体架构如图所示。二、有四个主要步骤：数据分离、数据转换、模型训练和100S.M. Kasongo和Y.Sun/ICT Express 6（2020）98++=∑∑+++∑∑图二、 DLSTM RNN IDS架构。表1数据集分解。数据集名称Normal DoS Probe R2L U2R TotalKDD列车满载67343 45927 11656 995 52 125973KDD列车75 50494 34478 8717 749 42 94480KDDE估价16849 11449 2939 246 10 31493KDD测试+完整版9711 7458 2754 2421 200 22544在第三步中，使用训练集训练DLSTM RNN模型，并且在第四步中，使用评估集和测试集评估和测试训练的DLSTM RNN模型。本研究中使用的DLSTM RNN模型的结构如图所示。3其中存在输入层，DLSTM单元，其具有n个LSTM层，其中n>2;以及密集前馈层（DFFL），其由N个人工神经元（AN）组成。N是层内AN的数量。在训练期间应用于DFFL层的激活函数是整流线性单元（ReLU），f（x）max（0，x）和Sigmoid [9，14]。 ReLU和Sigmoid充当DFFL中每个神经元的阈值门，它们确保模型满足非线性效应，并在模型训练期间促进梯度下降。此外，方程[15]中的Sof tmax函数在生成模型的输出之前应用等式（7）S（v）ievi=Tj=1 evj（七）图三. DLSTM RNN拓扑。模型测试在第一步中，将主数据集划分为训练集和评估集。 测试集是一个独立的数据集。在第二步中，使用归一化过程对特征进行变换，并使用IG进行过滤。IG源自信息论，能够发现数据集中两个随机变量之间的非线性关系[9]。在信息论中，熵或变量X的不确定性度量H（X）由以下表达式给出：H （ X ） =−P （ x ） log2 （ x ）（4）x∈ X此外，使用（5）中的等式计算两个随机变量X和Y的条件熵。H（X|Y）= −P（x）P（x|y）log2（P（x|（五）x∈ X y∈ YSof tmax激活函数的作用是计算logits的概率。所有生成的概率之和等于1，具有最高概率的logit是预测类。3.3. 数据集和数据处理本研究中使用的基准数据集是NSL-知识发现数据挖掘（NSL-KDD）[10NSL-KDD有41个特征，包括3个非数字特征（协议类型、服务和标志）和38个数字特征。此外，NSL-KDD具有一个类标签，其范围缩小到以下四个主要组：拒绝服务（DoS）、用户到根（U2 R）、远程到用户（R2 L）、探测、正常。攻击类型的分布情况见表1。此外，NSL-KDD完整训练集称为KDDTrain Full分为两个分区： KDD列车 75个，占全套的75%，KDDEvaluation是整个集合的25%。KDDE值集用于模型验证目的。KDD测试其中P是概率。根据（4）和（5）中的表达式，（5），IG定义为：IG（X）|Y）= H（X）− H（X|（六）因此，特征Y与特征X具有更强的相关性如果I G（X|Y）>I G（C）|Y）。Full独立于主训练集。由于LSTM RNN模型只接受数值，因此使用PythonKeras库[16]对非数字特征进行编码。算法1提供了管理DLSTM RNN IDS的所有步骤。S.M. Kasongo和Y.Sun/ICT Express 6（2020）98101−ii======算法1DLCANN RNN IDS算法步 骤 1 ： 将 主 数 据 集 分 为 训 练 集 （ 75% ） 和 评 估 集（25%）。步骤2：提取和转换特征。使用Keras编码非数值特征。对来自输入特征向量X（x1，.，xn）使用：（b−a）xi−min（xi）其中b=1，a=0。表2IG等级的功能。特征编号：f5、f4、f6、f3、f30、f29、f33、f34、f38、f39、f35、f12、f23、f25、f26、f32、f36、f31表3传统ML模型的性能max（x）min（x）第三节： 步骤3：使用IG公式：I G i（x normi |C）= H（x范数i）− H（x范数i |C）、步骤4：设置初始DLSTM RNN模型步骤5：在训练集（75%）上训练所选的DLSTM RNN模型。步骤6：在评估集（25%）上选择DLSTM RNN模型。步骤7：在测试集上测试所选的DLSTM RNN模型8：步骤8重复步骤4至步骤7，直到达到所需的结果。4. 实验与讨论4.1. 性能度量用于分类问题的绩效指标基于以下四种可能性：真阳性（TP）：被成功归类为入侵的攻击真阴性（TN）：正常活动被正确归类为正常。假阳性（FP）：正常活动被IDS错误地标记为侵入性。假阴性（FN）：被归类为正常的侵入性活动准确度（AC）、精确度和召回率是根据上述条件得出的，如下所示：Windows 8.1 64位操作系统：基于TensorFlow [17]和Scikit-Learn [18]构建的Keras [16]。这些库广泛用于深度学习和数据科学研究。在硬件方面，我们的实验是在华硕笔记本电脑英特尔酷睿i3- 3217 U CPU@1.80 GHz和4.00 G RAM上实现的。为了客观地比较和评价本研究提出的DLSTM RNN IDS的性能，我们在多类分类方案的基础上设置了不同类别的实验。0级为正常，1级为R2L，2级为U2R，3级为探针，5级为DoS。此外，所有实验都基于由18个特征组成的简化特征向量，这些特征在表2中使用NSL KDD数据集中的相应编号进行描述。该矢量在算法1的步骤3中生成。在第一类中，我们在Scikit Learn [18]上使用以下传统机器学习方法进行了实验：SVM，KNN，NB，RF和ANN。对于SVM分类器，使用以下参数：0，则多类选项被设置为o v r （一个对休息），惩罚参数C为1.1，公差停止准则为tol1e−5。对于KNN分类器，邻居的数量，n个邻居被设置为11。对于NB分类器，ACT P+T NT P+T N+FP+F NT P（八）使用多项式NB。在RF的情况森林中的树的数量n esitmators被设置为100，树的最大深度max depth=3。很简单Precision=T P+F P（9）召回T P（10）T P+ F NF1分数是一种同时考虑精确度和召回率以验证准确性的度量。它是查全率和查准率的调和平均值，表示如下：在ANN中，我们使用了以下参数：solver =第一阶段的结果如表3所示，其中RF是具有验证准确度（Val. AC）为99.84%，F1分数为99.83%，测试准确度（测试AC）为85.44%。在第二阶段，我们实现了FFDNN [9]和F1得分2精度召回精确度+召回率4.2. 硬件和软件系统（十一）表4中给出的结果表明，表现最好的模型具有分布在三个隐藏层（HL）中的150个隐藏节点（HN）、0.02的学习率（LR ）、验证精度（Val. AC）为99.47%，F1 分数为99.56%，测试准确度（测试AC）为86.32%。本研究中进行的实验是使用以下两个基于Python的库进行的，在这一点上，我们建立了基于深度学习的IDS优于传统的基于ML的IDS。····ML分类器Val. ACF1得分测试ACSVM百分之九十五点五百分之九十五点一六79.12%KVM百分之九十九点三七百分之九十九点三六71.94%102S.M. Kasongo和Y.Sun/ICT Express 6（2020）98表4FFDNN模型的性能。HNHLLRVal. ACF1得分测试AC3030.01百分之九十九点二八百分之九十九点二六84.95%4030.01百分之九十九点二七九十九点二五84.98%6030.02百分之九十九点四三百分之九十九点四二86.26%8030.01百分之九十九点四六百分之九十九点四四85.62%8030.05百分之九十九点五三百分之九十九点五二86.17%15030.02百分之九十九点四七百分之九十九点五六86.32%表5DLSTM RNN模型的性能胡HLDFFLVal. ACF1得分测试AC303R5九十九点二三百分之九十九点三二85.34%303公司简介百分之九十八点二六百分之九十九点五86.34%753公司简介百分之九十九点二八百分之九十九点四二85.84%903公司简介百分之九十九点四四百分之九十九点六二百分之八十五点四五1053公司简介百分之九十九点三二百分之九十九点四九85.51%903公司简介百分之九十九点二百分之九十九点四一85.34%903公司简介百分之九十九点五一百分之九十九点四三86.99%在第三类实验中，我们评估了各种DLSTM RNN模型的性能。这些实验中最重要的方面是LSTM层的深度，LSTM隐藏单元（HU）的数量和密集前馈层（DFFL）的结构。所有DLSTM RNN模型的DFFL部分在最后一层具有5个神经元，因为实验基于多类分类方案，其中类数为5。此外，将Sof tmax函数应用于最后一层。除了logit层之外，DFFL还可以具有附加层以更好地泛化。符号Rn或Sn表示额外层是否应用了ReLU或Sigmoid激活函数，其中n表示神经元的数量表5中的结果表明，性能最好的DLSTM RNN模型具有90个分布在三个隐藏层（HL）上的LSTM HU，验证准确率为99.51%，F1得分为99.43%，测试准确率为86.62%。此外，DFFL结构在第一层中有29个乙状结肠神经元（S29），在最后一年中有5个Sof tmax神经元。在我们所有的实验中，模型效率的主要指标是它在测试数据上的性能，因为这些数据以前没有被模型看到。根据我们的研究结果，DLSTM RNN的86.99%优于FFDNN的86.32%。我们还比较了 使用KDDTrain 75（DLSTM Train，FFDNNTrain）和KDDEvaluation（DLSTM Validation，FFDNNValidation）数据集比较DSLTM RNN模型与FFDNN模型。 如图 4、DLSTM RNN收敛在达到15个时期之前比FFDNN快此外，我们工作中提出的DLSTM RNN IDS超过了[11]中提出的RNN-IDS的性能，测试准确率为64.67%。此外，我们提出的模型优于[10]中的LSTM-RNN IDS，其对训练数据的准确率为97.52%，而DLSTM RNN IDS达到了99.51%。S.M. Kasongo和Y.Sun/ICT Express 6（2020）98103图四、 DLSTM RNN和FFDNN收敛性比较5. 结论在本研究中，我们设计了一个基于DLSTM RNN的入侵检测系统。该模型使用耦合到DFFL的多层LSTM单元，目的是有效地检测无线网络入侵。为了评估所提出的系统的性能，使用NSL-KDD数据集。此外，我们采用了一种基于信息增益的特征选择算法，以减少特征向量。验证数据的总体准确度为99.51%，F1评分为99.43%，测试数据的准确度为86.99%。与传统的ML方法以及前馈DL方法相比，本文提出的系统具有更 高 的 性 能 。 在 未 来 的 工 作 中 ， 我 们 打 算 使 用DLSTM RNN模型研究NSL- KDD数据集中单个攻击类的性能。此外，我们的目标是将DLSTM RNN模型应用于UNSW-NB 15无线入侵检测数据集，以进一步研究其与其他现有方法相比的性能竞合利益作者声明，本文中不存在利益冲突。致谢这项研究得到了南非国家研究基金会（编号：112108，112142）的部分支持;南非国家研究基金会奖励补助金（编号：95687）; Eskom高等教育支持计划补助金;约翰内斯堡大学URC的研究补助金引用[1] R.米切尔，我是内务部的。Chen，无线网络入侵检测技术研究综述，Comput. Commun. 42（3）（2014）1104S.M. Kasongo和Y.Sun/ICT Express 6（2020）98[2] R. R. Samrin，D.王文，基于异常的网络入侵检测系统研究，电子工程学报，2001。Comput. 优化技术2017年，页141-147[3] W. Bul'ajoul，A. James，S. Shaanxi，一种新的网络入侵检测和防御体系结构，IEEE Access 7（2019）18558-18573。[4] A. Dastanpour，S.易卜拉欣河Mashinchi，A. Selamat，入侵检测系统中人工神经网络和支持向量机遗传算法优化的比较，在：Proc.IEEE Conf. Open Syst. 2014，pp. 72比77[5] B. Xu，C. Shuyu，Z. Hancui，W.田树，增量k-NN SVM方法在入侵检测中的应用，第八届IEEE国际会议。工程服务科学2017年，页712-717[6] B. Selvakumar，K.基于萤火虫算法的网络入侵检测特征选择，计算机.安全81（2019）148-155。[7] I. Manzoor，K. Neeraj，一种基于神经网络分类器的特征缩减入侵检测系统，专家系统。Appl. 88（2017）249[8] Y.莱昆湾，巴西-地本吉奥湾Hinton，Deep learning，Nature 521（2015）436-444.[9] S.M. Kasongo ， Y. Sun ， A deep learning method with filterbasedfeature engineering for wireless intrusion detection system ，IEEEAccess 7（2019）38597-38607。[10] Y. Fu，F.卢，F.孟，等，基于rnn的智能网络攻击检测方法，2018IEEE Third Int. Conf. on Data Science in Cyberspace，2018，pp. 483-489[11] C. Yin ， Y. Zhu ， J. Fei ， X. A deep learning approach forintrusiondetection using recurrent neural networks ， IEEE Access 5（2017）21954-21961.[12] J.金，H. Kim，一种使用长短期记忆和梯度下降优化的有效入侵检测分类器，在：IEEE Int. 关于平台技术和服务，2017年，pp。1比6[13] J. Schmidhuber，神经网络中的深度学习：概述，神经网络。61（2015）85-117。[14] X. Jiang，Y. Pang等人， Deep neural networks with elastic recti-fiedlinear units for object recognition ， Neurocomputing 275 （ 2018 ）1132-1139.[15] A.A. Mohammed，V. Umaashankar，分层软最大值在大规模分类任务中的有效性，在：IEEE国际会议上计算，通信和信息学的进展，2018年，pp。1090-1094.[16] Keras：The Python Deep Learning Library [Online].可用：https：//keras. 我同意。[17] TensorFlow：一个端到端的开源机器学习平台[在线]。可用：https：//www. 我是说，我的意思是，或g/。[18] Scikit-Learn：Python中的机器学习[在线]。可用：https：//scikit-learn. 或g/stable/。