多层人工神经网络模型用于智能家居入侵检测的高准确性解决方案

智能系统与应用16（2022）200152用于智能家居入侵检测的多层人工神经网络模型Shaleeza Sohaila，b，Zongwen Fanc，Chang，Xin Gud，Fariza Sabrinaea信息技术学院，国王学院，悉尼，新南威尔士州，2000年，澳大利亚b纽卡斯尔大学工程、科学与环境学院，悉尼，新南威尔士州，2000年，澳大利亚c华侨大学计算机科学与技术学院，厦门361021d纽卡斯尔大学工程、科学与环境学院，Callaghan，NSW 2308，澳大利亚中央昆士兰大学工程与技术学院，悉尼，新南威尔士州，2000年，澳大利亚A R T I C L E I N F O A B S T R A C T保留字：网络安全人工神经网络子类攻击分类超参数选择EX可解释性近年来，网络安全已成为智能应用程序适应的主要问题。安全可信的机制可以为用户提供安心，特别是在使用大量物联网设备的智能家居中。人工神经网络（ANN）为检测智能应用程序上的任何安全攻击提供了有希望的结果。然而，由于用于这种技术的模型的复杂性，普通用户不容易信任基于人工神经网络的安全解决方案。此外，选择正确的神经网络结构的超参数在安全攻击的准确检测中起着至关重要的作用。本文提出了多层人工神经网络入侵检测模型（MAMID），这是一种新颖的和可扩展的解决方案，最佳的超参数选择，以检测安全攻击的高准确性。该模型的预测的可解释性分析该方法考虑数据集的子集用于快速、可扩展和最优的超参数选择，以减少ANN过程的开销建筑设计使用最新的物联网数据集，该方法显示出入侵检测的高性能，对攻击的二进制，类别和子类别分类的准确率分别为99.9%，99.7%和97.7%。据作者所1. 介绍物联网（IoT）被认为是一种颠覆性技术，对我们的日常生活产生了巨大影响一些广泛使用的应用包括智能家居、智能健康、智能城市、智能电网、智能农业、智能汽车和物流跟踪等（Lee，2020）。IoT设备经由互联网连接以出于特定目的而彼此收集和交换2017年）。由于对物联网应用的巨大需求，物联网设备在低成本、易于处理、小尺寸和传感器精度方面不断发展。然而，在设计这些设备时，安全和隐私并没有得到优先考虑（Thamilarasu Chawla，2019）。因此，大量的研究都集中在保护基于物联网的应用程序上;然而，要完全保护物联网网络免受入侵者的攻击，还需要做更多的工作。*通讯作者。所有作者都对这项工作做出了同样的贡献。智能家居应用在物联网使用的大规模增长中发挥了重要作用。智能家居允许个人将他们的家用电器/设备彼此完全连接，并使所有者能够远程控制设备，如图1所示，这可以提供前所未有的控制和舒适度。但是，如果不考虑足够的安全措施，这种好处就会带来巨大的安全风险。在智能家居环境中，最大的挑战之一是用户无法理解，欣赏和采取安全预防措施。智能家居中的大多数物联网设备都设计有一组扩展的传感器和执行器。例如，智能灯可能带有麦克风，这可能使IoT系统容易受到安全和隐私入侵的影响。普通家庭居民可能不具备解释和保护IoT系统的知识和技能（Dolan等人，2020年）。因此，迫切需要一种自动化机制来保护智能家居免受安全和隐私入侵。电子邮件地址：Shaleeza@koi.edu.au（S. Sohail），zongwen.fan @ hqu.edu.cn（Z. Fan），xwww.example.comin.gu @ newcastle.edu.au（X. Gu），f. cqu.edu.au（F. Sabrina）。https://doi.org/10.1016/j.iswa.2022.200152接收日期：2022年8月23日;接收日期：2022年10月13日;接受日期：2022年11月8日2022年11月11日在线提供2667-3053/© 2022作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect智能系统及其应用期刊主页：www.elsevier.com/locate/iswaS. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001522Fig. 1. 智能家居场景。近年来，利用机器学习（ML）技术的自动入侵检测系统成为研究的热点。ML系统的本质是基于攻击的特征、模式或特征来训练活动模型，并将其与新的攻击行为进行比较。几种有监督和无监督的机器学习算法可以用于此目的，例如随机森林，决策树，支持向量机，长短期记忆（一种神经元网络）和人工神经网络（ANN）。ANN是机器学习算法之一，由于其适应底层系统的黑盒性质，已被广泛用于许多领域的分类任务（Zhang，2000）。这一特性使得人工神经网络非常适合于高维数据集的网络入侵检测。 当模式被掩埋时，模型构建的破裂能力（Dreiseitl&Ohno-Machado，2002）。ANN高性能的一个非常重要的方面需要大量的工作来找到最佳设置，这是一项重要的任务，因为它不仅影响性能，而且由于设置中涉及的每个参数都有大量选项，因此可能是一项非常耗时的工作。MAMID是一种新的用于ANN模型超参数选择的可扩展机制，与其他相关工作相比，该机制提供了更好的结果。如前所述，对于ANN模型，超参数的选择在预测精度方面起着重要而重要的作用。基于检测精度、计算开销和时间约束，提出了一种简单、可扩展的安全攻击检测方法。预测的准确性很重要，因为在错误检测的情况下错过任何攻击都可能是非常有害的。 计算开销起着重要的作用，因为使用大量计算资源来找到最优解决方案可能是不可行的，也是不可行的。 时间是约束条件之一，因为这种检测必须是实时的，并且在这种情况下，任何需要长时间训练或检测的模型都不适合于实时检测。对超参数的选取进行了评价，分析了模型的有效性。它值得注意的是，已对拟议方法进行了评估，一个新的物联网数据集，IoTID 20（Ullah Mahmoud，2020），因为该数据集显示了最近的网络传输特性（2020年收集）。的模型的可解释性分析表明，这些预测对于使用户信任模型输出是有用的。本文的主要贡献是：• 提出了一种低开销的神经网络超参数优化选择方法• 所提出的方法显示了在最近捕获的物联网的子类别级别上的安全性检测该数据集显示了该方法用于检测新攻击的适用性。• 分析了人工神经网络模型的可解释性， 有助于用户理解和建立信任第二部分讨论了基于人工神经网络的入侵检测系统的相关文献，并利用IOTID 20数据集进行了研究。第3节提供了完整的详细信息 的建议多层人工神经网络模型的入侵检测。超参数的选择在第4节中给出。第5节提供了用于入侵检测目的的分类结果和分析。结论已经作出，未来的工作选择已在第6节中确定。2. 相关工作在网络安全领域，有大量的研究正在积极进行，其中机器学习算法用于异常和攻击检测。以下小节简要回顾了与本工作相关的一些文献。2.1. 基于机器学习的入侵检测如上所述，基于机器学习的异常和入侵检测是一个活跃的研究领域;一些常用的算法是随机森林（RF）、K最近邻（KNN）、支持向量机（SVM）、多层感知（MLP）、人工神经网络（ANN）等。（Islam等人，2020年）。使用集成分类器可以提高攻击检测的准确性，因为两种不同的算法可以以两种不同的方式解决问题。随机森林和平均单依赖性估计用于解决属性依赖性，并用于提高网络传输到异常或恶意类别的分类准确性（Jabbar等人，2017年）。由ADTree和KNN组成的基于聚类的集成分类器显示了入侵检测系统的攻击检测的高准确性（Jabbar，Kavalu，Reddy，2017）。由Bagging方法与REPTree相结合组成的集成方法具有高分类精度，而Bagging方法构建模型所需的时间要少得多（GaikwadThool，2015）。一种生物启发的遗传安全方法显示，当采用物联网设备时，在移动云采购操作期间，快速检测智能城市中的误操作设备（Kantipudi等人，2022年）。一个完整的智能家居监控系统，检测和防止物理水系统故障，极端天气条件，气候条件问题和可疑的安全事件的影响，使用传感器和模糊逻辑进行下一代物联网主动监控（Woz'niak etal. ，2020）。该系统使用物理传感器数据和用户信息来控制家庭环境，以实现高舒适性和安全性。在不同的机器学习算法中，ANN被认为是用于异常或入侵检测的最有效的算法之一（Tsaih等人，2018）（Choras 'Pawlicki，2021）.Taher等人（2019）比较了SVM和ANN检测网络入侵的性能，发现ANN的性能优于SVM。作者在这项工作中使用了NSL-KDD数据集Choras和Pawlicki（2021）提出了一种基于人工神经网络的系统，用于多类分类的入侵检测。在这项工作中，作者尝试了不同超参数的各种可能选项，以提出最有效的系统。 作者认为，超参数的选择对分类结果起着非常重要的作用，超参数设置的微小变化对准确性有很大影响。在这项工作中微调的超参数是激活函数，优化器，epoch数，神经元数和批量大小。使用两个流行的数据集（NSL-KDD和CICIDS 2017）评估了该模型的性能S. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001523实验结果表明，该模型对多类攻击的检测准确率达到99.909%。Hodo等人（2016）提出了一种基于人工神经网络的物联网网络入侵检测系统这项工作的重点是二进制分类- 检测正常和攻击流量（DDoS/DoS）。在模拟的物联网网络中测试了该系统的性能，结果显示，在检测分布式拒绝服务（DDoS）和拒绝服务（DoS）攻击时，准确率为99.4%。Subba等人（2016）提出了一种基于人工神经网络的入侵检测系统，可以很容易地部署用于实时入侵检测。作者认为，现有的一些基于机器学习的系统可能会在入侵检测中实现高性能，但存在高复杂度和计算开销。 因此，在这项工作中，作者提出了一个三层ANN模型（有一个隐藏层），以最大限度地减少系统训练和执行的计算开销。使用NSL-KDD数据集对模型的性能进行了分析。性能评估结果表明，该系统的性能优于朴素贝叶斯模型，与基于SVM和C4.5的入侵检测模型相似从上面的讨论，很明显，人工神经网络是一个很好的选择入侵检测的目的，但面临的挑战是复杂的超参数的最佳选择2.2. 物联网数据集当机器学习算法用于攻击检测时，数据集变得非常重要，因为在没有数据集的情况下无法进行这些算法的训练和测试。最近，研究人员为此目的使用了几个数据集，如UNSW-NB 15（Moustafa Slay，2015）和Bot-IoT（Koroniotis et al.， 2019年）。选择IoTID 20数据集用于训练和测试所提出的ANN模型，因为这是在物联网环境中收集的最新数据集之一，并且它可以描绘更真实和最新的网络传输特性。另一个需要提及的重要方面是，由于该数据集是最近收集并可供使用的，因此有一些研究利用该数据集进行实验。此外，现有研究（直至2021年6月）均未能就该数据集达致超过90%的子类别分类准确度。该数据集被认为是分析物联网作为入侵检测模型还有改进的余地Ullah和Mahmoud（2020）收集并实验了这个数据集，同时考虑了几种机器学习方法。在二进制、类别和子类别级别上检测异常活动。许多机器学习算法（SVM、高斯NB、LDA、Logistic Regression、DecisionTree和Random Forest）和集成方法用于IoT攻击检测，结果各不相同。对于二进制和类别分类决策树，随机森林和枚举方法产生了非常好的结果，在大多数情况下F分数超过95%。然而，当涉及到子类别分类时，没有一种算法能够获得超过88%的F-Score和准确度。在安全场景中，强烈建议获得高准确度的攻击检测，并且可能不完全依赖准确率为88%的入侵检测系统。因此，它可以可以推断，机器学习还有改进的空间，模型，以实现子类别的高准确度和精确度基于此数据集的攻击检测已经针对基于异常的入侵检测方法分析了特征选择的重要性，并且IoTID 20数据集用于测试使用随机搜索算法的混合特征选择方法（Maniriho等人，2020年）。作者仅讨论了三种攻击类别的部分结果，表明准确率超过99.9%。某些攻击类别的检测准确度非常高，这表明了混合特征选择方法的优势，该方法仅使用使用信息增益和增益比方法选择的特征中共有的特征子集。然而，这种特征选择方法的适用性不能被证明是合理的。图2. 提出了多层人工神经网络入侵检测模型（MAMID）。除非提供并分析所有类别和次类别攻击的完整结果。Qaddoura等人（2021）提出了一种多级方法，用于对像IoTID 20这样的不平衡数据集进行异常检测。作者使用过采样和K-means++聚类等方法， 以减轻不同类别的示例之间的不平衡的影响。结果表明，只有二进制分类的准确性良好。本研究工作未涉及类别和子类别的分类，因此，无法评估该方法在IoTID 20数据集中用于多类别分类的有效性。同样，Anjum（Farah，2020）讨论了考虑IoTID 20和Bot-IoT数据集的交叉数据集评估。然而，所有的攻击检测都只针对二进制或类别级别，作者没有考虑子类别级别的分类3. 多层神经网络入侵检测模型在本节中，讨论了所提出的模型，该模型通过选择最合适的超参数来进行入侵检测，以实现高预测精度，低计算开销和实时检测。3.1. 方法所提出的模型如图2所示。该系统由四个部分组成：数据集预处理，特征选择，人工神经网络优化和预测。首先，对数据集进行预处理，以消除任何冗余数据和缺失值。之后，执行特征选择，以找到可有效用于分类的最小特征集（稍后详细讨论）。然后，数据被传递到ANN优化器，该优化器找到最佳神经网络拓扑和超参数，用于配置神经网络以训练和测试模型。在最后阶段，进行预测以实时检测恶意传输。重要的是，不仅要考虑预测精度，还要考虑计算开销和时间复杂度，将这种方法应用于需要实时检测并且可能无法访问高端服务器的智能家居场景。以下小节详细讨论了拟议系统这三种分类的目的是二进制分类检测攻击和正常传输。基于类别的分类也会检测攻击的类别。第三个也是最具挑战性的分类是攻击的子类别。需要检测攻击的类别和子类别，因为对不同攻击的响应需要根据其类型而有所不同。这些信息可以为网络安全专业人员提供一个非常有用的起点，当攻击后需要快速恢复系统时。对于入侵检测的二进制分类，使用二进制交叉熵作为损失函数，ANN的最后一层被设置为使用Sigmoid函数的一层。在这种情况下，如果函数输出的值大于0.5，则其标签为S. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001524图三. 一种经典人工神经网络的结构，包括一个输入层，多个隐藏层和一个输出层。设置为1，否则设置为0。而对于多分类，分类交叉熵被用作损失函数，最后一层中的神经元数量与标签使用独热类别编码通过这样做，即使样本在类别之间相似，也会选择最佳标签。3.2. 神经网络模型ANN模型由三种类型的层（Mehlig，2019）组成，即输入层、隐藏层和输出层，如图3所示。在每一层中，有许多称为神经元的节点。输入层包含输入模型的输入数据。神经元的数量是一样的作为输入特征的数量。来自输入层的每个神经元与具有权重的第二层中的一个或多个神经元互连。第二层的输出将转到下一层，直到输出层。给定一个三层ANN，输入层和隐藏层之间的权重和偏置项分别为101（101，102，103）和101���������权重矩阵X与输入数据之间的内积通过激活函数f（f）（例如，等式中的Sigmoid激活函数（2））。映射后的值被送入下一层，直到输出层。对于二进制分类，只有一个神经元，输出层。前馈过程可以用公式表示，如等式（1）所示。（1）.������������������������（������������������（其中，R1（R2）是Sigmoid激活函数，它也可以是Softmax、Tanh、ReLU激活函数等，R1和R2是权重矩阵。���Ces分别用于输入层和隐藏层，并且Ces1和Ces2分别是添加到隐藏层和输出层的人工神经网络模型由一个隐藏层的实验。被调整以获得最佳结果的超参数是：神经元的数量、epoch的数量、批量大小、优化器函数、输入层和隐藏层的激活函数以及输出层的激活函数。3.3. ANN优化器当涉及到预测的准确性和过程中涉及的计算开销时，ANN设置的优化是最重要的方面（Choras 'Pawlicki，2021）。通过正确选择拓扑结构和超参数，该模型可以达到ANN分类器的最高精度。图4示出了超参数见图4。ANN优化器。ANN优化器的选择过程。下面给出超参数的一般描述。第4节给出了每个超参数的实际选项。优化方法对于神经网络的有效训练至关重要。优化方法用于减少损失，从而通过改变神经网络的权重和学习率来提高性能。找到适合数据集的优化方法可以在预测精度方面发挥至关重要的作用。 一些常用的优化器是梯度下降，随机梯度下降，动量，nesterov加速梯度和自适应矩估计（ADAM）。每个优化器都有自己的优点和缺点;例如，梯度下降在计算上是不昂贵的，但需要大量内存。另一方面，ADAM收敛迅速，但计算成本很高（Doshi，2019）。Epoch是指完整的训练数据已经通过神经网络并更新了内部模型参数。大多数时候 训练数据的所有样本不能一次通过，因此，每个时期被分成几批。单个时期可能导致不确定性，并且需要多个时期，因为内部参数需要多次改变以更好地概括。一旦epoch的数量开始增加，模型开始变得更好，直到它达到了最佳拟合，如果时代的数量仍然增加，那么过度拟合可能会发生（Afaq Rao，2020）。批量大小定义了ANN算法在更新内部参数之前必须遍历的样本数量。批量大小可以在预测精度和训练时间方面影响ANN算法的性能。一般来说，较小的批量比大批量训练更好地推广到测试集（Smith等人，2017年）。激活函数通过向模型中添加非线性，让神经网络学习数据中的各种S. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001525非线性激活函数是可用的，例如Sigmoid、Softmax、Tanh、ReLU等。激活函数的选择可以影响训练过程的性能（Hayou等人，2019年）。输入层、隐藏层和输出层的激活函数可以基于数据集而不同。基于领域知识、资源限制和数据集特征，选择了许多超参数选项。ANN优化器使用这些优化器测试神经网络的预测准确性，并使用一小部分数据来找到最合适的一组选项。3.4. 拟议模型先进的预测模型，如人工神经网络，通过使用复杂的模型，这是难以解释的实现良好的性能。但是，评估- 了解特定预测是如何进行的，对于最终用户理解和信任模型至关重要。该模型的可解释性已被评估使用SHapley加法解释（SHAP）通过基于每个样本识别特征相关性（Lundberg &Lee，2017）。SHAP通过发现输入特征和预测结果之间的重要关系来解释模型的作用，这允许用户解释ANN模型的预测。SHAP使用解释器方法来组合输入以评估预测模型的效果，并为每个预测生成本地可解释的模型（Lundberg Lee，2017）。解释器说明了每个特征的SHAP值，该值说明了每个特征对于特定预测的重要性。在用数据集的训练子集训练ANN模型之后，SHAP解释器分析测试子集。解释器生成ANN模型的输出，并为每个特征分配SHAP值以进行预测。这些SHAP值指示哪个特征增加或减少对属于特定类别的预测的影响（Huang等人，2020年）。摘要图用于可视化效果所指示的特征对攻击子类别的预测。力图已用于显示特征如何影响单个值的预测。4. 通过ANN优化器在本节中，讨论了ANN优化器对IoTID 20数据集的超参数选择，以在二进制、类别和子类别级别进行攻击检测。4.1. ANN设置通过使用网格搜索来找到最佳ANN设置，该网格搜索完成了超参数空间上的全方位搜索。网格搜索参数包括：• 数量的时段• 批量• 神经元数量• 优化函数• 输入层和隐藏层的激活函数• 输出层激活函数值得一提的是，实验是在一个、两个或三个隐藏层的情况下进行的。结果并无显著差异。因此，在本研究中，仅选择一个隐藏层进行超参数选择。学习和调整网络权重的整个周期称为epoch。在该模型中，在网格搜索中使用100个历元和200个历元。在一次迭代中使用的样本的特定计数称为批量大小。在该网格搜索中使用了10和100个批次。 输入层和隐藏层中的单元或节点称为神经元。在该模型中，100个神经元和200个神经元用于网格搜索。在该模型中评估的优化函数为：• 自适应矩估计（Adam）-一种随机优化方法，使用随机选择的数据子集来创建随机估计，而不是使用整个数据集来计算实际梯度。• 均方根传播（Root Mean Square Propagation，rmsprop）-梯度下降的扩展和梯度下降的AdaGrad版本，在每个参数的步长自适应中使用部分梯度的衰减平均值。• 随机梯度下降（SGD）-一种迭代方法，用于优化具有适当平滑特性的目标函数。它可以被认为是梯度下降优化的随机近似，因为它用其估计代替实际梯度。• AdaMax（AdaMax）-一种实现AdaMax算法的优化方法。这是亚当的一个变体，基于无限规范。• AdaGrad（Adagrad）-一种随机优化方法，使学习率适应参数。 它对与频繁出现的特征相关联的参数执行较小的更新，而对与不频繁出现的特征相关联的参数执行较大的更新。在输入层和隐藏层，以及输出层中，独立评价功能。该模型中评估的激活函数为：• 修正线性单元（ReLU）-激活值的范围从0到无穷大。• 双曲正切（双曲正切）-激活值的范围为-1到1。• Sigmoid（sigmoid）-激活值的范围是从0到1。• Softplus（softplus）-它是ReLU和softplus的更柔和（更平滑）版本。激活值的范围是从0到无穷大。• Softmax（softmax）-它用于通过将值的向量转换为概率分布来进行多类分类。输出向量的元素在范围（0，1）中，并且总和为1。对三类分类进行了评估• 二进制分类• 类别分类• 子类别分类对于二进制分类，数据集有两个类：异常或正常，如称为标签的数据字段所示。对于类别分类，数据集有六个类别：Miari，DoS，Scan，MITM，ARP Spoo Fing或Normal，在称为类别的数据字段中指示。对于子类别分类，数据集有十个类：DoS-Syn Flooding，Mirai-Ack Flooding，Mirai-Hostbruteforceg，Mirai-HTTP Flooding，Mirai-UDP Flooding，MITM ARP Spoo Fing，Scan Hostport，Scan Port OS或在称为子类别的数据字段中指示的Normal。对于每个分类模型，需要1,000次实验来评估所有预定义的超参数选项。即Epochs（2）× Batch（2）× Neurons（2）× optimiser（5）×Activation I（5）× Activation II（5）=2 × 2 × 2 × 5 × 5= 1000次实验。该研究的目的是表明，子集数据集的结果可以有效地用于分类完整的数据集。因此，本研究需要6，000个实验，包括子集和完整数据集实验。前3,000个实验是在完整数据集的一个子集上进行的，以找到最佳超参数选择，第二个3,000个实验是在完整数据集上进行的，以验证最佳选择625,783条记录S. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001526图5. 准确度结果来自子集数据集实验的（a）二进制（b）类别和（c）子类别分类。为了更好地说明超参数选择的过程，在算法1中给出了其伪代码。基于网格搜索，在迭代所有用于模型训练的值之后选择最优超参数，并在验证集上进行评估算法1选择最优超参数表1使用完整数据集进行二进制分类的十大最佳超参数设置。分类精度结果百分比二进制（成功实验= 464）99+%263百分之五十七95+% 372 80%的ann。1：给出一个训练集。2：将随机状态设置为0。3：将最佳精度设置为0。4：随机设置最优超参数。5：将训练集分成训练集和验证集。6：对于神经元的数量∈[100，200]，7：对于epochs的数量∈ [100，200]do类别（成功实验= 447）子类别（成功实验= 437）90+% 434 93%99+% 2 0.50%95+% 262 59%90+% 335 75%99+% 0 0%95+% 45 10%90+% 227 52%8：对于批量大小∈ [10，100]，9：forOptimizer ∈10：forActivation ∈11：对于激活输出∈表1列出了二元分类、类别分类和子类别分类。从表中可以看出，要达到99%与预测目标十二：做基于训练集，用选定的超参数训练ANN在实验中增加。57%的二元实验、0.5%的分类实验和0%的子类实验达到99%13：基于验证集评估ANN。14：当前精度是否高于最佳精度？然后15：将最佳精度更新为当前精度。16：将最优超参数更新为当前超参数。准确率。为了选择最佳的超参数，在这项研究中采取了两种方法。第一个是研究具有最高准确度结果的实验的超参数设置（方法I）。十七：eters。其他第二种方法是研究每个超参数设置，以-18：继续;19：如果结束20：结束21：结束22：结束23：结束24：结束25：结束26：输出最优超参数。27：基于训练集，用最佳超参数训练ANN。28：基于测试集评估ANN4.2. 基于子集的由于数据和优化器激活函数之间的数据结构不匹配，一些实验没有成功。该分析基于在具有10，000条记录的子集上的成功实验。1000个二元实验中有464个，1000个类别实验中有474个，1000个子类实验中有437个返回成功结果。三个不同分类的结果分布在图5的散点图上。通过观察该图，很容易看出，随着目标类型数量的增加，准确率变得更低。为了了解超过90%的高准确率的分布，使用预定义的超参数对与所有实验的准确度水平（方法II）。因此，方法I是调查三个分类的前10个结果（表2）。表2显示了二进制的前10个准确度范围在99.82- 99.88%之间，类别在98.89- 99.04%之间，子类别在95.49- 95.65%之间。很明显，可以看到Op-timiser、Activation I和Activation II的最佳选项前10个分类结 果 的 最 佳 优 化 器 是 adam ， 它 在 30 次 实 验 中 运 行 了 21 次（7+6+6）。前10个分类结果的最佳Activation I函数是tanh，它在30个实验中进行了24 次（10+7+7 ）。前 10个分类结果的最佳Activation II函数是softmax，在30个实验中有22个（2+10+10）使用了该函数。然而，很难确定神经元数量、批次和时期的最佳选项。对于每个超参数，前10个分类使用了类似数量的either选项。方法二是研究超参数在所有实验中的准确性。生成了6个条形图，以显示所有成功实验中三种分类类型epoch、batch和neurons的条形图显示，如图6所示，在任一超参数选择中没有太大差异。该方法的结果与方法I相似。结合两种方法的结果，进行了最优选择。选择200作为神经元的最佳数目，选择100作为批大小，并且选择200作为时期的最佳数目S. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001527表2使用完整数据集进行二进制分类的十大最佳超参数设置。输出精度神经元批时代优化器激活I激活II二进制类别子类别百分之九十九点八八百分之九十九点八六百分之九十九点八五九十九点八四九十九点八四九十九点八四九十九点八三九十九点八三九十九点八二九十九点八二百分之九十九点零四百分之九十九点零三百分之九十九百分之九十八点九八百分之九十八点九六百分之九十八点九三百分之九十八点九三百分之九十八点九二百分之九十八点九二百分之九十八点八九百分之九十五点六五1001002002001002001002002002002001002001001002002002002002001001010010010101001001001001001010010101010010010101010200200200100100100200200100200200200100200200200100100100200200亚当亚当tanhtanh tanhtanhtanhtanhtanhtanhtanhtanhsigmoidsigmoidtanhtanhtanhtanhtanhtanhReLUtanhsoftmaxsoftmaxsoftmaxsoftmaxsoftmaxsoftmaxsoftmaxsoftmaxsoftmaxsoftmax softmaxsoftmaxsoftmaxsoftmaxsoftmaxsoftmax95.63% 200 10 100亚当sigmoid softmax95.62% 100 10 200亚当sigmoid softmax95.61% 100 100 200 Adam tanh softmax95.58% 100 10 100 Adam tanh softmax95.56% 100 100 200 rmsprop tanh softmax95.55% 200 100 100 Adam tanh softmax95.53% 100 10 100亚当sigmoid softmax95.50% 200 10 200 AdaMax tanh softmax95.49% 100 10 100 rmsprop tanh softmaxS. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001528见图6。ANN的不同超参数使用方法I，adam被选为优化器，tanh被选为激活I，softmax被选为激活II。这一选择得到了方法二结果的支持图六，adam、tanh和softmax作为优化器、Activation I和Activation II生成了最高的准确度。超参数的最终选择如表3所示。S. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）2001529图第七章准确度结果来自完整数据集实验的（a）二进制（b）类别和（c）子类别分类。表3基于方法I和方法II的结果选择的超参数。超参数选择纪元200批次100神经元200乐观主义者亚当激活I tanhActivation II softmax4.3. 完整数据集验证虽然完整的数据集用于验证目的，但在该数据集上进行了完整的实验，以支持从子集数据集中选择最佳超参数。以下步骤说明了这些过程。通过网格搜索，对包含625，783条记录的完整数据集进行了4.3.1. 二进制分类在基于网格搜索技术的1000个实验中，使用预定义的超参数成功返回了571个结果。74%的实验（571个中的421个）返回的结果准确率超过90%。63%的实验（571个实验中的361个）返回了一个准确的结果。活性高于95%。58%的实验（334/571）返回99%以上。459次实验的准确度结果以散点图的形式呈现，如图所示早上7表4列出了该二进制分类的前10个准确度结果以及详细的超参数设置。对于所有前10个结果，准确率保持在99.951%和99.956%之间。所有Activation II（输出层）都是sigmoid并不奇怪，因为这这是一个分类问题。最好的准确率为99.9559%，其中miX为200个神经元，AdaMax优化器，隐藏层中的ReLU激活函数，批量大小为10，以及200个epoch。激活函数是ReLU表4在前5名的准确性结果。10的批量大小适用于SGD优化器，而100适用于AdaMax。4.3.2. 类别分类使用预定义的超参数，网格搜索在1000个实验中返回了414个结果。53%的实验（414个中的221个）返回的结果准确率超过90%。47%的实验（414个实验中的193个）返回了95%以上的准确率。25%的实验（414个实验中的103个）返回了99%以上的准确率。449次实验的准确度结果以散点图的形式显示在图11中。7b.表5列出了该类别分类（5个类别）的前10个准确度结果以及详细的超参数设置。为所有前10个结果，准确率保持在99.7%和99.72%之间，略差于二进制分类（与表4相比）。这是因为，随着班级的增加，来准确预测正确的类。预期对于多类分类，输出层中的Activation II是softmax 激 活 函 数 。 最好 的 准 确 率 为 99.7238% ， 其 中MIX 为 100 个epochs，200个神经元，adam optimiser，隐藏层中的tanh激活函数和批量大小为100。在所有的优化者中，adam在前10名的准确度结果中表现最好。4.3.3. 子类别分类使用预定义的超参数，网格搜索在1000个实验中返回了563个结果。46%的实验（563个中的259个）返回的结果准确率超过90%。31%的实验（563个实验中的174个）返回了95%以上的准确率。没有实验返回高于99%。563次实验的准确度结果以散点图的形式显示在图11中。7c.表6中列出了该子类别分类（9个类别）的前10个结果以及详细的超参数设置。对于所有前10个结果，准确率保持在97.75%和97.84%之间。这前10个结果比类别和二进制分类更差（与表4和表5一致），因为随着类别的增加，准确预测正确的类别更加困难。对于多类分类-使用完整数据集进行二进制分类的十大最佳超参数设置。精度神经元批时代优化器激活I激活II0.999559200100200AdaMaxReLU乙状0.999553 200 10 200 SGD ReLU sigmoid0.999550 100 100 AdaMax ReLU sigmoid0.999540 100 10 200 SGD ReLU sigmoid0.999530 100 100 200 AdaMax ReLU sigmoid0.999521 200 100 100亚当乙状结肠乙状结肠0.999519 10 200 SGD tanh sigmoid0.999515 100 100 100 adam tanh sigmoid0.999515 100 100 200亚当乙状结肠乙状结肠0.999511 100 10 100 SGD ReLU sigmoidS. Sohail，Z.范，X. Gu等人智能系统与应用16（2022）20015210表5类别分类完整数据集的十大最佳超参数设置。精度神经元批时代优化器激活I激活II0.997238200100100亚当tanhsoftmax0.997212 100 100 200 adam ReLU softmax0.997194 100 100 adam ReLU softmax0.997151 200 10 200 AdaMax tanh softmax0.997080 100 100 adam ReLU softmax0.997070 100 100 200 adam tanh softmax0.997041 100 10 200 SGD ReLU softmax0.997036 200 10 100 AdaMax tanh softmax0.997035 200 100 200 adam sigmoid softmax0.997027 100 100 200 adam sigmoid softmax表6准确度来自完整数据集实验的子类别分类结果。精度神经元批时代优化器激活I激活II0.978400200100200亚当乙状softmax0.978192 100 100 200 adam ReLU softmax0.978087 100 100 adam ReLU softmax0.97794