基于Garson修剪的极端学习机的复制器神经网络，用于异常检测

沙特国王大学学报GP-ELM-RNN：基于Garson修剪的极端学习机的复制器神经网络，用于异常检测Adeel Shiraz Hashmi，Tanvir Ahmad印度新德里Jamia Millia Islamia工程学院计算机工程系阿提奇莱因福奥文章历史记录：收到2019年2019年8月13日修订2019年9月13日接受在线预订2019年关键词：异常检测大数据Garson算法Replicator神经网络极限学习机A B S T R A C T复制神经网络（RNN）是一种流行的异常检测算法，但寻找最优隐层数目，然后在每个隐层中寻找最优神经元数目是一项非常复杂和耗时的任务。极限学习机（ELM）是具有单隐藏层的神经网络，但学习算法与反向传播不同且更快基于ELM的RNN解决了我们确定隐藏层数量的问题，并且学习算法也比基于梯度下降的RNN更快。隐层神经元的最佳数目的确定问题可以用Garson算法来解决。在这项工作中，作者提出了一个最佳的复制神经网络，优化使用ELM学习和Garson算法的异常检测。实验结果表明，该方法具有快速、准确的特点。©2019作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍异常检测处理识别数据集中与大多数其他实例不同的少数实例异常检测在欺诈检测、入侵检测、癌症检测、恶意节点检测等领域有着广泛的应用。 （Mrs. Ola等人， 2009年）。大多数异常检测算法都属于无监督机器学习的范畴，因为有监督学习算法无法对类实例比例不成比例的数据生成正确的分类模型。调查异常检测的无监督学习算法，基于距离的方法被发现在大多数算法中使用。然而，基于距离的方法不适合大型数据集，即使在Hadoop，Spark等平台上也是如此因为计算数百万行与其它数百万行的距离*通讯作者。电子邮件地址：adeel. msit.in（A.S. Hashmi）。沙特国王大学负责同行审查复制器神经网络（RNN）（Hecht-Nielsen，1995;Hawkins等人，2002）是用于异常检测的半监督学习方法，其不利用距离向量，而是基于神经网络的方法。因此，RNN在处理大型异常检测数据集时似乎是一种可行的解决方案。极限学习机（ELM）（Huang等人，2004）是单隐层前馈网络（SLFN）中反向传播的替代学习技术。ELM优于SLFN的优点是ELM比SLFN更快，因为只有一层神经元的输入权重被更新，而不是两层。SLFN中的反向传播算法基于梯度下降，因此其学习速度较慢; ELM学习不是基于梯度下降，而是采用更快的基于矩阵的机制。本文提出了一种基于ELM-RNN的优化方法，用于大型数据集的异常检测该算法的重要性在于，它比最先进的异常检测算法快数倍，并且也可以在大型数据集上工作这是通过在各个级别优化复制器神经网络来实现的，即。学习算法、并行环境以及在GPU/TPU上运行的能力。本文进一步分为以下几个部分：第2节调查异常检测算法以及RNN和ELM算法;第3节提出了建议的Garson修剪ELM-RNN异常检测解决方案，第4节处理实验和结果，并在第5节中给出结论和未来的方向进行了讨论。https://doi.org/10.1016/j.jksuci.2019.09.0071319-1578/©2019作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comA.S. Hashmi，T.Ahmad/ Journal of King Saud University17692. 文献综述在这一部分中，介绍了异常检测的概况，接着讨论了RNN，然后给出了ELM的数学公式。2.1. 异常检测异常检测技术可以大致分为三类：视觉/图形，统计和机器学习。异常检测的可视化技术包括散点图，它可以帮助我们发现二维数据集的异常，但对于大型和多维数据集，我们需要一些增强的技术，如稀疏遍历等。 （Bryson等人， 1999年）。基于统计学的离群值定义为：“离群值是指低于第一四分位数或高于第三四分位数的超过1.5个四分位距（IQR）的 其他统计指标，如频率（Koufakou等人，2008）和熵（Liu等人，2013）也已在文献中用于异常检测。基于机器学习的异常检测算法可以分为三大类：有监督的、半监督的和无监督的。监督异常检测类似于二进制分类问题，其中提供了包含标记为正常和异常值的点的训练数据集。所有的分类器，如kNN，SVM，感知器，朴素贝叶斯，随机森林等都可以用于异常检测，然而，监督学习并不经常用于异常检测，因为异常点与正常点的比率很低，因此对异常点类的训练通常是不充分的，这导致算法的性能很差。而不是监督学习，半监督学习是preferred检测异常。半监督学习类似于一类监督学习，即从训练数据集构建表示正常行为的模型。测试数据集中偏离正常的那些点被标记为异常。半监督算法的流行示例是单类SVM（Schölkopf等人，2000）和Replicator Neural Networks（Hawkins等人， 2002年）。大多数异常检测算法属于无监督学习的范畴。这些基于无监督学习的算法可以进一步分类为基于距离的和基于密度的。在基于距离的方法中，如果数据集D中的对象中至少有一部分p比O的距离d远，则数据集D中的对象O被声明为离群值（Knox和Ng，1998）。Angiulli和Pizzuti（Angiulli和Pizzuti，2002; Angiulli和Pizzuti，2005;Angiulli等人，2006）计算所考虑的点与数据集中其余点的距离之和;识别具有最高累积和的前n个点，并将它们标记为离群值。Top-n kNN（Ramaswamy等人，2000）是一种用于离群值检测的简单方法，其中可以使用像欧几里德距离的距离度量来识别每个对象的k个（用户定义的值）最近邻居，并将具有来自其k个邻居的最高累积/平均值的n个对象声明为离群值。基于距离的聚类算法，如k-means，PAM（围绕中心点的分区）等也已用于离群值检测。在k-means算法的离群点检测中，首先利用k-means聚类算法生成k个类，然后找出与类中心距离最大的n个点，得到n个离群点。DBSCAN（基于密度的应用程序空间聚类，噪声）（Ester等人， 1996）是最早的识别离群值的算法之一，尽管其主要目标是聚类。在DBSCAN中，设置两个参数eps和minPts;然后在数据集中挑选一个随机点，并考虑其邻域中距离小于eps的所有点，以形成集群接下来，对这样的点的数量进行计数，如果该计数大于minPts，则该簇被称为密集簇。通过对簇中的所有新点重复该过程来扩展该簇。如果我们用完了新的点，并且数据集中仍然有点需要考虑，则再次选择随机点，并重新开始该过程，直到数据集中的所有点都被考虑。在其集群中具有少于minPts并且也不是任何其他集群的一部分的点被声明为离群值。LOF（Breunig等人，2000）是从DBSCAN算法导出的基于非聚类密度的离群值检测算法，其中为每个数据点计算LOF（局部离群值因子）得分。在该方法中，要考虑的邻域点的数量（n）被先验地设置;可达性距离/密度被计算（对于正在考虑的数据点p），具有n个最近的邻域。还计算了n个最近邻节点的可达性密度。数据点的LOF分数是点的n个最近邻的平均密度与点本身的密度的比率。对于正常数据点，该点的密度将与其相邻点的密度相似，并且LOF值较低，而对于离群值，LOF得分将较高。LOCI（局部相关积分）（Papadimitriou等人，2003）通过使用不同的邻域标准解决了在LOF中选择n值的困难。在LOCI中，r（半径）值内的所有点都被认为是邻居，并且可达性密度被计算为w.r.t.所有这些数据点。在LOCI中，为每个点计算MDEF值;点在半径r处的MDEF（多粒度偏差因子）是其邻域密度与其r邻域中的平均邻域密度的相对偏差。取不同的r值，并且如果MDEF值偏离邻域中MDEF的标准偏差三倍，则该点被标记为离群值。在文献中已经讨论了用于非常大和高维数据集的异常检测的各种策略。 Anna等人 （Koufakou等人， 2008）在Map-Reduce中实现了AVF（Attribute Value Frequency，属性值频率），用于在大型数据集中快速检测离群值。Liu等人（Liu等人，2013）提出了一种基于熵的快速检测算法，用于大数据集中的离群点检测。 Yan等人（Yan，2015）提出了一种分布式离群值检测算法，该算法采用压缩感知对高维数据进行采样。DROUT（离群值检测的非线性减少）可用于“非常宽”数据集（即具有大量特征的数据集）中的异常检测。分布式求解集（DSS）和惰性分布式求解集（LDSS）（Angiulli等人， 2010）是用于大型数据集中的异常检测的分布式策略。为了缩短周转时间，还实现了DSS等并行 算 法 的 GPU 版 本 。 RAD （ Rapid Anomaly Detection ） 算 法 被NetFlix用于离群值检测。RAD能够处理高基数维度、非规范化数据集、季节性和最小化误报。RAD基于鲁棒主成分分析（RPCA），它重复计算SVD（奇异值分解），并在每次迭代中将阈值应用于奇异值最近，Twitter发布了一个用于时间序列数据异常检测的R包，其中包括用于异常检测的S-H-ESD（季节性混合极端Studen-tized偏差）测试。2.2. 复制神经网络图1所示的RNN（Hecht-Nielsen，1995）是一种前馈神经网络，它在输出层再现输入数据模式，旨在最小化训练过程中的误差通过调整与每个神经元的输入相关联的权重。输入层和输出层都有N个神经元，对应于训练数据的N个特征，而中间层的神经元数量要少得多（因为RNN的主要目标是压缩）。Nielsen提出的原始RNN1770A.S. Hashmi，T.Ahmad/ Journal of King Saud UniversityX.Σ.1BT.1tTNX.Σ2我647523647523..Fig. 1. 复制器神经网络。三个隐藏层B/W输入层和输出层，在隐藏层神经元中具有Tanh（AKH）激活函数，并且在输出层中具有线性/S形函数;对于中间隐藏层，激活函数是阶梯状的（在Tanh激活函数中取K = 3该逐步激活函数将连续分布的数据点划分为离散级别以实现压缩。最初，RNN被开发用于实现数据压缩，并且（Hawkins et al.，2002）采用相同的架构来检测异常。RNN是一种半监督学习技术，我们需要训练和测试阶段，尽管训练阶段的数据是未标记的。对于异常检测，训练和测试的数据集是相同的。在训练阶段，使用设置每个神经元的输入权重，而在测试阶段，层神经元与一些相关的权重，我们将连接第i个隐层神经元与输出神经元的权重表示为bi。这种结构可以用数学表示为，Lbig w i;b i;x j<$tj21/1其中，L表示隐藏神经元的数量，j表示总共N个训练实例的输入/输出实例。上面的等式可以用更紧凑的形式写为：Hb¼T 300其中，考虑到m个输出节点，我们有每个数据点的离群值因子（OF）由RNN根据等式计算。（一）.1NOF¼x-t1BTb¼。L长×米tT的T。NN ×mð4Þ伊尼吉第1页H是隐藏层的输出矩阵，并且可以表示为：OFi由所有n个FEA上的平均重建误差定义2g/w;b;x· · ·g/w;b;x/3图。具有高OF值的点被标记为离群值。H¼64111...LL1..75ð5Þ2.3. 极限学习机ELM（Huang等人， 2004年，如图所示。 2，基本上是一个单隐层前馈神经网络（SLFN）。SLFN和ELM的区别在于如何更新隐藏层和输出层神经元的权重在SLFN中，输入层和输出层的权值都是随机初始化的，并且两层的权值都是通过反向传播算法来更新的在ELM中，隐藏层的权重是随机分配的，但从不更新，只有输出层的权重在训练过程中更新。如在ELM中，与SLFN的两个层相反，仅一个层的权重将被更新，这使得ELM比SLFN快。gw1;b1;x N· · ·gw L;b L;x N（3）的最小范数最小二乘是b¼HT6其中，H是矩阵的Moore-Penrose广义逆H. H_∞可通过QR法、奇异值分解（SVD）、正交化法和正交投影法计算如果我们需要正则化系统（以防止过度拟合），则优化问题变为：.2XT二号！假设训练数据集是（x j，t j），其中x j = [x j1，x j2，. . ，xjN]T是输入向量，tj是输出向量。第i个HID的输出-明凯银行CQC1/1 knikð7Þden层神经元由g（wi，bi，xj）给出，其中wi是将输入神经元连接到第i个隐藏层神经元的权重向量，bi是第i个隐藏层神经元的偏置，以及g是激活函数。ELM的每个隐藏层神经元也连接到每个输出其中，ni¼tT-hxib是第i个样本的训练误差，C是相关惩罚因子。我们可以将这个问题转化为它的对偶形式，并构造以下拉格朗日函数：BA.S. Hashmi，T.Ahmad/ Journal of King Saud University1771不Cð ÞPIJ我 JIJfx h xbh x CHHHT10·· · gwhA^·xNbh.6.原始的RNN有三个隐藏层，它利用了图二、极限学习机器（w是固定的，b是训练过的）。N N LF½kbk2CXknk2-XXa.hxb-t1/11/1第1页2018年10月28日3. Garson剪枝ELM-RNN取上述方程的偏导数并应用KKT条件，我们可以知道：如果L N，则矩阵HT H的大小小于矩阵HHT的大小，反向传播算法来更新神经元的权重。虽然与其他异常检测算法相比，该算法在速度和准确性方面给出了良好的异常检测结果，但对于大数据集，其性能并不令人满意。主要原因是，b我CHH-1HTT9RNN不适用于大数据集，因为它采用反向传播算法更新多组权重因此，ELM的最终输出是. IT歼-1T进行多次迭代。如果用ELM代替反向传播作为学习机制，则该过程大大加快，因为它必须设置仅一个层的权重，数据集的一个计算周期因此，ELM-RNN然而，如果L > N，矩阵HHT的大小小于矩阵HT H的大小，则方程的解变为比传统的基于反向传播的RNN快得多。基于ELM的RNN解决了确定数量b<$HT<$HT我CHH-1T11RNN中的隐藏层，因为ELM仅由单层组成。但是，确定隐藏层神经元的数量的问题仍然存在，这可以通过Garson算法解决因此，ELM的最终输出是Goh，1995）用于修剪隐藏节点。Garson找出每个隐层神经元对输出的影响，fxhxbhxHT. 我是T-1T12并且修剪具有小于阈值的影响的神经元。该方法的工作原理如下：对于二元分类问题，ELM的决策函数被公式化为：fx符号hxb13对于多类情况，样本的类标号表示为：1≤i≤m设一个SLFN有i个输入神经元和j个隐层神经元.输出向量与隐层神经元的输入矩阵相乘，得到26g。w1A^·x1b1·· ·G.whA^·x1bh372t113...标签xargmaxffixg14c/264....- 是的Σ754. 75ð16Þfx½f1x;f2x;f3x;· · ·;fnx]T15ELM已被用于不同领域的预测和分类任务。每个隐藏层输入对输出的影响计算如下：其他领域如医学（Zhang等人， 2018），土木工程R¼jc ijjð17Þ（Yaseen等人，2018），水文研究（Rezaie-Balf和Kisi，2018），化学过程建模（Zhu等人， 2018）等。ijN1/1jcijj..不IJ和gw1A^·xNb1tN11772A.S. Hashmi，T.Ahmad/ Journal of King Saud UniversityRIkPH.Σ接下来，每个隐藏层神经元对输出的影响计算为Skr1kr2kr3k···rNk18最后，每个隐藏层神经元的相对重要性通过下式计算：S它在应用程序中。因此，该算法在TensorFlow中实现，以获得最佳执行速度。4. 实验和结果在这一节中，所提出的GP-ELM-RNN的性能Ki¼1Si×100ð19Þ算法与标准的异常检测算法DBSCAN、LOF、k-means（修正）和One-class SVM进行了比较确定剪枝阈值，去除低于阈值的隐层神经元。该阈值可以通过调和平均来确定，KMeans、DBSCAN和LOF是基于无监督学习的算法，而单类SVM是一种半监督学习算法。实验在公开可用的UCI/ODDS上进行h阈值¼Ph1ð20Þ数据集：淋巴造影，乳腺癌，术后，页面块，信用卡欺诈检测，森林覆盖率和kddcup99k¼1RI在修剪影响较小的隐藏节点后，我们将得到一个新的隐藏层矩阵，然后将其用于ELM学习算法。取与输入矢量相同的输出矢量，并且如等式（1）中那样计算重构误差（1）得到了复制神经网络模型。GP-ELM-RNN训练算法可以总结如下：给定训练集S1/4x12RN，N个输入神经元，N个输出神经元和L个隐藏神经元。步骤1：随机生成输入节点权重w i和隐藏神经元偏置b i，i = 1，2，. . ，L.步骤2：将每个训练实例xj作为输入向量和输出向量。步骤3：计算训练样本的隐藏层输出矩阵H。第四步：在H上应用Garson数据集。数据集总结见表1，显示了相应数据集中的数据集大小和离群值计数实验分两个阶段进行：首先，基于算法的准确性评估性能，用于准确性的度量是jaccard相似性（数据集中每个实例的实际标签和预测标签之间）和特异性（正确识别异常的其次，将本文提出的方案（算法和相关平台）的执行速度与目前最快的异常检测表1数据集。数据集维度离群值描述比新步 骤 -5 ： 基 于 公 式 （ 等 式 2 ） 计 算 输 出 层 权 重 b 。 （ 9 ） 和（11））。步骤6：在所有训练样本都被利用并且b已经被计算之后。将整个训练数据集作为测试数据集，并计算每个训练实例的所有特征的均方根误差（称为重建误差）。步骤7：根据重建误差对样本进行排序（从高到低）。步骤8：具有最高重构误差的在处理大型数据集时，需要采用并行算法来减少计算时间.所提出的GP-ELM-RNN如果在并行计算平台上实现，将能够实时检测大型数据集中的异常虽然有很多用于并行计算的大数据平台，比如Hadoop，淋巴造影148×18 6/142原来4类：正常查找（标记1）、转移（标记2）、恶性淋巴（标记3）和纤维化（标记4）。类术后90×9 26/64数据点分类分为A（64分）、S（24分）和I（2分）3类。标记为S和I的点被视为离群值。威斯康星州Wisconsin483×10 39/444FollowingHawkins例如，2002），每6例恶性肿瘤中仅保留1例，得到39例恶性肿瘤，在444例良性肿瘤中作为异常值处理。Spark、H2O（机器学习）等，但基于GPU的解决方案显然优于任何基于CPU的解决方案。一台中端台式PC提供4-8个CPU核心，而一张中端显卡提供数百个核心的GPU。因此，在台式机上，GPU可以提供比CPU大得多的并行化，并且GPU的处理速度也高于CPU。因此，如果一个任务可以并行执行，那么GPU是比CPU更好的选择。要在GPU上执行计算，CUDA似乎是首选，但最近出现了新的高级工具，使我们的任务变得更容易。一些流行的深度学习工具是TensorFlow，Keras和Theano。所提出的GP-ELM-RNN，如果在像Ten- sorFlow这样的工具上实现，可以为大型数据集提供比任何其他可能的解决方案更快的结果。TensorFlow提供了API来快速开发学习算法，开发的应用程序隐式地提供并行性，而无需显式地硬编码并行性。页面块5053×11 140/4913信用卡284807×11492/284315森林覆盖率286048× 102747/283301KDD-cup99567497×3 2211/567497文本块被认为是内点（4913），而非文本块（560）被认为是外点。我们将只保留每四个非文本实例中的一个，给出140个离群值。这些交易是用172，792张信用卡完成的，因此大多数信用卡都有多次交易。原始森林覆盖数据集有581，012个实例（具有54个属性），分为7类（1我们将只考虑类别2（内点）和类别4（离群点）的实例，而忽略土壤类型和荒野属性。Kddcup99是一个入侵检测数据集。每种类型的攻击都被标记为异常值。A.S. Hashmi，T.Ahmad/ Journal of King Saud University1773表2算法的准确性（Jaccard相似性）。表3算法的准确性（特异性）。数据集K-MeansDBSCANLOF SVMGP-ELM-RNN神经网络成像0.00000.0405 0.6666 0.3333 0.8333术后0.2692 0.2888 0.1538 0.2307 0.8461（a）在联合国系统内准确性。但是，在处理大型数据集时，准确性可能会在一定程度上受到速度的影响。因此，在处理大型数据集时，算法的速度也是重要因素为了比较所提出的解决方案的执行速度与可用于大数据异常检测的最快替代方案，AVF算法在Apache Spark上实现，并且利用H2O机器学习库中可用的自动编码器（RNN）。算法在一台机器上递增运行，并计算了各种数据集的执行时间。在H2O上实现的RNN有三个隐藏层，每个层有50个神经元;运行100个epoch来训练RNN。实验在低端NVIDIA GeForce GT 730M显卡上进行。从表4中总结的结果可以看出，对于维数较低的数据集，AVF比RNN更快，而对于维数较高的数据集，RNN优于AVF然而，所提出的解决方案（GPU上的GP-ELM-RNN）对于任何类型的数据集都优于这两种算法。表4执行时间（秒）。数据集尺寸AVF（Spark）RNN（H2O）GP-ELM-RNN（TensorFlow）随着数据集规模的增大，异常检测变得越来越困难这是因为异常数据点与正常数据点的比率变得越来越小，因此找到正确异常的概率降低。像LOF这样流行的基于距离的算法显然在处理大型数据集时失败。大型数据集的异常检测算法应该具有快速、准确和可扩展性的特点。森林覆盖率286，048× 10 32 ± 1 182 ± 5 15 ± 1合成-1 300，000× 30 93 ± 1 235 ± 5 18 ± 1合成-2 500，000× 10 42 ± 1 450 ± 5 23 ± 1合成-3 1，000，000× 10 96 ± 1 980 ± 5 29 ± 1KDD-Cup99567，497×41 404 ± 1 306 ± 5 54 ± 1合成-41，000，000 × 40910 ± 5640 ± 587 ± 1算法使用相应库（sklearn）的默认参数运行。对于k-means算法，聚类数设置为8。对于DBSCAN，我们不需要设置聚类的数量，但我们需要设置参数eps（两个样本之间的最大距离，以便将它们视为在同一邻域中）和min_samples（将被视为核心点的点的邻域中的实例数量，包括点本身）;eps的值为0.5，min_samples设置为5。LOF需要考虑邻居的数量，设置为20。对于单类SVM，对于GP-ELM-RNN，我们将隐藏层节点的初始数量设置为比特征数量少一个，然后算法本身修剪并确定最佳节点数量。表2和表3中列出了每个数据集的每个算法实现的准确度。GP-ELM-RNN的准确性远远高于K-Means，DBSCAN，LOF和SVM。与ELM-RNN相比，这些算法性能差的主要原因是它们需要设置很少的参数，这些参数会显著影响算法的性能，并且由于这些算法是用默认参数运行的，因此它们的性能很差。然而，所提出的解决方案是自优化的，并且不具有这样的缺点。考虑到速度的情况下，K-Means，DBSCAN和LOF都是基于距离的算法，这些算法的复杂度为O（n 2），在大数据集的情况下是相当成问题的。单类SVM的时间复杂度与RNN相当，但ELM-RNN预计比单类SVM更快。从表2和表3中所示的结果可以清楚地看出，GP-ELM-RNN在以下方面优于所有最先进的算法：针对大规模数据集的异常检测问题，提出了Garson-pruned ELM-RNN算法。该算法在TensorFlow上实现，因此它可以在CPU上工作，GPU。从实验中可以看出，TensorFlow上的Garson修剪ELM-RNN在准确性和速度方面都是异常检测的最佳方法。在未来的发展方向中，可以探索Garson算法之外的剪枝方法，也可以提出一些不同的异常检测神经网络模型。也可以探索神经网络以外的技术，但在处理大型数据集时应避免迭代优化算法。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。引用科洛 拉， 五 ，Banerjee ，A. ， 库马 尔， V. ， 2009. 异常 检测 ： 综述。 ACM 计算 调查（CSUR）。Hecht-Nielsen，R.，1995.用于通用最优信源编码的复制器神经网络。科学269，1860-1863。霍金斯，S.，他，H.，威廉斯，G.，巴克斯特河2002.使用复制器神经网络进行离群值检测。在：数据仓库和知识发现国际会议，pp。 170- 180Huang，G.B.，Zhu，Q.Y.，Siew，C.K.，2004.极限学习机：一种新的前馈神经网络学习方案。IEEE International Joint Conferenceon Neural Networks，pp.985- 990布赖森河，Kenwright，S.，考克斯，D.，Ellsworth，M.，Haimes，D.，1999年实时可视化地探索千字节数据集。ACM，Commun.Tukey，J.W.，1977.探索性数据分析。Koufakou，A.，Secretan，J.，里德，J.，Cardona，K.，Georgiopoulos，M.，2008. 使用MapReduce对分类数据集进行快速并行离群值检测。 在：IEEE神经网络国际联合会议论文集，pp。 3298-3304。刘，B.，范，W.，肖，T.，2013.一种快速的大数据离群点检测方法。在：亚洲模拟会议，pp。 379-384.数据集K-MeansDBSCANLOFSVMGP-ELM-RNN摄影术0.91890.04050.91210.70940.9864术后0.56320.28880.68960.68960.9111癌0.86740.08070.82600.92130.9792页面块0.87240.04250.87530.89840.9934信用卡0.99660.00170.89870.90110.9999森林覆盖0.98860.82100.89320.90770.9982KDD-Cup990.99520.99290.89630.90380.9999页面块0.00170.39820.38030.49100.8857信用卡0.01620.00170.15040.90440.9857森林覆盖0.00000.47460.15070.90490.91005.结论和今后的范围KDD-Cup990.00000.09540.03120.38930.54271774A.S. Hashmi，T.Ahmad/ Journal of King Saud UniversitySchölkopf，B.，威廉姆森，R.C.，斯莫拉，A.J.，Shawe-Taylor，J.，普拉特，J.C.，2000.新颖性检测的支持向量方法。在：神经信息处理系统的进展，pp。582- 588诺克斯，E.M.，Ng，R.T.，1998.大型数据集中基于距离的离群点挖掘算法。在：非常大的数据库国际会议论文集，页。 392-403.Angiulli，F.，皮祖蒂角，2002.高维空间中的快速离群点检测。在：欧洲会议的数据挖掘和知识发现的原则，pp。 15-27Angiulli，F.，皮祖蒂角，2005年大规模高维数据集中的离群点挖掘IEEE Trans. Knowl. Data Eng. 17，203Angiulli，F.，Basta，S.，皮祖蒂角，2006.基于距离的异常值检测和预测。IEEE Trans.Knowl. Data Eng. 18，145-160。Ramaswamy，S.，拉斯托吉河，巴西-地Shim，K.，2000.从大数据集中挖掘离群值的有效算法。 ACM Sigmod记录29，427-438。Ester，M.，Kriegel，H.P.，Sander，J.，徐，X.，例如，1996.一种基于密度的含噪声大型空间数据库聚类发现算法。在：KDD的诉讼，pp. 226-231。Breunig，Markus M. ，Kriegel，Hans-Peter，Ng，Raymond T.，Sander，Jörg，2000. LOF：识别基于密度的局部离群值。SIGMOD Rec. 29（2），93-104. 网址：http：//doi.org/10.1145/33519110.1145/335191.335388Papadimitriou，S.，北川，H.，吉本斯P.B. Faloutsos角，2003. Loci：使用局部相关积分的快速离群点检测。在：第19届数据工程国际会议，pp。第 315-326页。Yan，Y.例如，2015.使用压缩感知的分布式离群点检测。在：ACM SIGMOD数据管理国际会议论文集，pp。 三比十六Angiulli，F.，Basta，S.，Lodi，S.，Sartori角，2010.一种分布式方法来检测非常大的数据集中的离群值。参见：Euro-Par 2010-Parallel Processing，pp. 329- 340张玉，王玉，Zhou，G.，Jin，J.，王，B.，王，X.，Ciclovski，A.，2018.脑机接口中用于脑电分类的多核极端学习机。专家系统Appl. 96，302-310.Yaseen，Z.M.，共和国迪欧希拉尔，A.，Abd，A.M.，L.C.，Salcedo-Sanz，S.，内迪，医学博士，2018年基于极限学习机模型的轻质泡沫混凝土抗压强度预测。Adv. Eng. 软件。115，112-125。Rezaie-Balf，M.，基西岛，2018.径流预测的新公式：进化多项式回归与极端学习机。水。Res. 49，939-953.Zhu，Q.X.，王，X.，他，Y.L.，徐，Y.，2018年 结合非线性主元的改进极端学习机及其在复杂化工过程建模中的应用。应用温度Eng.130，745-753。Garson，G. D.，一九九一年解释神经网络连接权重。在：AI Expert，pp. 46比51Goh，A.，一九九五年用于复杂系统建模的反向传播神经网络第内特尔工程师：一百四十三至一百五十一