基于卷积神经网络的高维数据流异常检测方法

"这篇论文由郑湘辉和张雪冰撰写，主要探讨了在计算机网络大规模高维数据流中异常数据的挖掘技术，旨在提高网络安全。他们采用了Python网络爬虫进行数据采集，通过软件总线模型进行数据清洗预处理，然后利用基于枢纽现象和加权离群分数的算法检测异常数据。进一步，他们构建了卷积神经网络模型来识别异常数据的类型。实验结果显示这种方法能有效地发现并识别异常数据，提高了网络安全。关键词包括加权离群分数、计算机网络、大规模、高维数据流、异常数据挖掘和数据清洗。" 文章中提到的问题是随着互联网和计算机技术的发展，计算机网络数据流数据量不断增大且维度增多，这使得数据多样化，同时也为网络攻击提供了更多机会。异常数据的存在对网络安全构成威胁，因此需要有效的挖掘方法来及时发现和防范这些风险。 作者们借鉴了康耀龙等人的朴素贝叶斯方法和仇媛等人的长短期记忆网络结合滑动窗口的方法，但他们的贡献在于提出了一种新的异常数据挖掘策略。首先，他们运用Python网络爬虫工具收集大规模的高维数据流，这是数据挖掘的第一步，确保了数据的全面性和实时性。接着，通过软件总线模型对原始数据进行清洗和预处理，减少数据规模和维度，这是数据预处理的关键步骤，有助于后续分析的效率和准确性。 核心算法部分，他们采用了基于枢纽现象与加权离群分数的离群数据挖掘算法。这种方法考虑了数据之间的相互关系和权重，能够更精确地定位异常数据。通过K近邻查询和数据对象的离群分数计算，可以识别出与正常模式显著偏离的数据点。同时，设置区分度阈值进一步筛选出真正的异常数据，增强了异常检测的鲁棒性。 最后，为了识别异常数据的具体类型，作者们构建了卷积神经网络（CNN）模型。CNN在图像识别和模式识别方面表现出色，将其应用于数据流数据的分类，能有效识别不同类型的异常，提升了异常数据挖掘的精度和实用性。 实验结果证明了该方法的有效性，不仅能够有效地挖掘异常数据，而且识别准确性高，对于提升计算机网络的安全性具有重要意义。这种方法的应用对于预防网络攻击、保障用户信息安全具有重要价值，尤其在当前大数据和云计算背景下，其重要性更加凸显。