使用Sketch概要数据结构的异常检测与溯源技术

"基于概要数据结构可溯源的异常检测方法是国防科技大学计算机学院的研究成果，主要关注如何利用sketch这种数据结构进行网络流量的异常检测，并具备IP地址追溯能力。这种方法结合了EWMA预测模型和均值-标准差方法构建网络流量变化参考，能够有效地检测DDoS攻击和扫描攻击，同时降低计算和内存资源的消耗，适用于骨干网络的异常检测。" 本文介绍了一种创新的异常检测技术，其核心在于运用sketch数据结构来捕获和分析网络流量信息。Sketch是一种紧凑且高效的概要数据结构，它能够对大规模数据流进行近似计数和统计分析，而不会占用过多的存储空间。在该方法中，网络流量信息被实时地记录到sketch中，形成对网络状态的概要表示。 异常检测过程首先在每个时间周期（circle）内进行，这个周期可能是根据网络活动的特定时间段设定的。在每个周期结束时，使用指数加权移动平均（EWMA）模型对未来流量进行预测。EWMA模型能考虑到历史数据的趋势，对于流量预测尤为有效。然后，将实际观测到的流量值与预测值之间的误差计算出来，形成误差sketch。 接下来，通过对误差sketch应用均值-标准差的方法，可以建立网络流量变化的参考标准。当误差超过这个参考标准时，表明可能发生了异常事件，例如DDoS攻击或扫描攻击。由于sketch数据结构具有可溯源性，因此可以追踪到引起异常的IP地址，这对于定位受害者主机和识别攻击源至关重要。 实验评估显示，这种方法在检测效率和资源消耗方面表现优秀，它只需要少量的计算和内存资源，非常适合在网络骨干节点上实施异常检测。关键词涵盖了异常检测、sketch数据结构、可追溯性、EWMA模型以及均值-标准差方法，这些是该研究的核心技术和理论基础。 这项工作提供了一种实用且有效的网络异常检测方案，它通过结合先进的数据结构和统计预测模型，能够在保障检测准确性的前提下，减少系统资源的使用，对网络监控和安全防护具有重要的实践意义。