云系统异常检测新方法：ATAD，迁移学习与主动学习结合

在《2019Cross-dataset Time Series Anomaly Detection for Cloud Systems》和《2019Learning Competitive and Discriminative Reconstructions for Anomaly Detection》这两篇论文中，研究人员探讨了云系统中时间序列异常检测的重要性和有效性。这两篇论文都聚焦于异常检测技术在云环境中的应用，特别是针对跨数据集的情况，即如何在一个已经标注的数据集（源数据集）上训练模型，然后将其应用到未标注的新数据集（目标数据集）中，以检测出潜在的异常。 首先，研究的核心目标是解决云系统中的异常检测问题，具体关注的对象包括软件错误、磁盘故障、内存泄漏和网络中断等。由于云监测数据通常表现为时间序列，例如性能指标、使用统计、系统度量和日志等，这些数据的特点是标记数据稀缺且处理性能要求高。为克服这一挑战，作者引入了迁移学习和主动学习相结合的方法，即ActiveTransferAnomalyDetection (ATAD)，旨在利用已有的少量标记数据显著提高检测性能。 在传统的时间序列异常检测方法中，研究者提到了几种不同的策略：无监督的在线序列存储算法，如分层时间存储，用于实时异常检测；监督学习方法，如Yahoo的EGADS系统，它结合异常过滤层和预测模型，提供精确和可扩展的异常检测；半监督学习则利用堆叠LSTM网络处理非异常数据以检测异常；基于统计的方法，如K-Sigma方法，通过分析数据分布来识别异常。 在ATAD中，作者特别强调了时间序列数据的时间依赖性，通过将一维标量转化为高维特征向量来保留上下文信息，这有助于捕捉数据点之间的关联。同时，迁移学习的关键在于源域和目标域的潜在相似性，即使在标记数据有限的情况下，也能找到有效的知识转移。 ATAD的方法包括三个关键的特征类别：统计特征，如云系统中不同来源时间序列的基本统计参数（如均值）；预测误差特征，通过预测模型产生的误差度量，如季节性和非季节性预测技术，以及均方根误差（RMSE）来衡量；时间特征，捕捉点周围的时间模式和趋势。通过对这些特征的计算和分析，ATAD能够在不完全标记的数据集中有效地检测异常，显示了其在实际云环境中应用的潜力和优势。 这两篇论文不仅提供了云系统跨数据集时间序列异常检测的先进方法，还揭示了如何通过迁移学习和主动学习来解决异常检测中的数据标记不足问题，对于理解与优化云系统的稳定性和性能具有重要意义。