神经上下文异常检测方法在时间序列数据中的应用和性能分析

+v：mala2277获取更多论文时间序列克里斯·U。牛津大学（University ofOxfordcarmona@stats.ox.ac.ukFrançois-Xavier Aubet介绍AWS AILabsaubetf@amazon.comValentin FlunkertAWSAILabsflunkert@amazon.com扬·加斯豪斯AWS AI Labsgasthaus@amazon.com摘要我们介绍了神经上下文异常检测（NCAD），这是一个用于时间序列异常检测的框架，可以从无监督到有监督的设置无缝扩展，并且适用于单变量和多变量时间序列。这是通过有效地结合多元时间序列表示学习的最新发展，与最初为计算机视觉开发的深度异常检测技术，我们定制的时间序列设置来实现的。我们的基于窗口的方法有利于学习正常和异常类之间的边界注入通用合成异常到可用的数据。此外，我们的方法可以有效地利用所有可用的信息，无论是作为领域知识，还是作为半监督设置中的训练标签我们在标准基准数据集上实证证明，我们的方法在这些设置中获得了最先进的性能。1介绍检测实时值时间序列数据中的异常具有许多实际应用，例如监控机器故障，发现IoT传感器数据中的异常行为，提高计算机应用和（云）基础设施的可用性，以及监控患者生命体征等。自Shewhart在统计过程控制方面的开创性工作（Shewhart，1931）以来最近，深度学习技术已经成功地应用于各种异常检测问题（参见例如， Ruffet al. （2021）和Panget al. （2020））。 在时间序列的特定情况下，这些方法对于大规模监测问题（例如Google等公司遇到的问题）已经表现出显著的性能（Shipmon等人，2017），微软（Ren等人，2019），阿里巴巴（Gao et al.，2020）和亚马逊（Ayed等人，2020年）。传统上，时间序列上的异常检测被视为无监督学习问题，其中训练数据包含正常和异常实例，但不知道哪个是哪个。然而，在许多实际应用中，完全无监督的方法可能会使有价值的信息未被利用，因为通常可以获得（少量）标记的异常实例，或以某种一般方式表征相关异常。理想情况下，用于异常检测的有效方法需要半监督方法，允许利用关于已知异常模式或分布外观测（如果有的话）的信息平等贡献。†在AWS AI Labs工作时完成的工作预印本。正在审查。arXiv：2107.07702v1 [cs.LG] 2021年7+v：mala2277获取更多论文2这些都是可用的。通过遵循这样的学习策略，计算机视觉深度异常检测的最新发展取得了显着的性能。一个值得注意的例子是导致超球体分类器的工作线（Ruff等人，2018年，2020年b，a），它将一类分类的概念扩展到复杂数据的半监督异常检测的强大框架。在这项工作中，我们介绍了神经上下文异常检测（NCAD），这是一个用于时间序列异常检测的框架，可以从无监督到有监督的设置无缝扩展，允许通过标记的示例和已知的异常模式来整合额外的信息。 这是通过有效地结合多变量时间序列的表示学习的最新发展来实现的（Franceschi等人，2019），具有许多最初为计算机视觉开发的深度异常检测技术，例如超球体分类器（HSC）（Ruff等人，2020 a）和离群值暴露（OE）（Hendrycks等人，2019年），但针对时间序列设置。我们的方法是基于将每个时间序列分解为重叠的固定大小的窗口。每个窗口进一步分为两个部分：上下文窗口和可疑窗口（见图2）。1），使用时间卷积网络（TCN）将其映射到神经表示（嵌入）（Bai等人，2018年）。 我们的目标是发现可疑窗口中的异常。异常是在学习到的潜在表征空间中识别的，这是建立在异常会对嵌入产生实质性扰动的直觉基础上的，因此当我们比较两个重叠片段的表征时，一个有异常，一个没有异常，我们预计它们是遥远的。时间序列异常是固有的上下文。我们在我们的方法中解释了这一点，通过将HSC损失扩展到上下文超球体损失，该超球体损失基于上下文的表示动态地适应超球体我们使用数据增强技术来简化正常和异常类之间的边界特别是，我们采用OE的变体来创建上下文异常，并采用简单的注入点异常。总之，我们做出了以下贡献：（I）提出了一个简单而有效的时间序列异常检测框架，该框架在众所周知的基准数据集上实现了最先进的性能，涵盖单变量和多变量时间序列，以及在无监督，半监督和全监督设置中（我们的NCAD实现是公开的3）;（II）基于使用超球分类器进行深度异常检测的相关工作（Ruff等人，2020a）并将其扩展以引入上下文超球体检测。（III）调整离群值暴露（Hendrycks等人，2019）和Mixup（Zhang et al.，2018）方法的时间序列的异常检测的特定情况下。2相关工作异常检测（AD）是一个重要的应用问题，因此得到了广泛的研究. 我们建议读者参考该主题中的一个最近的综述，以获得方法的一般概述（Mrsola等人，2009;Ruff等人，2021;Pang等人，2020年）。我们感兴趣的是时间序列的异常检测。这是一个通常以无监督方式构建的问题。传统的方法是使用预测模型，估计以历史观测为条件的未来值的分布（或置信带），并且如果在模型下认为它们不太可能，则将观测标记为异常（Shipmon等人，2017年）。预测模型，如ARIMA或指数平滑方法经常在这里使用，假设高斯噪声分布。Siffer等人（2017）提出了SPOT和DSPOT，它们使用极值理论来检测时间序列中的异常值，以模拟分布的尾部。用于异常检测的深度学习模型的新进展最近变得流行。对于时间序列，一些模型保持了经典的预测方法，并为依赖结构引入了Shipmon等人（2017）使用深度（循环）神经网络来参数化高斯分布，并使用尾概率来检测离群值。偏离预测方法的深层异常检测的有效思想已经成功地从其他领域引入到时间序列域基于重建的方法，例如3https://github.com/Francois-Aubet/gluon-ts/tree/adding_ncad_to_nursery/src/格鲁翁茨+v：mala2277获取更多论文3Σ||−||·→−||||→使用可变自动编码器（VAE）或基于密度的方法，例如 利用生成对抗网络（GAN）：DONUT使用VAE来预测滑动窗口的分布; LSTM-VAE（Park等人，2018）使用具有VAE的递归神经网络; O MNI A NOMALY（Su et al.，2019）通过深度创新状态空间模型和规范化流程扩展了这一框架; A NO GAN（Schleglet al.，2017）使用GAN对观测序列进行建模，并估计它们在潜在空间中的概率。MSCRED（Zhang等人，2019）使用卷积自动编码器，并通过测量重建误差来识别异常。基于压缩的方法已经成为图像异常检测中非常流行的其工作原理类似于支持向量数据描述方法（TaxDuin，2004）中使用的一类分类：实例被映射到在训练期间被拉在一起的潜在表示，在潜在空间中形成球体;远离中心的实例被认为是异常的。（Ruff等人，2018年，2020年b）建立在这个想法学习神经映射φ（; θ）：RDRE，使得标称点的表示集中在（固定的）中心C周围，而异常点的表示集中在（固定的）中心C点被映射远离该中心。在无监督的情况下，DeepSVDD（Ruff等人，2018）通过最小化欧几里得距离iφ（wi;θ）c2来实现这一点，对映射进行适当的正则化，并假设异常是罕见的。THOC（Shen等人，2020）将这一原则应用于时间序列的上下文，通过扩展模型来考虑多个球体以获得更方便的表示。这种方法与我们的工作有两个不同之处：它依赖于一个带有跳过连接的扩张递归神经网络来处理数据的上下文方面，我们使用一个简单得多的网络，并使用上下文窗口来处理上下文。然后，我们的方法可以无缝地处理半监督设置，并受益于我们的数据增强技术。Ruff等人（2020a）提出了超球体分类器（HSC），通过使用标准的二进制交叉熵（BCE）损失训练网络来改进DeepSVDD，这种方式将方法扩展到（半）监督设置。通过这种方法，他们可以依靠标记的示例来正则化训练，而不必限制网络。特别地，通过将异常实例（y=1）的伪概率设置为p=1−l（φ（wi;θ）），即−（1−yi）logl（φ（wi;θ））−yilog（1−l（φ（wi;θ），（1）其中1：RE [0，1]将表示映射到概率预测。选择l（z）=exp（z2），导致表示空间中的球形决策边界，并且当所有标签为0时减少到DeepSVDD损失（中心c = 0）。当前关于半监督异常检测的工作表明，即使只包括很少的标记异常也已经可以在复杂数据上产生显著的性能改进（Ruff等人，2021;Liznerski等人，2020;Tuluptceva等人，2020年）。在这一行中的一个强大的资源是异常暴露（OE）（Hendrycks等人，2019年），它通过在训练过程中从辅助数据集中合并大量分布外的示例来提高检测。尽管这样的负样本可能与地面实况异常不一致，但是这样的对比可以有益于学习正常概念的特征表示。此外，离群值暴露和表达性表示与hyperadministrator的组合已经显示出图像上的深度AD的异常结果（Ruff等人，2020 a;Deecke等人，2020年）。然而，对于时间序列数据，人工异常和相关的数据增强技术尚未得到广泛研究。Snakov等人（2019）使用人工异常来选择异常检测模型集合中的阈值。与我们的方法最密切相关的是SR-CNN Ren et al. （2019）通过使用来自注入的单点离群值的标签，在无监督异常检测模型（SR）之上训练监督CNN。完全监督的方法没有得到广泛的研究，因为标记所有异常在大多数应用中太Liu等人（2015）的工作是一个例外，他们提出了一个系统来连续收集异常标签，并迭代地重新训练和部署监督随机森林模型。Gao等人（2020）的U-NET-DE WA方法依赖于使用鲁棒时间序列分解进行预处理，以监督的方式训练卷积网络，依赖于保留异常标签的数据增强来增加训练集大小。+v：mala2277获取更多论文41：Ti不1：Ti不不·联系我们ǁ − ǁ−我我（1−y）<$φ（w;θ）−φ（w（c）;θ）<$2−ylog.1−exp.−<$φ（w;θ）−φ（w（c）;θ）<$2π。（二）3神经上下文异常检测本节介绍我们的异常检测框架及其构建块。我们将基于窗口的异常检测方法与灵活的训练范式和有效的数据增强算法相结合，以产生最先进的异常检测系统。我们考虑以下一般时间序列异常检测问题：我们给出一个集合对N个离散时间序列x（i），i = 1，. . . 其中对于时间序列i和时间步长t = 1，. . . ，Ti我们有一个观测向量x（i）∈ RD。我们进一步假设，我们给出一个对应的，部分异常标号y（i）∈{0，1，？}，指示相应的观测值是否x（i）是正常的（0）、异常的（1）或未标记的（？）.目标是预测异常标记y=1：T，其中y= t0，1g iv enatimeseriesx1：T. 我们不是直接预测二进制标签，而是预测每个时间步的正异常分数，随后可以对其进行阈值处理，以获得满足所需精度/召回权衡的异常标签3.1基于窗口的上下文超球体检测类似于其他关于时间序列AD的工作（例如Ren et al.（2019）;Guha et al.（2016）），我们将时间序列问题转换为向量问题，将每个时间序列分成一系列重叠的，长度为L的固定大小的窗口w。 我们方法的一个关键要素是，在每个窗口内， 我们识别两个段：长度为C的上下文窗口w（c）和长度为S的可疑窗口：w=（w（c），w（s）），其中我们通常选择CS. 我们的目标是检测相对于上下文窗口提供的本地上下文的可疑窗口中的异常这种分裂不仅是自然的与时间序列数据中异常的典型上下文性质一致，它还允许短的可疑窗口（即使S=1），最大限度地减少检测延迟并改善异常定位。直观地说，我们的方法是基于这样一种想法，即我们可以通过比较表示向量φ（w;θ）和φ（w（c）;θ）来识别异常，这是通过应用神经网络特征提取器φ（;θ）获得的，如果不存在异常，则以这种方式训练表示在可疑窗口W（s）中，否则被推开。我们提出了一个损失函数，通过考虑将上下文窗口的表示与完整窗口的表示进行对比的损失函数，可以将其视为超球体分类器（等式1）的上下文−（1−yi）log。L.dist（φ（wi;θ），φ（w（c）;θ）−yilog.1−l。dist（φ（wi;θ），φ（w（c）;θ）在我们的实验中，我们遵循Ruff等人。（2020 a），并使用欧几里得距离dist（x，z）=x z 2和径向基函数l（z）：= exp（z2），以创建如HSC/DeepSVDD中的球形决策边界，导致损失函数伊伊i-2ii直观地说，这是HSC损失，其中为每个实例动态选择超球体的中心c作为上下文的表示这引入了一种归纳偏差：如果可疑窗口中发生异常，则上下文窗口的表示正如我们在实证分析中所展示的那样，这种归纳偏差使模型更具标签效率，从而获得更好的泛化能力。特别是，我们表明，当使用通用注入异常（如点离群值）训练该模型时，它能够推广到现实世界数据集中发现的更复杂的异常。3.2NCAD架构培训我们的模型在学习的潜在表征空间中识别异常，建立在这样的直觉上：如果异常存在于可疑窗口w（s）中，那么从w和w（c）构造的表征向量应该是遥远的。如示于图1、我们的NCAD架构有三个组成部分：+v：mala2277获取更多论文5·−||··×→1：Ti全窗口TCN不score = dist（z，z（c））上下文窗口可疑窗口TCN图1：NCAD使用相同的TCN网络对两个相差一个可疑窗口的窗口进行该模型经过训练，为可疑窗口中存在异常的实例提供高分。1. 一种神经网络编码器φ（; θ），它将输入序列映射到RE中的表示向量。相同的编码器被应用于全窗口和上下文窗口两者，从而导致关于v的表示z=φ（w;θ）和z（c）=φ（w（c）;θ）。 虽然可以使用神经网络工作，但在我们的实现中，我们选择具有指数扩张因果卷积的CNN（vanden Oord等人，2016），特别是TCN架构（Bai et al.，2018;Franceschi等人，2019年）与自适应最大池沿时间维度。2. 一个类似距离的函数，dist（，）：RERER+，用于计算表示z和z（c）之间的相似性。3. 概率评分函数l（z）=exp（z），其创建以上下文窗口的嵌入为中心的球形决策边界。编码器的参数θ通过最小化小批量窗口w上的分类损失来学习。这些数据是随机（跨时间序列和跨时间）从在应用随后的数据增强技术之后训练数据集{x（i）}滚动预测虽然我们的基于窗口的方法允许模型决定可疑窗口中是否存在异常，但在许多应用中，重要的是在异常发生时迅速做出反应为了支持这些要求，我们将该模型应用于时间序列的滚动窗口。然后，每个时间点可以是对应于不同滚动窗口的不同可疑窗口的一部分，因此被给予多个异常分数。使用这些，我们可以在第一个高分时发出警报，以减少警报时间，或者对每个点的分数进行平均，以更准确地及时确定异常。3.3数据增强除了对比分类器之外，我们还利用了一系列数据增强方法，这些方法注入了合成异常，使我们能够依赖于监督训练目标，而不需要地面实况标签。虽然可以依赖于超球体来训练而不需要任何标签，但是具有一些异常示例标签允许极大地提高性能，正如在计算机视觉中所观察到的那样（Hendrycks等人，2019年）。我们不能有效地依赖于地面实况异常，因为很少有数据集有任何异常，并且在实践中，获得训练标签的成本非常高;因此，我们建议生成异常示例。这些数据增强方法明确地不试图验证异常的完整数据分布，这将是不可行的;相反，我们结合了有效的通用方法，可以很好地检测常见类型的分布外示例。背景离群值暴露（COE）- 受离群值暴露成功用于分布外检测的启发Hendrycks et al.（2019），我们提出了一种简单的任务不可知方法来创建真实的分布外示例。 给定ww=（w（c），w（s））的数据风，我们通过用从另一个时间序列获取的值替换可疑段w（s）的值的块来将异常引入可疑段w（s）。 w（s）中的替换值很可能会破坏与其相邻上下文的时间关系，因此创建了一个分布外的示例。在我们的实现中，+v：mala2277获取更多论文6我们在训练时应用COE，方法是在一个小批量中选择随机样本，并对其可疑窗口的随机长度进行排列（附录B.1中的可视化）。在多变量时间序列中，由于不一定在所有维度上都发生异常，因此我们随机选择一个维度子集，在其中交换窗口。异常注入- 我们建议在时间序列中注入简单的单点离群值（po）我们使用一个简单的方法：在一组随机选择的时间点上，我们向时间序列添加（或减去）一个尖峰。尖峰与尖峰位置周围的点的四分位数范围成比例。与COE类似，在多变量时间序列中，我们只需选择一个随机的维度子集，在其上添加尖峰。这些简单的点离群值与COE的目的相同：创建清晰的标记异常点，以帮助超球体的学习。（可视化见附录B.2）。除此之外，在某些实际应用中，还可以识别应检测的异常的一般特征一些广为人知的异常模式包括：突然变化的位置或规模的系列（变点），中断的季节性，等，我们已经使用这种方法在我们的实际应用和领域知识允许提高检测性能。由于它们需要领域知识，因此在合并这些方法时比较我们的方法是不公平的;因此，在结果表中，我们仅使用上述点离群值窗口混淆-如果我们无法访问训练标签并且对相关异常知之甚少，则我们只能依赖COE和po，这可能导致注入异常和真实异常之间的严重不匹配。在这种情况下，为了提高我们模型的泛化能力，我们建议创建受MIXUP过程启发的训练样本的线性组合。（2018年）。MIXUP是在计算机视觉的背景下提出的，它创建了新的训练示例，通过使用特征及其标签的凸组合来对原始样本进行分类。这种数据增强技术在训练示例中创造了更多的多样性，但更重要的是，软标签导致更平滑的决策函数，更好地泛化。MIXUP适用于时间序列应用：时间序列的凸组合通常会产生现实和合理的新时间序列（参见附录B.3中的可视化）。我们表明，即使在注入和真实异常之间存在较大不匹配的情况下，MIXUP也4实验在本节中，我们将我们的方法与其他方法在公共基准数据集上的性能进行比较，并探索消融研究中不同数据设置和模型变化下的模型行为。有关实验的进一步细节载于补编。4.1基准数据集我们在六个数据集上对我们的方法进行了基准测试（更多细节见附录E）：4土壤水分主动被动卫星（SMAP）和火星科学实验室漫游车（MSL）-NASAHundman等人（2018）发布的两个数据集，分别有55和27个系列。时间序列的长度从300到8500个观测值不等。安全水处理（SWaT）- 数据集是在水处理测试平台上收集的，超过11天，在过去4天内发起了36次攻击，组成了测试集。（Mathur& Tippenhauer，2016）将我们的数据与Shen等人的数据进行比较。（2020），我们使用所提出的测试集的前半部分进行验证，第二部分进行测试。服务器机器数据集（SMD）-是一个5周长的数据集，具有28个38维时间序列，每个序列从大型互联网公司的不同机器收集（Su et al.，2019年）。SMAP、MSL、SWaT和SMD各自具有预定义的训练/测试分割，其中测试集中的异常被标记，而训练集包含未标记的异常。4虽然我们同意WuKeogh（2020）表达的许多担忧，即缺乏用于时间序列异常检测的高质量基准数据集，但我们在这里使用这些常用的基准数据集，因为缺乏更好的替代方案，并能够直接比较我们的方法与竞争方法。+v：mala2277获取更多论文7YAHOO-由雅虎实验室发布的数据集，由367个真实和合成时间序列组成。以下（Ren等人，2019），我们使用每个时间序列的最后50%的时间点作为测试集，并将其余的时间点分为30%的训练集和20%的验证集。KPI-在AIOPS数据竞赛（kpi）中发布的单变量数据集。 它由来自不同互联网公司的KPI曲线组成，间隔为1分钟。如（Ren等人，2019），我们使用30%的训练集进行验证。对于KPI和YAHOO标签可用于所有系列。4.2评估设置以通用方式测量时间序列异常检测方法的性能是困难的，因为不同的应用通常需要在灵敏度、特异性和时间定位之间进行不同的权衡。为了解决这个问题，已经提出了改进简单逐点分类度量的各种措施，例如，Tatbul等人（2018）提出的灵活的基于片段的评分或Numenta异常基准中使用的评分（Lavin& Ahmad，2015）。为了使我们的结果具有直接可比性，我们遵循Xu等人（2018）提出的程序（随后用于其他工作Su等人）。（2019）;Renet al.（2019）;Shenet al. （2020）），它提供了一个实际的妥协：使用逐点得分，但是如果模型检测到至少一个时间点，则扩展预测标签以将整个真实异常段标记为正确检测。6我们将我们的实验方案与之前的工作相结合，并报告F1分数通过在测试集上选择最佳阈值来计算对于每个数据集，选择最佳阈值并用于测试集的所有时间序列。在许多现实世界的场景中，人们感兴趣的是在部署时可能不知道的各种不同的时间序列上以流式方式检测异常。我们通过在每个数据集的所有训练时间序列上训练单个模型来整合这些要求，并在所有测试集时间序列上评估该模型。此外，我们使用短的可疑窗口，允许决定一个点是否是异常的，当它是第一次观察。我们报告的性能，这更难检测设置。以以下方式选择超参数：对于Y AH00、KPI和SWaT，由于验证数据集具有可用的异常标签，因此我们使用贝叶斯优化（Perrone等人，2020）进行参数调整，通过最大化验证集上的F1得分如果没有带标签的验证集可用，我们使用从带验证数据集的数据集推断出的一组标准超参数设置(see详情见附录）。在每个数据集上，我们选择上下文窗口长度，以大致匹配时间序列中季节模式的长度。我们在每个基准数据集上运行模型10次，并报告平均值和标准差。我们使用标准AWS EC2ml.p3.2xlarge实例和单核Tesla V100 GPU。在一个基准数据集上训练模型平均需要90分钟。在我们的代码7中，我们提供了脚本来在下面所示的基准数据集上重现结果。4.3基准测试结果表1显示了我们的NCAD方法在两个常用单变量数据集上与最先进方法相比的性能由于这些数据集包含训练集和测试集上的异常标签，因此我们在监督设置中对它们进行评估（（sup.））和无监督设置（（un.））我们采用Ren et al.（2019）的数字。我们的方法在YAHOO上的表现明显优于竞争方法，在KPI上的表现与最佳无监督方法相似，并且比最佳监督方法略差重要的是要注意，虽然其他方法是为监督或无监督设置而设计的，但我们的方法可以在这两种设置中无缝使用。Y AHOO监督实验包括在附录C.2中，在那里我们与（Gao et al.，2020年），这代表了最先进的在这种设置，以我们所知。 我们的方法显著优于他们的方法，F1得分为79%，而不是69。3%的F1得分为他们的方法。第https://webscope.sandbox.yahoo.com/catalog.php? datatype=s did=706我们使用Su et al.（2019）的实现：https://github.com/NetManAIOps/OmniAnomaly/。7https://github.com/Francois-Aubet/gluon-ts/tree/adding_ncad_to_nursery/src/格鲁翁茨+v：mala2277获取更多论文8表1：单变量数据集模型YAHOO（un.）关键绩效指标（联合国）关键绩效指标（补充）SPOT（Siffer等人，（2017年）33.821.7-DSPOT（Siffer等人，（2017年）31.652.1-DONUT（Xu等人，2018年）2.634.7-SR（Ren等人，2019年度）56.362.2-SR-CNN（Ren等人，2019年度）65.277.1-SR+DNN（Ren等人，2019年度）--81.1NCADw/COE，po，混淆81.16± 1.4376.64± 0.8979.20 ±0.92表2：模型在多变量数据集上的F1得分模型SMAPMSL斯瓦特SMDAnoGAN（Schlegl等人，（2017年）74.5986.3986.64-DeepSVDD（Ruff等人，2018年）71.7188.1282.82-DAGMM（Zong等人，2018年）82.0486.0885.3870.94LSTM-VAE（Park等人，2018年）75.7373.7986.3978.42MSCRED（Zhang等人，2019年度）77.4585.9786.84-OmniAnomaly（Su等人，2019年度）84.3489.89-88.57MTAD-GAT（Zhao等人，2020年）90.1390.84--THOC（Shen等人，2020年）95.1893.6788.09-NCADw/COE，po，混淆94.45± 0.6895.60± 0.5995.28± 0.7680.16 ±0.69表2显示了我们的NCAD方法与最先进的方法相比的性能这些数据集都没有为训练集中的异常提供标签，所有基准方法都是为无监督异常检测而设计的。我们的方法在MSL和SWaT上都以合理的幅度优于THOC。在SMAP上，虽然我们的平均得分略低，但差异在方差范围内。OmniAnomaly（Su等人，2019年）是SMD的最新技术，我们的数字仅次于他们。我们注意到OmniAnomaly的成本更高，可扩展性更低4.4消融研究为了更好地理解我们方法的每个组成部分所带来的优势，我们对SMAP和MSL数据集进行了消融研究，如图2a所示。我们对每种配置的两次运行取平均值，附录C.1中显示并讨论了包含所有配置和标准差的完整表格。标记为“-contextual”的行。. . “不使用第3.1节中描述的上下文超球体，而是使用全窗口表示φ（w;θ）上的原始超球体分类器损失训练的模型。上下文损失函数提供了实质性的性能增强，使我们的方法即使没有数据增强技术也具有竞争力中的每数据扩充技术进一步提高了性能 对监督Yahoo数据集的进一步消融研究见表4。4.5从无监督到有监督为了研究我们的方法的性能如何随着我们从无监督扩展到半监督再到完全监督而变化，我+v：mala2277获取更多论文9们将我们的方法的性能作为Y AHOO数据集上的地面真值标签数量的函数进行测量，如图2b所示。首先，我们观察到，性能随着真实异常标签的数量而稳定增加。其次，通过使用合成异常（po或COE），当没有或只有很少的标签可用时，我们可以显着提高该机制的性能。最后，通过使用与所需类型的异常（在这种情况下为po，因为YAHOO包含大量单点离群值）良好对齐的注入技术，可以显著提高性能，而不仅仅依赖于标记数据，这可以通过异常检测中非常高的类别不平衡来解释另一方面，+v：mala2277获取更多论文101. SMAP和MSL的烧蚀研究2. YAHOO数据集上的NCAD的F1得分，仅标记了一小部分训练异常型号SMAPMSL0的情况。8THOC（Shen等人，2020年）95.1893.67NCADw/COE，po，mixup0的情况。60的情况。40的情况。00。20.40.60. 81. 0在训练当然，当有足够的标记示例可用时，注入可能与期望异常（在这种情况下为COE）显著不同的异常4.6使用专门的异常注入方法虽然在我们所有的基准测试中，我们依赖于完全通用的异常注入（COE和PO），但我们方法的副产品是，通过设计模拟真实异常的异常注入方法，可以引导模型检测所需的异常类别设计这样的方法往往是简单的相比，找到足够的例子，真正的异常，因为他们是罕见的。图3a展示了这种方法的有效性：SMAP数据集的第一个维度当只使用COE和po时，我们的模型很难检测到这些行为，因为它们不能创建类似的行为。我们可以设计一个简单的异常注入，将斜率注入到随机选择的区域并将其标记为异常。用这些斜率训练NCAD给出了一个获得更好分数的模型。这种方法在异常是微妙的并且更接近正常数据的应用中可以是有效的，并且其中关于要检测的异常的种类的一些先验知识是可用的然而，人们可能没有这种先验知识或创建这些注射所需的资源这是该技术的限制，其阻止了其普遍适用。这就是为什么我们没有使用in与其他方法进行比较的原因。(b)F1得分与仅在点离群值上训练的模型的真实异常宽度，不同部分的训练示例混合在一起。(a)SMAP性能第一维度的F1分数，具有专门的异常注入。型号SMAP1st dimensionNCAD 93.38NCAD+注射96.481 .一、00的情况。80的情况。60的情况。40的情况。20 5 10 15 20 25 30异常宽度图3：利用领域知识调查异常注入的潜力，并调查当此知识不可用时模型形式po的泛化4.7注入异常人工异常总是会在某种程度上与真实异常不同，无论是通过COE，PO还是更复杂的方法创建的异常这需要模型弥合这一差距，并从不完美的训练样本推广到真正的异常。通过设计超球公式可以帮助弥合差距，我们使用MIXUP进一步提高模型的泛化能力。图3b显示了探索这种泛化能力的一个方面的实验结果对于NCAD。该模型使用注入的单点离群值进行训练，我们测量了较长宽度异常在这个实验中，我们使用了一个合成的基础数据集无注射离群值暴露点离群值%混淆0.030.050.070.080.0F1-波94.2894.73-特遣队所属装备88.5994.66- mixup -COE-po66.979.47- contextual - mixup -COE-po55.0936.03F1+v：mala2277获取更多论文11含有高斯噪声的简单正弦时间序列。我们从这个基础数据集创建多个数据集，通过将尖峰异常与不同宽度的高斯滤波器进行卷积来添加不同宽度的真实异常。对于训练，不管真实异常的形状如何，我们使用po并使用不同的MIXUP率训练模型，即，应用了MIXUP的训练示例的分数。我们观察到，MIXUP有助于模型在这种情况下进行泛化：MIXUP率越高，模型越能泛化到与注入示例不同的异常，从而获得更高的F1分数。5讨论我们提出了NCAD，一种在时间序列中进行异常检测的方法，该方法在广泛的设置中实现了最我们证明，将时间序列的表达性神经表示与数据增强技术相结合，可以优于传统的方法，例如基于重建误差的预测模型或方法。我们没有预见到这项工作的潜在负面社会影响时间序列异常检测是一个普遍的问题，它被应用在许多不同的领域，如网络安全，它可以用来自动防止攻击发电厂或医院。虽然我们的方法的异常检测的结果是好的，我们认为，该算法的检测不应该盲目遵循的医疗应用直接影响病人的健康。引用Aiops挑战。http://iops.ai/dataset_detail/? id=10。Ayed，F.，斯特拉湖，Januschowski，T.，Gasthaus，J.大规模异常检测：深度分布时间序列模型的案例arXiv预印本arXiv：2007.15541，2020。Bai，S.，Kolter，J. Z.，Koltun，V.，An Empirical Evaluation of Generic Convolutional andRecurrent Networks for Sequence Modeling。arXiv预印本arXiv：1803.01271，2018年3月。网址http://arxiv.org/abs/1803.01271。科洛拉，五，Banerjee，A.，Kumar，V. Anomaly Detection：A Survey. ACM计算调查（CSUR），41（3）：1迪克湖，拉夫湖，范德默伦河一、和Bilen，H.基于残差自适应的深度异常检测。arXiv预印本arXiv：2010.02310，oct 2020.网址http://arxiv.org/abs/2010。02310。法尔孔，W。A. PyTorch Lightning，2019年。网址https://github.com/PyTorchLightning/pytorch-lightning。Franceschi，J. Y.，Dieuleveut，A.，和Jaggi，M.多变量时间序列的无监督可扩展表示学习。在第33届神经信息处理系统会议论文集，第32卷，2019年1月。高，J.，宋，X.，温，Q.，王，P.，孙湖，加-地和Xu，H.鲁棒性：通过分解和卷积神经网络进行鲁棒的时间序列异常检测。arXiv预印本arXiv：2002.09545，2020年2月。网址http://arxiv.org/abs/2002.09545。Guha，S.，Mishra，N.，罗伊，G.，和Schrijvers，O.基于鲁棒随机切割森林的流异常在机器学习国际会议上，pp。2712-2721. PMLR，2016.哈里斯角，澳-地R.，Millman，K.J.，van der Walt，S.J.，戈默斯河，巴西-地维尔塔宁，P.，库那波，D.，维泽，E.，泰勒，J.，伯格，S.，史密斯，N。J.，克恩河，巴西-地皮库斯，M.，霍耶，S.，van Kerkwijk，M. H、布雷特，M.，霍尔丹，A.，del Río，J. F.，魏比，M.，彼得森，P.，Gérard-Marchant，P.，Sheppard，K.，雷迪，T.，韦克瑟，W.，阿巴西，H.，Gohlke，C.，和Oliphant，T. E.使用NumPy进行数组编程。Nature，585（7825）：357-362，2020年9月。doi：10.1038/s41586-020-2649-2。URLhttps://doi.org/10.1038/s41586-020-2649-2上下载。+v：mala2277获取更多论文12Hendrycks，D.，Mazeika，M.，和Dietterich，T.具有离群值暴露的深度异常检测。在第七届 学 习 表 征 国 际 会 议 论 文 集 ， ICLR2019 ， 2019 年 12 月 。 网 址http://arxiv.org/abs/1812.04606。Hundman，K.，Constantinou，V.，拉波特角，科尔韦尔岛，和Soderstrom，T.利用lstms和非参数动态阈值检测航天器异常第24届ACM SIGKDD国际知识发现数据挖掘会议论文集，pp.387Lavin，A.和艾哈迈德，S。评估实时异常检测在2015年IEEE第14届机器学习和应用国际会议上，pp。38-44. IEEE，2015年。利伯蒂，E.，Karnin，Z.，湘湾，英-地鲁埃内尔湖Coskun，B.，纳拉帕蒂河Delgado，J.，Sadoughi，A.，Astashonok，Y.，Das，P.，巴利奥卢角，Chakravarty，S.，Jha，M.，Gautier，P.，Arpin，D.，Januschowski，T.，Flunkert，V.，王玉，Gasthaus，J.，斯特拉湖，Rangapuram，S.，Salinas，D.，Schelter，S.，和Smola，A.Amazon Sagemaker中的弹性机器学习算法在2020年ACM SIGMOD数据管理国际会议的会议记录中，pp.731林，T.-是的，Goyal，P.，格希克河，巴西-地他，K.，Dollar，P.用于密集目标检测的焦点损失IEEE Transactions on Pattern Analysis and Machine Intelligence，42（2）：318ISSN0162-8828。doi：10.1109/TPAMI.2018.2858826。网址http://arxiv.org/abs/1708.02002https：//ieeexplore.ieee.org/document/8417976/上下载。Liu，D.，中国科学院，赵玉，徐，H.，Sun