基于图神经网络的局部离群点检测方法（LUNAR）

+v：mala2255获取更多论文LUNAR：通过图神经网络统一局部离群点检测方法Adam Goodge，1，3Bryan Hooi，1，2Ng See Kiong1，2 Ng Wee Siong31新加坡国立大学计算机学院2新加坡国立大学数据科学研究所3新加坡A*STAR信息技术研究所adam. u.nus.edu，{dcsbhk，seekiong} @nus.edu.sg，wsng@i2r.a-star.edu.sg摘要许多成熟的异常检测方法使用样本与其局部邻域中的样本的距离：所谓的它们因其简单的原理和对非结构化的、基于特征的数据的强大性能而流行，这些数据在许多实际应用中是常见的。然而，由于缺乏可训练的参数，它们无法学习适应特定的数据集。在本文中，我们首先通过统一局部离群值方法来证明它们是图神经网络中使用的更一般的消息传递框架的特殊情况。这使我们能够以神经网络的形式将可学习性引入局部离群值方法中，以获得更大的灵活性和表现力：具体而言，我们提出了LUNAR，一种新颖的基于图神经网络的异常检测方法。LUNAR学习以可训练的方式使用来自每个节点最近邻居的信息来发现异常。我们表明，我们的方法比现有的局部离群值方法以及最先进的深基线表现得更好。我们还表明，我们的方法的性能是更强大的本地邻域大小的不同设置。1介绍无监督异常检测是在不依赖于已知异常的地面真实标签的情况下检测数据集内的异常的任务。这是一个非常重要的任务，在广泛的实际应用，因此收到了大量的研究兴趣。由于异常往往比正常数据罕见得多，因此难以获得足够训练监督技术所需的数量的标记异常。许多成熟的无监督方法通过测量一个点到其最近邻点的距离来检测异常：所谓的局部离群值方法，如LOF和DBSCAN。这些方法在实践中非常流行，由于其简单的原则和解释，以及其可解释的输出。在我们的实验中，我们还发现它们的性能也优于最近的基于深度学习的方法。后者必须充分嵌入知识，也没有-异常和异常区域的数据空间在其网络参数。它们主要是为高度结构化的高维数据（如图像）而设计的，但它们的性能通常会在许多应用程序中常用的结构化程度较低的基于特征的数据因此，局部离群值方法仍然是许多领域的默认选择.已经开发了一系列局部离群值方法，每种方法都有自己独特的公式和属性。然而，他们中的许多人也有着共同的特点.在本文中，我们的第一个贡献是在一个简单的，一般的框架下统一的局部离群值方法的消息传递计划的基础上使用的图神经网络（GNN）。我们证明了许多流行的方法，如KNN，LOF和DBSCAN，可以被看作是这个更一般的消息传递框架的特殊情况。尽管它们很受欢迎，但局部离群值方法缺乏学习以优化或适应特定数据集的能力，例如通过可训练参数。此外，在无监督设置中，没有直接的方法来找到最佳超参数设置，例如最近邻居的数量，这是非常重要的，并极大地影响性能。在本文中，我们还提出了一种新的方法命名为LUNAR（可学习的基于U-N邻域的AnormalyR anking），它是基于相同的消息传递框架的局部离群值的方法，但解决了他们的缺点，使通过图神经网络的可学习性总之，我们做出了以下贡献：• 我们表明，许多流行的局部离群方法，如KNN，LOF和DBSCAN，可以统一在一个单一的框架下，基于图神经网络。• 我们使用这个框架来开发一种新的，基于GNN的异常检测方法（LUNAR），由于其可训练的参数，它比局部离群值方法更灵活，更适应给定的数据集• 我们表明，我们的方法比流行的经典方法（包括局部离群值方法）以及最先进的基于深度学习的异常检测方法具有更好的性能我们还表明，它的性能是更强大的不同设置的本地邻域大小比本地离群值的方法。版权所有© 2022，美国人工智能情报（www.aaai.org）。All rights reserved.1代码可在https://github.com/agoodge/LUNARarXiv：2112.05355v1 [cs.LG] 2021年12+v：mala2255获取更多论文我J∈∈K∈我 J特别是。自动编码器特别受欢迎，重建误差充当异常分数。正常2相关工作基于邻域的异常检测除了没有表的例子，如OC-SVM（Schoülk opfetal. 2001）和IFOREST（Liu，Ting，and Zhou2008），大多数经典的异常检测方法直接测量点到其最近邻点的距离来检测异常，我们称之为它们依赖于这样的假设，即异常位于数据空间的稀疏区域中，远离正常点的高密度集群靠近其相邻点的点本身更可能正常，而远离其相邻点的点更可能异常。KNN（Angiulli和Pizzuti 2002）使用到第k个最近邻的距 离 作 为 异 常 分 数 。 或 者 ， DBSCAN （ Ester et al.1996），它同时学习聚类正常数据，同时也检测离群值，使用预定义距离内的点的数量。局部离群值因子（LOF）（Breunig等人，2000）测量距离以定义密度测量，并将此密度与相邻点进行比较。已经开发了的各种扩展和变体，包括但不限于：局部异常概率（LOOP）（Kriegel等人，2009 a），基于连通性（COF）（Tang等人，2009a）。2002），Lo-异常分数是距中心的距离生成式对抗网络利用生成器生 成 一 个 看 不 见 的 样 本 的 能 力 来 表 明 它 的 恶 意（Schlegl et al. 2017; Zenati et al.2018年）。人们对GNN用于图数据中的异常检测有一些兴趣，例如传感器网络（Deng and Hooi 2021; Cai et al. 2020;Zheng et al. 2019）。我们的方法也使用了GNN，尽管它与这些作品不同，因为它是为非结构化的，基于特征的数据而不是图形而设计的。3背景3.1局部离群值方法‘Local outlier methods’ refers to those methods which di-rectly use the distance of a point to its 现在我们详细介绍KNN和LOF。KNN点xi的异常分数是其到第k个最近邻居：KNN（xi）= dist（xi，x（k））（1）其中x（k）是x的第k个最近邻。欧几里德分布cal相关积分（LOCI）（Papadimitriou et al.2003年），ii受影响的离群值（INFLO）（Jin et al.2006）和子空间离群值检测（SOD）（Kriegel et al. 2009年b）。这些方法缺乏可学习性：它们不使用训练集中的信息来优化模型参数以获得更好的异常评分。相反，它们基于预定义的几何学和超参数。这些设置强烈影响性能，但在部署之前，如果无法访问标记的异常，则很难验证最佳设置基于深度学习的异常检测深模-距离是最常见的，尽管可以使用任何距离度量，这取决于其对数据类型的适用性。LOF局部离群值因子使用“可reachk（xi，xj）=max{k-dist（xj），dist（xi，xj）}（2）其中k-dist（x，j）等于dist（x，j，x（k））。这用于计算点的ELS改善了异常情况检测高度结构化的、高维数据x，Klrd（A）：=n∈Nin（3）假设采样被重构为具有比异常更低的误差。它们已与全连接其中Ni是xi的k个最近邻的集合。最后，（Sakurada和Yairi 2014）、卷积（Zhao et al.2017）或复发性（Malhotra et al.2015）不同数据的图层将该密度测量与邻近确定局部离群值因子的点：应用. 变分（An 2015），去噪（Feng和n∈Nlrdk（xj）Han 2015）和对抗性（Vu et al. 2019）自动编码器也被使用。来自每个编码器-解码器层对的重构误差在（Kim et al. 2019）中融合在一起。自动编码器潜在编码在（Goodge et al.2020年），以提高对抗性扰动的鲁棒性其他人使用深度模型作为秒异常检测模块的特征提取器，例如KNN（Bergman，Cohen和Hoshen 2020），KDE （ Nicolau ， McDermott 等 人 2016 ） ， DBSCAN（Amarbayasgalan，Jargalsaikhan和Ryu 2018）或自回归模型（Abati等人2018）。2019年）的报告。Zong等人（2018）同时训练自动编码器，用于在潜在空间中使用高斯混合模型进行特征提取，以进行异常检测。Ruff等人（2018）在潜在空间中学习一个正常编码超球面，LOF（xi）=i.（四）|N i|·lrdk（xi）3.2图神经网络图神经网络（GNN）在图G（V，E）上操作，其中节点i V连接到相邻节点jV，通过边（j，i）E.边可以是无向的，在这种情况下，信息在相邻节点之间双向流动或者，如果边是有向的，则信息仅从源节点流向目标节点，即沿着边（j，i）从j到i。节点和边可以但不必具有特征向量，分别由节点i和边（j，i）的xi和ej，i表示GNN已经在一系列图相关的应用，如社交网络（Fan|Ni|+v：mala2255获取更多论文−我n我我∈N.等人，2019年）和交通网络（Cui等人，2019年）。这里特别感兴趣的是节点分类任务，其涉及通过网络层学习节点的连续潜在表示，以便预测每个节点的类别标签。这依赖于消息传递方案，步骤KNNLOFDBSCANej，i dist（xi，xj）reach（xi，xj）dist（xi，xj）φ（1）ej，iej，iH（i ej，i）Q（1）max sum sum由消息、聚合和更新步骤组成的γ（1）h（1）1/h（1）H（h（1）−minPts）消息函数（φ）确定要从每个邻居发送到所讨论的节点的信息。聚合物-Niφ（2）-hQ（2）-（一）JNi/h（1）中国（1）HJ函数（Q）将这些传入消息总结为平均最大一个消息，例如通过平均或最大池化。菲-γ（2）-h（2）1 −h（2）通常，更新函数（γ）使用该聚合消息你我以及节点的当前表示来计算其后续表示。总之，GNN的第k层通过以下方式计算节点的隐藏表示（Gilmer et al.2017年）：表1：局部离群值方法，因为它们与（5）中定义的消息传递框架相关H是指Heaviside函数。h（k）=Qφ（k）（h（k−1），h（k−1），ej，i），这些边是有向的，如j∈ Ni=/ni∈ Nj，因此，Nij∈Nii j信息仅从源节点j沿着边（j，i）流动h（k）= γ（k）（h（k−1），h（k））.（五）到目标节点i。有了这个图，我们现在表明KNNi iNi可以从消息、聚合和其中h（0）=xi，Ni是i的相邻节点的集合。h（k）是来自其邻居的消息的聚合。Ni4问题定义更新（5）中的函数。消息KNN收集节点到其最近邻居的距离我们现在定义本文中感兴趣我们假设m是正常的训练样本x（train），...，x（train）∈Rd和n测试sam-φ（1）：=ej，i.（七）ples，x（测试）11、...、x（测试）M∈Rd，每个都可以是正规的然后输出这些距离的最大值（即，max-pooling）：或异常。对于测试样本x（test），我们的算法应该输出低（或高）的异常分数s（x（test）），如果h（1）：=maxφ（1）（8）我（测试）Nij∈Nixi是正常的（或异常的）。在局部离群值方法中，基本问题是：如何使用样本x（测试）到其最近邻的距离来计算其异常分数？更新最后，它输出此聚合消息作为异常分数：在下面的部分中，我们将展示许多局部离群值方法可以被视为消息传递的特殊情况γ（1）：=h（1）Ni（九）GNN使用的框架5统一框架局部离群值方法从最近的相邻点收集信息以计算统计量来指示给定点的异常性。这个过程符合（5）中概述的GNN消息传递框架。为了便于理解，我们使用KNN提案1. KNN是公式（5）中的消息传递方案的特殊情况。证据可以使用上面公式化的消息、聚合和更新函数来计算KNN异常分数。通过将这些函数代入（5）中相应的对应函数，我们得到：特别是示例：KNNKNN（i）=max（ej∈Nij，i），（十）回想一下，KNN基于到点的第k个在消息传递的上下文中，每个数据样本对应于图中的一个节点，并且节点i经由有向边（j，i）连接到其k个最近邻居ji中的每一个，其中边特征ej，i等于它们之间的距离（k-NN图）：这是（5）中的消息传递框架的一种特殊的单层情况。类似的分析可以应用于LOF和DBSCAN，它们是具有两轮消息传递的两层情况。例如，在LOF中，第一层如（3）中那样计算局部可达性密度，并且第二层如（4）中那样计算局部离群值分数表1正式列出ej，i =dist（xi，xj）如果j ∈ Ni.0否则。（六）这些联系，以及更多局部离群值方法的扩展版本可以在补充材料中找到我+v：mala2255获取更多论文.Ni图1：LOF与LUNAR分配的评分轮廓。红色表示高（异常）分数，蓝色表示低（正常）分数。分数用黑色十字标记，得分最高的前15名用红色正方形标记。第六章动机：重要性易学性局部离群值方法缺乏可训练的参数，这些参数使它们能够针对给定的训练集优化其性能在本节中，我们将说明这会妨碍它们的整体准确性。为此，我们将LOF的性能与我们的新方法LUNAR进行了比较，拟合到训练数据，最高的异常分数被更准确地给予稀疏的中心点。我们现在全面描述其方法。7 LUNAR：方法概述我们的方法涉及一个单层图神经网络，如（5）所述的消息传递框架。我们将一组数据表示为一个图，其中一个节点对应于每个数据样本，有向边将目标节点连接到一组源节点，这些源节点是样本的最近邻居。对于给定的目标节点，网络利用来自其最近邻节点的信息来学习其异常分数。它与其他GNN实现的不同有几个原因：• 我们构建的k-NN图的任何特征为基础的，禁忌数据集，而不是被限制到图形数据集。• 我们使用节点• 我们使用可学习的消息聚合函数，而大多数GNN使用固定的聚合方法。7.1模型设计我们现在更详细地描述LUNAR中使用的方法，从如何制定图表开始。对于数据样本xi，我们定义一个目标节点i和将其连接到所有j的源节点j的边（j，i），其中xj在xi的k个最近邻居的集合中。边缘特征向量等于两点之间的欧几里德从四个高斯分布中采样的1000个由于完全纯的训练集在实践中很少见，我们也从均匀分布中生成15个点，ej，i=dist（xi，xj）如果j ∈ Ni.0否则。（十一）数据边界。这些点比其他点稀少和稀疏得多，因此它们不应该显著影响预测的正常区域。在图1中，低分数（蓝色）表示预测的正常区域，而高分（红色）表示预测的异常区域。具有前15个异常分数之一的点用红色方块指示。我们测试的方法与一个小的和大的值的超参数dictat-求最近邻的个数（k）。在低k的情况下，LOF分数在四个聚类周围是低的，但是在远离这些聚类的地方也是低的，附近的训练点很少或没有。由于该区域中极少数点的相对稀疏性的强烈影响，中心外围区域特别显得正常。然而，在k较大的情况下，LOF分数错误地偏高，由于假设训练样本都是正态的，我们只在训练样本中搜索最近的邻居，所以异常不会影响邻居。这样，我们在（5）中定义消息、聚合和更新函数如下：消息从源节点j沿着边（j，i）传递到目标节点i的消息等于边特征ej，i（即点之间的距离）：φ（1）：= ej，i.（十二）我们使用可学习的聚合，而不是固定的平均值或最大池，这适合我们的设置，因为我们正在处理固定大小（k）的节点邻域。我们的消息聚合包括连接它们给出一个k维向量e（i），其中每个条目在左下角的较小的一组。LOF无法识别聚类的存在，因为它包含的点较少表示xi到其对应邻居的距离：而不是k，而是预测所有附近的点都是异常的。这些问题是具有挑战性的局部离群值方法e（i）：=[e月1、...、ek我]∈ Rk.（十三）缺乏直接从数据中学习更优化的评分机制的能力这个向量被映射到一个单一的标量值表示-通过神经网络计算节点i相比之下，LUNAR的可学习性使其能够在k个区域中表现得更好，更鲁棒：h⑴：=F（e⑴，Θ），（14）与正常或异常分数的签名更接近其中Θ是神经网络F的权重。+v：mala2255获取更多论文∈我−我我i=1我i=1（火车）{x}米。z<$N（0，I）∈Rd，x（负）=x（列车）+M εz。（十七）表2：实验中使用的数据集的统计Update最后，update函数输出这个学习到的聚合消息：γ（1）：= h（1）。（十五） Ni我们使用一个损失函数来训练GNN，使其对正常节点输出0分，对异常节点输出1分。由于所有训练点均为正态类，因此，该网络在不考虑输入的情况下输出零分，从而达到理想的训练精度为了避免这种简单的解决方案，我们生成-评估负样本作为人工异常，训练模型为负样本节点输出1分。通过这种方法，我们的目标是学习正常样本和阴性样本之间的决策边界，该边界生成测试集中的真实异常在下一节中，我们详细说明如何生成负样本。7.2负采样负样本已被用于将监督引入到无监督任务中，例如在对比学习中（Chen其中ε是一个小的正常数，MRd是二进制随机变量的向量。M中的每个元素都有概率p为1（1p为0），这决定了要扰动的特征尺寸。我们使用p=0。3在所有实验中在补充材料中，我们展示了实验中LUNAR与其他方法的运行时间。我们看到LUNAR比测试的其他深度方法（例如33. LUNAR为71秒，五十五HRSS数据集上的DAGMM为92秒）。月球避免了直接在高维特征数据上进行训练，它的输入，而不是使用点之间的距离，这说明了更快的训练时间。与所有局部离群值方法一样，LUNAR的一个局限性在于寻找k个最近邻。这主要是在非常高维的空间中的问题，例如图像数据，其中距离度量变得不那么有意义（Beyer et al. 1999）。目前，将LUNAR应用于更高维度的研究还有待于进一步的研究理论性质我们统一方法的另一个好处是，我们可以用它来表征我们框架中几乎所有局部离群值方法（包括LUNAR，KNN，LOF和DBSCAN）的理论性质。算法的一个简单但重要的性质是它们在变换下的对称性，这与理解它们的归纳偏差或它们用于推广到未知数据的假设非常相关。令s（x;{x}m）是任何低的异常分数，等人2020），以及异常检测（Sipple 2020）。i i=1他们需要与正常人有足够的区别给定训练数据，在x处评估的cal离群值方法（火车）我i=1如此不相似以至于任务太容易，并且学习的边界无法将正常样本与真实异常区分开。考虑到这一点，我们结合了两种生成命题2（Transformation Equivariance）给定任何距离保持变换f，得分s是变换等变的;即，阴性样本如下：s（x;{x（train）}m）=s（f（x）;{f（x（train））}m）（十八）第一种方法涉及从均匀分布生成负样本：x（负）<$U（−ε，1+ε）∈Rd，（16）其中ε是一个小的正常数。为了简单起见，我们使用=0。1在所有实验中训练数据被归一化到范围[0，1]，因此这些样本覆盖了数据边界。然而，正常数据在这些界限内占据小得多的子空间，因此这些负样本中的许多将远离正常数据并且对于学习无效决策边界。我们通过生成一组额外的更“困难”的阴性样本来补充这一点在第二种方法中，我们通过在正常样本的特征维度的子集中向正常样本添加高斯噪声来生成负样本：例如，s与旋转、平移和反射等变证据 如表1所示，所有这些方法计算距离dist（xi，xj）或到达（xi，xj）作为输入，并且不以任何其他方式使用输入特征xi。将f应用于训练和测试数据不会改变它们之间的（可达性）距离，因此也保留了分数s。8实验我们现在用真实数据集进行实验，以回答以下研究问题：RQ 1（准确性）：LUNAR在检测真正异常方面是否优于现有基线？RQ2（鲁棒性）：LUNAR对邻域大小k的变化是否比现有局部离群值模型的样本来学习决策边界，但不数据集#尺寸#暗淡异常数量HRSS905152010187MI-F24955582050MI-V22905583942OPTDIGITS521664150Pendigits687016156卫星643536399班车4909793511甲状腺720021534+v：mala2255获取更多论文F数据集如果ORESTOC-SVMLOFKNNAEVAEDAGMMSO-GAALDN2月球HRSS59.6161.0360.1362.0961.1663.3055.9345.9060.2092.17**MI-F84.2478.6563.0778.0871.5378.6381.4532.0777.2684.37MI-V84.2874.5679.1482.7182.4275.9678.1955.3462.5496.73**OPTDIGITS79.3459.8499.5396.5797.4686.7175.5674.3534.9899.76Pendigits96.7094.0898.1898.4296.4294.7695.9894.6585.3099.81美元**卫星80.1064.6484.2586.0781.4866.0978.2284.1675.3785.35班车99.6498.2999.8099.5699.2698.3399.5199.3896.9799.97美元**甲状腺76.3052.8168.6763.0164.3451.5470.9160.1358.0985.44美元**表3：每个数据集上每种方法的AUC评分。最好的分数用粗体突出显示。用 ** 标记的平均分数大于显著性水平为p 0的下一个最佳执行方法<。01，根据t检验。更多显著性检验结果见补充资料。方法？RQ 3（消融研究）：我们的方法学变化如何影响其性能？8.1数据集在我们的实验中使用的每个数据集都是公开可用的，并且由正常（0）类和异常（1）类组成。表2概述了这些国家及其主要统计数据。当我们专注于无监督情况时，其中训练集仅由标记为正 常的样 本组成（ 所有标 记的异 常都在 测试集中）。我们使用曲线下面积（AUC）来衡量性能。测试集中异常的相对在剩余的正常样本中，它们被85：15分成训练集和验证集。我们分别为训练集和验证集随机生成对于所有实验，我们在两组中使用1：1的阴性：正常样本比例。8.2训练过程在（14）中，神经网络由四个完全连接的隐藏层组成，所有隐藏层的大小都是256。除了输出层的sigmoid函数外，所有层都使用tanh我们使用均方误差作为损失函数，Adam（Kingma and Ba 2014）用于优化，学习率为0。001，权重衰减为0。1.一、我们对模型进行了200个epoch的训练，并使用具有最佳验证分数的模型参数作为最终模型。它是在Windows操作系统上使用PyTorch Geometric和Nvidia GeForce RTX 2080 Ti GPU实现的。8.3基线我们使用PyOD库（Zhao，Nasrullah和Li 2019）实现IFOREST，OC-SVM，LOF ，KNN 和基 于GAN 的SO-GAAL（Liu等人2019）。我们还实现了Pytorch中内置的 深 度 自 动 编 码 器 （ AE ） 和 VAE 最 后 ， DN2（Bergman，Cohen和Hoshen 2020），它使用从一个深度的，预先训练好的特征提取器由于我们感兴趣的是表格数据而不是图像数据，与原始文件不同，我们使用自动编码器（与AE中的模型相同）进行特征提取。8.4RQ 1（准确度）：表3显示了每个数据集的每种方法的AUC评分（乘以100）。我们使用AUC，因为它不依赖于用户定义的分数阈值来预测正常或异常标签。所示的分数是用不同随机种子进行的五次重复试验的平均值。对于使用除非另有说明，否则所有结果都是k=100作为邻居的数量我们看到LUNAR在所有数据集上都提供了最好的性能 ， 除 了 SATELLITE ， KNN 稍 好 。 特 别 是 对 于HRSS、MI-V和甲状腺数据集，我们的方法的性能明显优于基线：比第二好的方法好10到30我们的得分由 **标记，显著优于每个数据集的第二个最佳性能方法，显著性值为p<0。01根据t检验。8.5RQ2（对邻域大小的鲁棒性）：LOF、KNN和DN2也使用一个点的k个最近邻来确定它的连续性。在表4中，我们显示了这些方法对于不同k的性能。我们看到，这些方法极大地依赖于k的值。例如，他们的得分分别下降了26、24和25个百分点当k从2增加到200时，HRSS分别为。形成鲜明相比之下，LUNAR在相同范围内的性能仅下降3个点。LUNAR在绝大多数数据集和k设置中提供最佳性能。我们的方法不仅性能更好，但保持更强的性能，为不同的。k的平均值。这是因为它能够学习有效地使用来自所有k个邻居的信息，而其他方法会丢失来自大多数邻居的信息，这是由预设的聚合规则决定的。8.6RQ 3（消融研究）：表5分别显示了子空间扰动（SP）和均匀（U）负样本的性能。SP阴性样本的性能优于U样本+v：mala2255获取更多论文KLOFKNNDN2月球LOFKNNDN2月球LOFKNNDN2月球MI-F MI-V282.0886.2585.2893.8890.4377.8491.1381.5094.3194.5886.7696.061067.9865.5362.4092.6786.4173.4685.5882.3992.6088.5377.9296.095061.6662.7160.4692.2167.1771.6978.6683.5878.6183.2964.9696.3810060.1362.0960.2092.1763.0778.0877.2684.3779.1482.7162.5496.7315057.2261.8160.1491.6160.6080.7976.3382.8280.7382.8661.7796.5320055.5961.8660.2290.0970.8982.8575.9384.4781.7582.6561.6796.30Avg.64.1167.1064.7992.1173.1077.4580.8283.1984.5285.7769.2796.35OPTDIGITS PENDIGITS卫星299.5899.9150.9099.9199.3799.8481.0899.8485.0587.7280.1687.801099.9299.6345.8499.7999.6799.7780.7499.8285.3886.7779.4387.835099.7298.4139.2399.8198.7998.7981.8399.8083.4486.0776.5287.5810099.5396.5734.9899.7698.1898.4285.3099.8184.2586.0775.3785.3515099.1194.8533.1099.7397.5898.0786.3999.7684.8685.8574.4883.9520098.6393.1332.1499.7897.1997.5285.4999.7185.2185.4673.3984.70Avg.99.4197.0939.3799.7998.4698.7483.4799.7984.6986.3276.5586.08KLOFKNNDN2月球LOFKNNDN2月球梭形甲状腺299.6499.9898.9499.9883.7080.2864.0983.381099.9199.9398.2299.9583.6973.8762.7184.245099.7499.6897.1999.9774.4166.4959.8886.0110099.8099.5696.9799.9768.6763.0158.0985.4415099.8099.4396.6899.9567.2062.2656.8686.0820099.6999.3296.4599.9766.5861.2456.2686.67Avg.99.7699.6597.4199.9674.0467.8659.6585.31表4：不同k值和平均值的LOF、KNN、DN2和LUNAR的AUC评分在所有K。每一项的最佳性能都以粗体突出显示。负采样方案数据集SP U混合人力资源和社会保障MI-FMI-VOPTDIGITS93.8199.86 99.76铅笔99.7899.8299.81卫星穿梭机99.96 99.5499.97甲状腺85.9945.42 85.44表5：不同阴性样品类型的AUC评分除了OPTDIGITS数据集，其中单独的SP样本对于小的k值给出差的性能。总的来说，在大多数情况下，混合使用这两种类型可以获得最佳性能有关神经网络尺寸和深度的进一步消融研究，可以在补充材料中找到。总的来说，我们发现更深更广的消息聚合网络可以提供最佳性能。9结论我们已经研究了局部离群值方法，这是实践中最成熟和最流行的异常检测方法，它使用数据样本到其最近邻居的距离来检测异常。我们提供了一个统一的框架，该框架表明，许多局部离群方法被视为图神经网络中使用的消息传递方案的特殊情况。然后，我们提出了LUNAR，它基于这个共享框架，但也能够通过使用图神经网络来学习和适应不同的数据集。我们表明，我们的方法在各种数据集上的表现明显优于基线，包括其他基于深度学习的方法我们的方法还保持了其强大的性能，为不同的邻域大小比其他本地离群值的方法，因为它是独特的能力，从所有传入的信息，从邻居学习确认这项工作得到了NUS ODPRT Grant R252-000-A81-133的部分支持。+v：mala2255获取更多论文引用Abati，D.; Porrello，A.; Calderara，S.;和Cucchiara，R.2019.用于新颖性检测的潜在空间自回归。InICCV，481Amarbayasgalan，T.; Jargalsaikhan，B.;和Ryu ，K. H.2018.使用深度自动编码器和基于密度的聚类进行无监督新奇检测。应用科学，8（9）：1468。An，J. 2015.基于变分自编码器的重构概率异常检测。在SNU数据挖掘中心2015-2 IE专题讲座。Angiulli，F.;和Pizzuti，C. 2002. 快速离群点检测 在高维空间中。在欧洲会议上的原则，数据挖掘和知识发现，15-27。斯普林格。Bergman，L.; Cohen，N.;和Hoshen，Y. 2020.深度最近邻异常检测。arXiv预印本arXiv：2002.10445。Beyer，K.; Goldstein，J.; Ramakrishnan，R.; Shaft，U.1999.什么时候“最近邻”有意义？在国际数据库理论会议上，217-235。斯普林格。Breunig，M. M.; Kriegel，H. P的; Ng河T.;和Sander，J.2000. LOF：识别基于密度的局部离群值。在2000年ACM SIGMOD国际数据管理研讨会上，93蔡湖;陈志;罗，C.; Gui，J.; Ni，J.; Li，D.;和 Chen，H.2020.动态图中异常检测的结构时间图神经网络。arXiv预印本arXiv：2005.07427。Chen ， T.; Kornblith ，S.; Norouzi，M.;和 Hinton ，G.2020.视觉表征对比学习的一个简单框架机器学习国际会议，1597-1607。PMLR。崔，Z.;Henrickson，K.;Ke，R.;和Wang，Y.2019年。Traffic Graph Convolutional Recurrent Neural Network：一 个 用 于 网 络 规 模 流 量 学 习 和 预 测 的 深 度 IEEETransactions on Intelligent Transportation Systems ， 21（11）：4883Deng，A.;和Hooi，B. 2021.基于图神经网络的多元时间序列异常检测。在AAAI人工智能会议论文集，第35卷，4027Ester，M.; Kriegel，H. P的; Sander，J.; Xu，X.;等，1996年。 一种基于密度的含噪声大型空间数据库聚类发现算法。在kdd，卷96，226范，W.;马，Y.;李，Q.;他，Y.;Zhao，E.;唐，J.;和尹，D. 2019年。用于社交推荐的图形神经网络万维网会议，417冯，W.;和Han，C. 2015.一种新的轨迹特征表示和异常轨迹检测方法。ISIF，1093Gilmer ， J.; 舍 恩 霍 尔 茨 ， S 。 S. 的 ; Riley ， P. F.;Vinyals，O.;和Dahl，G. E. 2017.量子化学的神经信息传递。机器学习国际会议，1263-1272。PMLR。Goodge，A.; Hooi，B.; Ng，S. K.的;和Ng，W. S. 2020.自编码器在对抗性冲击下的异常检测鲁IJCAI金，W.;Tung，A.K. H.的; 汉，J.;和Wang，W.2006年。使用对称邻域关系对离群值进行排序。InPAKDD，577-593. 斯普林格。金 ， K. H. 的 ; Shim ， S.; Lim ， Y.; Jeon ， J.; 崔 ， J.;Kim，B.;和Yoon，A. S. 2019. RaPP：新颖性检测与投影路径重构.在ICLR。Kingma，D. P的;和Ba，J. 2014。Adam：一种随机优化方法。arXiv预印本arXiv：1412.6980。克里·吉尔，H.- P.; K r？oge r，P.; 舒伯特，E。; 和Zimek，A. 2009年a。Loop：local outlier probabilities。第18届ACM信息和知识管理会议论文集，1649克里·吉尔，H.- P.; K r？oge r，P.; 舒伯特，E。; 和Zimek，A. 2009年b。高维数据轴平行子空间中的离群点检测。亚太知识发现与数据挖掘会议，831-838。斯普林格。Liu，F. T.; Ting，K. M.;和Zhou，Z.- H. 2008.隔离森林。2008年第八届ieee国际数据挖掘会议，413-422。美国电气与电子工程师协会。刘玉; Li，Z.; Zhou，C.;江，Y.;孙，J.;王，M.;他，X。2019.用于无监督离群点检测的生成对抗主动学习。IEEETransactionsonKnowl-edgeandDataEngineering，32（8）：1517Malhotra， P.;Vig ，L.;Shroff，G.; 和Agarwal ，P.2015年。 基于长 短期记 忆网络 的时间 序列异 常检测 。InESANN ， 89PressuniversitairesdeLouvain.ISBN2875870157。Nicolau，M.; McDermott，J.;等，2016年。一种用于异常检测的混合自动编码器和密度估计模型。在国际会议上并行问题解决的性质，717-726。斯普林格。Papadimitriou ， S.;Kitagawa ， H.;Gibbons ， P.B.人 ; 和Falout-sos，C.2003年。Loci：使用局部相关积分的快速 离 群 点 检 测 在 Proceedings 19 th internationalconference- ence on data engineering （ 目 录 号 03 CH37405），315-326中。美国电气与电子工程师协会。Ruff，L.; Vandermeulen，R.; Goernitz，N.; Deecke，L.;Sid-diqui，S. 一、 Binde r，A.; Mülle r，E.; Kloft，M.2018年深一级分类。InICML，4393Sakurada，M.;和Yairi，T. 2014.使用具有非线性降维的自动编码器的异常检测。在劳动和社会民主事务部，4。ACM。ISBN 1450331599。Schl e gl ， T.;Seebo ？ ck ， P.;Waldste