图形深度学习方法在图级异常检测中表现较差

+v：mala2277获取更多论文提高图级异常检测的标准Chen Qiu1，2，Marius Kloft2，Stephan Mandt3和MajaRudolph11博世人工智能2TU Kaiserlestern，德国3美国加州大学欧文分校Chen. de.bosch.com，kloft@cs.uni-kl.de，mandt@uci.edu，maja. us.bosch.com摘要图级异常检测已经成为金融欺诈检测、社会网络异常检测等领域的重要研究课题。虽然大多数研究都集中在视觉数据（如图像）的异常检测上，其中已经获得了高检测精度，但现有的图形深度学习方法目前表现出相当差的性能。本文提出了图级异常检测的标准，即，在一组图中检测异常图的任务。通过借鉴自监督学习和变换学习的思想，我们提出了一种新的深度学习方法，通过修复现有的深度单类方法的一些已知问题，包括超球崩溃和超球翻转，显着改进了现有的深度单类方法在涉及九种技术的九个真实数据集上的实验表明，我们的方法实现了平均性能提高-11号门与现有最佳方法相比，AUC为8%。1介绍异常检测（AD）是扫描系统中未知威胁的重要工具。许多基于网络的系统最好用图来表示，并且已经有关于检 测 图 中 的 异 常 节 点 和 边 的 工 作 （ Akogluet al. ，2015）。然而，在许多应用中，询问整个图是否异常更相关。例如，在具有代表个人、企业和银行的节点以及代表交易的边的金融网络中，可能难以通过查看单个节点和边来检测某些犯罪活动（Jullumet al. ，2020）。聪明的罪犯可以在看似无辜的交易背后隐藏他们的意图。然而，与洗钱计划相关联的通过使用图形级AD工具，我们可能能够检测整个犯罪网络，而不是标记单个实体。不幸的是，在使深度异常检测的进步适应图级AD方面取得的成功有限（Zhao9080706050图1：单类图变换学习（OCGTL）（我们的）和单类GIN（OC-GIN）（Zhao和Akoglu，2021）在SEC的几个数据集上的AUC比较。4. OCGTL提高了异常检测的准确性。和Akoglu，2021）。我们的工作解决了这个缺点。对于图级AD，我们假设可以访问典型图的大型数据集，例如社交网络中的社区数据集或金融网络的快照数据集。训练数据中的所有图都被认为是“正常的”。目标是使用数据来学习异常评分函数，然后可以使用该异常评分函数来对新图形正常或异常的可能性进行评分。重要的是，术语图级AD是指检测整个异常图，而不是定位图中的异常。最近，在AD中使用深度学习的趋势是图像（Golan和El-Yaniv ， 2018 ） 或 表 格 和 序 列 数 据 （ Qiu 等 人 ，2018）。，2021）。然而，对图的深度AD的研究有限。这看起来可能令人惊讶，因为通过定义适当的特征映射，将用于表格数据的深度AD方法直接应用于图形。然而，Zhao和Akoglu（2021）发现，由此产生的方法通常接近随机，到目前为止，尝试采用现代AD方法（基于深度学习）来实现图级AD还没有成功。我们开发了一类图转换学习（OCGTL），这是一种结合了深度一类分类（OCC）和自我监督的图级AD新模型。图2提供了该方法的草图。OCGTL架构-OCGIN（Zhao and Akoglu，2021）OCGTL（我们的）arXiv：[cs.LG] 2022年5月AUC（%）DDPROT酶NCI1MutagIMDB-BRDT-BRDT-M艾滋+v：mala2277获取更多论文图2：OCGTL程序的草图。给定一个图（左），我们使用一组GNN将后者嵌入到潜在空间中。不同的GNN嵌入被训练成既多样又接近所谓的参见第二节。3更多详情该架构由K+1个图神经网络（GNN）组成，这些网络在两个互补的深度AD损失上进行联合训练。节中3.2我们证明，这种新的组合损失减轻了以前的深度AD方法的已知问题（Ruffet al. 、2018;Zhao和Akoglu，2021）。图1显示该方法显著提高了图级AD性能的标准在一项广泛的实证研究中，我们在9个真实世界的数据集上评估了9种方法。我们的工作使图上的深度AD与其他领域同步，提供了一种全新的方法（OCGTL），并为未来的进展铺平了道路。概括而言，我们的主要贡献如下：• 我们开发了OCGTL，这是一种用于图级AD的新型端到端方法，它结合了OCC和神经转换学习的优点1• 节中3.2，我们从理论上证明了OCGTL不受Zhao和Akoglu（2021）目标下的最优无用平凡解的影响。• 节中4.我们在九个真实世界的图数据集上研究了九种方法（四种是新开发的），范围从社交网络到生物信息学数据集。我们改进了现有的深度方法的架构图级AD。然而，OCGTL显着提高了异常检测的准确性比以前的工作。2相关工作深度异常检测。深度AD已经在各个领域受到了广泛关注（Ruffet al. ，2021）。深度AD的相关工作可以归纳为 以 下 几 类 。 深 度 自 动 编 码 器 变 体 （ Zonget al. ，2018）基于重建误差检测异常。深一类网络（Ruffetal. ，2018）在OCC目标上训练以将法线数据映射到嵌入空间中的中心附近。他们根据离中心的距离给异常点打分。深度生成模型基于密度估计检测异常（Zhangetal. ，2021）或使用生成对抗网络的方法（Deeckeetal. ，2018）。自监督AD方法在图像处理方面取得了巨大的成功，1代码可在https://github.com/boschresearch/GraphLevel-AnomalyDetection获得年龄（Ruffet al. ，2021）。他们依靠自我监督任务进行训练和异常评分。自我监督任务通常需要数据增强，例如，用于转化预测（Golan和El-Yaniv，2018）。另一种使用数据扩充的自我监督范例是对比学习（Chenetal. ，2020）。在AD的对比学习中，变换（例如旋转）图像被视为阴性样本（Sohnet al. ，2020）。对于图像以外的数据类型，手工制作转换是具有挑战性的。数据驱动的神经转换（Qiuet al. 2021年）在AD中取得了成功。图形异常检测。在大型图中发现异常节点或边被广泛研究（Akogluet al. ，2015）。 用于节点级和边缘级AD的基于深度学习的方法已成功应用于静态和边缘级AD（Dinget al. ，2019 年，2020 年）和动态图（Yoonetal. ，2019;Zhengetal. ，2019）。相比之下，我们在本文中研究的问题，即图级AD的深度学习，受到的关注较少。Zhao和Akoglu（2021）首先探索了如何扩展深度OCC以用于图级AD并开发单类GIN（OC-GIN）。他们还引入了两阶段图级AD框架-使用图嵌入模型或图内核。然而，所有这些尝试尚未为图级AD产生坚实的基线。Zhao和Akoglu（2021）报告说，这些方法存在我们研究如何克服它。图的深度学习。GNN可以自动地从图中提取特征，并在图的分类和表示学习中发挥重要作用图卷积网络（Kipf和Welling，2016）通过聚合节点邻居的表示来学习节点表示 Errica等人（2020）提供了用于图分类的各种GNN的公平比较。一个突出的例子是图同构网络（GIN）（Xuet al. ，2018 a），它被证明与Weisfeiler-Lehman图同构测试一样强大，并且是我们在本文中研究的所有基于GNN的AD方法所使用的架构。3一类图变换学习的异常检测我们提出了一种新的方法，图级AD。单类图变换学习（OCGTL）结合了深度OCC的互补优势（Ruffet al. ，2018;Zhao和Akoglu，2021）和具有可学习转换的自监督AD（Qiuet al. ，2021）。我们新的自我监督方法旨在克服深度OCC的已知问题深OCC目标倾向于一个平凡的解决方案，称为超球坍缩。深度单类目标鼓励训练数据中的图的所有图嵌入集中在超球体内。当特征提取器学会将所有输入映射到超球体的中心时，这个任务可以完美地解决。我们的模型可证明克服超球崩溃正规化的一类条款的目标与变换学习项。由此产生的模型更灵活（例如，超球体中心可以被视为可训练的参数），训练更鲁棒，尽管增加了灵活性。+v：mala2277获取更多论文Ck.ΣKτkl···Σǁ ǁǁ ǁLLhv =GNN∈ZLhv，hu|u ∈ N（v）GvZhao和Akoglu（2021）开发了第一个用于图级AD的深度在他们的论文中，他们报告了图形级AD中的一个额外的实际困难，他们称之为性能翻转问题。在他们的许多实验中，他们的训练模型（OCGIN）系统地将异常与正常样本混淆。这项工作的目标是克服超球崩溃和性能翻转。我们的模型由GNN的集合组成。其中一- 参考特征提取器-产生其输入图的参考嵌入。其他GNN特征提取器生成图的替代我们的方法的对象有一个单类项和一个转换学习项。单类项的目的是将所有潜在视图集中在嵌入的超球体图变换学习项神经转换学习（Qiuet al. ，2021）是深度AD的自我监督训练目标，其在时间序列和表格数据上取得了成功。在这里，我们推广了Qiuet al.（2021）的训练目标（通过删除参数共享约束），并将其应用于图。对于图G，图变换学习的损失鼓励每个GNN的嵌入fk（G）与参考GNN的嵌入f（G）相似，而彼此不相似。因此，每个GNNfk能够提取图级特征以产生不同的G的观点。每个图对目标的贡献是K空间 转型学习有竞争的目标LGTL（G）=−logck（二）以使每个视图预测参考嵌入。它鼓励潜在的观点是多样的，但语义k=1其中c=exp1 sim（f（G），f（G）），有意义的通过以这种方式抵消一类项，超球坍缩可以被证明避免。满足目标的两个方面所产生的紧张关系还有其他好处。 特别是，它导致 更难的自我监督任务，这反过来又会导致更好的KCk= Ck+τl/=kexpK. 1sim（f（G），f（G））≠ 1，异常检测性能。当训练目标难以满足时，训练后的模型必须对正常数据的典型显著特征更敏感。不具有这些特征的新图会产生更高的损失，然后更容易被检测为异常。此外，这两个损失贡献集中在不同的概念之间的距离图嵌入。单类项基于欧几里得距离，而变换学习损失基于嵌入之间的角度。与合并损失作为异常得分，我们的方法是敏感的异常嵌入配置的角度之间的潜在的意见，并在欧几里得距离。在本节中，我们首先介绍OCGTL，然后详细介绍其主要成分，包括具有可学习转换的自监督AD然后，我们提出了OCGTL背后的理论。3.1建议方法-OCGTLOCGTL结合了OCC和神经变换学习的优点 OCGTL体系结构由参考特征提取器f和K个附加特征提取器fk（k=1，，K），如图2所示，它们被联合训练。每个特征提取器都是参数化的功能（例如，GNN），其将属性图G ={V，E，X}作为输入，其 中 顶 点 集 V 、 边 E 和 节 点 特 征 （ 属 性 ）X={xv|v∈V}并将其映射到一个嵌入其中τ表示温度参数。相似度在这里被定义为余弦相似度sim（z，z′）：zT z′/ z z′。注意，上述损失比Qiu等人提出的损失更一般。（2021）因为它忽略了一个参数在转换之间共享约束。这一选择受到You等人的观察的启发。（2020）不同的图形类别偏好不同类型的转换。一级术语一类分类（OCC）是AD的流行范例（Noumiret al. ，2012）。这个想法是将数据映射到一个包含所有正常训练数据的最小超球体边界外的数据点被认为是异常的。每个图G对我们的OCC目标的贡献是KLOCC（G）=<$（fk（ G）−θ）<$2（3）k=1损失函数惩罚图G到中心θ的距离，我们将其视为可训练参数。在以前的深OCC方法中，中心θ必须是固定的超参数以避免方程n的平凡解。（3）.使用GNNs进行对于图形数据，参数化特征提取器f和通过GNN的f1，· · ·，fK是有利的。在每一层l处，空间Z.这些K+1个特征提取器被联合GNN维护每个节点的节点表示向量h（l），关于OCGTL的损失，OCGTL=EG[OCGTL（G）]。每个图在训练数据中，对损失有两项贡献，节点vv. 该表示是基于预v及其邻居N（v）的可见层LOCGTL（G）= LOCC（G）+LGTL（G）。（一）第一个术语LOCC（G）是一个单类术语;它鼓励所有（l）（l）.（l−1）（l−1）嵌入尽可能接近同一点θ。第二项GTL强制每个GNN下文详细介绍这两个术语然后将每个图层特定于层的图形表示，h（l）= READOUT（l）。h（l）|v ∈ G<$，（5）.（四）+v：mala2277获取更多论文.Th=CONC A Th |l=1，...，L.（6）GLLLLLL≥L-L||||Σ2LEL≥它们被连接成图形级表示，（l）G这 种 连 接 引 入了来 自 不 同 层 次 的 信 息 （ Xuet al. ，2018b）到图形表示中。我们在SEC的实证研究。图4示出了读出函数的选择（其确定节点表示如何被聚合成图形表示）对于可靠地检测异常是特别重要的。OCGTL异常评分OCGTL是一种端到端的图级AD方法。在训练期间，GNN在Eqn上训练。（1）. 在测试期间，OCGTL（Eqn.（1））直接用作异常图检测的评分函数。测试样品上的低损失意味着该图可能是正常的，而高损失则指示异常。OCGTL的一个优点是，它的损失使它更敏感的不同类型的异常，同时考虑嵌入和欧几里得距离之间的角度。相反，基于OCC的方法通常依赖于只有Euclidean距离。与基于OCC的方法相比，OCGTL的另一个优点是其训练更鲁棒，并且AD模型可以更灵活。我们接下来证明这一点。目 的 是 使 视 图 预 测 参 考 嵌 入 ， 在 这 种 情 况 下 ，GTL

下载后可阅读完整内容，剩余1页未读，立即下载