基于不完全异常知识的异常检测与异常感知双向GAN

+v：mala2277获取更多论文基于不完全异常知识的异常检测与异常感知双向GAN田博文1，苏勤良1，2，殷建2，3，1中山大学计算机科学与工程学院广州2广东省大数据分析与处理重点实验室广州3中山大学人工智能学院广东tianbw@mail2.sysu.edu.cn，{suqliang，issjyin} @mail.sysu.edu.cn摘要异常检测的目标是从正常样本中识别出在本文中，假设少量异常在训练阶段是可用的，但假设它们仅从几种异常类型中收集，大多数异常类型根本不在所收集的异常数据集中表示。为了有效地利用由所收集的异常表示的这种不完整的异常知识，我们建议学习一种概率分布，该概率分布不仅可以对正常样本进行建模，而且还可以保证为所收集的异常分配低密度值。为此，开发了一种异常感知的生成对抗网络（GAN），除了像大多数GAN那样对正常样本进行建模之外，它还能够显式地避免收集到的异常样本的签名概率。此外，为了便于计算异常检测标准，如重建误差，所提出的异常感知GAN被设计为双向的，为生成器附加编码器。大量的实验结果表明，我们提出的方法能够有效地利用不完整的异常信息，导致显着的性能增益相比，现有的方法1。1介绍异常检测的目的是从正常样本中识别出异常样本，其应用广泛存在于网络安全等领域[Garcia-Teodoroet al. ，2009]、金融欺诈检测[Abdallahet al. ，2016]，工业损害检测到医疗诊断[Fernandoet al. ，2021]等。在异常检测中，正常数据通常是指保留某些类型的样本（通常由一种或多种类型的样本组成），而异常通常缺乏明确和清晰的定义。通常，任何显著偏离正常值的样本都被认为是异常。显然，根据这个定义，*通讯作者。1代码可在www.example.com上获得https://github.com/tbw162/AA-BiGAN。(a) （b）监督（c）我们的图1：利用收集的异常进行异常检测的不同方法的图示。a）忽略所收集的异常; b）找到分离所收集的异常和正常样本的决策边界; c）对正常样本的分布进行建模，同时确保所收集的异常的低密度。颜色越深，密度值越高。异常现象的数量很多有时甚至是无限的异常的极端多样性使异常检测问题区别于其他任务，也给异常检测带来了重大挑战。现有的异常检测方法可以大致分为监督和非监督类别。通过假设在训练期间对异常的完全可访问性，监督方法将异常检测问题转化为分类问题。异常样本的收集通常更加困难和昂贵，因此仅依赖于使用正常样本的非监督方法在实践中得到更广泛的应用尽管很难从每种异常类型中收集异常，但通常可以从一种或几种类型中收集异常。例如，通过将皮肤病的图像视为异常，容易收集通常观察到的皮肤病的一些图像，但是不可能收集所有已知和未知皮肤病的图像。在异常采集不完全的情况下，我们仍然可以采取无监督的方法，忽略已经采集到的异常。但这种方法肯定不会导致最佳性能，因为没有利用可用的异常知识，如图1（a）所示。另一方面，监督方法本质上是寻求找到一个决策边界，可以将正常样本和收集到的异常样本分开。然而，由于所收集的异常仅表示所有异常类型的一部分，所以当存在未看见类型的异常时，分类器可能不能正确地对其进行分类，arXiv：2204.13335v1 [cs.LG] 2022年4月+v：mala2277获取更多论文∫···ǁ −ǁ||·|||如示于图1（b）.为了利用不完全收集的异常，在[G？ rnitzetal. ，2013]，它学习了一个紧致的h型r-球面用于检测异常。 在[Schleglet al. ，2017]，通过玩最小-最大游戏来训练香草GAN对正常数据进行建模最小值最大值V（D，G）=Exp（x）[logD（x）]包括正常样本，而不包括G D收集的异常之外。在深SAD[Ruffet数据+Ezp（z）[log（1−D（G（z）]，（1）al. ，2019]，训练深度神经网络以鼓励正常样本的学习表示向共同中心聚集，而异常样本的学习表示远离共同中心，从而增加正常和异常样本表示之间的区分。显然，这两种方法都建立在一个良好的距离度量上，然而，这往往是很难找到的，特别是在高维数据空间，如图像。最近，[Daset al. ，2020]提出通过主动学习框架将专家识别的异常信息并入基本异常检测器中。然而，主动学习方法需要对收集到的异常进行逐个处理，失去了批处理的优点。此外，为了与主动学习集成，[Dasetal. ，2020]相对简单，不适合用于高维数据。在本文中，我们认为解决这个问题的最自然的方法是从概率分布学习的角度来处理它。 在这种观点下，问题可以重新表述为学习一个分布，该分布不仅可以很好地模拟正常样本，而且还可以确保收集到的异常的低密度值，如图1（c）所示。受深度生成模型最近成功的启发[Goodfellowet al. ，2014]，我们建议将此问题基于它们。但与以往的生成模型不同，本文提出的生成模型不仅可以从正常数据集中捕捉样本的分布，而且可以避免对异常数据集中的样本进行概率赋值。具体地说，本文提出了一种异常感知的生成式对抗网络（GAN），该网络除了具有生成正常样本的基本能力外，还能够避免生成与训练异常相似的样本。此外，由于直接评估密度值的高计算成本，遵循不合理的计算方法，其中G（）和D（）分别表示生成器和判别器;pdata（x）和p（z）分别是正态数据的分布和标准高斯分布。在训练之后，获得数据和潜在代码上的联合分布p（x，z）。然而，由于积分p（x）=p（x，z）dz中涉及的过高的计算复杂性，密度p（x）不能用于直接检测异常。相反，[Schleglet al. [2017]建议用梯度下降法在潜空间中找到一个能解释数据x的潜码，然后用原始数据x和恢复后的数据x之间的重构误差，数据G（z）来评估异常y，即s，XG（λz）2. 还提出了一些其他替代标准，例如。，lever-aging thelearned school [Zenati et al. ， 2018a; Sinhaet al. ，2020]。 由于没有训练该标准来区分异常与正常数据，因此这些标准通常不像重建误差那样有效。为 了 降 低 搜 索 潜 在 代 码 的 计 算 成 本 ， 双 向 GAN[Dumoulinet al. ， 2017;Liet al. ， 2017;Donahueetal. ，2017]后来用于异常检测，其中相关联的编码器可以直接输出潜在代码。对于双向GAN，它包括两个联合分布，编码器诱导的和生成器诱导的联合分布p E（x，z）=p E（z|x）p data（x），（2）p G（x，z）= p G（x|z）p（z），（3）其中pE（z x）和pG（x z）分别表示编码器E（）和生成器G（），两者都由神经网络参数化 它被证明在[Dumoulin et al. ，2017]通过进行以下最小-最大博弈，p E（x，z）和p G（x，z）将收敛到相同的分布最小值最大值V（D，G，E）=E（x，z）p（x，z）[logD（x，z）]基于GAN的监督异常检测方法[Zenati等人，2018 b]，我们提出的异常感知GAN也是双向的。采用双向结构，G、E、D+E（x，z）pGE（x，z）[log（1−D（x，z））]. （四）门度量（例如，重建误差）可以容易地计算以评估新样本的异常。进行了大量的实验，以评估所提出的方法的性能。实验结果表明，该方法能够有效地利用采集到的异常信息，提高检测性能，并显著优于可比基线。2基于GAN的无监督异常检测算法非监督异常检测的主要方法之一是估计正态数据的概率分布。生成对抗网络（GANs）[Goodfellowet al. 、由于pE（x，z）被定义为pE（x，z）=pE（z x）pdata（x）且pG（x，z）=pE（x，z）在收敛后成立，由此不难看出， pG（x，z）的边际分布为： x必须是p 个 数 据（x），p E（z x）可以看作是p G（x，z）的推理网络。因此，对于样本x，我们可以使用推理网络p E（zx）来输出其潜在代码，然后使用reqz来计算重建误差。3基于异常感知双向GAN的异常检测3.1问题描述为了清楚地描述这个问题，我们定义了两个数据集X+，{x+，x+，···，x+}，（5）2014]，以其卓越的建模能力而闻名，1 2N像图像这样的高维数据的分布，X−，{x−1，x−2，···，x−m}，（6）+v：mala2277获取更多论文XXXXXEEGXXXXXXX∗·附加费（p （十）补助金（p） （x））=E监督检测方法仅利用正常数据集+E（x，z）p−E（x，z）（D（x，z）−0）EXEE+E2（x）是X设为p+（x）。虽然新wXDEE其中+和−分别表示正常样本和收集的异常的集合根据异常检测任务的特点，我们假设数据集能够充分表示正态总体+，而由于异常的极端多样性−只包含一小部分异常类型，不能用于虽然已知收敛后联合分布pG（x，z）的边际等于训练数据分布pdata（x），但该方法仍然缺乏明确避免为-中的样本分配概率的能力。为了实现这个目标，我们通过添加异常相关项来修改（7）和（8）中的更新规则代表了整个异常人群。本文研究的问题是根据给定的两个数据集X+和X-来判断一个测试样本x是否异常。Unsu-最小值V（D）=ED（x，z）p+（x，z）（D（x，z）−1）2X+，而受监督的人利用两者，但假设X−可以代表整个异常总体。 两+E（x，z）pG（x，z）<$（D（x，z）−0）2<$，（9）这些方法不适合于所考虑的情况。请注意，假设数据集X+仅由最小值V（G，E）=EG、E（x，z）p+（x，z）D（x，z）−0. 5）2个在下面的分析中，正常样本的数量，但我们将显示实验表明它可能与一些异常混合+E（x，z）<$p−E（x，z）<$（D（x，z）−0. 5）仅导致轻微的性能下降。3.2启用异常意识，+E（x，z）<$p（x，z）<$（D（x，z）−0. 5）2个月，（10）不相交支撑深度生成模型已经成功地应用于去其中分布p+（x，z），p E（z|x）p+（x），（11）通过学习正态样本的分布，+，但没有一个人使用在-中收集的异常。在本节中，为了利用由in-给出的可用异常 信 息 ， 开 发 了 一 个 A 正 常 -A 波 双 向 GAN （ AA-BiGAN），它可以明确地避免为−中的样本分配概率。 为此，我们首先将（4）中描述的传统双向GAN转换为最小二乘GAN（LSGAN）的框架[Mao etal. ，2017]，利用最小二乘损失实现更新，p−E（x，z），p E（z|x）p−（x）;（12）p+（x）和p−（x）表示样本在X+和-，X表示iv el y。尽管我们对p+（x）和p −（x）是未知的，我们可以很容易地从它们中提取一个w样本。得到了最优的最优解p+（x，z）D（x，z）=E.（十三）p+（x，z）+p−（x，z）+pG（x，z）解方程已知的是，优化目标（4）旨在分别针对来自pE（x，z）和pG（x，z）的样本将WMD（）的输出驱动到1和通过将最优的最优supportSupp（p+（x））<$Supp（p−（x））=<$，最优解为激励生成元p G（x|和编码器p E（z|x）至如果和oXif+X，则实现G. 所以我们通过将其驱动到输出0.5来混淆控制器。在LSGAN框架下，使用最小二乘损失代替pE（x，z）=p有以下定理（x，z）（4）中的交叉熵损失，导致以下更新规则minV（D）=E（x，z）<$p（x，z）<$（D（x，z）−1）2<$+E（D（x，z）−0）2，（7）定理2. 假设+−。如果在oXrG和enco dXerE处的CXD，gene r上升-根据（9）和（10），收敛后，两个分布pG（x，z）和p+（x，z）将相等，即，p G（x，z）=p+（x，z）.（x，z）n∈G（x，z）Σ证据 请参阅补充材料。从定理2可以看出，由于p+（x，z），|XG、E+E（D（x，z）−0. 5）2个月，（8）p（z x）p（x）， 边际 的 生成分布pG（x，z）将转换为p+（x），这与pr vi相同（D（x，z）− 0. （五）minV（G，E）=E（x，z）pE（x，z）+v：mala2277获取更多论文||||p（x，z） p（x，z）（x，z）n∈G（x，z）其中生成器G和编码器E分别指条件分布p（x z）和p（z x）;并且p G（x，z）=p G（x z）p（z）和p E（x，z）=p E（z x）p data（x）。在LSGAN中进行类似的证明，我们可以得到引理。引理1. 如果根据（7）和（8）更新编码器D、生成器G和编码器E，则在收敛之后，联合分布p G（x，z）和p E（x，z）将相等，即p G（x，z）=p E（x，z）。证据 请参阅补充材料。更新规则不会更改聚合分发，为我们带来了如（13）所示的不同的最优搜索器，其知道所收集的异常的分布。要看到这一点，让我们检查生成器的训练动态假设从生成模型p G（x，z）生成样本（x ∈，z）。如果样本（x，z）看起来与收集的异常相似，即−+根据在（13）中，itXs输出值Xe必须非常小即，接近0。由于发电机训练的目标值是0.5，因此两个值之间的显著差异将推动发电机快速移动当p数据+v：mala2277获取更多论文E˜·2∫4p（x）p（x）Supp（ p（x）） Supp（ p（x））=2ǁ ǁǁ ǁNǁ − ǁEEG、E（x，z）n（x，z）（x，z）n（x，z）远离当前状态。因此，采样器13能够防止发生器产生异常样值。相反，可以很容易地表明，当将pdata（x）设为p+（x）时，通过X（4）或（7）和（8）获得的GAN是证据 请参阅补充材料。这个定理的证明依赖于Jensen不等式的使用，并且比定理2的证明更复杂。根据这个定理，我们可以得到一个双向生成模型，它可以显式地避免生成D（x，z）=+p+（x，z），（十四）即使不相交的支持条件不成立，也是类似异常的样本。对于参数a，b和c，理论上pE（x，z）+pG（x，z）其中不包括异常相关项p−E（x，z）在美国， 如果没有这个术语，即使如果生成类似异常的外观，则不保证输出较小的值。因此，dis-（14）中的criminatorD（）不具有明确防止生成器生成异常样样本的能力尽管理论上，无论使用哪一种方法，两种生成分布的边际最终都将等于p+（x）ey，但这是建立在假设无限的训练数据和无限的表示，神经网络的能力。然而，这些条件在实践中都不能满足，使得学习的分布仅仅是理想分布p+（x）。因此，收集到的异常可能是-它们可以任意设置。在实验中，我们遵循LS- GAN，并将a和b分别设置为1和0对于c的值，我们发现性能对其值不敏感，如补充材料中的结果所示。我们观察到，让它远离a，b和a+b通常会提供稍好的性能，因此我们简单地将其设置为3，用于所有实验。3.4检测方法有了异常感知的双向GAN，我们可以应用它来识别新样本的异常由于计算边缘密度pG（x）=pG（x，z）dz的困难，重建误差被用作替代标准来代替密度值，这在许多基于生成模型的异常检测方法[An和Cho，2015; Zenatiet al. 、siXgned与一些不可忽略的概率在学习分布 然而，如果异常感知的2018年b]。具体地，我们采用编码器pE引出潜码（z|（x）亲-使用公式（13），这种可能性可以显著降低，这要归功于模型明确避免生成异常样3.3放松警惕前一节中异常感知双向GAN的推导取决于对正常和异常样本+和−，即+−。因此，X的分离条件mX在实际中可能不一定特别是当异常和正常样本共享时，有很多共同点在本节中，我们表明，这一先决条件可以通过调整目标值的discriminator。此外，我们还可以证明，目标值不需要被限制为某些固定值，但可以有许多可行的配置。具体来说，我们有以下定理。定理3.如果CXD、发生器G和编码器E根据更新z表示样本x，然后使用gen-erator从代码z生成样本x{\displaystylex}。错误xX轴用于指示输入样本x的异常程度。人们普遍认为，双向GAN不能很好地重建输入因此，为了增加它们的重建能力，如在[Li etal. ，2017]，为了区分（x，x）和（x，x）之间的对，增加了一个符号，具体的表示方法留待补充材料中去讨论。 除了重建误差之外，一些论文[Akcay et al. ，2018]还提出通过注意到正态样本的代码遵循标准正态分布（0，I），使用潜在代码z的范数来检测异常。因此，如果代码的范数z很大，则高度怀疑它是异常的在实践中，我们发现这两个标准都工作得很好，但在特定的数据集上表现出一些差异。在我们的实验中，我们简单地选择在特定数据集的验证子集上具有更好性能的一个4相关工作最小值V（D）=ED（x，z）p+（x，z）n（D（x，z）−a）2随着深度学习的发展，神经网络[- 是的a+b2工程已被用来帮助异常检测庞等。、+E（x，z）p−E（x，z）D（x，z）−22021 a]。在现有的方法中，典型的方法是训练深度模型以重建正常数据，然后采用重建误差来检测异常[Xiaet+E（x，z）pG最小值V（G，E）=E+（x，z）<$（D（x，z）−b）2<$，（15）n（D（x，z）−c）2al. ，2015]。为了实现更好和鲁棒的性能，在[An和Cho，2015]中进一步使用了可变自动编码器（VAE）[Kingma和Welling，2014]。为了增加区别，正常和异常的重建误差之间的关系-+E−n（D（x，z）−c）2lous样品，存储器模块[Gonget al. [2019年]，+E（x，z）pG（x，z）<$（D（x，z）−c）2<$，（16）程序员另一种主流生成模型，生成对抗网络（GAN），也被广泛用于两个分布pG（x，z）和p+（x，z）在卷积后，[Pereraet al. 2019年，加入了《汽车+v：mala2277获取更多论文Egence将相等，即p G（x，z）=p+（x，z）。异常检测[Schleglet al. ，2017]。为了更便宜地获得重构误差，双向GAN[Du-+v：mala2277获取更多论文××XX穆林等人，2017]建议用于[Zenatiet al. ，2018 b]。除了基于重建的方法外，还研究了许多建立在密度估计基础上的方法，例如：，使用基于能量的模型估计正态样本的密度分布[Zhaiet al. ，2016]或深高斯混合模型[Zongetal. ，2018]，然后使用密度值来检测异常。还有许多其他方法采用单类分类器，其假设正常样本通常可以被紧凑 的 超 球 体 [Tax 和 Duin ， 2004] 包 围 或 被 超 平 面 [Schoülkopfetal. ，2001年]。 DeepSVDD[Ruf fet al. ，2018]进一步提出，它使用神经网络来学习正常和异常样本的判别表示，然后找到一个超球体来分离它们，如SVDD。近年来，有人指出，在实际训练之前收集少量异常是可能的。早期的方法只是把这个问题变成一个二元分类问题[Kingmaet al. ，2014]，而不考虑所收集的异常的不完整性。 Dif ferentl y，SSAD[G？rnitzetal. ，2013]提出将问题基于无监督检测方法SVDD，同时确保可用的异常样本在超球体之外。后来，深SAD [Ruffet al. ，2019]提出了学习一个映射函数，该函数鼓励正常样本的表示向中心聚集，而收集的异常样本的表示远离中心。尽管这两种方法都实现了更好的性能，但这些方法严重依赖于使用良好的距离度量，而这在高维数据中通常很难找到。最近，[Daset al. ，2020]寻求使用主动学习来将由专家识别的异常合并到现有的基本异常检测器中。[Pangetal. ，2021 b]提出了一种基于学习的方法，以主动寻找新类型的异常。然而，这两种方法中采用的基本异常检测器的架构相对简单，阻碍了它们应用于具有复杂结构的高维数据（如图像）。5实验5.1实验设置Deep SAD中设置后的数据集[Ruffet al. ，2019]，我们首先评估我们的方法在三个图像数据集上的检测性能。i）MNIST：一个数据集consisting的60000训练和10000测试手写数字图像的28 28从10个类。ii）F-MNIST：由来自10个类的28 28的60000个训练和10000个测试时尚图像组成的数据集。iii）CIFAR10：一个数据集consisting的50000训练和10000测试图像从10类。然后，使用六个经典的异常检测数据集，以进一步评估所提出的方法的性能。培训&评估根据论文[Ruffet al. ，2019]，对于每个数据集，我们选择一个类别作为正常，而将其余九种类型视为异常。为了模拟异常信息不完全的情况，我们从九种异常类型中的一种收集了一定比例的样本。该模型在正常样本和收集的异常上进行训练。测试数据集分为验证数据集和测试数据集比例为20%和80%。超参数在验证数据集上进行了微调，有关训练的更多详细信息，请参阅采用受试者工作特征曲线下面积（AUROC）作为性能标准。所报告的实验结果是90次实验的平均值（即，10个正常类别的选择×9个异常类别的选择）。基 线 半 监 督 异 常 检 测 方 法 用 于 比 较 ： SSAD[Goürnitzetal. ，2013] ，SS-DGM[Kingmaet al. ，2014]，Deep SAD [Ruffet al. ，2019]，负数据增强法（NDA）[Sinhaet al. ，2020]和主动异常检测（AAD）[Daset al. ，2020]。此外，还训练了一个有监督的二元分类器进行比较。除了NDA和AAD之外，这些方法的性能引自[Ruffet al. ，2019]。NDA和AAD的论文集中在不同的场景中，因此我们通过在我们的实验中运行和调优他们公开的代码来5.2性能和分析整体性能表1显示了我们提出的模型的性能。 为了研究收集的异常的数量如何影响性能，在不同的γ l值下评估性能，其中γ l被定义为收集的异常的数量与正常样本的数量之间的比率。当γl被设置为0时，半监督方法被简化为无监督方法。它可以看出，只要使用非常小比例的异常，就可以观察到显著的性能改善，特别是在CIFAR-10的复杂数据集上。随着可用异常的比率进一步增加，可以观察到稳定的改善 在γ l=0的特殊情况下。01，在我们的建议中观察到的性能增益方法在MNIST，F-MNIST和CIFAR-10为0。6%，2. 3%和6. 8%，证明我们的方法可以有效地利用部分观察到的异常，以提高整体检测性能。曼斯此外，还可以看出，随着感兴趣的数据集变得更加复杂，我们提出的方法的优点变得更加明显。这可能归因于GANs在对图像数据的概率分布进行建模方面的强大能力。相比之下，由于难以找到合适的度量来测量高维数据空间中的距离，基于距离的检测方法（如SSAD和Deep SAD）在这种情况下很难实现。至于NDA，尽管它也是建立在GAN上的，但它更侧重于图像的生成，缺乏必要的双向结构来产生替代检测标准，如我们的模型中的重建误差。污染正常数据集的性能+在某些情况下，可能难以获得干净的数据集+，其中可能混合了一小部分异常样品。为了研究我们提出的模型在这种情况下的表现，在不同的污染比γp下进行了实验，其中γp定义为在训练中污染异常的数量和正常样本的数量之间。图2示出了不同模型的检测性能，其作为不同条件下γp的函数+v：mala2277获取更多论文MNIST± ± ± ± ± ±±± ± ± ± ± ±±± ± ± ±±± ± ± ± ± ±±数据γlSSAD原SSAD混合SS-DGM监督分类器深SADNDAAA-BiGAN（我们的）.00 96.0 2.996.3 2.5不适用N.A.92.8 4.9 86.596.3 2.80.01 96.6 2.4 96.8 2.3 89.9 9.2 92.8 5.5 96.4 2.7 96.5 3.797.4 2.1.05 93.3 3.6 97.4 2.0 92.2 5.6 94.5 4.6 96.7 2.4 96.8 3.297.8 2.0.10 90.7 4.4 97.6 1.7 91.6 5.5 95.0 4.7 96.9 2.3 96.9 3.098.4 1.70.20 87.2± 5.697.8± 1.5 91.2± 5.695.6± 4.496.9± 2.4 97.1± 2.998.2±1.6.00 92.8± 4.7 91.2± 4.7不适用N.A.89.2± 6.2 82.7± 11.493.0±4.8F-MNIST.01 92.1± 5.0 89.4± 6.0 65.1± 16.3 74.4± 13.6 90.0± 6.4 90.1± 8.594.4±5.0.05 88.3± 6.2 90.5± 5.9 71.4± 12.7 76.8± 13.2 90.5± 6.5 91.0± 7.194.6±4.2.10 85.5± 7.1 91.0± 5.6 72.9± 12.2 79.0± 12.3 91.3± 6.0 91.4± 7.094.7±4.30.20 82.0± 8.089.7± 6.6 74.7± 13.5 81.4± 12.0 91.0± 5.5 91.4± 7.194.8±4.1.00 62.0± 10.6 63.8± 9.0不适用N.A.60.9± 9.4 64.8± 8.265.0±9.4CIFAR-10.01 73.0± 8.0 70.5± 8.3 49.7± 1.7 55.6± 5.0 72.6± 7.4 73.4± 7.780.2±6.6.05 71.5± 8.1 73.3± 8.4 50.8± 4.7 63.5± 8.0 77.9± 7.2 78.9± 7.781.5±6.4.10 70.1± 8.1 74.0± 8.1 52.0± 5.5 67.7± 9.6 79.8± 7.1 80.1± 7.683.6±6.4.20 67.4± 8.8 74.5± 8.0 53.2± 6.7 80.5± 5.9 81.9± 7.0 81.6± 7.384.8±7.2表1：不同收集异常率γ1下的平均AUROC。数据AADSSAD混合监督分类器深度SADAA-BiGAN（我们的）CIFAR-10图2：检测性能与污染率的F-MNIST和CIFAR-10数据集上的γpCIFAR-10图3：作为收集的异常的类别的数量的函数的检测性能kl。ent数据集，其中γ l固定为0。05.可以看出，几乎所有方法的性能随着污染比γ p从0. 0比0。2.然而，所提出的方法比比较的下降慢得多这可能是因为概率方法比基于距离的方法更能容忍数据污染我们可以观察到NDA的性能随着γp的增加而迅速下降这可能是因为数据污染打破了NDA中所要求的分布不相交假设收集到的异常的多样性的影响图3显示了不同方法的性能如何随着收集到的异常的类别数量从0增加到5而变化，其中γ l和γ p固定为0。05和0。1，分别。可以看出，所有考虑的性能方法随着类别的数量从0增加到5而稳步改进。这与我们的直觉是一致的，因为更多类型的异常暴露在模型中。然而，随着越来越多的异常类别被添加到训练这很容易理解，当使用五个类别的异常时，它意味着超过一半心律失常75.8±3.278.3±5.1 39.2±9.5 75.9±8.780.7±3.2心脏90.7±2.186.3±5.8 83.2±9.6 95.0±1.698.0±1.2卫星77.2±4.186.9±2.8 87.2±2.191.5±1.187.4±2.3Satimage-299.9± 0.1 9 6 . 8 ±2.199.1±0.199.9± 0.199.9± 0.1穿梭机99.0±0.297.7±1.0 95.1±8.0 98.4±0.999.1±0.1甲状腺96.5±0.895.3±3.1 97.8±2.6 98.6±0.998.9±0.1表2：经典异常检测数据集上的AUROC在训练过程中可以访问异常类别，这使得问题不那么具有挑战性，因此我们的方法的优势不那么明显。但由于实际应用中异常的极端多样性，所收集的异常通常只能占所有类型的非常小的一部分，这表明具有少量类别的设置实际上更有意义。在其他异常检测数据集上的性能我们在其他六个经典的异常检测数据集上评估了我们的方法。表2显示了我们提出的模型在γ l = 0的情况下的性能。01和γp=0。从表中可以看出，我们提出的模型总体上优于当前的基线方法。即使在包含少于500个样本的Arrhythimia数据集上，我们的模型仍然实现了2%的性能提升，证明了所提出的方法在小数据集上的竞争力。6结论本文研究了在训练过程中只有少量异常可用的情况为了有效地利用不完整的异常信息来帮助异常检测，开发了一种异常感知的GAN，该GAN除了能够对正常样本的异常进行建模之外，还能够明确地避免为收集到的异常分配概率。为了便于计算异常检测标准，如重建误差，异常感知GAN被设计为双向的。大量的实验表明，在异常信息不完全的情况下，我们的模型显著优于现有的基线方法。+v：mala2277获取更多论文确认本 工 作 得 到 了 国 家 自 然 科 学 基 金 （ No.61806223 ，U1811264）、广东省重点研发项目（No.2018B010107005）、广东省国家自然科学基金（ No.2021A1515012299 ） 的 资 助 这 项 工 作 也 得 到 了CAAI-Huawei MindSpore开放基金的赞助。引用[Abdallah et al. Aisha Abdallah ， Mohd Aizaini Maarof ， andAnazida Zainal. 欺 诈 检 测 系 统 ： 一 项 调 查 。 Journal ofNetwork and Computer Applications，68：90[Akcay et al. Samet Akcay ， Amir Atapour-Abarghouei ， andToby P Breck.Ganomaly：通过对抗训练进行半监督异常在ACCV，第622-637页[An and Cho，2015] Jinwon An and Sungzoon Cho.基于变分自动编 码器 的异 常检 测使用 重建 概率 。IE专题 讲座 ，2（1）：1[Das et al. Shubhomoy Das ， Weng-Keen Wong ， Thomas Di-etterich，Alan Fern和Andrew Emmott。通过整合专家的反馈发 现 ACM Transactions on Knowledge Discovery from Data（TKDD），14（4）：1[Donahueetal. Je fDonahue，PhilippKr aühenbuühl ，and TrevorDarrell.对抗性特征学习。在ICLR，2017年。[Dumoulin et al. Vincent Dumoulin ， Ishmael Belghazi ， BenPoole ， AlexLamb ， Mart'ınArjovsky ， OlivierMastropietro，and Aaron C.考维尔逆向学习推理。在ICLR，2017年。[Fernando et al. Tharindu Fernando，Harshala Gammulle，SimonDenman，Sridha Sridharan，and Clinton Fookes.医学异常检测的深度学习ACM计算调查（CSUR），54（7）：1[Garcia-Teodoro et al. Pedro Garcia-Teodoro ， Jesus Diaz-Verdejo，GabrielMa c i a'-Fern a' ndez，andEnriqueV a'zquez. 基于异常的网络入侵检测：技术、系统和挑战。计算机安全，28（1-2）：18[Gong et al. ，2019] Dong Gong，Lingqiao Liu，Vuong Le，Budha-dityaSaha ， MoussaRedaMansour ， SvethaVenkatesh，and An- ton van den Hengel.验证正常性以检测异常：用于无监督异常检测的内存增强深度自动编码器在CVPR中，第1705-1714页[Goodfellow et al. Ian Goodfellow，Jean Pouget-Abadie，MehdiMirza，Bing Xu，David Warde-Farley，Sherjil Ozair，AaronCourville，and Yoonne Bengio.生成对抗网。NeurIPS，2014.[G？ rnitzetal. NicoGörnitz ，MariusKloft，KonradRieck ，andUlf Brefeld. 有 监 督 的 异 常 检 测 。 Jour-nal of ArtificialIntelligence Research，46：235[Kingma and Welling，2014] Diederik P.金玛和麦克斯·威林自动 编 码 变 分 贝 叶 斯 。 载 于 编 辑 Yoelvic Bengio 和 YannLeCun，ICLR，2014年。[Kingma et al. Diederik P Kingma ，Shakir Mohamed ， DaniloJimenez Rezalan，and Max Welling.使用深度生成模型的半监督学习。NeurIPS，第3581- 3589页，2014年[Li et al. Chunyuan Li ， Hao Liu ， Changyou Chen ， YuchenPu ， Liqun Chen ， Ricardo Henao ， and Lawrence Carin.Alice：了解联合分布匹配的对抗学习NeurIPS，第5495-5503页[Lucic et al. Mario Lucic，Karol Kurach，Marcin Michalski，Sylvain Gelly，and Olivier Bousquet.Gans是平等的吗？一项大规模的研究。在NeurIPS，2018年。[Mao et al. ，2017] Xudong Mao，Qing Li，Haoran Xie，Ray-mond YK Lau，Zhen Wang，and Stephen Paul Smolley.最小二乘生成对抗网络。在ICCV，第2794- 2802页[Pang et al. Guansong Pang，Chunhua Shen，Longbing Cao，and Anton Van Den Hengel. Deep Learning for AnomalyDetection：A Review.ACM计算调查（CSUR），54（2）：1[Pang et al. ，2021b] Guansong Pang，Anton van den Hengel，Chun-hua Shen，and Longbing Cao. Toward deep supervisedanomaly detection ： Reinforcement learning from partiallylabeled anomaly data. 第27届ACM SIGKDD知识发现数据挖掘会议论文集，第1298-1308页，2021年[Perera et al. Pramuditha Perera ，Ramesh Nallapati，and BingXiang.Ocgan：使用具有约束潜在表示的gans进行单类新颖性检测在CVPR中，第2898-2906页，2019年。[Ruff et al. ，2018] Lukas Ruff，Robert Vandermeulen，NicoGoer-