111507沃利在哪？用于新奇检测的深度生成和判别嵌入Philippe Burlina、Neil Joshi和I-Jeng Wang约翰霍普金斯大学应用物理实验室{philippe.burlina，neil.joshi，i-jeng.wang}@ jhuapl.edu摘要我们开发了一个依赖于深度嵌入的新颖性检测（ND）方法的框架，无论是判别式还是生成式，并且还提出了一个新的框架来评估它们的性能。虽然最近在这些方法方面取得了很大进展，但也伴随着某些限制：大多数方法都是针对相对简单的问题（低分辨率图像/类别数量少）或涉及非公开数据进行测试的;由于缺乏统计学意义，比较性能往往被证明是不确定的;并且评估通常是在不同复杂性的非规范问题集上进行的，使得苹果对苹果的比较性能评估变得困难。这导致了一个相对混乱的状态的af-fairs。我们通过以下贡献来解决这些挑战：我们提出了一个新的框架来测量新颖性检测方法的性能，使用交易空间演示性能（由RO-CAUC测量）作为问题复杂性的函数。我们还提出了几个建议，正式表征问题的复杂性。我们进行实验的问题，更高的复杂性（更高的图像分辨率/类数）。为此，我们设计了几个基于CIFAR-10和ImageNet（IN-125）的规范数据集，我们可以使用这些数据集来执行未来的新颖性检测基准以及其他相关任务，包括语义零/自适应镜头和无监督学习。最后，我们证明，作为我们的ND框架中的方法之一，生成新颖性检测方法，其性能超过所有当前最好的生成ND方法。1. 动机、先前的工作和贡献动机新颖性检测（ND）方法[7，13-应用实例包括：（1）终身开放式机器人应用学习能力，其中执行新颖性检测的能力允许机器人触发人机对话以寻求关于其遇到的新颖物体的信息;（2）对罕见疾病进行医学诊断（例如，疾病）--对于这些疾病，先前的观察是稀疏的或不可用的--并使用新颖性检测来预先筛选患者并将他们转诊给临床医生;以及（3）零激发语义学习利用新颖性检测，以通过将一般化/未通知的零激发问题转变为更容易通知的问题（其中知道对象是否来自新颖类）来改善零激发分类性能，对于该更容易通知的问题，可以实现更高的性能[29，38]。以前的工作ND过去的工作范围很广，开始时主要采用基于经典机器学习的方法（最近的调查见[14，31，33]，以及更多的领域特定调查[2，4，25]），包括方法例如[7，13，15]。例如，[7]使用图像特征和支持向量数据描述（SVDD）将ND应用于高光谱成像。[13]使用卷积稀疏模型来表征新颖性。在[15]中，开发了适用于高维数据的新型多尺度密度估计器，相比之下，通过深度学习（DL）的表示学习提供了实现ND的新方法[18，25，36]，方法分为两大类：生成性和歧视性。使用判别式深度学习方法的最新ND via DL新奇检测首先基于通过深度判别网络处理图像计算的深度嵌入来 开 发 ， 深 度 判 别 网 络 包 括 深 度 卷 积 神 经 网 络（DCNN）、深度信念网络（DBN）或递归神经网络（RNN）。在[18]中，通过DBN和DCNN的区分嵌入与一类SVM（1CSVM）一起使用以检测新颖性。最近，主要通过生成对抗网络（GAN）或变分自编码器（VAE）的生成方法已被用于新颖性检测的表示学习[1，3，8，16，20，21，24，26，28，32，36，41]。大多数方法都集中在GAN在潜在的空间，使用en-111508判别嵌入生成嵌入GDE1DDDE2ConvNetDXXMULTIGAP512XGAN新奇0/1？新颖性评分（LOF，OCSVM，EE，或者如果要么concatenate输入图像MLP图1.ND框架我们提出了一个新颖性检测（ND ）框架，以及一个原则性的方法来评估ND 方法，其计算性能为（ROCAUC）=f（问题复杂性）。我们的ND框架通过两个主要步骤执行新颖性检测，通过a）通过生成或判别网络嵌入图像，然后b）计算新颖性得分。具体地说：左边的块示出了我们使用两种类型的区别性嵌入（这里通过VGG16），其使用从卷积层（标记为ConvNet）的输出计算的GAP特征XGAP512或来自ConvNet层的所有特征的级联以及完全的连接层（标记为MLP），产生表示为XMULTI的嵌入向量。我们框架中的另一种选择是使用生成嵌入：使用GAN的潜在空间向量（这里我们使用Ganomaly [3]），表示为XGAN。然后，嵌入的特征向量用于通过以下几种方法之一来计算新颖性得分：一类SVM（1CSVM），局部离群因子（LOF），椭圆包络（EE）或隔离森林（IF）。 Ganomaly架构使用一系列编码器（DE1）、解码器（DD）和编码器（DE2）作为一个子系统. 在我们的框架中，我们直接利用D E 1的潜在向量XGAN输出作为ND的嵌入。用于嵌入的编码器或解码器网络，或使用判别器查看核心贡献：AnoGAN在[36]中使用DCGAN [34]，并比较了几种GAN嵌入和新颖性度量方法，包括从图像到潜在空间的映射反转，以及测量重建误差。与简单地使用GAN算法进行新颖性检测相比，它在曲线下面积（AUC）方面有所改善它在OCT图像上进行基于像素的异常检测的实验中这样做，使用49张OCT图像和64×64滑动窗口用于像素ND。一个相关的方法，ADGAN，适用于整个IM-年龄异常检测[16]并在包括MNIST（28×28图像）和CIFAR-10（32×32））的图像上进行测试，与过去的基于GAN的冰毒相比有了一些改进耗氧物质[41]提出了一种使用更有效的GAN实现和修改的损失函数的相关方法，并在网络入侵数据和简单的图像数据集上进行了测试。最近，[3]开发了一种使用GAN的方法，其中GAN网络结构由编码器/解码器/编码器路径组成，提供两个潜在的嵌入空间，并且通过两个潜在空间之间的重建误差来测量新颖性得分。与CIFAR-10和MNIST上的所有上述方法相比，这挑战鉴于依赖于ND的深度嵌入的方法的爆炸，人们希望在解释什么构成性能的实际进展以及什么导致性能改进方面带来一些命令一些挑战来自于由于缺乏重复的测试协议而进行苹果对苹果的比较。例如，即使使用相同的数据集，比如MNIST，选择不同的方案来划分内点和离群点类也会导致所产生的新颖性检测问题的难度存在很大差异。量化测量ND问题的复杂性以前从未被解决过，并且本身就是一个复杂的挑战。最后，大多数过去的研究都使用了相当简单的问题，类的数量很少，分辨率低，图像，使得很难预测这些方法将如何推广到更复杂的，在野外的情况。这项工作的贡献我们解决ND，定义为在未被离群值破坏的内点数据上进行训练的问题，并对新的观察结果进行推断以检测离群值。为了应对ND挑战，我们做出了以下贡献：使用一个简单的方法分类，我们开发了一个ND方法的框架，包括判别嵌入和生成嵌入，以及各种测量新颖性的方法。我们提出了一个原则性的方法来评估ND方法的性能交易空间我们提出并讨论了几种基于语义、信息论和贝叶斯错误的方法来定量评估问题复杂性的方法。我们基于CIFAR-10和ImageNet提出、发布和测试用于ND评估的规范数据集和协议，这些数据集和协议具有更高的图像分辨率和类别数量。最后，我们证明了我们的ND生成方法之一超过性能相比，所有以前的生成方法迄今为止报道111509（n，n）lD5（3，512）2. 方法接下来，我们描述了在我们的ND框架中使用生成或判别深度嵌入的主要方法。我们考虑的算法家族使用以下流水线：a）通过判别方法计算深度嵌入，或使用GAN进行生成方法（第2.1节），从而得到输入图像I的嵌入向量X; b）PCA降维和X的归一化，然后是c）测量新颖性分数（第2.2节）。由于新颖性检测仅在一组内点类上训练，并且测试在来自内点和离群点（尚未看到）类的一组图像上执行，因此步骤（c）广泛地包括使用训练样本来表征从测试图像到训练内点样本计算的“距离”的某个概念该框架及其各种子组件如图1所示。2.1. ND的判别式和生成式嵌入在这项工作中，我们首先使用预训练的DCNN计算图像上的深度嵌入，这里使用VGG-16 [35，37]。VGG-16的结构仅为方便起见在此回顾：它首先由一系列卷积块组成：类实际上是模型看不到的。为了采取更有力的立场，我们也对inlier类提出了同样的限制。生成式对抗网络（GAN）是一种深度生成方法，它可以学习从训练数据集生成新的图像。GAN由两个网络组成，可以处理对抗性损失。一种网络使用例如上卷积来执行图像生成，该上卷积将随机采样的然后将由此创建的合成图像馈送到判别网络（连同真实图像），并且训练该网络以将生成的图像与真实图像进行分类。判别网络可以使用它最小化的交叉熵损失函数或詹森-香农散度，而生成网络在收敛时，训练器学会了区分真实图像和假图像，而生成器则倾向于生成逼真的图像，这些图像基本上是从原始训练图像分布中采样的用于新颖性检测的GAN嵌入的一种可能性包括使用潜在空间。计算它可以通过一个网络来完成，该网络执行生成映射（编码器网络）的反转，该生成映射将图像作为输入并生成潜在向量作为输出。作为1（2，64）2（2，128）3（3，256）4（3，512）（3，512）→F另一种方法，该特征向量可以再次反馈通过GAN其中，名为C的表示第i个块com，原始输入图像的重建。 然后可以nl个连续卷积层的大小为3×3深度为nd，每个深度后面都是整流线性单元（ReLU）激活，并且其中每个这样的块之后是池化层。这之后是平坦化F，然后馈送到宽度为4096的向量上的三个连续的全连接层：将此重建通过GAN的网络发送获得潜在向量的替代方法是经由[3]中的方法，其依赖于使用解码器/编码器/解码器结构的解码器由于这种结构，通过训练，一个人基本上获得了一个完整的，140962409634096编码器，产生一个潜在的空间映射“免费”（与-出反转需要）。与[3]不同，我们使用这种方法我们的嵌入包括计算GAP（全局平均池化）特征（表示为X GAP512）和多层（X MULTI）特征。GAP要素的计算方法如下：我们的框架作为产生用于新颖性检测的生成潜在空间嵌入的手段 我们称这个向量嵌入为X GAN。在我们的方法中，我们通过C5产量我们将平均运算符应用于ND评分方法见下一节。512个特征平面中的每一个导致512长的FEA，真向量X GAP512特征嵌入形成输入图像的表示，其可以被解释为包含低级和中级语义信息。 此外，我们还使用所有层（卷积和全连接）的级联特征输出作为交替嵌入，表示为X MULTI，总维数为9664。 特征计算之后是使用PCA的降维（维数等于120）。由于这种方法使用预训练的网络，请注意，在稍后报告的实验中，注意没有用于在ImageNet中预训练DCNN的类也用作离群值类以确保离群值最后，我们将我们的ND生成方法与三种方法进行比较，方法：1）[3]中的原始Ganomaly ND方案，其依赖于计算在SNR中的第一和第二编码器的输出之间的潜在向量重构误差（参见图1）。2）或者，图像重建误差可以用作新颖性的分数，如[36，41]中所考虑的。[41]特别是采用了基于[36]中AnoGAN的修改的November评分。我们在这里也使用它来进行性能比较，并将其称为ND-EGAN [41]（用于“有效”GAN）。3)基于GAN的ND的另一个原理是基于这样的假设，即，可以使用所述传感器来检测异常。C→C→C→C→CFC→FC→FC111510我 们 使 用 该 方 法 的 变 体 ， 利 用 Wasserstein GAN（ WGAN ） [5] 的 判 别 器 ， 我 们 将 其 表 示 为 “ND-DGAN”。2.2. 新颖度评分新颖性检测通过计算对上述XGAP512、XMULTI和XGAN嵌入向量的新颖性评分来完成我们使用四种方法，这些方法基本上测量测试向量X与用于训练的一组内点样本相比的偏离下文简要介绍了这些措施（更多详情见附录）：LOF第一种方法使用局部离群值因子（或LOF计算一个新颖性分数的基础上，作为sessing的局部密度的点周围的测试点相比，密度测量为每个点的邻居。直觉上，如果一个测试点1CSVM这里的第二种方法使用一类支持向量机（或1CSVM是一种大间隔非参数分类器，其基本上通过经由最小封闭超球体来界定一组训练内点样本来进行。在松散的条款（见附录的精确细节），新奇的分数，然后是距离从测试向量的加权质心的支持向量在这个超球体。IF隔离森林（后来被称为它类似于随机森林，因为它由构建随机CART树结构在训练数据上，并利用离群值通常孤立地站在靠近树根的分支中的事实选择随机特征并在这些特征上计算分裂。从根到在一组随机树上平均的特征向量的路径被取为隔离分数，并且因此（短的意思是隔离的）被用作nov-mapping分数。EE最后，我们还使用ND分数，该分数采用通过假设高斯分布拟合到内点训练样本而获得的椭圆形包络（稍后称为在随后的实验中，对于命名：我们通过“XXX/YY”表示对特征类型“YY”应用ND方法“XXX”的完整方法（例如，应用于GAP 512的EE表示为“EE/ X GAP 512“）。2.3. 描述ND问题的复杂性为了比较不同的深度学习新颖性检测方法，我们使用了一组混合了内点和离群点类的规范测试问题：因此，我们得到了各种复杂性的广泛问题。我们努力通过一些定量的措施来描述这种复杂性，以便对类似复杂性的问题进行一个苹果对苹果的比较。我们的最终目标是评估所提出的ND方法在不同复杂度条件下的性能直觉，复杂性，由此产生的ND性能应该取决于内点和离群点在分布或语义上有多接近。在这里，我们有不同的亲密选择：复杂性的一种可能的方法是评估离群类与内点类在语义上的相关程度。这可以通过在一个类表示中查看邻近度来实现（例如，ImageNet WordNet表示）。然而，这种方法的一个挑战是语义接近度将取决于所使用的特定的语义表示。作为替代方案，我们选择通过表征分布中的接近度来进行复杂性评估，这里通过评估位于高维空间中的嵌入向量的概率密度的距离来解决。然而，这一努力本身仍然是一个开放的研究问题。可以考虑两种方法：KLCA：基于KL发散 复杂性第一种可能性是通过信息理论测量来表征分布（内点和离群点）的距离，以表征ND复杂性，例如，利用交叉熵、地球移动距离或KL散度。这些测度的计算，特别是高维KL散度的计算我们特别使用了[40]中的方法，该方法利用有效的K近邻（KNN）来计算KL。我们称这种方法为KLCA（基于KL的复杂性评估）。BERCA：贝叶斯错误率复杂性评估我们提出了第二种方法来表征复杂性，其中包括评估的复杂性度量作为贝叶斯错误率的两个类的问题与一类问题的分区。我们通过首字母缩写“BERCA”表示这一点。按照这条路线，我们认为两类分类问题的贝叶斯决策规则，即最小化错误概率P的规则。 我们通过KNN计算这个误差的经验估计。用k knn表示KNN中使用的邻居的数量，n knn表示使用的样本的数量，我们记得[17] knn错误率P是这样的，P≤ P ≤ P+ P，其中P → 0，当kknn，nknn→ ∞。我们用贝叶斯错误率根据经验KNN错误率估计计算为问题的复杂性度量。我们使用的数值kknn=10和nknn=1000。规范绩效评估最后，配备了上述复杂性度量，我们建议，对于苹果到苹果的比较，ND出租性能在一个交易空间中表征，该交易空间表示计算性能，以ROCAUC衡量，作为评估该性能的ND问题复杂性的函数（即AUC=f（复杂度））。这将显示为箱线图，因为问题的复杂性会有所不同，结果也会有所对于给定的复杂度箱，计算性能范围。111511图2.其中一个问题的图像示例在IN中运行125.在这个例子中，从IN-125数据集中随机选择了9个内点类（包括自行车、桥梁等），并且还选择一个离群值类（飞机）我们展示了正确和不正确的新奇检测的例子对于本实验，AUC=0.8963.标准化ND问题结构和规范数据集我们还建议将用于评估ND的数据标准化为两个主要数据集，分别为低分辨率图像和高分辨率图像，以及两个主要协议，用于选择内点与离群点类划分，如下所述。MISO和SIMO问题一般来说，ND方法的操作假设是它们只在内部值上训练，而测试是在一组内部值和离群值类项目上进行的，这一假设被认为是半监督的。此外，内点集和外点集的分区可以包括单个或多个类。考虑到这一点，我们考虑两种类型的问题，并采用以下术语：单（类）内点、多（类）离群点问题（此后称为“SIMO”）和多（类）内点、单（类）离群点问题（称为“MISO”）。回顾我们的探索机器人的第一个用例作为说明性示例，并且假设在宇宙中存在n个c类，SIMO问题可以被认为是一个对所有问题，其中机器人代理利用单个起始内层类引导其宇宙的知识，我们执行实验，评估相同的in-lier类，加上代理可能遇到的n-1个其他离群类，同时进行探索。MISO问题可以被看作是留一法问题，其中ND方法在n个c−1内点类上训练，并在同一集合inlier类，加上剩下的outlier类。CIFAR-10作为基线，我们在CIFAR-10数据集上评估ND方法，该数据集包含10个常见类。该数据集每类包含大量图像（6000），但图像分辨率较低（32x32RGB图像）。在这案例中，我们对上述定义的nc=10类SIMO和MISO问题进行了实验。在每个问题案例中，我们运行10个实验，每次循环旋转单个内点（SIMO）或单个离群点（MISO）。然后，我们评估了所有10个实验的平均AUC性能（见表1）。图3.其中一个问题的图像示例在IN中运行125.在这个例子中，从IN-125数据集中随机选择了9个内围类（包括兔子、胡萝卜、奶牛等），并且还选择一个离群值类（Kangaroo）。我们展示了正确和不正确的新奇检测的例子。大多数不正确的分类是由混淆因素造成的，例如多个物体和人类，或者兔子/袋鼠在外观上的相似性。对于本实验，AUC=0.878IN-125由于先前关于ND的工作主要包括对简单数据集（MNIST和CIFAR-10）的测试，在这项工作中，我们构建了一个由125个ImageNet类（称为“IN-125”）组成的参考数据集请注意，通过设计，IN-125中使用的125个类都不属于用于训练VGG-16等ConvNet的原始1000个ImageNet竞赛类，以避免我们的ND问题可能包括实际上用于VGG-16的预训练权重的离群值类（或用于判别嵌入的任何其他网络），这将使这些类以前没有见过的假设无效。与在先前ND研究上进行的ND实验相比，IN-125增加了两个挑战的复杂性，我们发布了这个数据集的规范[11]以供将来进行比较，它由一组问题组成，我们通过提供用作内点和离群点的类列表来详细说明每个问题。1115124. 实验和性能表征图4.针对IN-125中的125个问题的AUC=f（c）（AUC作为问题复杂性的函数）（1CSVM应用于GAP特征）我们在上面详细描述的数据集上运行实验。将我们的ND框架应用于两个IN-125问题的结果在图2和图3中举例说明我们展示了我们设计的性能评估框架的使用，从而我们表达的性能，测量AUC，作为本研究中描述的ND的方法的复杂性的函数我们还使用了前一节中描述的一组选定的问题。对于每个问题，我们显示AUC=f（复杂度）的分布。我们首先使用KLCA进行复杂性评估结果表明，这不是一个有效的经验公式，0.90.80.70.60.50.40.3jhu150_LOO_LIMIT_10-1CSVM*0.00 - 0.060.06- 0.100.10- 0.140.14- 0.180.18-0.210.21- 0.250.25- 0.290.29- 0.320.32 - 1.00复杂性KL发散中复杂性度量并不总是与ND算法的性能相关或预测ND算法的性能。这可能是由于试图计算KL的分布，没有重叠的支持无处不在的问题，这是一个问题，这图5. AUC=f（c）（AUC作为问题复杂性的函数），适用于IN-125中的125个问题（椭圆包络应用于GAP特征）jhu150_LOO_LIMIT_10 -椭圆包络0.9接下来，我们评估了作为BERCA函数的性能，并在图4-7中绘制了GAP 512特征的曲线图，AUC的须状图作为BERCA复杂度的函数，对于每种主要的ND评分方法（ICSVM，LOF，IF和EE）。这些图证明了这种方法在比较方法中的有效性。可以观察到，一般来说，性能随着所有方法的BERCA复杂性的增加而降低，并且如预期的那样具有适度的退化。对此的一个例外是LOF/X GAP512（图7），其示出了平均AUC，0.80.70.60.50.40.30.00 - 0.060.06 - 0.100.10 - 0.140.14 - 0.180.18 - 0.210.21 - 0.250.25 - 0.290.29 - 0.320.32 - 1.00复杂性对日益增加的问题复杂性不太敏感（对于这里测试的问题）。总的来说，考虑到问题的复杂性，所得到的AUC性能是有希望的注意，由于在这种情况下有大量的nc=125类，我们只在IN-125的MISO情况下进行实验，并有以下变化。我们按照预期运行了125个实验，每次循环单个离群值然而，对于我们的内点，我们随机选择了10个类，从剩下的n个c−1=124类中。 通过限制通过这种方式，我们可以执行更多与我们的CIFAR-10结果进行准确比较，而不引入不必要的变量。图6.AUC=f（c）（AUC作为问题复杂性的函数IN-125中的125个问题（隔离森林应用于GAP功能）jhu150_LOO_LIMIT_10 -隔离森林0.80.70.60.50.40.3接下来，我们在表1中的不同数据集上总结了我们框架中所有方法的AUC，显示了所考虑问题的平均AUC。我们还包括我们使用最好的品种生成方法，包括Ganomaly，DGAN和EGAN获得的结果我们将结果分为判别方法和生成方法，因为它们的性质和假设不同（请参阅讨论中的更多内容）。最好的结果是勇敢面对。我们可以再次清楚地看到问题的复杂性对所得方法性能的影响，0.00 - 0.060.06 - 0.100.10 - 0.140.14 - 0.180.18 - 0.210.21 - 0.250.25 - 0.290.29 - 0.320.32 - 1.00复杂性这在早期的图中通过使用BERCA的复杂度度量值来精确地表征。在aggre- gate中，可以看到LOF/XGAP512和LOF/XMULTI等方法在CIFAR-10（MISO）上表现最好，EE/XGAP512和EE/XMULTI在CIFAR-10（SIMO）中的简单问题集上表现最好，而在1CSVM/XGAP512和EE/XGAP512上表现最好，用于更复杂AUCAUCAUC111513图7.对于IN-125中的125个问题，AUC=f（c）（AUC作为问题复杂性的函数）（应用于GAP特征的局部离群值因子）jhu150_LOO_LIMIT_10 -局部离群值因子0.70.60.50.40.30.00 - 0.060.06 - 0.100.10 - 0.140.14 - 0.180.18 - 0.210.21 - 0.250.25 - 0.290.29 - 0.320.32 - 1.00复杂性IN-125对于生成方法，结果表明，1CSVM和使用X GAN特征的组合改进了先前针对生成ND方法类报道的同类最佳方法[3]。5. 讨论结果分析一般来说，所有深度嵌入方法都优于基于GAN的方法。 但这些不应被视为平等的：这是因为区别性嵌入使用预先训练的网络，并且因此除了它们用于训练的内点训练样本（这是生成方法使用的唯一信息）之外还利用了额外的先验信息。这就是为什么这些方法应该单独考虑当只考虑生成ND方法时，我们框架中的一种方法，结合XGAN和1CSVM，在该类方法中具有最佳的整体性能，并且与以前的工作相比。总的来说，尽管使用较少的信息，但生成方法的性能通常接近判别方法，这也是令人鼓舞的。如何最好地比较基于DL的ND方法？最近使用DL方法的ND研究，即使它们使用相同的数据集（例如，MNIST），通常不采用相同的约定，什么类被用作内值或离群值，不同的组合和分割需要不同的结果问题的复杂性，为特定的ND问题正在解决。因此，在报告ND性能方法时，迫切需要更可比的协议，因为它们的性能显著取决于问题的复杂性。正因为如此，我们看到了未来研究使用类似于或受此处采用的启发的ND方法的报告性能的方法的价值：考虑到定量复杂性度量，例如我们在BERCA中提出的度量，以便允许研究之间的苹果对苹果的比较。显示贸易空间涉及-计算AUC=f（复杂度）还可以预测新问题和数据集的方法的操作性能此外，该方法对于分析结果趋势具有价值，如上面的须状图所示。未来的工作作为ND问题生成的一种替代方法，可以通过基于类层次结构或语义关系选择与已知类具有不同级别相似性的未知实例来实现不同级别的复杂性。我们提出的指标在本质上采取了这一概念，并引入了一个更一般的定量措施，更直接地联系到分类性能。研究我们的复杂性度量如何与复杂性驱动相关是有价值的。利用主观语义相似度进行信息检索。我们的数据集当然可以促进这样的研究。可以研究未来/替代方法来表征复杂性：这些可以包括使用信息理论测量，例如具有多变量高斯假设的KL发散，或者受到诸如贝叶斯惊喜理论[ 6 ]的度量的启发。未来的工作还可以扩展ND的使用，以提高零射击学习性能[12，30]最近的工作使用GAN进行嵌入和nov-检测已经提出了可能的好处。然而，这些研究通常是在有限的数据集上进行的，或者是在类别数量少、每类图像数量多和/或图像分辨率低的数据集上进行的。这项研究表明，使用GANs作为表示方式可以带来好处，即使对于更复杂的数据集，也不使用先验信息（除了内点训练数据）。 我们认为，较新的GAN公式，如BigGAN[10] Pro- GAN [22]和StyleGAN [23]可以通过允许更大分辨率的图像来进一步推动这项工作，这反过来可能会带来潜在的空间，这可能有助于更好的ND。6. 结论我们提出了一个基于深度嵌入的新颖性检测框架，包括判别式和生成式。我们提出了一种新的方法来公平地表征新奇的检测性能，使用问题的复杂性，允许苹果到苹果的比较。在我们的框架中提出的生成方法之一证明了最近提出的生成新颖性检测方法中的最佳确认我们感谢Jemima Albayda和Mauro Maggioni（JHU）的深思熟虑的投入和讨论。JHU APL内部研发资金的支持得到了充分的认可。AUC111514表1.在我们的框架中使用生成或判别嵌入的各种方法的平均AUC性能，并与最近的记录方法进行比较。括号内：95%置信区间的误差范围。基于判别嵌入的新颖性检测方法。方法（新颖性度量/嵌入向量）CIFAR-10（MISO）CIFAR-10（SIMO）IN-125（MISO）1CSVM/XGAP5120.5771（0.1180）0.6853（0.0907）0.6241（0.1291）1CSVM/XMULTI0.5932（0.0688）0.7322（0.0500）0.5759（0.1292）EE/XGAP5120.5408（0.1130）0.7196（0.0931）0.6280（0.1458）EE/XMULTI0.5527（0.0889）0.7165（0.0636）0.5696（0.1389）IF/XGAP5120.5378（0.1168）0.6706（0.0817）0.5437（0.1238）IF/XMULTI0.5373（0.0561）0.6750（0.0634）0.5315（0.1259）LOF/X间隙5120.6224（0.0581）0.6324（0.0792）0.5037（0.1112）LOF/XMULTI0.6030（0.0399）0.6783（0.0566）0.5249（0.1243）通过生成嵌入的新奇检测方法。方法（新颖性度量/嵌入向量）CIFAR-10（MISO）CIFAR-10（SIMO）IN-125（MISO）1CSVM/XGAN0.5627（0.1458）0.6279（0.1266）0.5792（0.0719）ND-DGAN [5，36]0.4898（0.0305）0.4495（0.1125）0.4789（0.0300）ND-EGAN [36，41]0.4655（0.1250）0.4183（0.0950）0.4822（0.0741）GANOMALY [3]0.5321（0.1292）0.6228（0.1092）0.5708（0.0775）附录A：其他技术细节并修改了最小化问题，在n =1的情况下，F（R，a）=R2+Cin =1，其中C是权重。我们在这里提供了一些关于新奇的细节-保护算法：LOF一个点的LOF（这里是一个特征向量X）是基于比较X周围的点的密度与X的邻居的密度[ 9 ]。首先定义X的k-距离dk（X）到它的第k个最近点的距离为slack变量。 利用拉格朗日乘子α i≥ 0和γ i≥ 0，该问题可以表示为关于R，a，xi最小化L和最大化L的问题，其中关于αi和γi：邻居，并注意到Lk（X）在dk（X）内的点的集合（所谓的“MinPts”），人们定义了“可达性dis-k”对于给定的k，X从任何原点O的”距离L（R，a，αi，γi，αi）=R2+CΣΣi−我Σγi ξi我Rk（X，O）=max（d（X，O），dk（O））.为了刻画密度，通过取所有点O∈Lk（X）的平均可达距离的倒数来定义局部可达密度lrd（X）.-αi{R2+i−xi−a2}我可以证明[7，19，39]，这简化为最小化：为了比较密度，LOF（X）被定义为Ird（. ）除以lrd（X）。该比率考虑了与X的局部密度相比。ΣL=αi（xi·xi）−我Σi、jαi αj（xi·xj）（3）直觉上，如果这个值大于1，那么点X的密度较低（它的邻居比X的邻居更难到达），因此是一个离群值。同样地，LOF的反面可以用作检测新颖性的分数（随着点变得更像内点，该值增加1CSVM在1CSVM中，内围点x被建模为位于超球体内，中心表示为a，半径为R，通过最小化误差函数找111515到：F（R，a）=R2且<$xi−a<$2 ≤R2，<$i（1）在Eq.（二）、线性点积通常用非线性核K（x，y）（例如，RBF）以允许出现非线性决策边界最小化L为相应的样本xi、超球的中心a和半径R产生一组权重αi 通过调用互补松弛约束，训练样本的非零权重出现作为数据的支持向量。为了测试一个测试样本是否位于超球面内，可以使用样本到超球面中心的距离作为评分[7，19，39]：为了允许训练数据集被离群值破坏，引入了松弛变量i≥0以允许某些违规d（y）=1ΣR2[K（y，y）−2Σαi K（y，xi）+αi αj K（xi，xj）]阿斯克斯岛 -α2≤R2+αi，αi≥0μl（2）ii，j（四）111516引用[1] R. Abay，S.Gehly，S.Balage，M.Brown和R.博伊斯利用生成对抗网络进行空间物体的主神经元探测。2018. 1[2] M.艾哈迈德，A. N. Mahmood和M. R.伊斯兰教金融领域异常检测技术综述。未来一代计算机系统，55：278-288，2016。1[3] S. Akcay ， A. Atapour-Abarghouei 和 T. P. Breckon.Ganomaly：通过对抗性训练的半监督异常检测。arXiv预印本arXiv：1805.06725，2018。一、二、三、七、八[4] L. Akoglu，H. Tong和D. Koutra基于图的异常检测与描述综述。数据挖掘和知识发现，29（3）：626-688，2015。1[5] M. Arjovsky，S.Chintala和L.博图Wasserstein ganarXiv预印本arXiv：1701.07875，2017。四、八[6] P. Baldi和L.伊蒂点点滴滴：惊奇的基本理论及其在注意力中的应用。Neural Networks，23（5）：649-666，2010. 7[7] A. Banerjee，P. Burlina和C.迪尔一个支持向量-超光谱 图 像 异 常 检 测 的 TOR 方 法 IEEE Transactions onGeoscience and Remote Sensing，44（8）：2282-2291，2006. 一、四、八[8] P. Be r gmann，S. 卢韦，M. Fause r，D. Sattl e gge r和C.通过将结构相似性应用于自动编码器来改进无监督缺陷分割。arXiv预印本arXiv：1807.02011，2018。1[9] M. M.布鲁尼格，H.-克里格尔河T. Ng和J. Sander。LOF：识别基于密度的局部离群值。在ACM sigmod记录中，第29卷，第93-104页。ACM，2000年。四、八[10] A. Brock，J. Donahue，and K.西蒙尼扬用于高保真自然图 像 合 成 的 大 规 模 gan 训 练 。 arXiv 预 印 本 arXiv ：1809.11096，2018。7[11] P. Burlina，N.乔希和我J. Wang。in-125的问题规范，url=https://github.com/neil454/in-125，urldate = 2019-03-19。5[12] P. M. Burlina，A.C. 施密特和我。-J. 王. 从语义属性进行零距离2015年IEEE第14届国际机器学习和应用会议（ICMLA），第871-876页。IEEE，2015年。7[13] D.卡雷拉湾Boracchi，A. Foi和B.沃尔伯格用卷积稀疏模型检测异常结构在神经网络（IJCNN），2015年国际联合会议上，第1-8页。IEEE，2015年。1[14] V. Chandola，A. Banerjee和V。库玛异常检测：一个调查。ACM计算调查（CSUR），41（3）：15，2009。1[15] G. Chen，M. Iwen，S. Chin和M.马焦尼一个快速的多尺度框架，用于高维数据：测量估计、异常检测和压缩测量 。 VisualCommunications and Image Processing（VCIP），2012 IEEE，第1-6页。IEEE，2012。1[16] L. 迪克 R. 范德默伦， L. 拉夫 S. 曼特，以及M. Kloft 用生成对抗网络进行异常检测2018. 一、二[17] R. O.杜达体育Hart和D. G.鹳鸟模式分类。威利，纽约，1973年。4[18] S. M. Erfani，S.Rajasegarar，S.Karunasekera和C.莱基使用线性单类支持向量机和深度学习进行高维大规模异常检测模式识别，58：121-134，2016。1[19] D. E. Freund，N. Bressler，和P. Burlina.黄斑玻璃疣的自动在生物医学成像：从纳米到宏观，2009年。ISBI'09。IEEE国际专题论文集，第61-64页。IEEE，2009年。8[20] K. Gray，D.斯皮拉克山Badirli和G.莫勒耦合igmm-gans用于人类移动数据的深度多模态异常检测arXiv预印本arXiv：1809.02728，2018。1[21] N. 贾 恩 湖， 加 - 地 Manikonda， A. O.Hernandez ， S.Sengupta和S.坎巴帕蒂想象一个工程师：基于基因组的数 据 增 强 会 导 致 偏 见 。 arXiv 预 印 本 arXiv ：1811.03751，2018。1[22] T. Karras，T. Aila，S. Laine和J.莱赫蒂宁为提高质量、稳定性和变异性而进行的干细胞arXiv预印本arXiv：1710.10196，2017。7[23] T. Karras ， S. Laine 和 T. 艾 拉A style-based generatorarchitecture for generative adversarial networks. arXiv预印本arXiv：1812.049
我的内容管理
展开
