没有合适的资源?快使用搜索试试~ 我知道了~
基于层次变换的少镜头异常检测模型
8495一种基于层次变换识别的少镜头异常检测模型Shelly Sheynin1*Sagie Benaim1*LiorWolf1,21特拉维夫大学计算机科学学院2Facebook AIResearch摘要异常检测是识别数据中异常样本的任务,通常依赖于大量的训练样本。在这项工作中,我们考虑的设置中的少数镜头异常检测的图像,其中只有少数图像在训练。我们设计了一个分层生成模型,捕获每个训练图像的多尺度补丁分布。我们通过使用图像变换和优化尺度特定的补丁鉴别器来进一步增强模型的表示,以区分图像的真实和虚假补丁,以及应用于这些补丁的不同变换之间。异常得分是通过聚集正确的变换跨尺度和图像区域的基于块的投票我们证明了我们的方法 在 一 次 和 几 次 设 置 上 的 优 越 性 , 在 Paris ,CIFAR10,MNIST和FashionMNIST的数据集上,以及在MVTec上的缺陷检测设置上在所有情况下,我们的方法都优于最近的基线方法。1. 介绍异常检测[5,1]是检测数据中不寻常样本的任务。在一个类分类的典型设置中[20],给定来自正常(非异常)数据的大量样本集合,学习者被要求将新样本分类为正常或异常。在本文中,我们的目标是解决这个问题,很少的训练样本,包括一个单一的训练样本的情况下。我们的研究的动机是在许多视觉领域训练样本的稀缺性,以及人类在观察到非常有限数量的样本后解决这个任务的能力[7,8]。我们的模型依赖于两个主要组成部分。第一个组件是一个分层生成模型,它捕获一个或几个图像在多个尺度的内部补丁统计该组件遵循深度生成模型最近的成功,以生成多种多样的自然外观。*同等贡献ing图像,给定单个训练图像[28,12,35]。我们通过在图像索引上添加条件,将此设置推广到少数图像,从而实现多个训练图像之间的信息共享。在不同尺度下对斑块进行建模允许检测全局属性(诸如颜色或大尺度结构变化)和局部区域中的异常当考虑缺陷检测的任务时,基于多尺度补丁的方法也是有用的,其中异常可能仅在少数良好局部化的区域中显现。第二部分是自我监督学习任务。最近的方法[10,3,11]已经表明,在多次拍摄的情况下,在代理任务上训练的分类器,例如识别应用于输入的变换,准确地捕获与训练数据相似的新样本,从而可以区分正常和异常样本。 我们利用这样的代理任务的背景下,我们的多尺度生成模型。对于每个尺度,根据预定义的一组变换来变换生成的面片。要求鉴别器区分真实样本和伪样本以及所执行的变换我们的方法将这些组件构建成一个单一的模型。在测试时间,如果样本的许多补丁,在所有尺度,根据学习的补丁特定的鉴别器被确定为异常的,样本被认为是异常的在一组详尽的实验中,我们证明了所提出的方法在异常检测基准上优于最近的基线。这对于一次拍摄、五次拍摄和十次拍摄设置都是如此。当训练样本的数量增加,我们的方法被证明是提高性能。在缺陷检测领域,我们表明,我们的方法优于,在少数拍摄设置,在本地化的异常补丁的最先进的。总之,我们的工作包括以下贡献:(1)提出了一种概念新颖的少炮异常检测方法。(2)该方法可以很容易地推广到少镜头缺陷检测问题。(3)我们提供许多独特的组件:(i)多类鉴别器,其使用8496X××n⊂--∈X联系我们SSL任务的标签(ii)在测试时鉴别器的新用途(iv)使用新的条件生成器将[28]的分层GAN扩展到多个图像。(4)该方法在五个数据集上进行了广泛的评估,与基线相比,该方法具有更好的性能。2. 相关工作基于图像的异常检测基于图像的异常检测方法可以分为基于重构、基于分类和基于分布的方法[30]。基于重建的方法以这样的方式表示数据,而异常数据引起高的重建误差。基于分类的方法尝试区分正常数据的数据区域和异常数据的数据区域[31,39]最近的自监督方法尝试找到“代理”分类目标,使得基于该目标对正常数据进行分类,允许正常数据例如,Goyal et al.[11]训练一个分类器,以区分训练样本与其不利产生的扰动。Golan和El-Yaniv [10]使用了一组预定义的变换。他们训练分类器来区分对正常数据执行的变换的类型,并且表明这样的分类器可以用于区分正常数据和异常数据。虽然我们的方法使用这样的代理对象,但它在基于分层补丁的生成设置内使用这允许对图像的基于块的分布进行建模,以及对该分布的区域进行建模的区分能力基于分布的方法对正常数据的分布进行深度生成模型在建模复杂分布方面显示出巨大特别地,通常使用自动编码器和变分自动编码器[40,2]以及基于GAN的方法[33]Narisnick等人,[21]然而,认为单独生成模型可能不足以检测分布外输入。与这些方法不同,我们的模型受益于使用基于分布和分类的组件:(1)用于对单个或几个图像的内部多尺度块分布进行建模的分层生成模型我们的模型将这些组件整合到一个模型中。与先前的方法不同,这允许在训练期间仅从正常类给出单个或几个图像的情况下检测异常样本已经广泛研究了用于图像分类的有限监督的使用[37,6,36]。我们的工作与异常检测工作图1. 针对单次设置,在尺度n处训练管道。生成器G n接收来自先前尺度x n− 1的上采样图像和噪声图z n作为输入,并生成新样本x n。xn被变换为集合T1(xn),. . . .,T,M(X,n),并且被馈送到多类别鉴别器Dn中。对于每个Ti,结果是M+ 1个大小为H H的映射。该H-H图的每个M+1大小的向量表示针对补丁p(例如右下角的红色补丁)的M + 1个类上的softmax概率向量。对于每个这样的向量,G x尝试最大化使用Ti变换的图像的类别i的概率。使用有限的监督。一些作品[22,24]考虑了从异常类中给出有限数量的样本,但从正常类中给出许多样本的Kozerawski等人,[15]使用从ImageNet生成的大型标记数据集并应用迁移学习。其他作品[23,25]解决了一个稍微不同的问题,其中很少有样本来自新的异常类。Frikha等人,[9]和Kruspe [17]考虑一种元学习方法,其中在训练时从许多类中给出很少的样本所有这些工作都需要额外的监督,而不是在我们的方法中使用。我们的工作假设只使用有限数量的正常类的样本。学习内部统计我们的工作与最近对图像内部分布建模的工作有关[42,35,28,12]。然而,这些方法用于生成,并且仅在单个图像上设计。3. 方法令X是所有自然图像的集合,并且令XX是由训练图像定义的类中的图像的子集正常的阶级。位于X之外的图像被视为异常。我们给出了图像的i.i.d随机选择的子集X k=x1,. . .,xkX. 任务是从训练集Xk学习分类器CXk,使得如果X X,则CXk(x)=1,否则CXk(x)=0。我们感兴趣的是k很小的情况。3.1. 一次性异常检测我们从k=1的情况开始,其中训练集包含单个样本x1,为简洁起见表示为x虽然x本身不能捕捉到普通类的类内可变性,但我们认为图像本身包含8497XXXnX--XXXX×DnnXXGXnnn nGXX{R R R R}CE我pXL(D)=Σ ΣL(D(T(x)),i) (3)XMMXXX信息结构,可以帮助识别类。我们的训练管道的图示在图中提供。1.一、斑块的内部分布我们的样本空间可以通过考虑不同尺度的不同图像斑块来显着丰富。为此,我们使用与SinGAN [28]类似的流水线对不同尺度下x的补丁的分布进行建模与SinGAN不同,我们使用多类鉴别器来区分应用于真实样本和生成样本的不同类别的变换。对于给定的标度n = 0,1,2,. . . ,N,我们用pn表示在这个尺度上具有与x相同的块分布的图像的分布。换句话说,x是由许多补丁在一个给定的分布,我们模型的分布-具有相同尺度相关面片的图像的分块我们使用来自该组的M=54(对于灰度图像数据集为42)个变换的子集,其中同一组变换用于所有数据集和实验。确切的变换集在补充部分(Sec. ①的人。我们还考虑了变换的另一个子集第3.1节)。我们通过首先填充反射图像来避免图像边界处的不良效果作为预处理步骤,在应用变换之前,我们对RGB颜色空间中的所有训练图像应用直方图均衡化。培训目标T1,. . . ,TM用于训练Gn和Dn。 对于每个尺度,我们将xn变换为集合{T1(xn),. . . ,T ,M(xn)}。类似地,每个生成的样本x被变换为分布对于每个尺度n,对于某些r >1,下采样因子为rN−n。尺度0具有最低分辨率,尺度N具有最高(原始)图像分辨率。使用双三次下采样T1(xn),. . .,T_M(x_n).另外,识别底层变换的任务以适合于异常检测的方式丰富了Dn的输出空间Dn是完全卷积马尔可夫鉴别器[43,在每个尺度n处,我们的方法采用补丁GAN [43,xn19]用于在pn中生成样本。每个补丁GAN由19]与Gx具有相同的架构,不同之处在于最后一个卷积层中的输出通道的数量是M+1。全卷积生成器Gx和鉴别器DxDn以区别的方式被训练以分类所有的感受野大小为11×11Gnxn的结构和nTi(x)的x片)作为I. 此外,还进行了优化分类Dx和培训详情见下文第三点四分。设xn为x,下采样因子为rN−n,zn为与xn具有相同维数和形状的高斯噪声。 在粗尺度下,n = 0,Gn的输出定义为(上划线用于表示生成的图像):x0=G0(z0)(1)移动到更精细的尺度n>0,Gn接受以下两者作为输入zn和xn−1到xn维的放大图像,表示为↑xn−1。然后使用残差生成:将Ti(xn)的所有片块映射到Gn尝试通过产生xn来欺骗Dn,使得Ti(xn)的所有片被分类为i。 对于每个Ti,Dn产生大小为H H的M +1个映射。沿着M+1个维度应用softmax,产生输入的补丁p属于M+1个类别之一的伪概率。我们使用以下对抗性损失术语:Mn n nAdvXXi=1p∈H×Hxn=G n(z n+↑xn−1)+↑ xn−1。(二)这样,网络Gn添加了↑xn−1的缺失细节Ladv−LCE(Dx(Ti(x))p,0)(4)(Gn)=G nLCE(Dx(Ti(x))p,i)(5)这是特定于规模n。i=1 p∈H×H变换来增强我们模型的能力n DLadv(D,G)= L(G)− L (Dn)(6)代表pn和最近的工作启发[41,13]少数x x adv xadv x镜头生成时,我们应用一组固定的可微变换T1,. . .,T M,到所有真实的和生成的im-其中Dn(Ti(xn))p(类似地,Dn(Ti(xn))p)表示年龄作为Dn的输入给出。选择这些变换,使得一方面,它们丰富了由当前模型捕获的样本空间,从而使其能够更忠实地捕获ρη,而另一方面,它们不产生X类之外的样本。我们使用由顺序应用以下变换而产生的变换集:(1)水平翻转,(2)平移:图像以0的比率移位。x轴、y轴或两者均为15,(3)90°旋转0,九十一百八十270的颜色变换,以及(4)RGB到灰度。对于灰度图像数据集,我们不使用颜色变换(4)。 由于内存限制,8498XXX×L中的点p的大小为M+1D_n产生的H_H映射和CE表示交叉,熵损失最近的文献[10]已经显示了训练用于异常检测的变换检测分类器我们利用类似的歧视性目标,但在多尺度层次生成模型的背景如图所示。4,使用这种分层生成模式显著改善了结果。除了对抗训练之外,还使用重建损失。 对于n =0,G0尝试在给定固定随机噪声z的情况下重建x0,而对于n> 0,G n尝试在给定获得的x n−1的上采样版本的情况下重建x n,8499XX00×××XXKAdvXXXK我X测试AdvXX我侦察;侦察XLX测试1测试测试AdvXKXK{x}n0nnnx=Gi Xkin×ki i2递归地,基于z*,没有进一步的随机性:x0=G0(z*)(7)计算昂贵且耗时。相反,我们使用以i为条件的单个生成模型。条件生成将生成器设置为打开状态x=Gn(↑xn−1),对于n>0(8)对于每个训练样本xi,我们将其值处处为i的单个通道连接到生成器的输入zL重建0(Gx)=||x− x||二(九)L(G)=||x−x||,对于n> 0(10)获得输入,我们将其表示为cat(z,i)。设x是维度为C×H×W的张量(通道,n×2侦察重建损失用于控制σn,σ n是在每个尺度使用的高斯噪声的标准偏差zn,其指示在每个尺度所需的细节水平按面值-高 度 和 宽 度 ) 。 我 们 用 cat ( x , i ) 表示维 度(C+1)HW的张量,其中最后一个通道在所有HW位置中等于i。推广我们的单图像生成器,在集合Xk上训练的生成器由Gn表示ticular,σn为||↑xn−1 -xn ||2. 不使用它(使用制服XK并且定义如下:随机性),Gn可以对输入图像进行着色。对于某个超参数α >0,在尺度n下使用的总损失为:0 0iXk(cat(z0,i))(13)xn=Gn(cat(zn+↑xn−1,i))+↑xn−1(十四)min maxLadv(Dn,Gn)+αLrecon(Gn)(11)GDi Xki in nx xnxX x培养目标我们的损失扩大了异常评分我们投下了异常检测的问题秒3.1到几枪的情况下。设Dn为判别式如确定给定测试图像的块,x_test,和在Xk上训练的尺度为n的nator。 我们定义Li(DnK,Gn)K他们的转变是真实的也就是说,对于给定的测试图像是Ladv(Dn,GnK)(等式. 6)输入xn,x,并且对于每个尺度n,令T(xn)、。. . 、T(xn)be而不是xn。 L多(D n ,Gn)定义为总和在xn上应用M个变换的结果,向下-在Li上(DnK,GnK)对于所有的我。重建损失尺度n下x检验的抽样版本。Dn(Ti(xn))可以尺度n下的每个样本xi现在变为:x检验被视为一组大小为M+1的H×H向量,其中00 ∗每个向量对应于输入的给定片通过xi=GXk(cat(z(15)删除第xn=Gn(cat(↑xn−1,i)),对于n>0(16)我000假设这个补丁是第i类的(第i以来L重建0(GXk)= ||xi − xi||二(十七)D是在来自正常类的数据上训练的,该值越高,在所有补丁和尺度上,并且对于所有transforL重组(Gn)=的||xn−x n||,对于n> 0如果我们的置信度越高,则我们对该样本的置信度越高。全重建损失L多(GnK)的和除以非异常。 因此,我们的异常评分如下:侦察;侦察(GnK)对于所有的我。请注意,在多-拍摄的情况下,学习生成从多个图像分布-N MC(x)= Σ[Dn*(T(xn))](十二)M测试n=0i=1p∈H×H8500XKXKXKXKX--X我 测试pi蒂申斯岛换句话说,我们有一组k个派生生成元每个尺度n,每个由Gn给出(cat(·,i))。似-与单次情况相比,尺度n下的总损耗为:其中Dn*输出Dn的最后M个映射,即,它输出min maxLmultiple(Dn ,Gn)+αL多(Gn) (十八)大小为M的H×H个GnDnAdvXk Xk重建nXkDn*(T(xn))表示的softmax概率向量XkXkxi测试ppDn的体系结构不是从一次性的提供补丁属于设置.不同的是,现在Dn接受的训练类(变换)i. C{x}(x检验)越低,x检验越反常。有关异常评分的进一步分析,请参阅补充资料(第3.2)。3.2. 从一次拍摄到几次拍摄异常检测移动到几个镜头设置,我们现在配备有子集Xk=X1,. . . ,X的x,k。为了最大化我们的样本空间,我们希望捕获由每个xi提供的类间因此,我们设计了一个模型,捕获每个xi的多尺度补丁分布。一种可能性是分别针对每个xi训练模型,并组合每个模型的得分但这可能是样本Xk以及针对每个样本i生成的样本,并且因此捕获更丰富的分布。在k >1的情况下使用的异常分数,表示为CXk(X测试),是等式1的相同异常分数。12,而不是Dn。3.3. 缺陷检测我们还考虑了“缺陷检测”的任务[14],这是异常检测的局部变体。在该变体中,正常样本在视觉上相似,而异常样本包含细微的局部变化。由于我们的方法模拟了每个训练图像的多尺度斑块分布,因此可以很容易地用于定位异常区域。Xx8501n×XKXXKXK×XKXK××××n=0i=1p∈fi(H×H)×X测试×特征出现。对于异常样本,只有少数斑块是异常的,其余的与正常样本中的斑块相似因此,不是对所有补丁求平均,而是对具有最低异常分数的5%具体而言,Eq。12修改为:每个类别中在[33,3,31]之后,我们认为正常图像,来自给定类别的所有图像,以及异常图像,所有其他类别的图像。我们比较我们的方法,最近的五个基线方法。第一种方法是GEOM [10],它将不同的变换应用于正常图像并训练分类器N MC{x}(xtest)=Σ ΣΣ[Dn*(Ti(xnn))p]对所应用的变换进行第二工作其中fi(H H)表示对于尺度η和变换i具有最低异常分数的斑块指数的5%。用Dn而不是Dn来定义少数拍摄分数。使用不同百分比的效果见第2节。四点三。3.4. 体系结构和培训详情生成器Gn和鉴别器Dn各自由五个卷积块组成。卷积块包括:(i)3 × 3卷积层,并被填充,使得它保持输入的空间分辨率,(ii)批量归一化层和(iii)斜率为0的LeakyReLU激活。二、5个这样的块的应用程序的结果在一个固定的有效的接收场为11 - 11的generator的Gn和鉴别器Dn在每个尺度n。对于最后一个卷积块,我 们 不 使 用 批 量 归 一 化 , 而 是 使 用 tanh 而 不 是LeakyReLU。adam opti- mizer学习率为0。0005和参数β1=0。5和β2=0。999、我用过 由方程式11、Eq. 18,α=100。所有实验均为0。r被选择为0。并且N被选择为使得在最细尺度N处的最大分辨率为六四六四我们的方法的计算成本和时间测量在补充(Sec. 4.)4. 实验图像的大小调整为64 64的分辨率。对于10个独立试验和每个类别标签,我们在从正常图像类别X中随机选择的k个不同图像上训练我们的模型。相同的图像集用于我们的方法和基线。在测试时,对于每次试验,使用所有测试图像,我们测量AUC。我们在正文中报告了平均AUC和标准偏差值,并在补充文件中报告了每个类别的详细结果(第12节)。2.)。4.1. 异常检测我们在四个数据集上评估我们的方法:巴黎[26],CI-FAR 10 [16],FashionMNIST [38]和MNIST [18]。的巴黎数据集由6,392个高分辨率(1024768)图像组成,这些图像从Flicker获得并分为11个地标。CIFAR10由10个类别的60,000 32,32彩色图像组成,在训练和 测 试 之 间 划 分 为 50 , 000/10 , 000MNIST 和FashionMNIST都分别由数字或时尚产品的70,000 2828 灰 度图 像组 成, 在训 练 和测 试之 间分 割 为60,000/10,000有10fier以将训练样本与它们的相反地生成最后,我们考虑DeepSVDD [31]的方法,它使用与经典SVDD [34]类似的目标以及深度网络的特征,以及PatchSVDD [39],它将DeepSVDD扩展为使用自监督学习的基于补丁的方法。图2(a)显示了我们的方法与基线相比的结果。我们的模型对所有数据集的所有基线都表现出色。它在FashionMNIST和MNIST中得分最高,其中单个图像捕获了显着的类间差异。PatchSVDD,其中incorporates基于补丁的配方,得分显着较低,表明,使用补丁在不同的规模,到一起,与我们的生成和判别式配方,显着改善的结果。DeepSVDD的得分高于PatchSVDD,表 明 深 度 网 络 功 能 很 重 要 。 DROCC , GEOAM 和GOAD,使用一个区分性的目标,也不如我们的方法,表明我们的补丁为基础的生成模型是重要的。巴黎数据集在单次设置上的定性结果如图所示。3、用于典型样品的有“国防”、“卢浮”和“万神殿”级。 对于每个类,我们在随机训练图像上训练模型并显示:(1)训练图像,(2)两个随机生成的样本,(3)真阳性、真阴性、假阳性和假阴性预测。可以看出,所生成的图像捕获类的外观和纹理,但有时改变结构。从真阳性,我们观察到,该模型正确地分类非平凡的图像,不同于训练图像的颜色,方向,缩放,甚至部分闭塞。假阳性(异常分类为正常)通常与训练样本相似。假阴性通常是具有显著遮挡的图像或界标非常小且距离很远的图像。我们评估我们的方法在k=5和k=10的图像。 图2(b-c)显示了我们的方法与基线的比较结果。我们的模型在所有数据集上的表现都优于基线,无论是五次拍摄还是十次拍摄。增加样本数量可以其中使用五个样本而不是一个,将AUC从66.6%增加到79.8%,表明需要多个图像来处理类间变异性。在这个数据集上,我们与基线的差距也是最大的,这表明我们的方法我是GOAD [3],它修改GEOM使用的异常分数。我们也考虑DROCC [11],它训练一个类。8502(一)(b)第(1)款(c)第(1)款图2.在Paris、CIFAR10、FashionMNIST和MNIST数据集上进行的一次和几次射击异常检测实验的平均AUC(用垂直线表示的STD)。(a)(b):一次发射(k= l),(b):五次发射(k= 5),以及(c):十次发射(k= 10)。更好地利用由附加样本提供的附加可变性图4我们考虑增 加 用 于 训 练 我 们 的 方 法 和 基 线 的 样 本 数 量 对CIFAR10的影响我们的方法随着样本数量的增加而不断改进,并且在50次和80次设置上都优于基线。然而,GEOM的差距随着k的增加而减小,这表明当许多样本可用时,从生成多个尺度的样本中获得的改进减小。4.2. 缺陷检测对于缺陷检测的任务,我们在MVTec数据集[4]上评估了我们的方法,该数据集包含5354个高-10个物体和15个纹理类别的分辨率彩色图像。在训练和测试之间,这些图像分为3629/1725个每个类别的训练样本的数量范围从60到320。测试图像中出现了小裂纹、变形、变色、划痕等70种缺陷类型。异常的大小、形状和结构可能不同。对于每个类,我们认为正常类是该类中的所有无缺陷图像,并且异常图像是来自同一类的所有有缺陷图像。我们将我们的方法与在缺陷检测方面表现出色的DifferNet [29]和PatchSVDD [39]进行比较。我们还比较了上述异常检测方法我们对一次注射和几次注射都8503n×××nni=1我X测试我设M=1并使用T1作为恒等式。 作为另一)我们只考虑补丁选择(v.(c)),我们应用T,。. . 、T作为增强ΣΣΣ图3.在Paris数据集上训练的单次模型所做的分类决策的说明。第一列是训练样本,然后是由训练生成模型生成的随机样本其他列表示来自Paris数据集的测试集的真阳性(TP)、真阴性(TN)、假阳性(FP)或假阴性(TN)样本。诉G不H单次拍摄5次射击充分是的是的是的64.967.5(一)没有是的是的60.764.9(b)第(1)款是的没有是的59.160.0图4.增加我们的方法和基线的样本数量对CIFAR10的影响。镜头异常检测我们考虑标准的一组转换,如第二节所述3.1(图1中的Ours1)(五)。为了与DifferNet进行公平的比较,我们也只考虑四个旋转变换(第2节中的组(4))。3.1),如在DifferNet中应用的(图2中的Ours2)。(五)。如可见于图5,我们的方法优于所有基线。图图6示出了针对我们的方法和针对DifferNet的单次缺陷检测的缺陷的定位显示了来自MVTec的三个随机测试我们以最终的比例观察缺陷。在Sec.3.3,我们的可视化映射被定义为MT−1D N*(T i(x N))(:),X测试我表1.CIFAR 10的平均AUC,具有/不具有我们的方法的每个组分:(G)生成器模型,(T)采用变换,(H)补丁的层次。更多详情见第二节。四点三。在CIFAR10上进行的单次和五次设置的消融实验。第一变体(变体(a)或V. (a)简称)不具有生成成分(G)。相反,我们只使用Dx,并删除伪类0。Dx被训练为在该尺度下的真实图像和它们的变换之间进行分类(不使用假图像)。异常评分保持不变。第二个变量(V)(b))不区别地使用变换(T)。训练Dx以在尺度n下区分真实图像和伪图像,并且其中ΣDN*(Ti(xN))(:)Σ是H×H图,表明而不是在图像的变换之间。 这等效指标测试N,并将其他修补程序设置为. 上网1mfi(H×H)0(均匀随机地),然后被馈送到Dx。下一DifferNet,我们使用他们的工作可视化程序我们准确地捕获缺陷区域,而DifferNet变体考虑设置的单个尺度n等级(H),通过仅捕获缺陷区域的较小区域。额外在补充文件(第二节)中给出了可视化。第3.4段)。4.3. 消融分析我们的方法依赖于三个主要组成部分:(1)生成模型,(2)其分层多尺度性质,以及(3) 变换鉴别组件。我们分别评估这些组件的贡献,运行N=0。 我们使用相同的1111感受域,并将图像缩小到100 × 100(其中考虑小的块)或20 ×20(其中考虑大的块)。这由s=100(v)表示。(d))且s=20(v.(e))。我们还考虑一个简单的基线,其中没有组件使用。异常分数是在单次设置中测试图像和训练图像之间的MSE,以及在五次设置中的平均MSE(v.(f))。最后,变式V。(g),在6,000个样本Ti(xN)有多实8504n×图5. MVTec上缺陷检测的平均AUC(用竖线表示的STD),用于一次注射、五次注射和十次注射设置. 对于Ours1,异常检测的变换(Sec.3.1),而对于Ours2,仅使用旋转(如在DifferNet中)。(fi(H H))进行缺陷检测(参见第3.3)。图图7给出了MVTec的平均AUC作为贴片的百分比年龄的函数使用5%(分别10%)的贴片最适合一次性(分别为5/10次射击)设置。然而,当该比率保持较低时,结果是稳定的关于异常评分、转换和生成样本的其他消融见补充文件(第(3)第三章。5. 结论我们提出了一个多尺度的分层生成模型,它结合了,在歧视,自我监督的任务分类变换。而在监督的情况下,多类描述符在(a)(b)(c)第(1)款图6.MVTec测试图像中的缺陷定位,用于一次性缺陷检测。(a)原始图像,其中异常区域用红色描绘。(b-c)由(b)我们的方法和(c)DifferNet提供的本地化。图7.用于缺陷检测的补丁百分比的影响使用我们的生成模型生成。结果报告在表1中四点二。所有三个组件(G,T和H)都需要实现最佳性能,其中H(补丁层次结构)扮演着特别重要的角色。将GEOM应用于外部网络生成的图像也不如我们的然而,它是更有效的比运行GEOM在少数拍摄设置(图。2)的情况。我们进一步分析了斑块百分比的影响条件GAN,例如,[32],我们不知道其他方法可以组合SSL任务中的标签。此外,虽然鉴别器在对抗性学习中发挥着重要作用,但大多数作品都没有在训练生成器或创建次要特征匹配损失之外使用它们据我们所知,同样独特的是在多张图像上训练单张图像,如GAN这通过添加包含图像索引的调节层来完成我们的方法提出了一个非常大的差距,在性能相比,国家的最先进的方法为少数拍摄的情况下。诚然,随着训练图像数量的增加,训练变得更加复杂,并且该方法在没有进一步修改的情况下不能很好地扩展到数百或数千个训练在一个小的训练集的情况下,我们的方法被设计,它演示了一类分类能力,这是令人惊讶的,在现有的文献中的重点建模的形式之间的训练样本的变化。6. 致谢该项目已获得欧洲研究委员会(ERC)在欧盟地平线2020 研 究 和 创 新 计 划 下 的 资 助 ( 授 予 ERC CoG725974)。第一作者的贡献是博士学位的一部分。在特拉维夫大学进行的论文研究8505引用[1] Charu C Aggarwal。离群值分析。数据挖掘,第237-263页。施普林格,2015年。[2] 安镇元和赵成俊基于变分自动编码器IE专题讲座,2(1):1[3] Liron Bergman和Yedid Hoshen。基于分类的通用数据异常检测。arXiv预印本arXiv:2005.02359,2020。[4] Paul Bergmann,Michael Fauser,David Sattlegger,andCarsten Steger.Mvtec 在IEEE/CVF计算机视觉和模式识别会议论文集,第9592-9600页[5] Varun Chandola、Arindam Banerjee和Vipin Kumar。异常检测:一个调查。ACM计算调查(CSUR),41(3):1[6] Wei-Yu Chen,Yen-Cheng Liu,Zsolt Kira,Yu-ChiangFrank Wang,and Jia-Bin Huang.更仔细地观察少数镜头分类。arXiv预印本arXiv:1904.04232,2019。[7] 李飞飞视觉物体类别识别学习中的知识转移国际发展与学习会议论文集(ICDL),第11页,2006年。[8] 李飞飞,罗伯·费格斯,皮埃特罗·裴罗纳。对象类别的一 次 性 IEEE Transactions on Pattern Analysis andMachine Intelligence,28(4):594[9] AhmedFrikha,DenisKrompaiman ,Hans-Geor gKo? pken,andVolker Tresp.通过Meta学习的少量单类分类。arXiv预印本arXiv:2007.04146,2020。[10] 伊扎克·戈兰和兰·亚尼夫。使用几何变换的深度异常检测。神经信息处理系统进展,第9758-9769页,2018年[11] Sachin Goyal、Aditi Raghunathan、Moksh Jain、HarshaVard-han Simhadri和Prateek Jain。Drocc:深度鲁棒单类分类。在机器学习国际会议上,第3711-3721页PMLR,2020年。[12] 希尔·古尔,萨吉·贝纳姆,还有里奥·沃尔夫。分层贴片vae-gan:从单个样本生成不同的视频。在NeurIPS,2020年。[13] Tero Karras , Miika Aittala , Janne Hellsten , SamuliLaine,Jaakko Lehtinen,and Timo Aila.用有限的数据训练生成式对抗网络。神经信息处理系统的进展,33,2020。[14] Christian Koch、Kristina Georgieva、Varun Kasireddy、Burcu Akinci和Paul Fieguth。综述了基于计算机视觉的混 凝 土 和 沥 青 土 木 基 础 设 施 缺 陷 检 测 和 状 态 评 估Advanced Engineering Informatics,29(2):196[15] 杰兹·科泽拉夫斯基和马修·特克。Clear:累积学习,用于一次性的一类图像识别。在IEEE计算机视觉和模式识别会议的论文集,第3446-3455页[16] Alex Krizhevsky,Geoffrey Hinton,等.从微小的图像中学习多层特征。多伦多大学,2009年。[17] 安娜·克鲁斯佩单向原型网络。arXiv预印本arXiv:1906.00820,2019。[18] 扬·勒昆和科琳娜·科尔特斯MNIST手写数字数据库。2010年上线[19] Chuan Li和Michael Wand。利用马尔可夫生成对抗网络进行预计算实时欧洲计算机视觉会议,第702施普林格,2016年。[20] Mary M Moya,Mark W Koch,and Larry D Hostetler.单类分类器网络在目标识别中的应用. NASA STI/Recon技术报告N,93:24043,1993年。[21] Eric Nalisnick、Akihiro Matsukawa、Yee Whye Teh、Di-lan Gorur和Balaji Lakshminarayanan。深度生成模型知道他们不知道的东西吗?arXiv预印本arXiv:1810.09136,2018。[22] 庞冠松,曹龙兵,凌尘,刘欢。基于随机距离的异常值检测的超高维数据学习表示。在第24届ACM SIGKDD知识发现数据挖掘国际会议论文集,第2041-2050页[23] Guansong Pang , Chunhua Shen , Huidong Jin , andAnton van den Hengel.深度弱监督异常检测。arXiv预印本arXiv:1910.13601,2019。[24] Guansong Pang , Chunhua Shen , and Anton van denHengel.使用偏差网络进行深度异常检测第25届ACMSIGKDD知识发现数据挖掘,第353-362页,2019年[25] Guansong Pang , Anton van den Hengel , ChunhuaShen,and Longbing Cao.深度强化学习用于未知异常检测,2020年。[26] James Philbin、Ondrej Chum、Michael Isard、Josef Sivic和Andrew Zisserman。量化损失:改进大规模图像数据库中的特定对象检索。2008年IEEE计算机视觉和模式识别会议,第1-8页。IEEE,2008年。[27] 亚历克·雷德福卢克·梅斯和苏米特·钦塔拉使用深度卷积生成对抗网络进行无监督表示学习arXiv预印本arXiv:1511.06434,2015。[28] Tamar Rott Shaham , Tali Dekel 和 Tomer Michaeli 。Singan:从单个自然图像学习生成模型。在计算机视觉(ICCV),IEEE国际会议上,2019年。[29] 马可·鲁道夫巴斯蒂安·旺特和博多·罗森哈恩相同但不同:具有归一化流的半监督缺陷检测。在IEEE/CVF计算机视觉应用集,第1907[30] Lukas Ruff , Jacob R Kauffmann , Robert AVander-meulen , Gre'goireMontavon , WojciechSamek ,MariusKloft , Thomas G Dietterich , and Klaus-RobertMüller.深、浅层异常探测的统一评述。IEEE,2021。[31] Lukas Ruff , Robert Vandermeulen , Nico Goernitz ,Lucas Deecke , Shoaib Ahmed Siddiqui , AlexanderBinder,Em- manuel Müller,and Marius Kloft.深度一级分类。在机器学习国际会议上,第4393-4402页8506[32] Tim Salimans 、 Ian Goodfellow 、 Wojciech Zaremba 、Vicki Cheung、Alec Radford和Xi Chen。改进的gans训练技术。arXiv预印本arXiv:1606.03498,2016。[33] ThomasSchlegl,PhilippSeebock,SebastianMWaldstein , Ursula Schmidt-Erfurth , andGeorg Langs.使用生成对抗网络进行无监督异常检测,以指导标记发现。在医学成像信息处理国际会议上,第146-157页。Springer,2017.[34] BernhardSchoülkopf,RobertCWilliamson,Ale xSmola,JohnShawe-Taylor,and John Platt.新颖性检测的支持向量方法。神经信息处理系统进展,12:582[35] Assaf Shocher、Shai Bagon、Phillip Isola和Michal Irani。In
下载后可阅读完整内容,剩余1页未读,立即下载
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 藏经阁-应用多活技术白皮书-40.pdf
- 藏经阁-阿里云计算巢加速器:让优秀的软件生于云、长于云-90.pdf
- 藏经阁-玩转AIGC与应用部署-92.pdf
- 藏经阁-程序员面试宝典-193.pdf
- 藏经阁-Hologres 一站式实时数仓客户案例集-223.pdf
- 藏经阁-一站式结构化数据存储Tablestore实战手册-206.pdf
- 藏经阁-阿里云产品九月刊-223.pdf
- 藏经阁-2023云原生实战案例集-179.pdf
- 藏经阁-Nacos架构&原理-326.pdf
- ZTE电联中频一张网配置指导书
- 企业级数据治理之数据安全追溯
- MISRA-C 2012-中文翻译版.pdf
- 藏经阁-《多媒体行业质量成本优化及容灾方案白皮书》-37.pdf
- 藏经阁-浅谈阿里云通用产品线Serverless的小小演化史-23.pdf
- 藏经阁-冬季实战营第一期:从零到一上手玩转云服务器-44.pdf
- 藏经阁-云上自动化运维宝典-248.pdf
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)