没有合适的资源?快使用搜索试试~ 我知道了~
8791鸿沟异常C常态B拆分和组装:无监督异常检测的分块记忆学习侯金磊1、2†、张莹莹1、钟巧勇1、谢迪1、蒲世良1、周洪21海康威视研究院2浙江大学{houjinlei,zhangyingying7,zhongqiaoyong,xiedi,pushiliang. hri} @hikvision.comzhouh@mail.bme.zju.edu.cn摘要基于重建的方法在图像的无监督异常检测中起着重要的作用理想情况下,我们期望正常样本的完美重建和异常样本的不良重建。由于深度神经网络的泛化能力难以控制,现有的模型如自动编码器不能很好地工作。在这项工作中,我们解释了一个分裂和组装过程的图像重建。令人惊讶的是,通过各种-小号中号大号组装在特征图上划分的粒度,我们能够以调节模型对正常和异常样本的重建能力。也就是说,更细的颗粒导致更好的重建,而更粗的颗粒肥胖导致较差的重建。在适当的粒度下,正常样本和异常样本的重构误差之间的差距可以被最大化。通过将新颖的多尺度块式存储器模块嵌入到自动编码器网络中此外,我们引入了对抗学习,并探讨了语义的潜在表示的discriminator,这提高了微妙的异常检测。我们在具有挑战性的MVTec AD数据集上实现了最先进的性能值得注意的是,我们在AUROC得分方面将vanilla自动编码器模型提高了10.1%1. 介绍图像中的异常检测是计算机视觉界中越来越重要的领域。缺乏异常训练数据使得这项任务具有挑战性,并限制了成熟的监督学习方法的使用因此,现有的工作将异常检测定义为异常检测。†在海康威视研究院实习通讯作者。本课题得到国家重点研究&发展计划(批准号:2020AAA010400X)和国家自然科学基金(批准号:61803332)。图1.一个玩具的例子表明,重建能力的正常和异常的不同大小的积木。A:带有斜条纹的正常样品。B:具有类似于A的对角线条纹的另一正常样品。C:具有垂直条纹的异常样品。无监督学习问题,试图在训练时对没有异常样本的正态在推断期间,被描述为正态分布的异常值的样本然后被认为是异常的。基于重构的方法已被广泛用于无监督异常检测。最近的方法基于卷积神经网络(CNN)。特别是,自动编码器(AE)[21]是在无监督设置中对高维图像数据进行通常假设[53,17,51],与训练数据相似的正常样本的重建误差将低于异常样本。然而,由于AE中下采样的存在,潜在编码表示丢失了原始图像的详细信息。即使对于正常样本,也可能导致模糊的输出和大的重建误差我们可以通过降低下采样率或添加跳过连接来增强AE的重建能力[2]。常态A8792×××联系我们×××图2.各种模型的示例性重建结果AE:vanilla卷积自动编码器网络,其编码器的下采样率为16。AE+Skip:具有跳过连接的AEMemAE:使用[14]和2、4、8、16提出的记忆模块增强的AE表示我们重新实现中的下采样率。MemAE+Skip:AE+Skip在每个跳过连接中配备内存模块[14但由于深度神经网络的不可控制的泛化性,一方面难以提高正常样本的重建质量,另一方面难以抑制异常样本的质量(见图2)。因此,vanilla AE不能很好地工作。为了扩大正常和异常样本之间的重建误差的差距,一些作品[14,28]已经探索了存储器模块。特别地,外部存储器模块被用于明确地对常态的分布进行建模。然而,根据我们的调查,重建误差的差距,不能有效地扩大在现有的工作,导致有限的性能改善。如图2所示,在具有挑战性的MVTec AD [3]数据集上,当下采样率较大时(例如16),MemAE [14]未能重建图像中的异常和一些正常区域。当下采样率较小时(例如,2)或加入跳跃连接,能较好地重建正常和异常区域。我们认为,现有的内存增强模型的主要弱点在于,他们解码的编码特征图在每像素的方式。如果特征图的基本块越小,异常越有可能与正常共享相同的块模式,从而可以准确地这个假设可以用图1所示的一个玩具例子来概念性地解释。在该示例中,我们尝试从正常A学习不同大小的块模式,并使用学过的积木当块很小时,我们学习两个简单的模式(即白色和深蓝色),并成功地重建正常B和异常C。当块大小太大时利用适当的中等块大小,我们能够针对正态性B完美地重建,而针对异常性C较差地重建,这对于基于重建的异常检测系统是理想的。基于上述动机,我们提出了分割和组装异常检测(DAAD)框架。具体来说,我们解释的图像重建作为一个划分和组装过程。编码的特征图被均匀地划分成块的网格。相应地,引入与划分的大小相匹配的逐块存储器模块来对正态样本的块级而不是像素级分布进行该设计使得可以调节模型的重建能力。并且因此可以实现在正常样本上的良好重建和异常样本上的不良重建此外,可以安全地添加跳跃连接,以提高正常样本的重建质量,而不重建异常样本。给定一幅输入图像,DAAD使用多个编码层的多尺度特征作为查询,以检索相应存储库中最相关的项。然后,这些项被聚合并通过对应的跳过连接发送到解码器。通过反向传播将存储器项与模型参数一起端到端地学习如图2所示,DAAD表现出重建正常区域的细节同时抑制重建的理想特性异常区域的结构。在现实世界中,大多数异常,如划痕和裂纹往往是微妙的,并占据一个极小的区域。 因此,即使在异常图像中,像素也被正常而不是异常淹没。对于基于重建的方法,来自正常像素的累积误差比异常像素贡献更多,这削弱了聚合异常分数的区分度。即使正常像素的每像素重建误差小于异常像素,但仍然难以检测异常。因此,我们引入了一个adversarially学习鉴别器,并利用其低维的se-mantic表示。输入图像和重建图像的特征之间的相似性被视为正常性的度量语义特征级别的异常得分与低级别的基于重建的得分互补,并且它们的组合进一步提高了检测性能。本文的主要贡献如下:• 我们提出了多尺度分块记忆模型,它能够实现良好的重建正常和重建差MemAE MemAE MemAEMemAE2× 4× 8×16×AE AE+跳过MemAE组件+跳过我们异常原始掩模残差预测残差预测8793图3.所提出的DAAD框架的架构它由三个主要组件组成:编码器,解码器和一组块式存储器模块。编码器和解码器在多个尺度上用跳跃连接来连接。每个跳过连接都配备了右侧所示的块式存储器模块。从而使它们很好地分离。• 我们引入了一个adversarially学习的功能表示,检测异常的语义空间和补充重建为基础的检测。• 在常见的无监督异常检测基准上进行的大量实验表明,该方法具有出色的重建性能和最先进的性能。2. 相关工作无监督学习异常检测。由于异常的稀缺性和不可预测性,异常检测被广泛地表述为无监督学习问题,其中异常样本在训练期间不可用[5]。因此,自然选择单类分类方法,如单类SVM [7],支持向量数据描述符[40]和深度单类网络[35,4]来解决这个问题。此外,无监督聚类方法(例如,k-means方法[52]和高斯混合模型[44])也已经被探索用于对潜在空间中的正常样本的行为进行建模,以将异常与正常分开。然而,这些方法通常被发现难以获得有效的特征表示,从而导致在面对高维图像数据时的次优性能基于重建的方法主要基于以下假设:仅在正常样本上训练的模型不能准确地表示和重建异常,因此可以通过比正常相对更高的重建误差来检测异常[53]。Sakurada等人[37]首次将自动编码器应用于异常检测。后来,Nicolau et al.[27]提出了结合自动编码器在隐层中取低密度来指示异常和密度估计。为了推动模型更有效地建模正常性,最近 的 工 作 引 入 了 更 多 的 损 失 函 数 和 网 络 结 构 。Sabokrou等人[36]使用对抗学习优化了自动编码器,可以增强正常样本并扭曲异常样本。Zenati等人[49]训练了一个BiGAN模型,并采用了一个外部编码器来学习生成器的反向过程。此外,Akcay et al.[2]使用鉴别器将输入和重构编码到低维潜在空间以计算重构误差。类似地,Wang et al.[42]假设正常和异常数据遵循不同的高斯分布,并反向训练变分自动编码器。Perera等人[30]提出了OCGAN,在去噪自动编码器上嵌入两个鉴别器和一个分类器。为了抑制异常的重建,ITAE [19]和AESc [9]采用了图像恢复的思想ITAE擦除选定属性(颜色或旋转),而AESc破坏原始干净正态性以模拟异常。然后,他们试图恢复在培训阶段的腐败我们的工作是基于重建的方法。通过扩展香草AE与多尺度块明智的内存模块和adversarially学习的表示,我们显着提高了基线模型基于特征的方法在迁移学习设置中利用预先训练的深度表示来对正态分布进行建模。最近,诸如SPADE[8]、MAHA [33]和FAVAE [11]的一些作品试图利用从外部大规模数据集学习的强大知识。具体地,在ImageNet数据集上预训练分类模型,该数据集随后用作固定特征提取器。然后SPADE和MAHA通过比较测试的语义特征来识别异常ConvBNReLU跳过连接下采样2×上采样2×逐块存储器模块WCH变平存储体逐块存储器4读存储器N重新称重地址逐块存储器3D逐块存储器2WC重塑逐块存储器1H...输出输入8794×× ××× ×--关于我们∈--联系我们公司简介样本与一组正常样本。FAVAE使用预训练的模型来指导变分自动编码器的训练。我们的方法没有利用任何外部知识,这使得比较不公平。尽管如此,我们还是比较了它们的性能作为参考,我们的方法仍然超过了大多数基于特征的方法。记忆网络。为了捕获序列数据中的长期依赖性,提出了递归神经网络(RNN)和长短期记忆(LSTM)[18]。他们使用网络的隐藏状态来选择性地记录过去的信息作为他们的记忆。但有时它们不能很好地工作,因为存储器容量太小,不能准确地记录顺序数据的所有内容。最近,Weston et al.[43]引入了使用专用存储体的存储器网络,该存储体可以读取和写入并执行更好的记忆。然而,由于在训练期间需要对每一层进行监督,因此难以通过反向传播来训练存储器网络。Sukhbaatar等人[39]使得可以通过使用连续存储器表示来读/写存储器,以端到端的方式训练存储器网络。基于端到端存储器网络,Miller等人。[26]利用键-值对来进一步扩展存储器能力。存储器网络的成功和有效性已经吸引了对不同计算机视觉任务的越来越多的兴趣,包括对象跟踪[45,23,25]。动作识别[48],视觉问答[47,12]和异常检测[14,28,50,46]。与[14,28]类似,我们还探索了内存模块在异常检测背景下的潜力我们的主要新贡献是分辨率并预测重建,表示为受广泛用于密集预测任务的UNet架构[34]的启发,我们在编码器和解码器之间以多个尺度插入跳过连接。使用跳过连接经由层之间的直接信息传送提供了实质性的优点。它可以保留局部和全局信息,从而产生更好的重建。然而,它也带来了学习从输入到输出的身份映射的高风险,这将使异常和正常不可分割,如图2所示。为了解决这个问题,我们为编码器和解码器之间的所有连接配备了块式存储器模块,这将在下面的部分中描述。3.1.2逐块存储器模块使用块式存储器模块有效地实现了划分和组装概念。它涉及到块明智的查询表示和一个存储库来记录原型模式。一个基于注意力的寻址操作器被设计用于访问和更新的存储器项目。逐块查询表示。给定输入图像x,编码器发出一组特征图f1,f2,. . . 其中L是尺度的数量。 对于大小为 H1W1C1 的 每 个 特 征 图 f1,我们将其均匀地划分成Q=rhrwrc块的网格,其中rh、 rw和rc分别是沿着高度、宽度和通道的划分率。网格中的块表示为HlWlCl通过将存储器模块概括为多尺度方式的逐块而不是逐像素来调节关于正常和异常的重建能力。3. 方法qkRrh× rw × rc,k = 1,2,. . . 、Q. 每个块被平坦化为向量,并且用作对存储体的查询。对于每个查询,利用存储器寻址操作从存储器组聚集独特特征聚合要素与查询并且被重新整形回H1W1C1的块。在本节中,我们首先概述所提出的DAAD用于无监督异常检测的框架。然后,我们提出了详细的组件的块式存储器模块。接下来,我们介绍了一个adversarially学习的特征表示,通过比较输入图像和重建图像的特征来帮助识别异常最后,我们描述了训练损失函数和计算异常分数的方法。3.1. 网络架构3.1.1编码器和解码器图3的左部分示出了所提出的存储器增强的自动编码器网络的架构。它采用一个带有编码器GE和解码器GD的蝴蝶结网络。编码器网络将输入图像x映射到潜在表示z。由于与GE对称,解码器网络GD将潜在向量z上采样回到输入R r r通过组装聚合的特征块,我们获得变换后的特征图f¨1,f¨2,. . . ,f(L),其被重新馈送到解码器GD中以用于X.请注意,我们对所有尺度使用相同的分割率集合(rh、rw和rc),这导致不同级别的特征图的块大小不同。不同层次的查询不共享同一个内存库。存储体和寻址。存储体MRN×D被定义为包含N个固定维度D的存储项的实值矩阵。它用于明确记录训练过程中的典型正常模式。为了便于计算,我们将D设置为等于查询qk的维度。M的第i行向量表示一个存储器项miRD(i1,2,. . . ,N)。类似于[43,32],存储器是具有特定广告方案的内容可寻址的。它是通过计算注意力来解决的8795我Σ.Σqm∈ΣNL LLLxLxw=基于查询q,k和q,k之间的相似性的权重存储体中的每个项m具体来说,每一个重量Wi计算如下:exp.qkmTΣqk(一)INj=1expK不Jqk注意wi是非负的,并且wR1×N中的所有元素总和为1。 基于注意力权重w,通过下式在存储体上聚集新的特征块Nqk=wM=wimi(2)i=1如等式1所示。在等式(1)和(2)中,寻址权重w用于检索与qk最相关的存储器项,并生成对应的正规表示。通过对记忆项进行线性组合,某些异常图像仍然可以实现良好的重建。为了缓解这个问题,我们在计算q k时删除内存权重小于1的 项。由于w的稀疏性,每次只能寻址少量的存储器项。3.1.3逆向学习表征对于一些难以重建的复杂图像,基于重建损失的异常得分容易遭受大量正常像素的累积误差。为了解决这个问题,我们引入了一个adver-sarially学习的表示。在训练过程中,我们在低维语义表示空间中最小化原始图像和重构图像之间的距离。在测试过程中,我们将特征相似性纳入异常分数,使其在正常性重建较差的情况下更加稳健。防止图4.对抗性学习表征图。鉴别器附加在解码器之后,并且编码器-解码器网络充当生成器。其中,rec、adv和ali分别是重建损失、对抗损失和对准损失。λrec、λadv和λali是相应的损失权重。重建损失。重建损失使得从生成器G重建的输出图像类似于其输入图像。具体地,我们在输入x和重建的输出x之间应用L2距离,这确保我们的模型能够重建与正常图像在上下文上相似的图像。重建损失如下所示:从模式崩溃[16,6]中学习到的特征,我们利用对抗训练策略。具体地,编码器-rec=Epx||第二(四)条||2(4)解码器网络被视为生成器G,并且在解码器之后附加判别器D。如图4所示,鉴别器预测给定输入的真/假标签。它的架构是按照DCGAN的鉴别器[31]设计的。在训练期间,D尝试将真实图像x与生成的fak e图像x由G. 在推断期间,网络D用作特征提取器,用于提取输入图像X和重建图像X的特征。3.2. 损失函数这里,px表示正态样本的分布。对抗性损失。为了训练鉴别器D用于对抗学习的表示,我们利用[15]中提出的如等式1所示。在等式(5)中,判别器D试图正确地分类真实(输入)和伪(重构)样本,并且生成器G试图尽可能真实地重构x。对抗性损失Ladv可以写成:总训练损失是三个损失的加权和:adv=Epx [logD(x)]+Expx[log(1-D(G(x))](5)L=λrec Lrec+λadv Ladv+λali Lali(3)对准损失。对准损失旨在匹配重建图像的特征表示MMMM输入输出训练阶段MMMM输入输出测试阶段特征1功能0鉴别器假房扩散器解码器分类器解码器特征提取器特征提取器编码器编码器8796Lx--×××L类别地毯网格皮革瓷砖木材瓶电缆胶囊HNMN丹螺钉TBTS拉链是说SPADE [8]---------------0.855特征MAHA [33]FAVAE[11]1.0000.6710.8970.9701.0000.6750.9980.8050.9960.9481.0000.9990.9500.9500.9510.8040.9910.9930.9470.8520.8870.8210.8520.8370.9690.9580.9550.9320.9790.9720.9580.879[13]第十三话0.4370.6190.8410.417 0.6110.7440.7830.6700.359 0.813 0.6300.5000.972 0.8690.8200.672Ganomaly* [1]0.6990.7080.8420.794 0.8340.8920.7570.7320.785 0.700 0.7430.7460.653 0.7920.7450.762侦察兵ITAE [19]0.7060.8830.8620.735 0.9230.9410.8320.6810.855 0.667 0.7861.0001.000 0.8430.8760.839AESc [9]0.890.970.890.990.950.980.890.740.940.730.840.741.000.910.940.89我们0.8660.9570.8620.882 0.9820.9760.8440.7670.921 0.758 0.9000.9870.992 0.8760.8590.895表1.在图像级AUROC评分方面,与MVTec AD数据集上最先进的基于特征和基于重建的方法进行比较为了清楚起见,类别名称Hazelnut、Metal Nut、Toothbrush和Transistor分别缩写为HN、MN、TB和TS。*表示[19]复制的结果。输入图像x.这有助于确保特征相似性是指示异常的信息,即正常样品的含量高于异常样品。 如图4所示,通过将一对图像(x和x)馈送到鉴别器D中,我们在D的最后一个卷积层提取它们的特征。提取的特征fD(x)和fD(x()充当x和x(的语义表示。因此,对准损失定义如下:例如木材或皮革。其他10个类包含对象。与现有基准中使用的不同例如MNIST [24]和CIFAR10 [22],该数据集中的异常更细粒度,并且异常图像来自同一类别,这使得其更具挑战性。该数据集包含仅具有正常图像的训练集和具有正常和异常图像的测试集。ali=Epx3.3. 异常分数||第二章(六)||2(6)实施详情。我 们 将每个输入图像的大小调整为MVTecAD的256 - 256的大小,并将像素值归一化为[ 1,1]的范围。我们使用水平和垂直的图像翻转数据增强。除非另有在推断期间,通过融合输入图像与重建图像之间的高维图像空间中的重建误差和低维特征空间中的对准误差给定输入图像X,我们将异常分数定义如下:A(x)=γR(x)+(1−γ)L(x)(7)其中,R(x)是基于等式(1)测量输入图像与重建图像之间的平均逐像素差的重建分数。(四)、L(X)是通过输入图像的特征表示与基于等式(1)的重建图像的特征表示之间的距离测量的对准分数。(六)、γ是控制重建分数和比对分数的贡献的加权参数注意,在融合之前,R(x)和L(x)都被线性缩放到[0,1]4. 实验4.1. 设置本节介绍了我们实验中使用的数据集、实现细节和评价标准。数据集。为了证明所提出的方法的概念证明,我们在具有挑战性的工业异常检测数据集MVTec AD [3]上验证了模型。MVTec AD数据集包含15个不同类别的5354个高分辨率彩色图像5类由纹理组成注意,rh、rw、rc和存储体大小N通常被设置为8、8、1和500,以实现最佳的整体性能。 当仅使用重建损失(DAAD)时,模型通过Adam [20]优化器进行优化,固定学习率为1e−4,权重衰减为0,动量为β1=0。9,β2=0。999如果启用了对抗损失和对齐损失(DAAD+),则学习速率增加到2e−4。 的加权参数根据经验选择为λ rec=50,λ adv=0。5且λ ali= 0。五、当适用时,等式中的γ(7)被设置为0.9。该模型使用PyTorch [29]实现并经过训练对于1000个时期,批大小为8。评价模型的性能通过图像水平的受试者工作特征(ROC)的曲线下面积(AUC)(AUROC)来评估,AUROC是具有不同阈值的真阳性率与假阳性率的函数4.2. 结果MVTec AD. 在这个数据集上,我们将我们的方法与现有的最先进的方法进行比较,包括基于特征和基于重建的方法。如表1所示,我们的方法大大超过了大多数基于重建的方法。我们的性能与AESc [9]相当,后者通过生成合成异常来利用图像恢复技术。我们希望这些技术是对所提出的框架的补充8797×××方法MNISTCIFAR10VAE [21]0.8770.581AnoGAN [38]0.9370.612ADGAN [10]0.9470.624Ganomaly [1]0.9280.695[13]第十三话0.9800.656[2]第二章-0.732OCGAN [30]0.9750.656MemAE1 [14]0.9750.609CAVGA-Du[41]0.9860.737我们0.9900.7531MemAE使用不同的评价方案,其中仅使用部分测试集。表2.在AUROC评分方面与MNIST和CIFAR10数据集上的现有方法进行比较。工作值得注意的是,尽管由于它们使用外部知识,比较是不公平的,但我们仍然优于大多数基于特征的方法,即[11][12][13][14][15][16]值得注意的是,与普通AE相比,我们获得了10.1%的绝对 AUROC增益,如第4.3节所述。MNIST和CIFAR10。为了验证所提出的框架的通用性,我们报告的性能常用的MNIST和CIFAR10数据集。我们遵循[30]中使用的一类新颖性检测协议,并且与现有的基于重建的方法的比较列于表2中。我们的方法也取得了优异的性能。4.3. 消融研究为了验证所提出的框架的各个组件的有效性,我们对MVTec AD数据集进行了广泛的消融研究。相对于基线的改善。我们改进了vanilla AE和现有技术,如[ 14 ]中的内存模块,并在[2]中跳过连接。详细比较如表3所示。AE是用重建损失训练的香草自动编码器网络。MemAE是用[14]中提出的逐像素存储器模块增强的AE,其通过使用具有rh=16的单尺度(16)逐块存储器模块来重新实现。rw=16和rc=1。 AE+跳过是配备跳过连接的AE。DAAD是一种采用多尺度分块存储模块的AE系统。DAAD+是DAAD与对抗学习的表示的补充以AE作为基线模型,MemAE几乎没有改善AE,表明逐像素存储器模块对于像MVTec AD这样的复杂场景不能很好地工作。AE+Skip不能改善AE,因为它改善了正常和异常的重建质量,这使得它们不可分割。我们注意到AE+Skip可以得到表3.AUROC对MVTec AD的改进优于vanilla AE和现有技术。表示我们的再现结果。RHRW124816AUROC0.7160.7840.8210.8450.813表4.逐块存储器模块的块大小对AUROC的影响注意,使用较大的划分速率导致较小的块大小。在某些类别上表现良好,例如瓷砖木头和螺丝钉这是因为这些类别的前景和背景结构相对均匀,这使得异常的重建更加明显。然而,与AE相比,DAAD的AUROC增益为5。1%,验证了所提出的多尺度块式存储器模块的有效性。DAAD+进一步将AUROC提高5%,导致总改善10.1%,这证明了对抗学习的表示与DAAD是互补的。块大小的影响。为了验证我们关于图1中所示的块大小的影响的假设,我们使用沿空间维度(rh和rw)的不同划分率来评估AUROC评分,这基本上确定了块大小。如表4中所列出的,使用小或大的分割率导致次优性能。当使用中等分割率(即,8)达到最佳性能。在图5中,我们可视化了在同一组分割率下的两个典型图像的重建。我们可以发现,重建质量是密切相关的分块率所规定的块大小。对于瓶子这一对象类别,当块大小较大(分割率较小)时,模型只能重建输入的近似外观,丢失了大量细节纹理,包括异常像素。当块大小变小时,模型可以逐渐类别AEMemAEAE+跳过 DAADDAAD+地毯0.4110.4540.3850.6710.866网格0.8410.9460.8790.9750.957皮革0.6150.6110.5700.6280.862瓷砖0.6960.6300.9860.8250.882木材0.9610.9670.9770.9570.982瓶0.9550.9540.7130.9750.976电缆0.6880.6940.5790.7200.844胶囊0.8190.8310.7470.8660.767榛子0.8840.8910.8280.8930.921金属螺母0.5650.5370.3360.5520.758丹0.8820.8830.8530.8980.900螺钉0.9560.9921.0001.0000.987牙刷0.9770.9720.7420.9890.992晶体管0.7760.7930.7490.8140.876拉链0.8780.8710.6960.9060.859是说0.7940.8020.7360.8450.8958798LL(a)DAAD(b)DAAD+图6. MVTec AD数据集皮革类的异常评分和异常面积散点图图5.两个例子验证了重建质量随存储块大小的变化。从左到右示出了使用1、2、4、8和16的分割率(rhrw随着分割率的增加,块大小更小,并且重构变得更清晰并且甚至与输入图像相同。方法Ladv拉利L(x)R(x)AUROCAE✓✓✓✓✓✓✓0.794✓0.812✓0.8170.819✓0.835✓✓✓MemAE✓✓✓✓✓✓✓0.802✓0.825✓0.8350.841✓0.853✓✓✓DAAD✓✓✓✓✓✓✓0.845✓0.847✓0.8550.874✓0.895DAAD+✓✓✓表5. MVTec AD数据集上对抗性学习表示的变体的定量比较。重建图像的细节。并且当块大小足够小时,该模型甚至可以重建异常像素。对于网格的纹理类别,当块大小过大时,模型无法重建原始图像。当块大小变小时,重建的纹理逐渐变完整,甚至与输入图像完全相同。可以观察到类似的结果对抗性学习表征的影响 表5示出了基于不同生成器的 对 抗 学 习 表 示 的 有 效 性 , 即 AE 、 MemAE 和DAAD。我们观察到,单独的对抗性训练不会为DAAD带来性能增益,这表明DAAD已经能够实现完美的重建,并且仅通过对抗性损失adv难以进一步提高基于重建分数的性能。对准损失ali本质上向模型添加了附加约束,从而实现小增益。然而,我们通过将比对得分L(X)积分到异常得分中来获得性能提升我们认为,基于输入图像和重建图像的重建分数R(x)只能处理大的或明显的异常。而在低维空间中计算的比对分数可以进一步抑制正态性的异常分数,特别是对于难以重建的类别,例如皮革和地毯。图6比较了DAAD和DAAD+的异常分数的分布,这清楚地验证了我们的论点。5. 结论作为一个具有挑战性的无监督学习问题,许多技术已被利用在异常检测的上下文中。记忆模块完全适合正常模式建模的任务。然而,现有的工作未能有效地提高性能,特别是在复杂的数据集,如MVTec AD。在这项工作中,我们解释了重建的图像的新的角度划分和组装的特征图。通过控制构建块的粒度,即的记忆项,我们实现了良好的正常重建和不良的异常重建之间的平衡,这是基于重建的异常去噪成功的关键。通过改变沿信道(Rc)的划分速率。总之,定量和定性结果都很好地支持了我们的动机的划分和组装通过选择适当的分割率,我们能够实现正常像素的良好重建和异常像素的不良重建之间的权衡。检测方法此外,使用逆向学习的特征表示,我们能够在低维语义空间中检测异常,这补充了图像空间中的检测。在常见的异常检测基准测试中取得的良好结果验证了该框架的有效性和通用性。Mask Original面膜Original残余预测残余预测8799引用[1] Samet Akcay , Amir Atapour-Abarghouei , and Toby PBreckon. Ganomaly:通过对抗训练进行半监督异常检测。亚洲计算机视觉会议,第622-637页。Springer,2018. 六、七[2] SametAkcay、AmirAtapour-Abarghouei和TobyPBreckon。跳跃性异常:跳过连接和逆向训练的编码器-解码器异常检测。2019年国际神经网络联合会议(IJCNN),第1-8页IEEE,2019。一、三、七[3] Paul Bergmann,Michael Fauser,David Sattlegger,andCarsten Steger. Mvtec ad-一个用于无监督异常检测的综合真实世界数据集。在IEEE计算机视觉和模式识别会议论文集,第9592-9600页,2019年。二、六[4] 拉哈文德拉·查拉帕蒂,阿迪蒂亚·克里希纳·梅农,和圣杰·舒拉。使用单类神经网络的异常检测。arXiv预印本arXiv:1802.06360,2018。三个[5] Varun Chandola、Arindam Banerjee和Vipin Kumar。异常检测:一个调查。ACM计算调查(CSUR),41(3):1-58,2009。三个[6] Xinlei Chen,Kaiming He.探索简单的连体表征学习。arXiv预印本arXiv:2011.10566,2020。五个[7] Yunqiang Chen,Xiang Sean Zhou,and Thomas S Huang.用于图像检索学习的单类支持向量机。在Proceedings2001 International Conference on Image Processing(Cat.号01 CH 37205),第1卷,第34-37页。IEEE,2001年。3[8] Niv Cohen和Yedid Hoshen。具有深金字塔对应的子图像异常检测。arXiv预印本arXiv:2005.02357,2020。三六七[9] Anne-Sophie Collin和Christophe De Vleeschouwer。改进的异常检测训练自动编码器与跳跃连接损坏的图像染色形状的噪声。arXiv预印本arXiv:2008.12977,2020。三、六[10] Lucas Deecke 、 Robert Vandermeulen 、 Lukas Ruff 、Stephan Mandt和Marius Kloft。基于生成对抗网络的图像异常检测。在关于数据库中的机器学习和知识发现的欧洲联合会议上,第3-17页。Springer,2018. 七个[11] David Dehaene和Pierre Eline。 通过建模感知特征的异常定位。arXiv预印本arXiv:2008.05369,2020。三六七[12] Chenyou Fan,Xiaofan Zhang,Shu Zhang,WenshengWang,Chi Zhang,and Heng Huang.异质记忆增强的多模态注意力模型在视频问答中的应用。在IEEE计算机视觉和模式识别会议论文集,第1999-2007页,2019年。四个[13] 伊扎克·戈兰和兰·亚尼夫。使用几何变换的深部异常检测神经信息处理系统进展,第9758-9769页,2018年。六、七[14] Dong Gong , Lingqiao Liu , Vuong Le , BudhadityaSaha,Moussa Reda Mansour,Svetha Venkatesh ,andAnton van den Hengel.记忆正态性以检测异常:用于无监督异常检测的存储器增强深度自动编码器。在IEEE计算机视觉国际会议论文集,第1705二、四、七[15] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展,第2672五个[16] Je a n-BastienGrill , FlorianStrub , FlorentAltch e´ ,CorentinTallec,PierreHRichemond,ElenaBuchatskaya , Carl Do- ersch , Bernardo Avila Pires ,Zhaohan Daniel Guo,Moham- mad Gheshlaghi Azar,etal. Bootstrap你自己的潜在:一种自我监督学习的新方法。arXiv预印本arXiv:2006.07733,2020。五个[17] Mahmudul Hasan , Jongghyun Choi , Jan Neumann ,Amit K Roy-Chowdhury,and Larry S Davis.学习视频序列 中 的 时 间 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition,pages 733-742,2016中。一个[18] SeppHochreiter和JürgenSchmidhube r. 长短期记忆。神经计算,9(8):1735-1780,1997。四个[19] Chaoqing Huang,Jinkun Cao,Fei Ye,Maosen Li,YaZhang,and Cewu Lu.反变换自动编码器异常检测。arXiv预印本arXiv:1911.10676,2019。三、六[20] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。六个[21] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv:1312.6114,2013。1、7[22] Alex Krizhevsky,Geoffrey Hinton,等.从微小的图像中学习多层特征。2009. 六个[23] Zihang Lai,Erika Lu,and Weidi Xie. Mast:记忆增强的自我监督跟踪器。在IEEE/CVF计算机视觉和模式识别会议论文集,第6479-6488页,2020年。四个[24] 杨乐存。mnist手写数字数据库。http://yann. 乐村1998年。6[25] Francesco Marchetti , Federico Becattini , LorenzoSeidenari,and Alberto Del Bimbo.咒语:用于多轨迹预测的记忆增强网络。在IEEE/CVF计算机视觉和模式识别会议论文集,第7143-7152页,2020年。四个[26] Alexander Miller 、 Adam Fisch 、 Jesse Dodge 、 Amir-Hossein Karimi、Antoine Bordes和Jason Weston。用于直接读取文档的键值arXiv预印本arXiv:1606.03126,2016。四个[27] Miguel Nicolau,James McDermott,等.一种用于异常检测的混合自动编码器和密度估计模型。在国际会议上并行问题解决的性质,第717-726页。施普林格,2016年。3[28] Hyunjong Park,Jongyoun Noh,and Bumsub Ham.学习记忆引导的常态异常检测。在IEEE/CVF计算机视觉和模式识别会议的论文集,第14372-1438
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功