没有合适的资源?快使用搜索试试~ 我知道了~
NormalUnlabeled dataAnomalyUnlabeled dataNormalGroup 2Group 3Group 1Group 454790异常聚类:将图像分组为连贯的异常类型簇0Kihyuk Sohn,Jinsung Yoon,Chun-Liang Li,Chen-Yu Lee,Tomas P�ster0Google Cloud AI研究0{kihyuks,jinsungyoon,chunliang,chenyulee,tpfister}@google.com0摘要0我们研究异常聚类,将数据分组为连贯的-0异常聚类是将异常数据分为不同簇的过程。这与旨在将异常与正常数据分离的异常检测不同。与以物体为中心的图像聚类不同,异常聚类特别具有挑战性,因为异常模式是微妙且局部的。我们提出了一个简单而有效的聚类框架,使用基于补丁的预训练深度嵌入和现成的聚类方法。我们通过欧氏距离计算图像之间的距离函数,每个图像都表示为一组嵌入,嵌入的加权平均值之间的欧氏距离。权重定义了包中实例(即补丁嵌入)的重要性,可以突出显示有缺陷的区域。我们通过无监督方式或在有标记的正常数据可用时通过半监督方式计算权重。广泛的实验研究表明,所提出的聚类框架以及一种新颖的距离函数在现有的多实例或深度聚类框架上具有很好的效果。总体而言,我们的框架在MVTec物体和纹理类别上实现了0.451和0.674的归一化互信息分数,并在有少量标记的正常数据时进一步提高(0.577,0.669),远远超过基线(0.244,0.273)或最先进的深度聚类方法(0.176,0.277)。01. 引言0异常检测旨在在存在异常数据时检测出这些数据-0在训练时,标记的异常数据往往很少。为了解决标记异常数据的稀缺性问题,异常检测问题通常被定义为一类分类问题[53, 59,52],其中构建一个分类器,该分类器可以在测试时仅使用训练时的正常数据将异常数据与正常数据分开。作为异常检测的结果,我们将得到一个二进制的正常或异常标签。0然而,二进制标签的表达能力有限,因为-0如图1a所示,异常行为可能有很多来源。另一方面,如图1b所示,将数据分组为多个语义一致的簇将具有一定的价值。例如,簇分配可以用于生成主动学习的查询数据,0(a)异常检测0(b)异常聚类(我们的)0图1:与现有的(1a)异常检测[3, 4, 36,51]不同,(1b)我们研究的是异常聚类,它可以自动将未标记的数据分成多个簇,每个簇可能代表不同类型的异常。0在某些情况下,多样性是重要的[43, 40, 23,55],以提高异常检测器的性能。此外,它将帮助数据科学家分析各种异常类型的根本原因,希望通过改进制造流程来减少异常行为。本文研究了具有异常模式的图像聚类问题。0聚类可以用于我们的问题。经典的方法-0像KMeans[41],谱聚类[42]或层次凝聚聚类[62]这样的方法,侧重于给定表示的数据分组,而最近的深度聚类方法[65, 6, 28, 60,44]旨在同时学习高级表示和它们的分组。它们在CIFAR-10[31]或ImageNet[14]等几个视觉数据集上展示了令人印象深刻的聚类准确性。0在本文中,我们介绍了异常聚类,一种概率性的方法-0将图像分组为不同的异常模式是异常聚类的问题。与典型的图像聚类数据集不同,异常聚类的图像可能不是以物体为中心的。相反,图像在局部区域上大多相似但有所不同。据我们所知,与现有的研究相比,通过捕捉细粒度细节而不是粗粒度的对象语义来分组图像尚未得到研究。其次,在工业应用中,数据通常是有限的,这使得通常在大型数据集上训练的最先进的深度聚类方法不太适用。我们通过与深度聚类的实证比较来突出异常聚类的挑战。0我们提出了一种异常聚类框架来解决这个重要的实际问题。为了解决有限数据的问题,我们使用预训练0我们对两个异常检测数据集进行了全面的实验。in visual anomaly detection. Self-supervised representationlearning methods [21, 9] have been adopted to build deepone-class classifiers [22, 25, 2, 57, 56], showing improve-ment in anomaly detection [4, 67, 36]. In addition, the deep54800类似于异常检测的解决方案,然后是基于相似性的聚类方法。为了解决非物体中心问题,我们将图像表示为补丁嵌入的集合,而不是整体表示。这将问题自然地转化为多实例聚类。问题归结为定义一种补丁嵌入集合之间的距离函数,我们提出了一种加权平均距离,它通过加权聚合补丁嵌入,然后计算欧氏距离。权重指示要关注的实例,并且可以通过无监督方式或使用额外标记的正常图像的半监督方式来获得。所提出的框架如图2所示。0最后,我们总结了我们的贡献如下:0检测数据集,MVTec异常检测和磁砖缺陷。我们提出了一种新的实验协议,用于异常聚类,其性能是使用地面真实缺陷类型注释进行评估的。我们使用各种距离函数对提出的聚类框架进行了测试,包括Hausdorff距离的变体和我们的加权平均距离。我们还与最先进的深度聚类方法进行了比较,用于异常聚类。尽管概念上和计算上都很简单,但我们的结果表明,与现有的深度聚类方法相比,所提出的框架在解决异常聚类问题上表现出更好的效果。我们的加权平均距离还展示了在多实例聚类中相对于现有距离函数的有效性。0将其作为使用基于补丁的深度嵌入进行图像表示的多实例聚类。01. 我们引入了一种异常聚类问题,并将其转化为0通过关注无监督或半监督方式中的重要实例来计算距离。02. 我们提出了一种加权平均距离,用于计算0tiondatasets,在多实例和深度聚类基线上显示出实质性的改进。03. 我们在工业异常检测上进行实验0异常检测在各种设置下得到了广泛研究,例如使用标记的正常和异常数据进行监督,使用标记的正常数据进行半监督,或使用无标签数据进行无监督训练。而异常检测将数据分为正常和异常两类,我们的目标是将它们分组到许多聚类中,每个聚类代表不同的异常行为。02. 相关工作0在视觉异常检测中,已经采用了自监督表示学习方法来构建深度单类分类器,显示出在异常检测中的改进。此外,深度学习方法在视觉异常检测中取得了实质性的进展。0由于深度学习的发展,取得了实质性的进展。0在大规模物体识别数据集上训练的图像表示已经被证明是一种用于视觉异常检测的良好特征。虽然我们遵循类似的直觉,将图像表示为使用预训练网络的补丁嵌入的集合,但我们提出了一种将图像分组到多个聚类中而不是构建一个用于二元分类的单类分类器的方法。图像聚类是一个活跃的研究领域,其主要关注点在于图像表示。典型的方法包括关键点集合,其中一个构建局部描述符的直方图(例如SIFT或Texton),以及空间池化,通过平均聚合局部描述符来获得图像的整体表示。与我们的工作相关的一些应用包括纹理和材料分类和描述。虽然它们的目标是使用监督来对具有不同纹理或材料属性的图像进行分类,但我们的目标是在没有或最少监督的情况下对具有细微差异的带有缺陷的图像进行聚类。此外,我们使用补丁表示,并通过自动识别重要实例将问题转化为多实例聚类。0另一方面,深度聚类[65,6,28,60,44]0使用深度神经网络联合学习图像表示和组分配。尽管在聚类自然和以对象为中心的图像方面取得了巨大的进展,例如来自CIFAR-10 [31]或ImageNet[14]的图像,但最先进的深度聚类算法在异常聚类方面效果不佳,这需要捕捉各种异常类型的细微差异,如第4.2节所述。03. 异常聚类0我们介绍了所提出的异常聚类,在其中0在第3.1节中,我们将其作为多实例聚类问题[70]进行了阐述。在第3.2节中,我们在无监督设置下定义了一种距离度量,在带有少量正常数据的半监督设置下定义了一种距离度量。03.1. 框架概述0令X={xi∈RW�H�3}为要聚类的图像集0将其分为K组。根据深度聚类文献[6,60],对于给定的深度特征提取器,一种直接的方法是提取图像的整体深度表示,并在无标签图像上应用现成的聚类方法。虽然这种方法是合理的,但它没有考虑到异常行为可能在局部发生(例如,图3)。因此,它显示出次优的聚类性能(见第5.1节)。0为了考虑异常模式的局部性质0图像,我们建议使用补丁嵌入的包表示图像,类似于最近关于视觉异常检测的工作[67,50,13,51]。令Zi,Z(xi)={zi01,...,zi0其中zi0m2RD是使用预训练的深度神经网络从图像中提取0预训练的深度神经网络。由于我们有一组补丁Z1Z2Z3Z5Z4,(2)(3) (4)6(5)54810[d(Zi,Zj)]0补丁嵌入0权重0加权平均0聚类器 ● 谱聚类,● 凝聚0聚类,0图2:所提出的异常聚类框架使用基于相似性的聚类方法,如谱聚类或层次聚类。我们通过预训练的深度神经网络中的补丁嵌入的加权平均嵌入的欧氏距离来计算图像之间的距离,其中权重表示补丁嵌入的“重要性”(例如,缺陷)。0嵌入,其中每个嵌入来自单个图像,同时希望为每个包分配一个聚类成员,我们可以将其形式化为多实例聚类(MIC)[70]问题。具体而言,我们提出了一个遵循以下步骤的异常聚类框架:01. 提取补丁嵌入并从中定义嵌入。0将图像视为一个包。02. 计算包之间的距离。3.应用基于相似性的聚类方法。0图2可视化了所提出的框架。我们注意到为聚类定义适当的距离度量是至关重要的。接下来,我们讨论在无监督(第3.2.1节)或半监督(第3.2.2节)方式下计算的包之间的距离度量。03.2. 包之间的加权平均距离0对于无监督设置,我们给定数据{x i},或者0等价地,使用不带任何标签信息的实例集合{Zi}进行聚类。我们有兴趣使用现成的基于相似性的聚类方法对这些数据进行分组,并且我们需要定义包之间的距离d(Zi,Zj)。0计算距离的至少两种方法0包之间的距离。首先,我们计算两个包中实例对之间的距离,然后进行聚合。另一方面,我们聚合实例以获得每个包的单个表示,并计算距离。我们采取第二种方法,因为它显著减少了距离计算。0我们注意到,并非所有实例都应该对距离的贡献相等0包之间的距离。例如,我们不希望表示正常和异常数据中都常见的背景对应的补丁嵌入来表示异常。相反,我们可能希望异常模式的实例对距离的贡献更大。为此,我们提出了一种加权平均嵌入之间的距离0两个包之间的如下距离:0d WA(Z i,Z j)=0� M X0m =10� 0m z 0m0�0−0� M 0n =10� 0n z 0n0����(1)0其中 � 2 ∆ M 是一个权重向量,指定要关注的实例。03.2.1 无监督下定义 �。0剩下的问题是如何定义权重 �。直观地说,我们希望 �关注有区分性的实例,例如有缺陷区域的补丁嵌入,而不是正常区域的补丁嵌入。在MIC文献[70,10]中,最大豪斯多夫距离[27,17,18]一直是一个常用的选择,其距离度量如下所示:0d maxH(Z i,Z j)= max0�0d(Z i,Z j),d(Z j,Z i)0d(Z i,Z j)0m =1 ,...,0n =1,...,M0�0k z 0m − z j0n k0公式(3)返回 Z i 中实例对 Z j中实例的最小距离的最大值,很可能是两个包中不均匀实例之间的距离,如图3所示。此外,当 � i0m 和 � j0n 的确定如下:0低(稍微滥用符号),公式(1)恢复为公式(3)。0� 0m � = 1,m � = arg max m min n0�0k z 0m − z j0n k0� 0n � = 1,n � = arg min n0�0k z 0m � − z 0n k0最大豪斯多夫距离的一个缺点是,正如公式(4)所示,它只关注两个包中单个实例之间的距离。[70]提出了平均豪斯多夫距离来解决这种情况,通过取最小距离的平均值而不是最大值,但我们发现它们在异常聚类问题上不太适用,如第4.1节中的实验证明。0另外,我们提出了如下的软权重:0� 0m / exp0�0� E j 6 = 0�0n k z i0m − z j0n k0�InputHausdorffUnsupSemi-supSegmentationInputHausdorffUnsupSemi-supSegmentationInputHausdorffUnsupSemi-supSegmentation666(6)),(7)54820(a)MVTec(电缆)0(b)MVTec(瓷砖)0(c)磁贴0图3:覆盖在图像上的权重(�)的可视化。从第二列开始,我们展示了用于计算公式(4)中的最大豪斯多夫距离、公式(5)中的无监督距离、公式(6)中的半监督距离以及基于地面真值分割标签的权重的实例(例如,补丁)。0其中 � 控制 � 的平滑度。例如,当 � 不等于 0时,我们倾向于将权重集中在具有最大平均最小距离的 m的单个实例上,而当 � 不等于 1时,权重会均匀分布在实例之间。内部的 min运算符用于找到其他包中最相似的实例,并且在计算 �时允许常见于数据集中的图像的实例,例如与非缺陷区域相关的补丁,被降低权重。虽然我们选择使用期望值(E j 6 =i)来聚合最小距离,但也可以选择其他的运算符,例如max(max j 6 = i)或 min(min j 6 = i)。然而,max运算符对齐的对象会有问题,因为一些正常实例可能在异常图像中找不到。min运算符则在存在重复实例时会有问题。关于这些见解的更多解释请参见附录 B。最后,我们在第 5.3节中对运算符的组合进行了消融实验。0我们展示了由最大Hausdorff距离标准选择的�0在图3的第二列中,我们展示了基于方程(4)的标准和基于方程(5)的标准的距离度量的结果。我们观察到,对于大多数情况,有缺陷的区域都被突出显示,对于软权重来说,还有额外的细粒度。03.2.2 使用标记的正常数据定义�。0如图3所示,无监督距离度量的突出区域位于有缺陷的区域周围。这激发了我们直接推导出旨在关注有缺陷区域的权重向量的动机。受到近期半监督缺陷定位的成功启发[4, 67,36,51],我们提出了一种半监督异常聚类方法,其中给出了一些正常数据以帮助计算权重向量。具体而言,我们将方程(5)扩展如下:0� 0m / exp0� 10�0z 2 Z tr k z i0m − z k0�0其中Z tr = S0x 2X tr Z(x)是正常数据包的并集0x 2 Xtr。由于我们将所有来自正常数据包的实例放在一起,所以我们不需要期望值。我们通过以下方式可视化权重向量:0图3的第四列中展示了基于方程(6)的结果,然后是基于地面真值分割掩模的权重。03.3. 与BAMIC [70]的比较0BAMIC [70]是一个多实例聚类框架0需要一种成对距离度量和基于相似性的聚类方法。[70]中的一种实例使用Hausdorff度量的变体来计算距离和k-medoids进行聚类。然而,按照[70]的方法(maxH和k-medoids)在异常聚类中表现不佳,如表2所示。除了改进的聚类准确性,我们的方法还具有其他一些优点,如下所讨论。0时间复杂度。设N为数据的数量。距离度量的时间复杂度如下所示:0最大Hausdorff: O(N 2 M 2 D)0加权平均: O(N 2 M 2 D | {z }0方程(5)中的权重0+ N 2 D |{z0方程(1)中的距离0尽管WA由于第二项而稍微显得更昂贵,但对于大型数据包大小(M)来说,它是可以忽略的。重要的是,在计算方程(5)中的权重时,可以通过对数据进行子采样来大大减少计算量:0� 0m / exp0�0� E Z sub \{ i }0�0n k z i0m − z j0n k0�0导致O(N | Z sub | M 2 D + N 2 D),当N � | Z sub|时,这将是有益的。0使用标记的正常数据。在第4.3节中,我们展示了半监督WA距离度量可以通过使用少量标记的正常数据显著提高聚类性能(有关消融研究,请参见第A.2节)。这是WA度量的一个独特特点,[70]中没有讨论过这样的扩展。值得注意的是,半监督WA度量的时间复杂度为O(N | Z tr | B 2 D + N 2D),使得我们的方法在大规模N下可扩展。ods that learn deep representations and cluster assignmentsjointly. It has been studied extensively in recent years [65,66, 29, 28, 60, 44] and demonstrated a strong performanceover shallow counterparts in clustering object-centered im-ages. We study a few state-of-the-art methods, includingIIC [28], GATCluster [44], and SCAN [60]. Since we onlyhave a few images per category, methods like SCAN thatrequire a self-supervised pretraining may be suboptimal. Inthat case, we use the ImageNet pretrained model. Imple-mentation details are in the Appendix C.1.548304. 实验0我们使用异常检测测试异常聚类0基准数据集,包括MVTec数据集[3]和磁砖缺陷(MTD)数据集[26]。MVTec数据集包含10个物体和5个纹理类别。每个类别的训练集-0该类别包括正常(非缺陷)图像,其数量从60到391不等。测试集包含正常和异常(有缺陷)图像,异常图像按缺陷类型分为2 �9个子类别。请参见图1b,了解异常子类别的示例。磁砖缺陷数据集有952个非缺陷图像和392个有缺陷图像。有缺陷的图像被分为5个子类别,如吹孔、断裂、裂纹、磨损或不均匀。0协议。我们测试了无监督和半监督聚类。对于无监督情况,不提供任何标记的数据进行聚类,而对于半监督情况,给定了异常检测训练集中的标记正常数据来计算公式(6)中的�。我们强调,在计算评估指标之前,不提供任何标记的有缺陷图像。所有聚类实验都在转导设置下进行[20,8],除了深度聚类实验外,不涉及任何训练。0请注意,我们从合并的子类别中排除了组合子类别0由于合并的类别可能包含单个图像中的多个缺陷类型或其真实标签可能不准确,因此评估指标计算作为组合类别的图像[3]。0方法。我们评估了距离度量和聚类方法的组合。对于距离度量,我们考虑(均匀)平均值,豪斯多夫的变体(表5)[70]以及无监督和半监督方式下的提出的加权平均。对于聚类,考虑了k-means,GMM,谱聚类等0测试了不同链接选项的层次聚类,包括k-means,GMM,谱聚类和BAMIC [70]。最后,我们与IIC [28],GATCluster[44]和SCAN[60]等最先进的深度聚类方法进行了比较。在第4.2节中对现有方法进行了全面比较。0度量。标准化互信息(NMI)[54]和调整兰德指数(ARI)[48]是两种常用的聚类质量分析指标,当给定测试集的真实聚类分配时。我们还报告F1分数以考虑标签不平衡。使用匈牙利算法[32]高效地计算地面真实和预测聚类分配之间的最佳匹配。这些指标的最大值为1.0,较高的值表示更好的聚类质量。0实现。我们使用PyTorch [46]进行神经网络0工作实现和视觉模型[64]以及用于聚类方法的scikit-learn[47]。0使用ImageNet预训练的WideResNet-50(WRN-50)0默认情况下,提取块嵌入,类似于[51]。0具体来说,我们使用第二个残差块的输出,然后是3 �3的平均池化。然后,将每个块嵌入规范化为具有单位L2范数,然后输入到聚类方法中。此外,我们在附录A.4中使用了各种预训练网络(例如Ef�cientNet [58]和VisionTransformer(ViT)[16])进行了广泛的研究。04.1.无监督聚类实验0在表1中,我们报告了未标记的NMI、ARI和F1分数0在MVTec对象、纹理和MTD数据集上测试了无监督聚类和半监督聚类方法。我们使用不同的距离度量进行测试0包括平均值(即 � = 1)的度量0在公式(1)中的M)中,最大0Hausdorff在公式(2)中,提出的加权平均在公式(5)中。最后,使用Ward链接的分层聚类[62]进行聚类。在第4.2节中进行了使用不同聚类方法的研究。0我们确认使用平均值的距离度量0床上用品表现不佳,而基于最大豪斯多夫距离的最大最小准则选择的区分实例明显改善了性能。提出的加权平均距离平均提高了聚类NMI得分0.041。如图3所示,生成的权重关注多个区分实例而不是单个实例对,从而提高了聚类准确性。04.2.与其他聚类方法的比较0学习深度表示和聚类分配的方法。近年来,这一方法已经得到广泛研究[65, 66, 29, 28, 60,44],并在聚类以物体为中心的图像方面表现出强大的性能。我们研究了一些最先进的方法,包括IIC [28]、GATCluster [44]和SCAN[60]。由于每个类别只有很少的图像,需要自监督预训练的方法(如SCAN)可能不是最佳选择。在这种情况下,我们使用ImageNet预0此外,我们测试了最先进的深度聚类方法。0我们发现,使用Ward链接的层次聚类特别有效,其次是完全链接。单个或平均的链接,考虑到聚类之间最近邻之间的距离,对异常聚类效果不好。谱聚类似乎是中等有效的。如前所述,加权平均距离与更可扩展的基于中心的聚类方法兼容。MTD0.0650.0240.2890.1930.1120.3810.1790.1200.3460.3900.3140.490DistancemaxHWAmaxHWAmaxHWAKMeans–0.429–0.642–0.204GMM–0.395–0.578–0.204KMedoids0.1400.2350.2740.4300.0500.076Spectral0.4190.4280.6090.6060.1430.150Single0.1080.1330.0780.1080.0870.065Complete0.3160.2940.3600.4520.1280.116Average0.2450.2760.2230.4000.0800.094Ward0.4150.4510.6250.6740.1930.179ethefordothetestmaltota54840表1:MVTec(对象、纹理)和MTD数据集上无监督和半监督聚类方法的NMI、ARI和F1分数。与使用通过对补丁嵌入进行平均池化的整体表示的基线方法(“average”)相比,使用各种距离度量(如最大Hausdorff或提出的加权平均距离)的多实例聚类框架显示了巨大的改进。我们还报告了使用标记的正常数据计算权重的加权平均距离的性能(“Semi”)。我们在附录的表7中提供了每个类别的结果。0监督 无监督 半监督0距离平均最大Hausdorff加权平均加权平均0度量 NMI ARI F1 NMI ARI F1 NMI ARI F1 NMI ARI F10MVTec(对象)0.244 0.109 0.399 0.415 0.275 0.526 0.451 0.346 0.553 0.577 0.449 0.6280MVTec(纹理)0.273 0.123 0.402 0.625 0.534 0.708 0.674 0.601 0.707 0.669 0.570 0.6980总体 0.251 0.112 0.394 0.532 0.427 0.631 0.573 0.491 0.636 0.623 0.516 0.6630表2:与其他聚类方法(包括KMeans、KMedoids、GMM、谱聚类和层次聚类)的比较,使用最大Hausdorff(maxH)或加权平均(WA)距离,以及深度聚类方法,如IIC[28]、GATCluster [44]或SCAN[60]。对于深度聚类方法,我们在括号中提供了通过测试集准确性选择的最佳训练时期的性能。我们报告NMI,完整的结果在附录的表8中。0数据集 MVTec(对象) MVTec(纹理) MTD0IIC 0.086(0.170)0.107(0.188)0.064(0.034)0GATCluster 0.119(0.265)0.171(0.298)0.028(0.113)0SCAN 0.176(0.198)0.277(0.314)0.071(0.087)0例如KMeans或GMM等方法,尽管它们的性能稍差于分层Ward聚类。最后,我们注意到,无论聚类方法如何,所提出的加权平均距离在大多数情况下都显示出更高的NMI。0我们发现,最先进的深度聚类方法在异常聚类上表现不佳。0深度聚类方法在异常聚类上效果不好。即使我们报告了基于测试集性能的早停止选择的最佳性能(表2中的括号中的数字),性能也不如我们的方法好。深度聚类方法的次优性能可能是由于数据不足,但对大量数据的需求可能是它们在工业应用中的局限性。04.3.半监督聚类实验0我们测试了第4.3节中描述的半监督聚类0tion 3.2.2.在这种设置中,我们提供了标记的正常数据0从训练集中计算Eq.(6)的实例权重。类似地,我们使用分层Ward聚类。结果见表1。我们观察到与无监督聚类方法相比,性能显著提升。例如,我们在NMI上平均提高了0.050,超过了最佳无监督聚类方法。0改进来自哪里?我们假设0半监督权重以半监督方式派生的权重比无监督对应物更好地定位缺陷实例,并使距离更有意义,从而提高了聚类准确性。为了回答这个问题,我们在图3中可视化了半监督权重。虽然提出的无监督权重已经很好地定位了缺陷区域,但我们发现它也有一些误报(例如,图3b的第三行,图3a的第四行)。然而,半监督权重有效地消除了这些误报。此外,我们评估了像素级异常定位AUC,使用半监督权重达到了0.973的AUC,优于无监督权重的0.912的AUC。这表明聚类准确性的提升来自于对缺陷补丁更好的定位。我们相信,更先进的缺陷定位和分割方法[37]可以提高异常聚类的性能。0使用真实分割掩码,MVTec对象、纹理和MTD的NMI分别达到0.724、0.685和0.467,进一步改善了无监督和半监督聚类性能。04.4.聚类纯度0虽然我们报告了已知数量的聚类准确性0在第4.1节和4.3节中的聚类数量可能在实践中不可用。当数据过度聚类时,重要的是聚类的纯度。例如,01我们通过调整基准二值分割来计算权重0将具有1的异常像素和0的正常像素的掩码转换为相同的空间维度的补丁嵌入,并将它们的值归一化为总和为1。Bent wire (1.00)Cable swap (1.00)Cut inner insulation (0.9)Cut outer insulation (1.00)Missing cable (1.00)Poke insulation (1.00)Missing wire (1.00)Normal (0.98)Crack (1.00)Glue strip (1.00)Gray stroke (0.89)Rough (1.00)Oil (0.67)Rough (1.00)Oil (1.00)Normal (1.00)es.s-oter-odemorele,ouratechlti-54850图4:MVTec几个类别上的聚类纯度。聚类方法使用Ward聚类。括号中的数字表示曲线下面积除以示例总数(mAUC)。完整结果见附录A.5。0(a)MVTec电缆(纯度:0.97,子类别数量:8)0(b) MVTec瓷砖(纯度:0.97,子类别数量:6)0图5:使用半监督WA距离和Ward聚类可视化每个聚类中的图像,目标聚类数为16。我们在每个聚类中注释了主要子类别的名称和纯度。如果图像不属于主要子类别,则用红色突出显示;如果图像包含多种缺陷类型,则用橙色突出显示。0如果我们能够达到高纯度,那么标记工作量可以从数据数量减少到聚类数量。0图4显示了不同数量的聚类的聚类纯度0对于Ward聚类在几个MVTec类别上的目标聚类的纯度,我们看到使用提出的聚类框架(棕色,绿色,浅蓝色)相对于基线(粉色)有明显的纯度提升。此外,我们在表3中报告了纯度指标,包括mAUC(曲线下面积除以总样本数)和R@P(在给定纯度下聚类数的减少)。我们确认提出的框架改善了纯度。例如,我们将对象类别的R@0.95从0.231提高到0.527,这意味着我们可以将聚类数减少53%(与全面标记所有图像相比),同时保持95%的聚类纯度。04.5.聚类可视化0在图5中,我们展示了发现的聚类的图像。我们0使用半监督WA距离和分层Ward聚类进行16个聚类的过度聚类。我们在每个聚类中注释了主要的缺陷类型和纯度(括号中)。0我们从图5中验证了聚类的纯度相当高0将具有相同或相似缺陷类型的图像分组在一起。这是因为我们提出的距离度量能够关注辨别性的缺陷区域来计算02 R@P = 1 − (达到纯度P所需的聚类数) / (数据数) 。0数据集和指标 平均 maxH WA WA(半监督)0对象0mAUC(“)0.819 0.868 0.860 0.9150R@0.9(“)0.380 0.533 0.474 0.6710R@0.95(“)0.231 0.373 0.346 0.5270R@0.99(“)0.094 0.204 0.192 0.3270纹理0mAUC(“)0.807 0.926 0.907 0.9400R@0.9(“)0.378 0.769 0.760 0.8240R@0.95(“)0.243 0.702 0.629 0.6660R@0.99(“)0.083 0.346 0.393 0.3660表3:在不同距离下,MVTec对象和纹理类别的聚类纯度,mAUC,R@0.9,0.95,0.99。0图像之间的距离。虽然一些图像被错误地聚类(用红色突出显示),但它们与同一聚类中的其他图像相比似乎并没有太大的不同。另一个有趣的观察是,图5b中的两个“粗糙”聚类确实显示出了有些独特的纹理,而我们的方法能够捕捉到这种细微的差异将它们分开聚类。最后,有些图像中包含了多个缺陷类型,用橙色突出显示。例如,在图5a中,“弯曲的电线”聚类中的图像不仅有弯曲的电线,还有一根缺失的电线。令人鼓舞的是,我们的方法至少将其分组到了两个正确的候选聚类之一。将多标签异常聚类作为未来的工作,可以将多个聚类标签分配给具有多个缺陷类型的图像。ns.666ofnces548605.消融研究0在本节中,我们对提出的方法进行了深入研究0异常聚类框架。由于空间限制,我们在附录中提供了额外的研究,例如标记正常数据数量的影响(第 A.2节)或不同特征提取器(第 A.4 节)。05.1.补丁与整体表示0我们强调了补丁嵌入的重要性0多实例聚类与整体表示相比。对于整体表示,我们使用WRN-50的最后一个隐藏层进行平均池化,得到2048维向量,这在深度聚类文献中常用[60]。为了公平比较,我们对于补丁嵌入使用相同的隐藏层,但不进行平均池化。例如,对于大小为256x256的输入,我们获得8x8的2048维补丁嵌入。0在表4中,我们发现整体表示,尽管0在第4.2节中优于基于学习的深度聚类方法,但比起我们提出的基于补丁的多实例聚类方法表现更差。我们观察到使用各种ResNet [24, 69]和Ef�cientNet[58]模型时也存在类似的趋势,其结果见附录A.3。0数据集整体Hausdorff WA WA(半)0对象0.256 0.281 0.320 0.3810纹理0.507 0.542 0.568 0.5970MTD 0.205 0.250 0.227 0.2800表4:整体和补丁表示的NMI分数05.2. 对 � 的敏感性分析0方程(5)和(6)中的权重在中起着重要作用0异常聚类。具体而言,这两种公式都涉及超参数 �,该参数控制 �的分布的平滑程度,在本节中我们进行了消融实验。此外,我们还研究了权重的变体,称为硬权重,在附录A.1中选择k个最具有区分性的实例(而不是对它们进行软加权)。0图6展示了对 � 的敏感性分析。它显示了0趋势是中间值的 �更受青睐,随着值的增加,性能会下降,因为模型收敛到均匀权重。纹理类别即使在小的 �下仍然表现出色,因为它们可以关注较小的区域,这与我们观察到的一些纹理异常很小的大小一致。05.3. 距离度量的变体0提出了Hausdorff距离度量的变体0计算包之间的相似性。[10]提出了通过替换方程(2)和(3)中的max或min运算符的变体。例如,可以将方程(2)中的max运算符替换为mean,如[17]中建议的那样。具体公式见附录C。0图6:在MVTec数据集上对 � 的敏感性分析。0变体方程(3)方程(2)对象纹理MTD0平均平均 – 0.196 0.232 0.0710最大最小最大 0.415 0.625 0.1930Hausdorff最大最小平均 0.372 0.562 0.1600距离最小最小 – 0.126 0.187 0.1300平均最小最大 0.220 0.400 0.1410平均最小平均 0.235 0.348 0.1340变体方程(5)对象纹理MTD0未监督 E j 6 = i 0.451 0.674 0.1790权重最大 j 6 = i 0.252 0.614 0.1380最小 j 6 = i 0.472 0.625 0.0520表5:使用Hausdorff距离和未监督权重的异常聚类的NMI0我们使用Hausdorff距离的变体进行报告结果0如表5(顶部)所示。对于像max min或meanmin这样的非对称距离度量,通过max聚合它们比方程(2)中的max表现更好。将方程(3)中的第一个max替换为min或mean会降低性能,因为它会混淆对非判别性实例的关注,而这对于基于异常类型对数据进行聚类是至关重要的。0我们通过替换未监督权重的变体进行研究0在方程(5)中将E替换为max或min。结果见表5(底部)。我们发现E在各个数据集上的工作都很稳健。我们在附录B中提供了更多的定性分析。06. 结论0我们引入了异常聚类,这是一个具有挑战性的问题0现有的深度聚类等方法在这方面效果不佳。我们提出将其作为多实例聚类问题来处理,考虑到工业缺陷的某些特征,并提出了一种新颖的距离函数,该函数在存在缺陷区域时侧重于这些区域。实验结果表明我们提出的框架是有希望的。未来的研究方向包括扩展到多实例深度聚类和主动异常分类。我们相信这个提出的框架不仅对于异常聚类是有效的,而且对于细粒度可变形物体的图像聚类也可能是有用的。[3] Paul Bergmann, Michael Fauser, David Sattlegger,[4] Paul Bergmann, Michael Fauser, David Sattlegger,[5] Markus M Breunig, Hans-Peter Kriegel, Raymond T[6] Mathilde Caron, Piotr Bojanowski, Armand Joulin,and Matthijs Douze.Deep clustering for unsuper-[7] Varun Chandola, Arindam Banerjee, and Vipin Ku-[8] Olivier Chapelle, Bernhard Sch¨olkopf, and Alexander[9] Ting Chen, Simon Kornblith, Mohammad Norouzi,[10] Veronika Cheplygina
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功