图对比聚类：一种基于图的聚类方法，考虑类别信息和聚类目标，利用图拉普拉斯算子的对比损失实现更优的聚类结果

9224图对比聚类HuasongZhongg1*，JianlongWu23*，ChongChenn1，4†，JianqiangHuang1，Minghua Deng4，Ligiang Nie2，Zhouchen Lin5，Xian-Sheng Hua11阿里巴巴集团达摩院2山东大学3浙江实验室4北京大学5北京大学EECS学院机器感知教育部重点实验室huasong. alibaba-inc.com，jlwu1992@sdu.edu.cn，{cheung.cc，jianqiang.hjq}@ alibaba-inc.com，dengmh@pku.edu.cn，nieliqiang@gmail.com，zlin@pku.edu.cn，huaxiansheng@gmail.com摘要近年来，一些对比学习方法被提出来同时学习表征和聚类作业，取得了显著的进步。然而，这些方法没有考虑类别信息和聚类目标，因此学习的表示对于聚类不是最优的，并且性能可能受到限制。针对这个问题，我们首先提出了一种新的图对比学习框架，然后将其应用到聚类任务中，从而产生了图对比聚类（GCC）方法。与仅假设图像及其增强应该共享相似的表示和聚类分配的基本对比聚类不同，我们将实例级一致性提升到聚类级一致性，假设一个聚类中的样本及其增强都应该是相似的。具体来说，一方面，我们提出了基于图拉普拉斯算子的对比损失，以学习更多的歧视性和聚类友好的功能。另一方面，我们提出了一种新的基于图的对比学习策略来学习更紧凑的聚类任务。这两种算法都引入了潜在的分类信息，以减小类内方差，同时增大类间方差。六个常用的数据集上的实验表明，我们所提出的方法比国家的最先进的方法的优越性。11. 介绍吸引排斥(a) 基本对比聚类（b）图对比聚类图1.提出GCC的动机（a）现有的基于对比学习的聚类方法主要集中在实例级一致性上，其最大化自增强样本之间的相关性，并将所有其他样本视为负样本。(b)GCC结合类别信息在实例和聚类两个层次上进行对比学习，可以更好地最小化聚类内方差和最大化聚类间方差。基于大量带注释的训练样本，深度学习在过去*H. Zhong和J. Wu贡献相等，是联合第一作者。这项工作是在H.钟先生于阿里巴巴集团达摩院全职工作†通讯作者。1代码地址：https://github.com/mynameischaos/GCC十年[15]。但是，手动标记大型训练数据集是非常昂贵和耗时的。为每个域或任务收集标记的数据集也是不切实际的在这种情况下，聚类算法近年来受到了广泛的关注，它的目标是在不知道样本标签信息的情况下将样本划分为不同的9225聚类[3，36，16，17]是一项非常具有挑战性的任务，因为同一类中的样本具有各种外观，并且缺乏监督信号来训练模型。经典的聚类方法[43，10，2，35，37]，例如谱聚类[26]和子空间聚类[24，9]，受到两个明显的限制，包括无差别的特征表示和由特征提取和聚类的分离一些最近的基于深度学习的方法可以很好地处理上述问题。例如，自动编码器相关方法[34，19]使重构误差最小化并且在潜在特征空间中分配各种正则化项，诸如KL散度[39]。深度自适应聚类（DAC）[3]最大化自增强样本之间的相似性，以自适应地训练神经网络。深度综合相关性挖掘（DCCM）[36]深入研究了样本和特征之间的各种相关性。这些方法实现了良好的聚类性能，但它们的上限精度是有限的，因为学习的特征是不够的歧视性。最近，对比学习[4]在无监督特征学习中受到了很多关注，它强调了数据增强的重要性，并最大限度地提高了两个增强样本之间的一致性。由于其成功，提出了一些方法[16，44，23，36]来联合优化对比学习和聚类。例如，分区置信度最大化（PICA）[16]通过最大化分区置信度来学习语义上最合理的聚类解决方案，这对应于聚类对比学习。深度鲁棒聚类（DRC）[44]不是仅使用PICA中的聚类对比，而是同时在特征和聚类空间中采用传统的对比这些方法显著提高了聚类性能，但它们仍然面临另一个明显的问题：这两种方法仍然遵循对比学习的基本框架，只假设样本及其扩充在特征空间中是相似的，没有将潜在的类别信息纳入聚类。针对上述局限性，本文提出了图对比框架，并将其应用于聚类任务，从而得到了图对比聚类（GCC）方法。如图1所示，我们假设一个聚类中的样本及其增强应该共享相似的特征表示和聚类分配，这将PICA和DRC中常用的实例级一致性通过引入潜在的类别/聚类信息，GCC可以帮助学习更多的区分性特征和更好的聚类属性，这更适合于聚类任务。具体来说，我们首先构建一个相似性图的基础上，当前的功能，然后我们将其应用于表示学习和聚类学习。对于表示学习-提出了基于图拉普拉斯算子的对比损失学习算法，以学习更多的聚类友好特征。对于聚类学习，提出了一种新的基于图的对比学习策略，以学习更紧凑的聚类分配。这两种方法都有助于减小类内方差和增大类间方差。在六个具有挑战性的数据集上的实验结果验证了该方法的有效性。我们还进行了广泛的消融分析，以证明图形对比的优越性。我们的主要贡献总结如下：1. 通过引入潜在的类别信息，我们提出了一个新的图对比框架，该框架假设一个聚类中的样本及其扩充应该共享相似的表示和聚类分配。该框架将传统的实例级一致性提升到簇级一致性，从而可以更好地降低类内方差，同时提高类间方差。2. 我们提出的图对比框架的聚类任务，并提出了图对比聚类方法（GCC），其中包括两个图对比模块。对于表示图对比度模块，提出了一种基于图拉普拉斯算子的对比度损失，以学习更具区分性和聚类友好的特征。对于任务图对比模块，提出了一种新的基于图的对比学习策略来学习更紧凑的聚类任务.3. 我们对图像聚类进行了广泛的实验，我们提出的方法在各种数据集上取得了显着的改善。我们还进行了广泛的消融研究，以验证每个模块的有效性。2. 相关工作2.1. 深度聚类根据自监督信号的差异，深度聚类方法主要可以分为两类，包括基于重建的方法[39，28，8，11，40]和基于自增强的方法[3，36，37]。17、12、16、33、44]。前者采用自动编码器[34]框架，并对潜在特征学习施加不同的正则化项。例如，DEC [39]和IDEC [11]最小化潜在子空间中特征的KL散度。Peng等人。[28]结合了稀疏先验。杨等人[40]将其与K均值结合起来。DEPICT [8]提出了基于卷积自动编码器的相对熵最小化后者的重点是利用原始图像和其变换图像之间的一致性信息，9226ǁ ǁΣJ联系 我们.11−√--Σ···训练网络。DAC [3]采用二进制成对分类框架进行图像聚类，以“监督”方式进行DCCM [36]综合利用了代表之间的各种相关性。函数Φ与参数θ，使得每个图像Ii可以被映射到（zi，pi），其中zi是具有正则化zi2=1的d维表示特征，并且pi是满足以下条件的K维分配概率：报告IIC [17]最大化互信息Kj=1 pij=1。的群集分配使它们保持相似的分配概率。PICA [16]通过最大化分区置信度来学习语义上最合理的聚类解决方案。DRC[44]试图通过引入对比学习来学习不变特征和聚类，以优化图像及其增强之间的SCAN [33]利用三阶段方法来改进聚类。这些方法取得了很好的效果，但它们忽略了集群分配学习和表示学习之间的联系。作为对比，我们的方法考虑他们的sample（i=1，…，N）可以通过以下最大似然来预测：li=argmax（pi j），1≤j≤K。3.2.图形对比（GC）设G =（V，E）是一个顶点集为V=v1，vN的无向图.边集合E可以由邻接矩阵A表示，使得：连接，并且同时学习特征表示和集群分配。一个ij=1，如果（vi，vj）∈E;0，否则。（一）2.2.对比学习最近， 对比的 学习 实现了显着让我是 的 程度 的vi， 如果 我们定义D=d1···0进步，它可以学习代表-.. . ..，则归一化对称图没有任何手动注释。 如吴等人[38]引入存储器组以存储嵌入式-实例表示的丁Zhuang等人[45]延伸通过学习嵌入函数以最大化局部聚集的度量，从而使得相似的数据实例在嵌入空间中一起移动MoCo [14]将对比学习视为字典循环，并使用队列和移动平均编码器构建动态字典MoCo v2 [6]通过使用MLP投影头和更多数据增强对MoCo进行了简单修改。simCLR [4]简化了最近提出的对比自监督学习算法，无需专门的体系结构或存储库。simCLR v2 [5]发现更大的自监督模型0dnG的拉普拉斯算子可以定义为：L= I − D−2 AD−2。（二）很容易检查L ij=一个ij ，ij.didj给定N个表示特征x = x1，...， x N具有单位l2范数，GC的直觉是如果A ij > 0，则xi应该接近x j，而如果A ij = 0，则xi应该远离x j。0的情况。假设图可以被划分为几个社区，GC的直觉告诉我们同一社区中的特征表示的数量应该大于社区之间的数量。近似地，我们可以定义标签效率更高，在以下情况下的只对少数标记的示例进行微调，即使它们S内部=Lij0−Lij S（xi，xj）（3）有更大的能力来潜在地过拟合。Tian等人[31、32]将对比学习扩展到多视图的情况9227Σ给定N个未标记图像的集合I={I1，… 我N}作为社区内的总相似性，表示蒸馏虽然这些方法可以学习良好的特征表示，如何将其应用于S中间=Lij=0S（xi，xi）（4）9228提高性能的群集任务仍然存在挑战性92293. 图对比聚类作为总的社区间相似性，其中S（xi，xi）是9230NLi=1Lij=0我 Jxi和xj之间的相似性。我们就可以用数学-通常将GC的损失定义为：92313.1. 问题公式化1 Σ. 吉尔·伊杰<0−Lij S（xi，xj）Σ9232（五）9233LGC= −N对数 Σ9234.S（x，x）9235从K个不同的类别，深度聚类的目的是分离-通过卷积将这些图像分成K个9236神经网络（CNN）模型，使得具有相同的语义标签可以被分组成相同的集群。9237在这里，我们的目标是学习基于深度CNN网络的映射9238最小化GC可以同时增加总的内部群落相似性和减少总的群落间9239相似性，这可以提高可分性，并导致学习特征表示是一致的9240图的结构。92419242G图对比聚类R表示G图C对比相似性正对相似度W1+W2 +W3+W$最小CNNMLP+++ ...++ +的指导负对相似度共享更新Y“Y指导图像CNNMLP分配对比AsassignmentG graphC contrast随机邻居W1W2W$W3AGC图RGC···2--2221N1N1Nθθ1'“的一声······图2. 提出的图对比聚类的框架。GCC有两个头，共享CNN参数。第一个头是一个表示图对比（RGC）模块，它有助于学习集群友好的功能。第二个头是分配图对比（AGC）模块，这导致更紧凑的集群分配。3.3. GCC框架我们通过将GC应用于表示学习和分配学习，引入了一种新的端到端深度聚类框架。如图2所示，在我们的GCC模型中有两个头部具有共享的CNN参数。上头部是表示图对比（RGC）模块，其基于表示图对比学习来学习聚类友好特征。底层头是分配图对比（AGC）模块，通过簇级图对比学习实现最终的簇分配。有了这两个模块，GCC可以同时学习更多的判别特征对于i，j=1，、N.图拉普拉斯算子L（t）可以通过Eq. （二）、3.3.2相似性函数为了计算两个样本之间的相似性，我们采用了高斯核函数，这是常用的谱聚类。GC损失方程的相似性（5）可以定义为：S（xi，xj）=e−xi−xj2/τ，其中τ是表示方差或温度的参数。由于xi−xj2=xi2+xj2−2xi·xj=和聚类以改进聚类。我们将在下面介绍GCC的详细信息。3.3.1图构建由于深度学习模型通常在训练期间波动，因此epoch的表示特征可能具有较大的偏差。我们利用移动平均来减少这种偏差之前的图形建设。到具体来说，假设Φ（t）是模型，Z（t）=22xi xj，我们使用以下相似度函数作为a替换：S（xi，xj）=exi·xj/τ。（七）3.3.3表示图对比假设I’={I’，…I'}是原始图像的随机变换，并且它们的对应特征是z =（z'，...，z'）。根据图表对比所述之前，z和z应该相似，如果它们被链接，而θij（z（t），，z（t））=（Φ（t）（I，N））是第t个时期的表示特征，表示特征的移动平均值可以被定义为：如果它们断开连接，请远离 设x = z'，在等式（1）中（5），我们可以得到RGC学习的损失为：（吨）（1−α）z¯（t−1）+αz（t）ΣΣ−L（t）ez'·z'/τLIJz'i =我（t−1）我（吨），i=l，···，N，（吨）N=−logL（t）0IjIJ。（八）（1−α）z¯i+αzi ǁ 2RGCNΣez'·z'/τ9243Aij=J0，否则我我J（六）他们的共同点是，他们的共同点是，他们的共同点是：其中α是权衡当前和过去影响且z¯（0）=z（0）。然后我们可以通过以下方式构建KNN图：i=1IjLij=0我（吨）我.1，如果z¯（t）∈Nk（z¯（t））或z¯（t）∈Nk（z¯（t））;3.3.4分配图对比对于传统的基于对比学习的聚类，图像~~~~~~~~~~~