基于双自编码器网络的歧视性嵌入和谱聚类方法

1基于双自编码器网络的徐阳1，邓成1，冯征2，严俊池3，刘伟41西安电子科技大学电子工程学院西安7100712南方科技大学计算机科学与工程系3上海交通大学计算机工程系、MoE人工智能重点实验室4腾讯人工智能实验室，深圳，中国{xuyang.xd，chdeng.xd}@ gmail.com，zhengf@sustc.edu.cn，yanjunchi@sjtu.edu.cn，wl2223@columbia.edu摘要聚类方法近年来在学习和视觉领域受到越来越多的关注.深度聚类将嵌入和聚类结合在一起，得到最优嵌入子空间进行聚类，比传统聚类方法更有效在本文中，我们提出了一个联合学习框架的歧视性嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行的潜在表示和他们的嘈杂版本的重建约束，嵌入到一个潜在的空间聚类的输入因此，所学习的潜在表示可以对噪声更鲁棒。然后利用互信息估计从输入中提供更具鉴别力的信息。此外，采用深度谱聚类方法将特征向量嵌入特征空间并进行聚类，充分利用输入之间的关系，获得最优聚类结果.在基准数据集上的实验结果表明，我们的方法可以显着优于最先进的聚类方法。1. 介绍作为无监督学习[39，8，20]和视觉社区的重要任务，聚类已广泛用于图像分割[33]，图像分类[41]和数字媒体分析[1]。聚类的目标是找到一个分区，以便将相似的数据点保持在同一个簇中，而将不相似的数据点保持在不同的簇中。近年来，提出了许多聚类方法，如K-均值聚类[24]、谱聚类[27，42]和非负矩阵分解聚类[37]，其中K-均值和谱聚类是两种著名的聚类方法*通讯作者。(a) 原始数据（b）ConvAE（c）我们的方法图1.用t-SNE算法对MNIST检验（a）：原始数据的空间，（b）：卷积自动编码器的潜在子空间中的数据点;（c）：所提出的自动编码器网络的潜在子空间中的数据点我们的方法可以提供一个更具鉴别力的嵌入子空间。这些算法可应用于广泛的各种任务。然而，这些浅层聚类方法依赖于低级特征，例如原始像素，输入的SIFT它们的距离度量仅用于描述数据空间中的局部关系，并且在表示输入之间的潜在依赖关系方面具有限制[3]。本文提出了一种新的基于深度学习的非监督聚类方法。深度聚类将嵌入和聚类过程结合起来，得到最优的嵌入子空间进行聚类，比浅聚类方法更有效。其主要原因是深度聚类方法能够有效地模拟输入的分布，捕捉非线性特征，更适合真实世界的聚类场景。最近，许多聚类方法都是通过深度生成方法来推广的，例如自动编码器网络[25]。自编码器网络的流行在于其强大的能力，捕捉高维概率分布的输入，而无需监督信息。编码器模型将输入投影到潜在40664067空间，并采用显式近似的最大似然估计的潜在表示和输入之间的分布多样性同时，解码器模型重建潜在表示，以确保输出保持输入中的所有细节[34]。几乎所有现有的深度聚类方法都致力于最小化重建损失。希望使潜在表示更具区分性，这直接决定了聚类质量。然而，事实上，潜在表示的辨别能力与重构损失没有实质性的联系，造成本文要弥合的性能差距。我们提出了一种新的双自动编码器网络的深度谱聚类。首先，一个双自动编码器，它强制执行的潜在的表示和他们的噪声版本的重建约束，是用来建立输入和他们的潜在的表示之间的关系。执行这样的机制以使潜在表示更鲁棒。此外，我们还采用-t的互信息估计，以保留从输入到一个极端的判别信息。以这种方式，解码器可以被看作是一个机器人，以确定潜在的表示是否是歧视性的。图1通过比较MNIST测试数据点上的不同数据表示来展示我们提出的自动编码器网络显然，我们的方法可以提供更多的判别嵌入子空间比卷积自动编码器网络。此外，利用深谱聚类将潜在表示嵌入到特征空间中，然后进行聚类。该方法可以有效地利用数据点之间的关系，并获得最佳的结果。所提出的双自动编码器网络和深度谱聚类网络被联合优化。本文的主要贡献有三个方面：我们提出了一种新的双自编码器网络，用于生成具有鉴别力和鲁棒性的潜在表示，该网络使用互信息估计和不同的重建结果进行训练我们提出了一个联合学习框架，将输入嵌入到一个具有双重自动编码器的判别潜在空间中，并同时通过深度谱聚类模型将它们分配到理想分布。实证实验表明，我们的方法在五个基准数据集上的性能优于最先进的方法，包括传统的和基于深度网络的模型。2. 相关工作最近，提出了许多基于深度学习的聚类方法。深度嵌入聚类[36]（DEC）采用完全连接的堆叠式自动编码器网络，以便通过最小化预训练阶段中的重构损失来学习潜在表示。应用于聚类阶段的目标函数是由t分布建模的聚类的软分配之间的KullbackLeibler（KL然后，在聚类阶段采用K-均值损失来训练全连接的自动编码器网络[38]，这是降维和K-均值聚类的此外，高斯混合变分自动编码器（GMVAE）[9]表明，最小信息约束可用于减轻VAE中过度正则化的影响，并在VAE框架内提供无监督聚类判别式提升聚类[21]是一种具有逐层批量归一化的完全卷积网络，采用与DEC相同的目标函数，并使用提升因子来相对训练堆叠自动编码器。Shah和Koltun [30]通过基于稳健统计的连续全局目标的根据这种方法，[31]中提出了一种深度连续聚类方法，其中自动编码器参数和针对每个数据点定义的一组代表同时优化。[6]提出的凸聚类方法通过最小化每个代表与其关联数据点之间的距离来优化代表。非凸目标涉及惩罚代表之间的成对距离。此外，为了提高聚类的性能，一些方法将卷积层与完全连接的层相结合。联合无监督学习（JULE）[40]使用聚集聚类方法以递归方式联合优化具有聚类参数的卷积神经网络，其中图像聚类在前向传递中进行，表 示 学 习 在 后 向 传 递 中 执 行 。 Dizaji [10] 提 出 了DEPICT，这是一种训练卷积自动编码器的方法，其中softmax层堆叠在编码器的顶部。softmax条目表示每个数据点到一个集群的分配。VaDE [16]是一种用于深度嵌入的变分自动编码器方法，并结合高斯混合模型进行聚类。在[15]中，训练了一个深度自动编码器，以最大限度地减少重建损失以及自我表达层。这个目标鼓励原始数据的稀疏表示。Zhou等[44]提出了一种深度对抗子空间聚类（DASC）方法，以通过对抗深度学习来学习更有利的表示并监督样本表示学习[19]。然而，real-time的结果-···4068∈--|θe图2.整体架构的图示我们首先预训练一个双自编码器将输入嵌入到一个潜在空间中，然后基于噪声变换器的隐表示及其噪声版本来获得重传结果。利用负采样估计计算的互信息从输入中学习判别信息。然后，我们分配的潜在表示的理想集群的深度谱聚类模型，并联合优化双自动编码器和谱聚类网络的同时。通过低维表示的图像通常非常模糊。一种可能的方法是用对抗学习来训练机器人，但这会进一步增加训练的难度相比之下，我们的方法引入了相对重建损失和互信息估计来获得更有区别的表示，并联合优化了自动编码器网络和深度谱聚类网络以实现最佳聚类。3. 方法如前所述，我们的框架由两个主要组成部分组成：双自动编码器和深频谱聚类网络。双自动编码器，它重建输入使用潜在表示和他们的噪声版本，引入，使潜在表示更鲁棒。此外，输入和潜在表示之间的互信息估计被应用以尽可能多地保留输入信息然后，我们利用深度谱聚类网络嵌入3.1. 判别潜在表征我们首先训练双自动编码器网络将输入嵌入在原始重构损失的基础上，我们增加了一个噪声干扰的重构损失来学习解码器网络。此外，我们将互信息最大化[13]引入到编码器网络的学习过程中，以便网络可以获得更鲁棒的表示。编码器：特征提取是聚类的主要步骤，一个好的特征可以有效地提高聚类性能。然而，单个重建损失不能很好地保证潜在表示的质量。我们希望这些表示将帮助我们从输入中识别互信息度量了两个样本之间的本质相关性，并且可以有效地估计特征Z与输入X之间的相似性。互信息的定义如下：将潜在表示转换到本征空间中并随后执行聚类。这两个网络合并为一个统一的框架，并与KLdiver联合优化∫∫I（X，Z）=p（z|x）p（x）logp（z|x）dxdzp（z）（一）gence.框架如图所示。二、令X={x1，…xn}表示输入样本，Z=z1，.， z n表示其相应的潜在表示，其中z i= f（xi; θ e）Rd由编码器学习E. 编码器的参数由θe定义，并且d是特征尺寸。x<$zi=g（zi;θd）表示=KL（p（z|x）p（x）||p（z）p（x）），其中p（x）是输入的分布，p（z x）是潜在表示的分布，并且潜在空间p（z）的分布可以通过p（z）=p（z|x）p（x）dx。预计相互信息将重构数据点，其是解码器D的输出，并且解码器的参数由θd表示。我们采用一个深度谱聚类网络C将zi映射到yi=c（zi;θy）∈RK，其中K是聚类数.在训练编码器网络时尽可能大，因此我们有：p（z|x）=max I（X，Z）。（二）解码器KL散度编码器图谱聚类互信息解码器阴性样本重构损失相对重建损失4069||θe此外，学习的潜在表示需要服从标准正态分布的先验分布，KL发散。这有利于使潜在空间更加规则。p（z）与其先验q（z）之间的分布差定义为。∫阴性样本潜在表示KL（p（z）||q（z））=p（z）对数p（z）q（z）法律公报（三）从另一个图像中绘制的图形×图形特征重复×重复特征+重复特征向量根据等式(2)和（3），我们有：. ∫ ∫p（z x）=minθep（z|x）p（x）log∫p（z|x）p（z）p（z）dxdzΣ（四）“Real”图3.局部互信息估计。+α它可以进一步重写为：p（z）对数法律公报q（z）样本的分布估计的实际样本，是generally利用解决问题的方程。（九）、σ（T（x，z））p（z x）=minθe.∫∫p（z|x）p（x）[−（α +1）logp（z|x）p（z）Σ是一个正样本对，其中x和它的潜在表示z一起形成一个正样本对。我们从受干扰的批次中随机选取zt构建阴性样本+ α log p（z|x）]dxdz q（z）根据等式(1)，Eq。(5)可以看作：p（z|x）= min {−βI（X，Z）Σ+ γExp（x）[KL（p（z|x）||q（z）]..（五）（六）根据X配对。请注意，方程式(9)表示X和Z之间的全局互信息。此外，我们从卷积网络的中间层提取特征映射，并构造特征映射与潜在表示（即局部互信息）该估计方法起到了与全局互信息相同的作用将中间层特征与潜在表示相结合，得到一个新的特征图.一个1×1的卷积-不幸的是，KL分歧是无限的。不是我们-在KL散度下，采用JS散度实现互信息最大化：p（z|x）= min {−βJS（p（z|x）p（x），p（z）p（x））本文将网络看作局部互信息的估计网络，信息，如图。3.负样本的选择方法与全局互信息估计相同。因此，需要优化的目标函数可以定义为：θeΣ+ γExp（x）[KL（p（z|x）||q（z）].（七）Le=−β（E（x，z）p（z|x）p（x）[logσ（T1（x，z））]我们已经知道JS发散的变分估计[29]被定义为：+E（x，z）<$p（z）p（x）[log（1−σ（T1（x，z）]）������卷积型判别器评分−4070不p（x）+q（x）|β-hw<$i，j（E（x，z）<$p（z|x）p（x）[1ogσ（T2（Cij，z））]JS（p（x）||q（x））= max（Ex<$p（x）[log σ（T（x））]（八）+E（x，z）p（z）p（x）[log（1 −σ（T2（Cij，z））]）+ Ex<$q（x）[log（1 −σ（T（x）））]）。+γExp（x）[KL（p（z|x）||q（z））]，（十）其中T（x）=log2p（x）[29]。 这里p（z|x）p（x）和p（z）p（x）用来代替p（x）和q（x）。因此，Eq. (7)可定义为：.其中h和w表示要素的高度和宽度地图Cij表示中间特征图在坐标（i，j）处的特征向量，q（z）是标准法线p（z x）=minθe−β（E（x，z）<$p（z|x）p（x）[log σ（T（x，z））]分布解码器：在现有的解码器网络中，+E（x，z）<$p（z）p（x）[log（1−σ（T（x，z）]）（九）分块损失通常是用于聚类的次优方案+γExp（x）[KL（p（z|x）||Σq（z））]。这是由于重建和聚类任务之间的自然权衡。重建损失主要取决于-负采样估计[13]，这是使用鉴别器区分真实和噪声的过程这两个部分：潜在表示的分布和解码器网络的生成能力。怎么-4071×我ǁ· ǁ×22i i i i iF然而，在聚类任务中我们真正的目标不是在每次迭代时，m个样本的小批量，因此损失函数可以定义为：最好的重建结果，但要得到更多的判别特征进行聚类。我们直接使用潜在空间中的噪声干扰来丢弃潜在表示中的已知干扰因素。在此Lc=1 ΣmM2i，j=1Wi，jyi−yj2.（十六）时尚通过排除而不是包含变得健壮，并且预计在聚类任务中表现良好，即使输入包含看不见的滋扰[14]。噪声-Transformer转换器用于将潜在的表示转换为为了防止所有点在网络映射中被分组到同一簇中，要求输出y在期望中是正交的。也就是说：将Z转换为它们的噪声版本Z，然后解码器重新解码，从Z和Z构造输入。重建-1YT Y=IMk×k、（十七）结 果 可 以 定 义 为 x<$z<$i=g （ z<$i;θd ） 和 x<$zi=g（zi;θd），并且相对重建损失可以写为：Lr（x<$z<$，x<$z）=<$x<$z<$−x<$z<$2，（11）其中F代表Frobenius范数。我们还使用原始重建损失来保证解码器网络的性能，并将噪声视为乘性高斯噪声。完全重建损失可以定义为：Lr=<$x<$z<$i−x<$zi<$F+δ<$x−x<$zi <$F。（十二）其中δ表示不同重建损失的强度。因此，通过考虑所有项目，自动编码器网络的总损耗可以定义为：min L r+ L e.（十三）其中Y是输出的m k矩阵，其第i行是yT。网络的最后一层用于执行正交性约束[32]。该层从K个单元获取输入，并充当具有K个输出的线性层，其中权重需要正交，从而为minibatch产生正交化输出Y。设Y_n表示m_k矩阵，其中包含Z的这一层的输入，通过其QR分解计算使Y_n的列正交化的线性映射由于积分AA对于任何矩阵A都是满秩的，因此QR分解可以通过Cholesky分解获得：AA=BB，（18）其中B是下三角矩阵，Q=A（B−1）。因此，为了正交化Y ，最后一层mul-√θd，θe将Y从右起乘以m（L−1）T。实际上，L3.2. 深度谱聚类学习的自动编码器参数θe和θd被认为是聚类阶段的初始条件谱聚类可以有效地利用样本间的关系来减少类内差异，得到比K-均值更好的聚类结果。在这一步中，我们首先采用自编码器网络来学习潜在的表示。然后，利用谱聚类方法将特征向量嵌入到其对应的图拉普拉斯矩阵的特征空间中。所有样本随后将在该空间中聚类。最后，将自动编码器参数和聚类目标联合起来，可以从Y的Cholesk yde组成和需要一个系数来满足方程。（17）。我们使用KL散度将潜在表示学习和谱聚类统一起来在聚类阶段，方程的最后一项。(10)可以重写为：Exp（x）[KL（p（y，z）|x）||q（y，z））]，（19）其中p（（y，z）|x）=p（y|z）p（z|x）和q（y，z）=q（z|y）q（y）。注q（z|y）是均值为μ y、方差为1的正态分布。因此，自动编码器和谱聚类网络的总损耗被定义为：优化具体来说，我们首先利用潜在表示Zminθd，θe，θcL r+L e+ L c。（二十）为了构建非负亲和矩阵W：zi−zj最后，我们联合优化两个网络，直到收敛，以获得所需的聚类结果。Wi，j=e−2σ2。（十四）4072谱聚类的损失函数定义为：Lc=E[Wi，jyi−yj2]，（15）其中yi是网络的输出。当我们采用一般的神经网络输出y时，我们随机选择一个4. 实验在本节中，我们在五个基准数据集上评估了所提出的聚类方法的有效性，然后将其性能与几种最先进的方法进行了比较。4073×××表1.数据集描述准确性[17]。为了完整性，我们通过以下方式定义ACC：ACC=最大MΣni=1 1{li=m（ci）}，（21）n其中li和ci是数据点xi的真实标签和预测聚类。NMI计算相同数据的两个标签之间的相似性的归一化度量，其定义为：NMI=I（I;c）max{H（l），H（c）}、（二十二）(a) MNIST(b) fashion-MNIST图4.我们实验中使用的基准数据集的图像样本4.1. 数据集为了证明我们的方法可以很好地处理各种数据集，我们选择了以下图像数据集。考虑到聚类任务是完全无监督的，我们在适用时将训练样本和测试样本连接起来。MNIST-full[18]：一个数据集，包含总共70，000个手写数字，60，000个训练样本和10，000个测试样本，每个样本都是32 32单色图像。MNIST-test：数据集仅由MNIST-完整数据的测试部分组成。USPS：来自USP-S邮政服务的手写数字数据集Fashion-MNIST[35]：该数据集具有与MNIST相同的而不是数字，它由各种类型的时尚产品。YTF：我们采用YTF数据集的前41个主题，图像首先被裁剪并调整大小为55 -55。一些图像样本如图所示。4.数据集的简要说明见表1。1.一、4.2. 聚类分析为了评估聚类结果，我们采用了两个标准的评估指标：准确度（ACC）和归一化互信息（NMI）[37]。使用匈牙利算法计算聚类分配和真实标签之间的最佳映射，以测量其中I（l，c）表示真实标签l和预测聚类c之间的互信息，并且H表示它们的熵。NMI的结果不因簇（类）的排列而改变，并且它们被归一化到[0，1]的范围，其中0表示没有相关性，1表示完全相关。4.3. 实现细节在我们的实验中，我们设置β=0。01，γ=1，δ=0。五、自动编码器网络的通道数和内核大小如表1所示。2，并且潜在空间的维数被设置为120。深度光谱聚类网络由四个完全连接的层组成，我们采用ReLU [22]作为非线性激活。我们用每个数据集的概率K-近邻构造原始权重矩阵W权重Wij被计算为最近邻图[11]，并且邻居的数量被设置为3。4.4. 比较方法我们将我们的聚类模型与几个基线进行了比较，包括K-均值[24]，具有归一化切割的谱聚类（SC-Ncut）[33]，大规模谱聚类（SC-LS）[4]，NMF [2]，基于图度链接的聚合聚类（AC-GDL）[43]。此外，我们还使用几种基于深度学习的最先进的聚类算法评估了我们的方法的性能，包括深度对抗子空间聚类（DASC）[44]，深度嵌入聚类（DEC）[36]，变分深度嵌入（VaDE）[16]，联合无监督学习（JULE）[40]，深度嵌入正则化聚类（DEPICT）[10]、改进的局部保持深度嵌入聚类（IDEC）[12]、使用一组最近邻对的深度谱 聚 类 （ SpectralNet ） [32] 、 使 用 GAN 的 聚 类（GAN）[26]和使用互信息的GAN（InfoGAN）[5]。4.5. 聚类算法的评价我们用10次随机试验运行我们的方法，并报告平均性能，误差范围不超过2%。在比较方法方面，如果他们的方法在某些数据集上的结果没有报告，我们运行发布的数据集样品类尺寸MNIST-完整70,000101×28×28MNIST-测试10,000101×28×28USPS9298101×16×16fashion-MNIST70,000101×28×28YTF10,000413×55×554074USPSFashion-MnistYTF3×3×163×3×32--3×3×165×5×163×3×165×5×163×3×325×5×323×3×325×5×32表2.描述自动编码器网络的结构方法编码器1/解码器4编码器2/解码器3编码器-3/解码器-2编码器-4/解码器-1MNIST3×3×16 3×3×163×3×323×3×32表3.基于ACC和NMI的不同聚类算法在5个数据集上的聚类性能方法MNIST-完整MNIST-测试USPS时尚-10YTFNMIACCNMIACCNMIACCNMIACCNMIACCK-means [24]0.5000.5320.5010.5460.6010.6680.5120.4740.7760.601SC-Ncut [33]0.7310.6560.7040.6600.7940.6490.5750.5080.7010.510SC-LS [4]0.7060.7140.7560.7400.7550.7460.4970.4960.7590.544NMF [2]0.4520.4710.4670.4790.6930.6520.4250.434--AC-GDL [43]0.0170.1130.8640.9330.8250.7250.0100.1120.6220.430DASC [44]0.784磅0.801磅0.7800.804------[36]第三十六话0.834磅0.863磅0.830磅0.856磅0.767*0.762*0.546磅0.518磅0.446磅0.371磅[16]第十六话0.8760.945--0.5120.5660.6300.578--JULE [40]0.913磅0.964*0.915磅0.961*0.9130.9500.6080.5630.8480.684DEPICT [10]0.917磅0.965千克0.915磅0.963磅0.9060.8990.3920.3920.8020.621IDEC [12]0.867磅0.881磅0.8020.8460.785公斤0.761磅0.5570.529--SpectralNet [32]0.8140.8000.8210.817----0.7980.685InfoGAN [5]0.8400.870----0.5900.610--[26]第二十六话0.8900.950----0.6400.630--我们的方法0.9410.9780.9460.9800.8570.8690.6450.6620.8570.691用论文中提到的超参数编写代码，结果在顶部用（*）标记。当代码不是公开可用的，或者运行发布的代码是不实际的，我们用破折号（-）代替相应的结果。聚类结果显示在Tab中。3，其中前五个是传统的聚类方法。在表中，我们可以注意到我们提出的方法在这些基准数据集上优于竞争方法。我们观察到，无论是在数字数据集还是在其他产品数据集上，所提出的方法都可以提高聚类性能。特别是在对象数据集上进行MNIST-test时，聚类准确率超过98%.特别是，它超过了第二个最好的DEPICT，它是由1.6%和3.1%，分别在ACC和NMI上的噪声版本的输入训练。此外，我们的方法实现了更好的聚类结果比几个经典的浅基线。这是因为与浅层方法相比，我们的方法使用多层卷积自动编码器作为特征提取器，并采用深度聚类网络来获得最佳聚类结果。Fashion-MNIST数据集由于样本的复杂性而很难处理，但我们的方法仍然获得了很好的我们还研究了MNIST的参数敏感性测试，结果如图所示5、图。5（a）(a)（b）第（1）款图5. MNIST数据集上不同β和γ的图5（b）是NMI的结果。它直观地表明，我们的方法保持可接受的结果与大多数参数组合，并具有相对稳定性。4.6. 学习方法评价我们比较了不同的策略来训练我们的模型。为了训练多层卷积自动编码器，我们分析了以下四种方法：（1）具有原始重构损失的卷积自动编码器（ConvA-E），（2）具有原始重构损失和互信息的卷积自动编码器（ConvAE+MI），（3）具有改进重构损失的卷积自动编码器（ConvAE+RS）和（4）具有改进重构损失的卷积自动编码器。4075表4.基于ACC和NMI的五种数据集上不同策略的聚类性能方法MNIST-完整MNIST-测试USPS时尚-10YTFNMIACCNMIACCNMIACCNMIACCNMIACCConvAE0.7450.7760.7510.7810.6520.6980.5560.5460.6420.476ConvAE+MI0.8000.8350.7960.8440.7440.7850.6090.5920.7380.571ConvAE+RS0.8030.8410.8010.8500.7520.7980.5970.6140.7210.558ConvAE+MI+RS0.9100.9570.9140.9610.8270.8310.6400.6560.8010.606ConvAE+MI+RS+SN0.9410.9780.9460.9800.8570.8690.6450.6620.8570.691(a) 原始数据（b）ConvAE（c）DEC（d）SpectralNet(e)ConvAE+RS（f）ConvAE+MI（g）ConvAE+RS+MI（h）ConvAE+MI+RS+SN图6.使用MNIST测试数据可视化显示嵌入子空间的判别能力证明了重建损失和互信息（Con-vAE +MI+RS）。最后一个是卷积自编码器和深度谱聚类的联合训练。选项卡. 4表示用于训练我们的模型的不同策略的性能。实验结果表明，该方法的每一种策略都能有效地提高聚类的准确性图6通过使用t-SNE可视化比较MNIST测试数据点的不同数据表示来证明我们提出的策略的重要性[23]，图。图6（a）表示原始数据的空间，图6（b）表示原始数据的空间。图6（b）是卷积自动编码器的潜在子空间中的数据点，图6（b）是卷积自动编码器的潜在子空间中的数据点。图6（c）和图6（d）分别是DEC和SpectralNet的结果，其余是我们提出的不同策略的模型。实验结果表明，该方法得到的潜在表征具有更清晰的分布结构。5. 结论在本文中，我们提出了一种无监督的深度聚类方法，该方法具有双自动编码器网络和深度光谱网络。首先是双自动编码器，它使用潜在表示及其噪声污染的版本被用来建立输入和潜在表示之间的关系，以便获得更鲁棒的进一步地，我们最大化输入和潜在表征之间的互信息因此，由我们的自动编码器获得的潜在空间的特征最后，将光谱网络融合到一个统一的框架中，对潜在空间的特征进行聚类，从而有效地利用样本之间的关系。我们评估我们的方法在几个基准和实验结果表明，我们的方法优于那些国家的最先进的方法。6. 确认我们的工作也得到了国家自然科学基金会的支持，国 家 自 然 科 学 基 金 项 目 61572388 、 61703327 、61602176，重点研发项目-陕西省重点产业创新链项目2017 ZDCXL-GY-05-04-02，2017 ZDCXL-GY-05-02，2018 ZDXM-GY-176，国家重点研发计划资助项目2017 YFE 0104100。4076引用[1] Lingling An，Xinbo Gao，Xuelong Li，Dacheng Tao，Cheng Deng，Jie Li，et al.鲁棒可逆水印通过聚类和增强的逐像素掩蔽。IEEE Trans.图像处理，21（8）：3598 -3611，2012.[2] 蔡登，何小飞，王宣辉，包虎军，韩继伟.局部保持非负矩阵分解。在IJCAI，第9卷，第1010-1015页[3] 陈璞，徐心怡，邓成。用于人员重新识别的深度视图感知的度量学习在IJCAI，第620[4] 陈新蕾和邓才。基于地标表示的大规模谱聚类。在AAAI，第5卷，第14页，2011中。[5] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. Infogan：通过信息最大化生成式对抗网络进行可解释的表示学习神经信息处理系统的进展，第2172-2180页，2016年[6] Eric C Chi和Kenneth Lange。凸聚类的分裂方法Journalof Computational and Graphical Statistics，24（4）：994[7] Navneet Dalal和Bill Triggs。用于人体检测的定向梯度的直方图。在计算机视觉和模式识别，2005年。CVPR2005。 IEEE计算机协会会议，第1卷，第886-893页。IEEE，2005年。[8] C Deng，E Yang，T Liu，W Liu，J Li，and D Tao.用于图 像 搜 索 的 非 监 督 语 义 保 持 对 抗 散 列 。 IEEETransactionsonImageProcessing ： IEEESignalProcessing Society，2019。[9] NatDilokthanakul 、 PedroAMMediano 、 MartaGarnelo 、 Matthew CH Lee 、 Hugh Salimbeni 、 KaiArulkumaran和Murray Shanahan。使用高斯混合变分自编 码 器 的 深 度 无 监 督 聚 类 。 arXiv 预 印 本 arX- iv ：1611.02648，2016年。[10] Kamran Ghasedi Dizaji ， Amirhossein Herandi ， ChengDeng，Weidong Cai，and Heng Huang.通过join- t卷积自动编码器嵌入和相对熵最小化进行深度聚类。在计算机视觉（ICCV），2017年IEEE国际会议上，第5747-5756页IEEE，2017年。[11] 古泉泉和周杰。流形上的共聚类。第15届ACM SIGKDD国际知识发现和数据挖掘会议论文集，第359- 368页。ACM，2009年。[12] 西丰郭、龙皋、新王刘、建平尹。改进的具有局部结构保留 的深 度嵌 入式 聚类 在国际 人工 智能 联合 会议（IJCAI-17）中，第1753-1759页[13] R Devon Hjelm 、 Alex Fedorov 、 Samuel Lavoie-Marchildon 、 Karan Grewal 、 Adam Trischler 和 YoshuaBengio。通过互信息估计和最大化来学习深度表示。arXiv预印本arXiv：1808.06670，2018。[14] Ayush Jaiswal，Rex Yue Wu，Wael Abd-Almageed，andPre- m Natarajan.无监督对抗不变性。神经信息处理系统的进展，第5097-5107页，2018年[15] Pan Ji ， TongZhang ， HongdongLi ， MathieuSalzmann，and Ian Reid.深子空间聚类网络。在神经信息处理系统的进展，第24[16] Zhuxi Jiang ， Yin Zheng ， Huachun Tan ， BangshengTang，and Hanning Zhou.变分深度嵌入：一种无监督的生成式聚类方法。arXiv预印本arXiv：1611.05148，2016。[17] 哈罗德·库恩。指派问题的匈牙利方法。海军研究后勤季刊，2（1-2）：83-97，1955年。[18] YannLeCun，Le'onBottou，YoshuaBengio和PatrickHaffner。基于梯度的学习应用于文档识别。Proceedings of the IEEE，86（11）：2278[19] Chao Li ， Cheng Deng ， Ning Li ， Wei Liu ， XinboGao，and Dacheng Tao.用于跨模态检索的自监督对抗哈希网络。在CVPR中，第4242[20] Chao Li ， Cheng Deng ， Lei Wang ， De Xie ， andXianglong Liu.偶联环己基：用于跨模态检索的无监督哈希网络。arXiv预印本arXiv：1903.02149，2019。[21] 李丰富，乔虹，张波。 歧视-ly用全卷积自动编码器提升了图像聚类。模式识别，83：161[22] Andrew L Maas、Awni Y Hannun和Andrew Y Ng。整流器的非线性改善了神经网络声学模型。在Proc.icml，第30卷，第3页，2013中。[23] Laurens van der Maaten和Geoffrey Hinton使用t-sne可视化 数 据 。 Journal of Machine Learning Research ， 9（Nov）：2579[24] James MacQueen等人多元观测值分类与分析的若干方法。第五届伯克利数学统计与概率研讨会论文集，第1卷，第281-297页。美国加利福尼亚州奥克兰，1967年。[25] JonathanMasci ， UeliMeier ， DanCiresweetan ，andJürgenSchmidhuber.用于历史特征提取的堆叠卷积自动 编 码 器 。 国 际 人 工 神 经 网 络 会 议 ， 第 52-59 页Springer，2011.[26] Sudipto Mukherjee 、 Himanshu Asnani 、 Eugene Lin 和Sreeram Kannan。阿特尔甘：生成对抗网络中的潜在空间聚类。arXiv预印本arX- iv：1809.03627，2018。[27] Andrew Y Ng、Michael I Jordan和Yair Weiss。关于谱聚类：分析和算法。神经信息处理系统进展，第849-856页，2002年[28] Pauline C Ng和Steven Henikoff。筛选：预测影响蛋白质功 能 的 氨 基 酸 变 化 。 Nucleic acids research ， 31（13）：3812[29] Sebastian Nowozin、Botond Cseke和Ryota Tomioka。f-gan：使用变分散度最小化训练生成神经采样器。神经信息处理系统的进展，第271-279页，2016年[30] Sohil Atul Shah和Vladlen Koltun。稳健的连续聚类。美国国家科学院院刊，114（37）：9814[31] Sohil Atul Shah和Vladlen Koltun。深层连续的聚集。arXiv预印本arXiv：1803.01449，2018。4077[32] Uri Shaham、Kelly Stanton、Henry Li、Boaz Nadler、Ronen Basri和Yuval Kluger。Spectralnet：使用深度神经网络进行光谱聚类arXiv预印本arXiv：1801.01587，2018。[33] Jiibo Shi和Jitendra Malik。归一化切割和图像分割。IEEE Transactions on pattern analysis and machineintelligence，22（8）：888[34] Elad Tzoreff Olga Kogan和Yoni Choukroun聚类的深层判别潜空间。arXiv预印本arX- iv：1805.10795，2018。[35] 韩萧、卡希夫·拉苏尔、罗兰·沃尔格拉夫。Fashion-mnist：一种用于对机器学习算法进行基准测试的新颖图像数据集。2017年12月17日，第1708.07747页[36] 谢俊源、罗斯·吉希克和阿里·法哈迪。用于聚类分析的无监督深度嵌入。国际机器学习会议，第478-487页，2016年[37] 魏旭，刘欣，龚一宏。基于非负矩阵分解的文本聚类。第26届ACM SIGIR国际信息检索研究与发展会议论文集，第267-273页ACM，2003年。[38] Bo Yang ， Xiao Fu ， Nicholas D Sidiropoulos ， andMingyi Hong. 迈向k均值友好空间：同时进行深度学习和聚类。arXiv预印本arXiv：1610.04794，2016年。[39] 杨尔坤，邓成，刘同良，