多视图聚类中的互惠多层子空间学习算法和其在高维数据中的应用

8172多视图聚类李瑞煌1张长青1傅华珠2奚鹏3周天一4胡清华11天津大学2人工智能初始研究院3四川大学4高性能计算研究所，A*STAR{liruihuang，zhangchangqing，huqinghua} @ tju.edu.cn{华助福，pengx.gm，joey.tianyi.zhou} @ gmail.com摘要多视图聚类是一个长期存在的重要研究课题，但在处理高维数据的同时，如何挖掘不同视图间的一致性和互补性，仍然是一个难题。在这项工作中，我们提出了一种新的互惠多层子空间学习（RMSL）算法的多视图聚类，这是由两个主要组成部分：分层自代表层（HSRL）和后向编码网络（BEN）。具体地说，HSRL构造与潜在表示相关联的互逆多层子空间表示，以分层地恢复高维数据所在的底层低维子空间; BEN探索了不同视图之间的复杂关系，并隐含地强制所有视图的子空间彼此一致且更加可分离。隐表示灵活地编码来自多个视图的复杂信息，更全面地描述数据。我们的模型可以有效地优化交替优化方案。在基准数据集上的大量实验表明RMSL优于其他最先进的聚类方法。1. 介绍多视图聚类的目的是获得跨多个视图的数据的一致划分，已成为计算机视觉和机器学习领域的基本技术。在许多实际应用中，使用来自多个视图的高维和高度异构的特征来例如，一个图像可以由不同的描述符表示，例如Gabor [16]，SIFT [20]和HOG [8]等。与单视图聚类方法相比，多视图聚类方法能够获得更全面的特征和结构*通讯作者隐藏在数据中的信息。然而，大多数传统的方法[4，7，32]直接将多个原始特征投影到一个公共空间，而忽略了数据的高维性和不同视图之间的大不平衡，这将降低聚类性能。在高维数据可以很好地由低维子空间表征的假设下，子空间聚类旨在恢复数据的底层子空间结构。已经验证了现有的基于自表示的子空间聚类方法[10，19，12，21]的有效性和鲁棒性这些方法的关键是找到一个相似度矩阵，它的每一个元素都反映了两个样本的相似程度。最近，已经提出了几种多视图子空间聚类方法[6，31，32，28，22]，其可以大致分为两大类。第一类[6，31]在每个个体视图中进行自我表征以学习亲和矩阵。借合并─将所有视图特定的亲和性矩阵结合在一起，得到反映数据之间的内在关系的综合相似性矩阵。尽管这些方法已经实现了有希望的性能，但是仍然存在一些限制：首先，这些方法在单个视图内重建数据，不能很好地提取综合信息;其次，它们集中于利用数据的线性子空间，而许多真实世界的数据集不一定服从线性子空间。第二类[32]旨在寻找不同观点共有的潜在表征，然后对其进行自我表征。尽管潜在表征具有综合性，但这些方法无法探索不同观点的一致性。此外，这些方法在原始特征层集成了多个视图，因此它们容易受到原始特征的高维性和可能的噪声的影响。为了解决上述问题，我们提出了互惠多层子空间学习（RMSL）算法，从多个来源的聚类数据。多视图聚类问题有一个基本的概念，8173图1. 用于多视图聚类的互易多层子空间学习（RMSL）的说明。我们同时构建视图特定的{Θv}V和公共ΘC子空间表示，以相互恢复数据的子空间结构;潜在表示S v=1通过BEN将表示H强制为类似于不同的视图特定子空间表示来学习表示H，这隐含地驱动不同视图的子空间彼此一致。将共享共同的底层簇结构[15]，因此我们将视图特定的子空间表示共正则化为共识子空间表示，以增强不同视图的结构一致性。如图1所示，我们构建与潜在表示H相关联的互逆多层子空间表示，以分层恢复数据的底层聚类结构。具体而言，多层子空间表示在联合框架中相互改进; BEN从公共表示H重构视图特定的自我表示，使得H将灵活地整合来自多个视图的综合信息并反映数据点之间的内在关系。请注意，我们不是像LMSC [32]那样在原始特征级别中集成多个视图，而是对多视图进行编码。潜在表示将灵活地编码来自多个视图的补充信息。• 我们的模型通过交替优化算法进行优化，与其他最先进的方法相比，在真实世界的数据集上表现出优越的性能。2. 相关工作子空间聚类。基于自表示的子空间聚类对于高维数据是非常有效的。给定一组数据点X=[x1，x2，. . .从多个子空间中绘制，每一个都可以表示为所有数据点的线性组合，即，X=XZ，其中Z是学习的自代表系数矩阵。基本的子空间结构可以通过三个视图特定子空间表示成优化以下目标函数：Sv=1通过BEN的潜在表示H，这是非常重要的，因为子空间表示可以反映minL（X;Z）+βR（Z），Z（一）数据的底层集群结构。本文的贡献包括：• 我们提出了互反多层子空间学习（Reciprocal Multi-Layer Subspace Learning，RMSL）方法，该方法构造互反多层子空间表示和潜在表示，以分层识别高维数据的底层聚类• 基于重建，我们通过强制其接近不同的视图特定表示来学习潜在表示，这隐含地将所有视图的子空间结构共正则化为彼此一致。• 随着神经网络的引入，可以探索不同视图之间的更一般的关系，其中L（·; ·）和R（·）分别是Z上的自表示项和正则化子。然后，相似矩阵S进一步通过S=|Z|+的|ZT|用于谱聚类。现有方法的主要区别在于这两个术语的范数选择，如表1所示。多视图聚类。多视图聚类在机器学习领域引起了广泛的研究兴趣。Ku- mar等。在谱聚类上施加共正则化策略-[15]。Xia等人获得了一个共享的低秩转移概率矩阵作为马尔可夫链的输入，用于光谱聚类[29]。Tao等人以集成聚类方式进行多视图聚类[25]，其基于所有视图特定的基本分区（BP）构建跨不同视图的数据的共识分区。非负矩阵8174FFFv=1{Z}v=1v=1v=1{Θ}{Θ}SSv=1基于因式分解的方法将每个特征矩阵分解成质心矩阵和聚类分配以保留局部信息。例如，Zhaoet al.将深度矩阵分解组合到多视图聚类框架中，以搜索与数据的常见分区相关联的分解[34]。基于多核学习-表1.子空间聚类算法L（X;Z）R（Z）的范数选择[第10话]||X-XZ ||1||Z||1LRR 2、1[19] ||X-XZ||二、一||Z||[19]第十九话||X-XZ ||1||Z||∗ing，Tzortzis等人，集成的异构特征以内核矩阵表示[26]。对于大规模数据，Zhanget al.提出了一个二进制多视图集群-LRR 2[19]||X-XZ||2LSR[21]||X-XZ||2SMR[12]||X-XZ||2||∗ ||∗||2||2tr（ZLZT）ing（BMVC）框架[33]，它显著减少了计算和内存占用，同时获得了卓越的性能。多视图子空间聚类（MSC）方法主要有两类。一个类别在每个视图中进行自我表征[6，31]，同时探索不同视图之间的相关性。多样性诱导的多视点子空间聚类（DiMSC）[6]提出通过减少冗余来增强不同子空间表示的互补性;低秩十元约束多视点子空间聚类[31]使用张量对视图间高阶相关性进行设Xv和Zv分别表示对应于第v个视图的特征矩阵和子空间表示，则我们得到以下一般公式：F[27]第10段。此外，还有许多方法[30，9]用于处理来自多个源的异构数据。3. 所提出的方法3.1. 分层自代表层等式（1）中的自表示项L（X;Z）是(1)可以被看作是一个线性的完全连接的层，没有被称为自代表层（SRL）的激活[13]。具体地，xi和Z分别表示网络中的节点和SRL的加权参数。此外，R（Z）对SRL的权重施加正则化。minVVV=1L（{Xv}V;{Zv}V）+λR（{Zv}V），（二）假设{X1，. . .，XV}来自V个不同的视图，并且H代表潜在表示，我们的目标是同时构造视图特定的和公共的子视图。其中L（·; ·）和R（·）分别是数据重建的损失函数和Zv第二类是基于公共潜在表示而不是原始特征进行子空间表示。潜在多视图子空间聚类（LMSC）[32]探索来自不同视图的互补信息，并同时构建潜在表示。目标函数可以写为：表示为{Θv}V和ΘC 的空间表示，使用分层自代表层（HSRL）。具体地说，视点特定SRL将原始特征映射到子空间表示中，而公共SRL进一步揭示了潜在表示H的子空间结构。它们同时探索数据的结构信息，处理可能的噪声，并提高聚类性能。我们使用以下目标函数更新HSRL的加权参数：minH、Θ、 Z L1（{Xv}V，H;Θ）+λ1L2（H;Z）+λ2R（Z），（三）v v v V其中L1（·; ·）和L2（·; ·）表示用于多视图数据重构和子空间表示的损失函数，minV VS v=1 、ΘCLS（{X}v=1，H;{ΘS}v=1，ΘC）+βR（{Θv}V、ΘC），（四）分别Θ是学习潜在表示的参数多视图表示学习。从多个信息源收集的数据量越来越多，这有两个主要的培训标准已经应用对于最近提出的基于深度神经网络的多S v=1其中LS（·; ·）表示与自我表征相关的损失函数。在这项工作中，我们考虑对重建损失应用Frobenius范数来减轻噪声影响，并为正则项选择核范数，保证类内的高同质性[19]。然后我们重写Eq。(4)如：视图表示学习方法。 一种是基于min1伏||2+1||H− HΘ||2||2[23]第23话，一个人，用于更好地重建输入的中间模态;另V VS v=1 、ΘC2v=1S F2CF（五）是基于典型相关分析（CCA）[11]，它通过最大化它们的相关性将不同的视图投影到公共空间中，例如深度典型相关分析。+β（ΣVv=1||+||ΘC||*）。||∗).关系分析（DCCA）[2]。此外，Wanget al.将CCA准则与自动编码准则相结合，提出了深度正则相关自动编码器（DCCAE）3.2. 后向编码网络考虑到不同视图子空间表示的互补性，我们引入了Back-8175E{Θ}{Θ}Sv=1MESV VvSv=1年代我年代我EF1Sward编码网络（BEN）来探索它们之间的复杂关系，同时构造潜在表示H。注意，不是像基于CCA的方法[7，2]那样将不同视图前向投影到公共低维空间中，而是尝试通过使用它来通过非线性映射重构所有视图特定表示{Θv}V来学习公共潜在表示HV基于从DNN原始视图中提取的视图特定特征的空间，但它与我们的有很大不同(1)我们使用SRL学习视图特定的子空间表示，这对于高维数据非常有效，基本上子空间表示本身也是高维的，这启发我们构建多层自我表征来分层地识别潜在的pings{gΘv（H）}v=1，其中Θv 是加权参数-（2）DCCAE集成了多个数据库，并将对应于第v个视图的BEN的ter。比如说将潜在向量hi映射到第v个向量中的第i个向量Θv，视图，即，Θv=gΘv（hi）。通过强制潜在表示接近每个视图特定的子空间表示，所有视图的子空间结构将是一致的。帐篷与对方。我们更新BEN参数{Θv}V经典相关分析（CCA）通过最大化不同视图之间的相关性对与DCCAE不同的是，我们通过使用BEN重建每个视图特定的子空间表示来Ev=1并且利用以下损失函数来推断潜在表示H其强制潜在表示灵活地编码来自所有视图的补充信息。minLE（{Θv}V，H;{Θv}V）+γR（{Θv}V）3.3. 优化E v=1，HS v=11伏E v=1ΣVE v=1为了优化我们的目标函数在方程。（7）、我们雇用=min||2+γ||2+γ||2||2（六）交替方向最小化（Alternating Direction Minimization，ADM）在V VE v=1 、H2Sv=1英法英法v=1为了使目标函数可分离，我们将Θv与gΘv（H）=Wvf（Wv · ··f（WvH）），和ΘC与新引入的辅助变量RvEM M−1 1和J，然后获得以下等价物其中LE（·; ·）表示用于更新H的重构损失。BEN由M个完全连接的层组成，这些层能够对互补信息目标函数：1伏min||2个以上||2+1 ||H −HΘ||2从不同的视角转化为共同的潜在表征H. 此外，我们还引入了正则化R（Θv），EΘ，H，J，{R}VΣV2v=1S F2CFΣV αv网络，以提高我们的模型的泛化能力+β（||Rv|| +的||J||）+∗||Θv− g2v（H）||（八）具体而言，Wv是第M个之间的权重矩阵∗v=1v=12SΘEF以及对应于第v视图的第（M-1）层，以及f（·）是激活函数。ΣV+γ|| Θv||2S.T.Θ=J， Θv= Rv。因此，RMSL的模型参数Θ，英法中西v=1包括BEN参数Θv 和HSRL参数Θv可以通过以下通用目标函数来联合优化：minαLE（{Θv}V，H;{Θv}V）+γR（{Θv}V）（7）我们采用增广拉格朗日乘子（ALM）[18]方法通过最小化以下函数来解决此问题：H，ΘS v=1E v=1E v=11伏+L（{Xv}V，H;{Θv}V，Θ）+βR（{Θv}V，Θ）。L（Θ，H，J，{Rv}V）=||2||2Sv=1S v=1CS v=1Cv=1S Fv=1总而言之，我们的模型构建了相互的多层子空间表示，+1||H−HΘ||2+ ΣCFα||Θv−gΘv（H）||2S2sentation，以分层方式恢复ΣVv=12ΣVEF（九）数据并寻找由所有人共享的数据的公共分区风景 LMSC [32]基于原始特征矩阵{X1，. . .，XV}，而不能+β（||Rv ||∗v=1ΣV+的||J||）+ γ || Θv||2v=1探索不同观点的一致性，这很容易受高维度和可能的噪音的影响，+Φ（Yv，Θv − Rv）+ Φ（Y2，ΘC −J）。v=1原始数据。考虑子空间表示可以揭示我们定义Φ（Y，D）=µD2+Y，D，其中高2F的底层低维子空间结构我是说，·λ是定义为λ A，λ B的Frobenius内积，λ A，λ B=三维数据，我们的模型驱动潜在的表示2V8176SS v=1H类似于不同的视图特定子空间表示{Θv}V，这隐含地促进子空间trATB. μ >0和Y分别是惩罚因子和拉格朗日乘数 根据ADM策略，我们将目标函数分为以下子函数：所有视图的结构应相互一致与我们类似，DCCAE [27]也构建了一个共同的问题：• 更新HSRL参数Θv和ΘC：固定8177SSECv=1CFCCSE111S1122SF 1S其他变量，我们通过解决以下子问题来更新Θvvαvv2算法一：优化我们的方法输入：多视图数据：{X（1），. X（V）}，超参数{αv}V，β和γ，ΘS= arg mivnΘS||F||F2（十）v=1潜在表征的维数K。+1||Xv−XvΘv||2+Φ（Yv，Θv−Rv）。2初始化： 随机初始化潜在表示H、HSRL参数ΘC和BEN参数对Θv求导，并将其设置为{Θv}V;通过等式2生成{Θv}V。(1); µ=10−5，SE v=1−4Sv=16零，我们可以得到封闭形式的解：ρ=1。5，=10，最大µ=10。Θv*=[（Xv）TXv+（αv+µ）I]−1（十一）而不收敛更新HSRL参数{Θv}V、ΘCv Tvv v vSv=1·[（X）X+μR-Y1+α gΘv（H）]。根据等式(11)和等式（13）;通过以下等式更新BEN参数{Θv}V（十五）;类似地，关于ΘC的子问题是：Ev=1更新潜在表示H由Eq. （16）;Θθ=arg min1||H−HΘ ||2+Φ（Y2，Θ− J）.（十二）更新辅助变量J、{Rv}V和ΘC2乘法器{Yv}V，Y2，根据等式（17）;1v =1与此子问题相关的解决方案是：θ =（HT H + μI）−1（HT H + μJ − Y2）。（十三）• 更新BEN参数Θv，即，Wv和Wv：in通过µ=min（maxµ，ρµ）更新参数µ;检查收敛条件：||∞和||Θ

下载后可阅读完整内容，剩余1页未读，立即下载