排他-一致性正则化多视点子空间聚类方法

1排他-一致性正则化多视点子空间聚类王晓波1，2郭晓杰2，3甄磊1，2张长青4斯坦Z。Li1，21中国科学院自动化研究所生物识别与安全研究&中心模式识别国家重点实验室2中国科学3中国科学4天津大学计算机科学与技术学院{xiaobo.wang，zlei，szli}@ nlpr.ia.ac.cnxj.max. gmail.comzhangchangqing@tju.edu.cn摘要多视图子空间聚类的目的是将一组多源数据划分为它们的底层组。为了提高多视图聚类的性能，近年来提出了许多子空间学习算法，但很少利用不同视图之间的表示本文提出了一种新的多视点子空间聚类模型，该模型通过引入一个新的位置感知互斥项，来协调不同表示之间的互补信息.同时，使用一致性项使这些互补表示进一步具有共同的指示符。我们将上述问题表达到一个统一的优化框架中。在几个基准数据集上的实验结果表明，我们的算法比其他国家的最先进的有效性。1. 介绍将数据点聚类到不同的组中，使得同一组中的对象彼此高度相似，是计算机视觉和模式识别中最基本的主题之一[1，30，17，22，23]。 在过去的几十年中，已经开发了许多聚类方法，例如基于迭代的方法[28，13]，基于因子分解的方法[6，14]和基于谱聚类的方法[24，8，20]。其中，基于谱聚类的方法已成为流行和占主导地位。例如，[24]中提出的标准谱聚类（SPC）旨在通过基于数据局部性学习相似性矩阵来执行聚类稀疏子空间聚类（SS-C）[8]是为每个实例寻找稀疏表示*通讯作者整个数据。在计算了表示之后，谱聚类算法（例如，，Normalized Cuts[27]）来获得聚类结果。在[20]中提出的低秩表示（LRR）方法试图找到低秩表示。此外，[18]中提出的方法称为结构化稀疏子空间聚类（S3C），通过将稀疏表示学习和谱聚类集成到一个框架中，实现了有希望的结果。然而，这些方法主要集中在提高单源特征的聚类性能对于多视图的聚类，由于可能存在视图不足或数据的高维性，很难找到好的聚类。通常，它们不能直接应用于多视图情况。本文致力于通过恢复具有多视图特征的数据集的子空间结构来提高聚类性能。在实践中，我们经常在多个视图中面对数据。不同的视图表征了关于数据的不同且部分独立的信息。例如，图像和视频由不同种类的特征描述，诸如颜色、纹理和边缘。网页包含文本、超链接和可能存在的视觉信息。一般来说，这些多视图表示可以无缝地捕获多个数据线索中的丰富信息以及不同线索之间的复杂信息，从而有利于聚类。为了整合不同的特征，在开发有效的多视图聚类方法方面取得了很大进展[7，15，5，2，4，9，31]。该工作[7]利用二分相似矩阵连接两种类型的特征，并采用标准的谱聚类生成最终结果。在[15]中引入的共正则化多视图谱聚类是在具有共正则化约束的情况下同时对不同视图执行聚类。在[5]中设计的方法通过组合不同视图的拉普拉斯算子来学习谱聚类框架下的公共通过考虑表示之间的互补信息，923924F图1. 我们提出的ECMSC模型的不同观点。绿色矩形表示地面实况聚类，而红色矩形表示ECMSC的不同版本。在多视图输入的情况下，我们的ECMSC算法在一个框架中同时利用表示排他性（参数α）和指示符一致性（参数β）。工作[2]采用HSIC准则[10]来追求不同的表示。Gao等人[9]将表示学习和谱聚类统一到一个框架中。Zhang等人。[31]提出用低秩张量约束对多视图特征进行聚类，以捕获多个视图之间的高阶交叉信息。虽然上述多视图聚类方法通常比大多数单视图方法（如[8，20]）提供更有希望的结果，但它们具有两个主要缺点：1）许多文献[4，5，21]倾向于学习一个共同的表征，忽略了不同视图之间的互补信息; 2）现有的工作[2，31，5，29]倾向于在两个单独的步骤中执行子空间学习和谱聚类，而没有考虑这两个流水线步骤高度依赖于彼此的事实。为了克服上述缺点，本文提出了一种新的多视图聚类算法ECM-SC，以统一的方式同时利用表示的排他性和指示符的一致性具体地说，利用不同的表示之间的互补信息，我们引入了一个新的位置感知的排他性条款，以强制不同的意见表示尽可能的排他性同时，引入了一个指示符一致性项来表示这些互补表示之间的标签因此，我们将子空间学习和谱聚类这两个流水线步骤集成到一个优化框架中.图1给出了我们提出的ECMSC的说明。此外，为了有效地寻求相关优化问题的解，设计了一在基准数据集上进行了大量的实验，以证明我们的方法优于最先进的替代品。符号：在整个论文中，所有的矩阵都写为。对于矩阵G，G的第i行、第j列和第ij个元素分别记为gi、gj和gij. 0、1和I分别表示具有适当大小的全零、全一和单位矩阵。2. 问题陈述本节首先简要介绍了基于子空间聚类方法的一般过程，然后给出了我们的多视图子空间聚类方法1的公式。2.1. 子空间聚类对于一个数据集，它通常位于一个底层的低维子空间中，而不是均匀地分布在整个空间中[18，9]。因此，数据点可以由低维子空间表示。在获得数据集的子空间结构后，基于恢复的子空间而不是整个空间进行聚类。假设X =[x1，x2，.，xn]∈Rd×n是数据向量矩阵，其中每列是样本向量，d是特征空间的维数，n是数据点的总数。子空间聚类试图找到通过解决以下优化问题来实现自我表示：min||E ||k+ λ|| Z ||ls t. X = XZ + E， diag（Z）= 0，Z、 E（一）其中X = XZ + E是自我表征模型。Z=[z1，. . . ，zn]∈Rn× n是子空间表示矩阵，每个zi是原始数据点xi在观测值X上的编码系数，而E是误差矩阵。 ||·||k和|| · ||l是两个适当选择的范数，λ是权衡参数，并且约束diag（Z）= 0可选地用于排除Z的平凡解是恒等式。在通过求解（1）获得子空间结构Z之后，通过S=（|Z|T+|Z|）/2。然后，我们可以在这样的子上执行谱聚类，空间相似度矩阵通过优化以下：min tr（FT（D−S）F）s. t. F∈C，（2）1我们的代码发布于http://www.cbsr.ia.ac.cn/users/xiaobowang/。92522F22其中D是对角矩阵，其对角元素定义为jsij。约束C可以详细描述为设{F∈ {0，1}n× k：F1=1，rank（F）=k. {\fn方正粗 倩 简 体 \fs12\b1\bord1\shad1\3cH2F2F2F} 具 体地，F =[q1，. . .，qk]∈Rn× k是一个二元矩阵，表示每个数据点属于一个特定的组。F1=1意味着每个数据点出现在一个且仅一个子空间中。约束rank（F）=k是为了保证子空间的数目等于所需的k。为了简单起见，上述问题（2）可以通过谱聚类通过将约束F∈ C放宽到FTF =I来近似求解.此外，请注意，目标tr（FT（D-S）F）可以重写为：表示学习和谱聚类分两步进行，这也限制了它的性能。基于这些观察结果，我们引入了一个新的位置感知的排他性项，以利用互补信息和指标的一致性项，以统一的子空间聚类处理2.2.1代表排他性定 义 1. （ 排 他 性 [12] ） 两 个 矩 阵 U∈Rn×n 和d∈V∈Rn×n 之 间 的 排 他 性 定 义 为 H （ U ， V ）=||UV||0=i，j（uij·vij/= 0），其中tr（FT（D−S）F）=Σi、j12sij（||f i− fj||（二）（三）表示Hadamard乘积（即，元素级的产品uct），以及|| · ||0是100-“norm”3。从定义中，我们可以看出，排他性Σ=i、j1我|（2）|F||f-fj||Zθ||1||1鼓励两个矩阵尽可能多样化理想地，如果U的位置（i，j）不等于零，则排他性项强制V的相同位置（i，j）为其中θij=1||fi−fj||二、因此，最后一步谱聚类读取：min||Zθ||1s. t. FTF = I。（四）考虑到多视图表示在实际应用中的普遍性，将单视图聚类扩展到多视图环境是非常重要的。2.2. 排他性一致性正则化多视点子空间聚类在这一部分中，我们详细介绍了我们提出的多视图子空间聚类模型。给定数据集Xv∈Rdv× n，它表示第v个视图中的特征（v = 1，. . . ，V）。对每个视图执行子空间学习，零.因此，我们可以说所定义的排他性术语是位置感知的。当然，对于不同表示之间的差异，我们有：H（Zv，Zw）=||ZvZw||0的情况。（五）此外，由于范数的非凸性和离散性，我们将范数放宽为范数，使目标（5）在计算上易于处理。在续集中，我们达到了以下宽松的排他性：H（Zv，Zw）=||ZvZw||1 .一、（六）通过引入放松的排他性项（6）将模型（1）扩展到多视图情况导致以下目标函数：第v个视图的子空间表示Zv 非零Zv中的元素对应于来自相同子空间的数据点。事实上，如何在子空间聚类中结合多视图特征是一个具有挑战性的问题。 最简单的方法是ΣVminF， Zvv=1.||Ev||1+ λ1||Zv||1+ λ2 ΣΣ||ZvZw||1w/=v将所有特征连接在一起，并对连接的特征执行聚类这样，每S. t. Xv=XvZv+Ev，diag（Zv）= 0.（七）观点将被平等对待，这并不总是正确的。为了组合多视图子空间学习结果，现有的工作[4，9]倾向于在所有视图之间学习公共表示或公共指示矩阵。不幸的是，它们不能保证不同Zv最近，为了利用这种复杂性-[2]这是一部经典的作品，有着不同的代表性。通过采用希尔伯特-施密特独立准则（HSIC），可以使系统具有多样性。使用HSIC的缺点是HSIC是值感知准则（即，Zv和Zw之间的差异与它们的值有关）。由于Zv2的规模问题，值感知正则化可能会大大降低性能。此外，工作[2]执行在这里，我们采用101-norm来追求稀疏表示，tion ||Z||1 . 一、正如[9]中所指出的，由于严格的秩限制，低秩约束有时对低维特征不利。对于误差项E，其范数|| · ||l取决于关于噪声或破坏模式的先验知识[32]。该工作简单地采用了101-范数来处理稀疏腐败。此外，我们不使用HSIC来测量多样性主要有两个原因。一个是HSIC是值感知的，而所提出的排他性项是位置感知的，期望位置感知准则可以更好地处理元素值的大小另一个是，重新放宽的排他性条款可以与SSC[8]框架无缝结合。2虽然不同Zv中的对角块相似，但Zv中的元素值可以有很大的不同。300-norm不是真正的norm。926w v2.2.2指标一致性工作[18]已经验证了将子空间学习和谱聚类集成到一个框架中可以提高单视图情况下的性能。对于多视图的情况，知道聚类的目标是将具有多视图特征的点分类到仅一个聚类中，我们可以自然地引入标签一致性项为：ΣVmin|| Z vθ||1s. t. FTF = I，（8）v=1算法1：ADMM解决问题（11）输入：数据矩阵X，Θ0，Zw，其中w ∈ {1，. . . ，V}，并且w v. λ1、λ2和λ3。初始化：Θ= Θ0，E=0，C=Z=Z0，Q1=0，Q2=0，p= 1。1，π= 10−6。而不收敛通 过 （ 14 ） 更新Z;通过（16）更 新 C; 通 过（18）更新E通过（19）更新Q1和Q2;更新μ=μ p;检查收敛条件其中F是所有视图的公共指示符矩阵。因此，预计聚类对于以下各项是一致的：端||∞≤。||∞ ≤ ǫ.所有的视图，即具有排他表示的对应点，应该在同一簇中。基于上述分析，我们倾向于同时利用不同表征的排他性和指标的一致性。现在，把所有的问题，比如（7）和（8），放在一起，导致我们最终的排他性-输出：Z和E。为了方便起见，暂时忽略下标，上面的问题等价于：Σ一致性正则化多视点子空间聚类（ECMSC）模型如下：min||E||1+ λ1||Z||1+ λ2Z、 Ew/=v||1||1（十一）Vmin|| E v||1+ λ1|| Z v||1+ λ2||ZvZw||1+λ3||Zθ||1S. t.X = XC + E，C = Z − diag（Z）。F，Z1，...，ZVv=1+λ3||Zvθ||1联系我们一致性联系我们排他性我们使用交替方向乘法（ADMM）解决这个问题[19]。增广的La- grangian可以由下式给出：S. t.Xv= XvZv+ Ev，diag（Zv）= 0，FTF= I，（九）L（Z，C，E，Q1，Q2）=Σ||E||1+ λ1||Z||1+ λ2||ZZw||1+λ3||Zθ||1其中λ1、λ2和λ3分别是对应于稀疏性、排他性和一致性项的折衷3. 优化w/=v+Φ（Q1，X-XC-E）+Φ（Q2，C-Z+diag（Z）），（十二）定义为Φ（Q，Y）= μ||Y||2+ C，Y，其中2F很难同时联合求解（9）中的所有变量在本节中，我们提出了一个基于交替解决以下两个子问题的解决方案：• 给定F，找到排他性表示Zv和残差Ev（v =1，. . . ，V）。• 在Zv和Ev固定的情况下，计算一致的指数。其中，μ·，μ·表示矩阵内积，μ是正的惩罚函数，ty标量，Q1和Q2是拉格朗日乘子。为了找到L的极小点，我们交替地更新Z，C，E，Q1和Q2中的每一个，同时保持其他变量固定。Z-子问题：去掉与Z无关的项，得到：ΣF的谱聚类。最小λ1||Z||1+λ2Zw/=v||1+ λ3||Zθ||1||1（十三）3.1. 更新制图表达Zv和残差Ev给定聚类指示矩阵F，我们求解Zv通过解决以下子问题来求解Ev Σ927+Φ（Q2，C-Z + diag（Z））.Z的封闭形式解可以通过以下公式计算：Z=Z−diag（Z），min||E v||1+ λ1|| Z v||1+ λ2Zv， EvW||1||1vZ=SQ2[C+]，（十四）+λ3||Zvθ||1（十）λ11+λ2w=/v|ZW|+λ3|Θ|µµS. t. X v= X v Z v+ E v，diag（Zv）= 0。其中Sτ[·]是收缩阈值算子。928EvFC-子问题：类似于Z-子问题，我们得到：minΦ（Q1，X-XC-E）+ Φ（Q2，C-Z + diag（Z））.C（十五）取目标对C的导数并将其设置为零，得到以下封闭形式的解：.算法二：ECMSC算法输入：未标记的多视图数据矩阵D={X1，. . . ，XV}，子空间的数目k。初始化：Θ=0，λ1，λ2，λ3，t= 0。而不收敛对于每个视图v∈V，给定F，通过算法1求解问题（10），C =（XT X +I）−1XT（X-E+Q1）µ端得到（Zv，Ev）;Σ（16）Q2+Z−diag（Z）−。µ给定所有（Zv，Ev），通过谱聚类来解决问题（21）以获得F;检查收敛条件||Θt+1−Θt||∞<1;E-subproblem：关于E的相关优化问题可以写为：min||E||1+Φ（Q1，X-XC-E），（17）其解可以通过以下公式计算：年q1E=S1[X-XC +]。（十八）如果不收敛，则设置t=t+ 1;端输出：分割矩阵F。4. 实验4.1. 实验设置µµ乘数：此外，乘数Q1和Q2也需要更新，这可以通过以下方式简单地完成Q1 = Q1+µ（X− XC− E），（十九）Q 2= Q 2+ µ（C − Z + diag（Z））。为了清楚起见，在算法1中总结了求解问题（11）的整个ADMM算法。3.2. 更新指标F给定所有互斥的自表示Zv（v=1，. . .，V）和误差矩阵Ev，第二步是更新一致性指示矩阵F。相关的问题，lem相对于F在方程。（9）可以简化为：4.1.1数据集描述实验中采用的三个数据集是在人脸图像聚类的作品[2，31]中广泛使用的数据集，包括：扩展的Yale-B包括38个独立的2414张人脸图像。每个人有64个近正面图像在不同的照明。与[2，31]类似，我们选择前10类作为最终数据集，总共有640张正面人脸图像。Yale由15个个体的165幅灰度图像组成。每个人有11个图像，具有不同的面部表情和配置。ORL包含40个不同主题的400张人脸图像。每个受试者有10个不同的面部图像，这些图像是在d-ΣminFvΣ||Z ⊙Θ||1=最小Fvtr（FT（Dv−Sv）F）不同的时间，随着灯光的变化，面部表情和面部细节对于所有的数据集，我们采用多视图功能S. t. F TF = I。（二十）它可以进一步重新表述为以下形式：min tr（FTMF）s. t.FTF= I，（21）工作的成果[31]。具体而言，提取了三种类型的特征，即强度、LBP[26]和Gabor[16]。通过采样提取标准LBP特征密度大小为8，分块数为7×8。在四个方向上用一个尺度γ=4提取Gabor小波这里我们定义M= Σv（Dv−Sv）. 解决方案（21）条件θ={0，45，90，135}。因此，LBP和Gabor的维数分别为3304和6750是对应于最小k本征的本征向量。拉普拉斯矩阵M的值。然后，F的行被用作k均值算929法的输入，该算法产生F的行的聚类，该聚类可用于产生二进制矩阵F∈ {0，1}n×k，使得F1 =1。为了清晰和完整，我们总结了整个解决算法2中的问题。算法- m在使用算法1求解排他性表示的矩阵和给定指示符F的误差（Zv，Ev）以及使用谱聚类求解给定（Zv，Ev）的一致性指示符F之间交替。4.1.2比较方法我们比较我们的方法与最近提出的国家的最先进的替代品，包括3个单视图的方法和6个多视图的。SPC[24]：选择信息量最大的视图来执行标准谱聚类方案。SSC[8]：单独使用每个视图功能。在稀疏子空间学习之后，再进行谱聚类以获得最终的聚类结果。930表1.结果（平均值±标准差）在扩展耶鲁-B。 我们设置α = 0。3，β = 0。5在ECMSC。方法NMIACCAriF-score精度召回单个SPC最佳0.360±0.0160.366±0.0590.225±0.0180.303±0.0110.296±0.0100.310±0.012SSC最佳0.534±0.0030.587±0.0030.430±0.0050.487±0.0040.451±0.0020.509±0.007S3C最佳0.542±0.0100.391±0.0120.415±0.0070.492±0.0040.417±0.0050.487±0.009多FeaConPCA0.152±0.0030.232±0.0050.069±0.0020.161±0.0020.158±0.0010.64±0.002明迪斯0.186±0.0030.242±0.0180.088±0.0010.181±0.0010.174±0.0010.189±0.002共同注册SPC0.151±0.0010.224±0.0000.066±0.0010.160±0.0000.157±0.0010.162±0.000ConReg SPC0.163±0.0220.216±0.0190.072±0.0120.164±0.0100.163±0.0100.165±0.011LT-MSC0.637±0.0030.626±0.0100.459±0.0300.521±0.0060.485±0.0010.539±0.002DiMSC0.635±0.0020.615±0.0030.453±0.0000.504±0.0060.481±0.0020.534±0.001提出ECMSCα=00.719±0.0110.692±0.0130.492±0.0080.548±0.0070.481±0.0040.691±0.006ECMSCβ=00.708±0.0090.678±0.0100.482±0.0110.530±0.0090.487±0.0040.672±0.011ECMSC0.759±0.0120.783±0.0110.544±0.0080.597±0.0100.513±0.0090.718±0.006表2.耶鲁大学的结果（平均值±标准差）。 我们设置α = 0。1，β = 0。3在ECMSC。方法NMIACCAriF-score精度召回单个SPC最佳0.654±0.0090.616±0.0300.440±0.0110.475±0.0110.457±0.0110.495±0.010SSC最佳0.671±0.0110.627±0.0000.475±0.0040.517±0.0070.509±0.0030.547±0.004S3C最佳0.678±0.0130.634±0.0160.471±0.0050.508±0.0120.512±0.0050.568±0.025多FeaConPCA0.665±0.0370.578±0.0380.396±0.0110.434±0.0110.419±0.0120.450±0.009明迪斯0.645±0.0050.615±0.0430.433±0.0060.470±0.0060.446±0.0050.496±0.006共同注册SPC0.648±0.0020.564±0.0000.436±0.0020.466±0.0000.455±0.0040.491±0.003ConReg SPC0.673±0.0230.611±0.0350.466±0.0320.501±0.0300.476±0.0320.532±0.029LT-MSC0.765±0.0080.741±0.0020.570±0.0040.598±0.0060.569±0.0040.629±0.005DiMSC0.727±0.0100.709±0.0030.535±0.0010.564±0.0020.543±0.0010.586±0.003提出ECMSCα=00.731±0.0090.742±0.0080.576±0.0100.578±0.0050.534±0.0090.604±0.006ECMSCβ=00.738±0.0070.721±0.0050.554±0.0090.565±0.0120.538±0.0090.578±0.011ECMSC0.773±0.0100.771±0.0140.590±0.0140.617±0.0120.584±0.0130.653±0.013S3C[18]：类似地，我们对每个视图进行聚类，并报告最佳性能。FeaConPCA：该方法首先连接所有类型的特征，并应用PCA将特征维数降低到300.然后对低维特征进行谱聚类。Min-Dis[7]：此方法创建一个二分图，并尝试最小化分歧。然后通过谱聚类得到最终结果。Co-Reg SPC[15]：该方法对聚类假设进行共规则化，以强制相应的数据点应位于同一聚类中。ConvexReg SPC[5]：首先学习所有视图然后对相似度矩阵进行标准谱DiMSC[2]：该方法首先通过HSIC标准[10]来加强不同视图的多样性，然后应用图2.扩展Yale-B的参数α和β调整针对指标一致性项和指标稳定性项，增加了两种方法，其区别在于参数的设置方式。具体来说，通过设置α=0（即，，无排他性），结果为ECMSCα=04.如果禁用一致性项（即，β=0），我们学习e 排 除 iverepresentations ， 然 后 ， 相 似 性 是 con-i-e-representations，and谱聚类得到最终结果。LT-MSC[31]：低秩张量约束被强制执行，结构为S=Vv=1（|Zv|T+|Zv|）/2。 之后该直接构造相似度矩阵，然后执行谱聚类为了说明我们代表的优势，除了-[4]由于[9]的代码不可用，因此我们没有明确地与它进行比较。然而，从公式上看，[9]中的工作可以近似地看作是ECMSC α=0.931表3.ORL结果（平均值±标准差）。 我们设置α = 0。1，β = 0。7在ECMSC。方法NMIACCAriF-score精度召回单个SPC最佳0.884±0.0020.726±0.0250.655±0.0050.664±0.0050.610±0.0060.728±0.005SSC最佳0.893±0.0070.765±0.0080.694±0.0130.682±0.0120.673±0.0070.764±0.005S3C最佳0.902±0.0120.784±0.0090.705±0.0190.698±0.0180.688±0.0120.791±0.011多FeaConPCA0.835±0.0040.675±0.0280.564±0.0100.574±0.0100.532±0.0110.624±0.008明迪斯0.876±0.0020.748±0.0510.654±0.0040.663±0.0040.615±0.0040.718±0.003共同注册SPC0.853±0.0030.715±0.0000.602±0.0040.615±0.0000.567±0.0040.666±0.004ConReg SPC0.883±0.0130.734±0.0310.668±0.0320.676±0.0350.628±0.0410.731±0.030LT-MSC0.930±0.0020.795±0.0070.750±0.0030.768±0.0070.766±0.0090.837±0.004DiMSC0.940±0.0030.838±0.0010.802±0.0000.807±0.0030.764±0.0120.856±0.004提出ECMSCα=00.923±0.0060.822±0.0080.789±0.0120.782±0.0090.769±0.0070.834±0.009ECMSCβ=00.934±0.0090.841±0.0120.801±0.0110.810±0.0090.767±0.0060.848±0.010ECMSC0.947±0.0090.854±0.0110.810±0.0120.821±0.0150.783±0.0080.859±0.012对该相似性执行谱聚类。最后，我们适当地设置α和β，称之为ECMSC。为了公平竞争，按照[31]中的方案，我们报告了30项独立试验中所有竞争对手的平均准确度和标准差。4.1.3评估指标为了评估性能，使用了六个指标，包括标准化互信息（ NMI ） 、 准 确 率 （ ACC ） 、 调 整 的 兰 德 指 数（AR）、F分数、精确率和召回率，其中ACC和NMI是最流行的两个指标，并已被许多文献采用，如[3，11]。在[31，2]中，ARI，F-score，Precision和Recall已经被广泛用于衡量聚类质量。这六个度量有利于聚类中的不同属性。对于所有指标，值越高表示聚类质量越好。4.2. 实验结果4.2.1参数设置在我们的ECMSC中，需要正确设置参数λ1、λ2和λ3受文献[25，18]的启发，利用λ3<$λ3η也可以改善ECMSC的收敛性。因此，我们设置λ1=η1− t，λ2=α和λ3=βηt−1来平衡相应的项，其中η=1。2且t ={1，2，. . . ，T}是迭代索引。最 后，我们有两个自由参数α和β需要调整，它们分别强调了排他性项和一致性项的重要性。具体而言，我们根据经验调整{0. 1，0。2、. . . ，1}。 由于篇幅的限制，我们只显示了扩展的Yale-B数据集上的参数效应，如图2所示。我们可以看到，当参数α和β在一定范围内选择时，可以预期有希望的性能（例如，，α ∈ [0. 1，0。5]，β∈ [0. 2，0。7]）。此外，详细的页-(a) 耶鲁大学（b）ORL图3.Yale和ORL数据集的收敛性分析每个数据集的参数设置在其相应的表中报告。4.2.2收敛性分析整个算法在使用算法1求解排他性表示的矩阵和给定分割F的误差（Zv，Ev）之间交替（即，，ADM-M），并利用谱聚类求解F（Zv，Ev）虽然我们不能给出ECMSC算法收敛性的理论证明，但实验表明，该算法在实际应用中具有非常稳定的收敛性。与[18]的工作类似，我们经验性地展示了ECMSC的收敛性。具体来说，我们随机抽取了耶鲁和ORL数据集的{2，3，5，8，10}类。对于每个数字，我们随机采样60次，并显示迭代次数的直方图（即，当算法满足收敛条件时，进行了多少次迭代的统计。）以便ECMSC收敛。在图3中，我们可以观察到，所提出的ECMSC算法平均在2×8次迭代4.2.3表示可视化为了验证我们提出的代表排他性条款和指标一致性条款的有效性，由于932由于篇幅有限，我们只展示了扩展Yale-B数据集上的可视化结果。如图4所示，我们可以看到，没有排他性项的表示（即，第一行）比排他性（即，第二和第三行）。此外，从最后一列（即，不同版本的ECMSC的指示符矩阵0），我们可以清楚地看到，同时利用表示排他性和指示符一致性将有利于多视图子空间聚类任务。4.2.4性能比较我们在表1-3中报告了三个人脸图像数据集的详细聚类结果。在每个表中，粗体值表示最佳性能。表1提供了扩展Yale-B数据集上竞争对手之间的定量比较。可以观察到，大多数比较具有相对较低的性能。主要原因是该数据集的光照变化较大。然而，我们 提 出 的 ECMSC 算 法 仍 然 取 得 了 显 着 的 改 善 约12.2%，15.7%，8.5%，7.6%，2.8%和17.9%的最具竞争力的方法LT-MSC在NMI，ACC，AR，F分数，精度和 召 回 ， 分 别 。 将 文 献 [2] （ DiMSC ） 的 工 作 与ECMSCβ=0的工作进行了比较，发现两者的主要区别在于多样性评价准则，前者采用的是值感知的HSIC准则，而后者则是提出的位置感知的排他性准则。从实验结果可以看出，对于多视点子空间聚类任务，位置感知的排他性准则要比值感知的HSIC准则好得多。表2显示了Yale数据集的聚类结果与表1的趋势相似，大多数竞争产品的性能低于申报的ECMSC。从这些值中，我们可以看到ECMSC优于所有基线，无论是单视图还是多视图方法。其主要原因是同时利用了表征的排他性和指示符的一致性。其中最有竞争力的两种多视点子空间聚类方法LT-MSC和DiM-SC，取得了比较有希望的结果。但将ECMSCβ=0与DiMSC进行比较，发现其互斥性优于HSIC。此外，将ECMSC β=0与ECMSC进行比较，可以得出指示符一致性（即，统一子空间聚类的过程）可以进一步获得改进。表3显示了OR-L数据集上的性能比较，从中我们注意到SPC、SSC、S3 C、FeaCon、Min-Dis、Co-RegSPC、ConReg SPC的性能都相对较差。LT-MSC方法在此数据集上产生了更低秩表示模型似乎更适合于构造该数据集上的相似性矩阵。和改善图4. 从左到右：列分别是子空间表示Z1、Z2和指示矩阵Θ的可视化。从上到下：行是ECMSCα=0（ACC = 0.701）、ECMSCβ=0 （ ACC = 0.689 ） 和 ECMSC β = 0 （ ACC =0.689）的结果。ECMSC（ACC = 0.781）。ECMSC对LT-MSC的影响不是很显著。将ECMSCβ=0与DiMSC进行比较，由于单元值大小的情况不明显，我们的位置感知项没有显示出优势，改进幅度不大。而我们完整的ECMSC则具有表示复杂、指示一致的优点.因此，它可以实现更高的性能。5. 结论本 文 提 出 了 一 种 新 的 多 视 点 子 空 间 聚 类 模 型ECMSC。与以往工作不同的是，本文在一个框架中同时考虑了完备表示和一致性指示.此外，一个新的位置感知的排他性条款已被引入到衡量不同的表示之间的多样性。此外，还提出了一种有效的基于交替的算法来寻求最优解。在多个数据集上的实验结果表明了该方法的显著优势6. 致谢本工作得到了国家重点研究发展计划（批准号：2016YFC 0801002 ） ， 国 家 自 然 科 学 基 金 项 目#61473291，#61572501，#61502491，#61572536，#61672521和AuthenMetric研发基金。933引用[1] X.蔡氏F. Nie和H.煌基于多模态谱聚类的异构图像特征集成。Proceedings of IEEE Computer Vision and PatternRecognition（CVPR），pages 1977[2] X.曹氏C. Zhang和H. Fu.多样性诱导的多视点子空间聚类。在IEEE计算机视觉国际会议（CVPR）的会议记录中，第486[3] X.曹氏C. Zhang和C.舟约束多视角视频人脸聚类。IEEETransactions on Image Processing（TIP），24（11）：4381[4] N. 陈，J.Zhu和E.P. 邢多视图数据的预测子空间学习：一种大裕度方法。神经信息处理系统进展论文集（NIP-S），第361-369页，2010年[5] M. Collins，J. Liu，and J.徐用凸正则化器对数百万图像进行谱聚类。在2014年欧洲计算机视觉会议（ECCV）IEEE会议集第282-298页中[6] Costeira和T.卡纳德独立运动物体的多体分解方法。International Journal of Computer Vision（IJCV），29（3）：159[7] S. De和R.弗吉尼亚两视图的谱聚类。在ICML研讨会的会议记录学习与多个观点，2005年。[8] E. Elhamifar和R.维达尔稀疏子空间聚类。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第2790-2797页[9] H. Gao ， F.Nie 和 X. 李 多 视 点 子 空 间 聚 类 。 IEEEInternational Conference on Computer Vision（ICCV），第4238-4246页，2015年[10] A. Gretton ， O. Bousquet 和 A. 斯 莫 拉 统 计 相 关 性 的Hilbert-Schmidt范数度量。算法学习理论国际会议论文集，第63-77页，2005年[11] X.小郭。通过同时学习数据表示及其亲和矩阵的鲁棒子空间分割。在第25届国际人工智能联合会议（IJCAI）的会议记录中，第119-128页[12] X.小郭。排他性正规化机器。arXiv预印本arXiv：1603.08318。，2016年。[13] J. Ho，M. H. Yang和J.林在不同光照条件下对物体外观进行聚类。IEEE计算机视觉和模式识别（CVPR），2003年。[14] K. Kanatani基于子空间分离和模型选择的运动分割。IEEE计算机视觉会议（ICCV），2001年。[15] A. 库马尔山口Rai和H.多姆共正则化多视图谱聚类。在神经信息处理系统（NIPS）进展会议录中，第1413-1421页[16] M. Lades，J. Vorbrggen，and J.布曼动态链接结构中的变形不变对象识别IEEE Transactions on Computers，42（3）：300[17] C.朗，Z.太阳，W。Jia，和R.胡基于多任务稀疏追踪的显著性检测。IEEE图像处理学报（TIP），21（3）：1327[18] C. Li和R.维达尔结构化稀疏子空间聚类：统一的优化框架。IEEE计算机视觉与模式识别会议（CVPR），2015年。[19] Z.林河，巴西-地Liu和Z.苏低秩表示的线性化自适应惩罚在神经信息处理系统（NIPS）进展会议录中，第612-620页[20] G. Liu，Z. Lin，S. Yan，J. Sun，and Y. Yu.利用低秩表示 子 空 间 结 构 的 鲁 棒 恢 复 。 IEEE Transactions onPattern Analysis and Machine Intelligence（PAMI），35（1）：171[21] J. Liu，C.，中国植物志和，2003 - 12 - 13; Wang和J.高.基于join-t非负矩阵分解的多视图聚类。可持续发展机制会议记录。，2013年。[22] S. Liu，X. Liang和L.刘某匹配-cnn遇到kn-n：准参数人工解析。IEEE计算机视觉和模式识别（CVPR），2015年。[23] S. Liu，Z. Song和G.刘某街道到商店：通过部件对齐和