没有合适的资源?快使用搜索试试~ 我知道了~
学习紧凑多视图表示的典型相关投影
19260F--F学习典型相关投影的紧凑多视图表示袁云浩1,李金1,李云1,强继鹏1,朱毅1,沈晓波2,苟建平31扬州大学信息工程学院2南京理工大学计算机科学学院南京3江苏大学计算机科学与通信工程学院镇江yhyuan,liyun,jpqiang,zhuyi @ yzu.edu.cncvjinli@outlook.com,njust. gmail.comgoujianping@ujs.edu.cn摘要典型相关分析在多视角表征学习中很重要.但是,CCA及其大多数变体本质上是基于显式或隐式协方差矩阵。这意味着由于协方差的内在线性,它们没有能力对特征之间的非线性关系建模。在本文中,我们解决了上述问题,并提出了一个新的典型相关框架,通过探索和利用不同特征之间该框架通过一个任意的非线性映射将每个特征而不是观测投影到一个新的空间中,从而在实际应用中具有更大的灵活性。以此框架为工具,我们提出了一种基于显式非线性映射的相关协变投影(CCP)方法。此外,我们还提出了一个多集版本的CCP称为MCCP学习紧凑表示两个以上的意见。提出的MCCP是用迭代方法求解的,我们证明了它的收敛性。在六个基准数据集上的一系列实验结果证明了我们提出的CCP和MCCP方法的有效性1. 介绍典型相关分析(CCA)[17]是由Hotelling提出的,是多维数据分析中用于发现两组随机变量之间关系的经典而强大的CCA的目标是寻找线性投影向量对CCA已应用于许多应用,如多视图聚类[5],特征融合[30],多标签分类[29]和多视图表示学习(MRL)[23]。到目前为止,已经有许多有用的变体,CCA,它可以大致分为三类:监督,半监督和无监督的方法。CCA的监督变体在模型训练期间考虑了不同视图的所有观测值的标签信息例如,通过将两个视图样本的类内和类间信息合并到CCA中,提出了判别CCA [21,32]。多标签CCA [27,29]通过将一个视图视为数据,另一个视图视为类别标签来呈现为了处理多视图(多于两个视图)的情况,最近已经基于多视图观测的类内和类间信息提出了CCA的一些多视图监督扩展;参见例如,有区别的和标记的多个CCA [11,12]。CCA的半监督变体不仅利用未标记的多视图数据,而且利用标记的多视图数据来学习潜在表示。例如,Chen等人 [9]提出了一种半监督半配对CCA方法,该方法利用了未标记数据的全局结构信息和标记数据的局部判别信息,同时利用了有限的配对数据。Wan和Zhu [34]提出了一种成本敏感的半监督CCA方法,该方法使用在统一的对成本敏感的学习框架内进行共同国家评估在现实世界的应用中,通常不缺乏未标记的数据,但标签是昂贵的。因此,开发能够充分利用多视点观测数据的无监督CCA算法具有重要意义。在本文中,我们考虑在无监督学习场景中CCA的泛化问题许多努力都集中在CCA的无监督变体上,用于紧凑的 多 视 图 表 示 或 特 征 学 习 。 例 如 , 在 小 样 本 量(SSS)问题中,特征向量的维度大于观测值的数量,正则化CCA [16,29]是19261FFFF∈∈提出了防止过拟合和样本协方差矩阵的奇异性由于大部分特征对许多多视图学习任务没有信息,因此提出了稀疏CCA [3,10,15此外,正交CCA(OCCA)[41]被开发用于保持原始数据的协方差和典型子空间的欧几里得提出概率CCA [39]是为了提供经典CCA的概率解释。最近,Xu和Li [37]提出了一种真正的基于交替最小二乘的CCA(TALSCCA),用于实践中的性能改进。对于高维多视图数据,现实世界中通常存在非常复杂的非线性关联。从这个角度来看,无监督的CCA非线性扩展CCA的早期非线性推广主要包 括核CCA(KCCA)[2,16]和基于神经网络的CCA [18,22]。KCCA的基本思想是利用两个由核确定的非线性映射将两个视图的输入数据隐式投影到高维特征空间。这使得原始数据空间中两个视图之间的非线性关系在特征空间中变为线性关系成为可能,从而允许使用经典CCA从两个视图学习潜在的紧凑表示。最近的内核变体可以在[14,24,33]中找到。基于神经网络的CCA将CCA与神经网络相结合,用于发现不同组合策略下两视图之间的非线性相关性。由于深度神经网络(DNN)的优势,Andrew等人 [1]提出了CCA的深度版本,称为深度CCA(DCCA),它通过最大化两个单独DNN输出之间的线性相关性来学习两个视图数据的深度非线性表示。此外,还有一些CCA的其他深度扩展[13,35,40]已经基于不同的DNN架构开发。CCA的另一种流行的非监督非线性扩展基于流形学习理论;例如,参见局部保持CCA [31]和图CCA [7]。CCA的所有上述无监督变体仅适用于两个视图场景 。 为 了 处 理 多 视 图 的 情 况 , 提 出 了 多 集 CCA(MCCA)[20,26],以同时实现多个视图的多个潜在表示子空间。近年来,对CCA的多视图无监督扩展的研究兴趣激增;例如,参见张量CCA(TCCA)[25],深度概率CCA [19]和TCCA网络[38]。另一个有趣的多视图扩展是基于广义CCA [4]的想法,其最小化一个公共潜在表示和个体表示之间的差异,例如,图MCCA[6]和L2,1-CCA [36]。虽然CCA及其变体在MRL中取得了令人瞩目的学习性能,但大多数仍然面临着难以克服的挑战。也就是说,CCA及其大多数变体(例如,KCCA、DCCA、OCCA和MCCA)与所谓的谱求解器相关,谱求解器基于特殊构造的数据矩阵的顶部或底部特征值和特征向量。这种特殊构造的矩阵本质上是基于显式或隐式协方差矩阵,其评估不同特征的线性关系。这意味着,由于协方差度量的内在线性,它们无法对特征在本文中,我们解决了上述问题,并提出了一个新的典型相关框架,通过探索和利用不同特征之间的非线性关系。以此为工具,我们提出了一种相关协变投影(CCP)方法,该方法使用显式非线性映射来构造-intraset,- 集间协变矩阵-ces。此外,我们扩展了CCP,并提出了一个多集CCP(MCCP)的方法(见图1的说明)学习不相关的紧凑表示的两个以上的意见,这是在许多实际应用中所希望的。在六个真实数据集上的实验结果表明,本文提出的CCP和MCCP方法在分类和聚类任务上优于相关方法,包括最先进的方法。值得强调的是,本文的贡献如下:1) 据我们所知,典型相关框架在MRL中是新颖的,其中可以使用任意非线性映射将每个特征而不是观察投影到某个新的空间中。因此,我们提出的框架自然能够建模不同特征之间的非线性关系,这不能很好地建模由传统的CCA相关的方法。2) 在此框架下,通过显式地使用一个特定的高斯核映射,提出了CCP,它不仅具有发现非线性特征相关性的能力,而且无论场景是否为SSS问题,都可以执行MRL3) 为了实现两个视图之外的MRL,提出了MCCP算法,该算法通过最大化任意一对视图之间的累积相关性来实现,并采用迭代方法求解。从理论上证明了这种迭代的收敛性2. 协方差和CCA2.1. 协方差设f1Rn和f2Rn包含两个特征变量的n个很容易计算出19262多视点数据视图1nN下游任务F2f1中文(简1分类12号线()1f1d1F2ϕ(f)D11平面狗视图2F2中文(简22中文(简2相关最大化聚类f2d2ϕ(f)D22视图mfm1fm2中文(简体)M中文(简MFDMMϕ(f)DMM我·······不··1∈∈1212w2∈图1.我们框架的流程图。在原始数据空间中,通过使用非线性函数f()将每个特征ft映射到某个新的空间中,其中i= 1,2,,m和t= 1,2,、di、m和di分别是视图的数目和第i个视图的维度。然后,在每个视图内以最小冗余度最大化地关联经逆变换的多视图数据。由此产生的紧凑表示用于下游多视图任务,如分类和聚类。形式的协方差其中λ是对应于特征向量[wTwT]T的特征值,S21= ST.在CCA中,1Cov(f,f)=(f-µ1)(f1 2 12-µ1),(1)1 2n1 1 2 2其中Cov(,)表示协方差算子,µ1和µ2分别是f1和f2的所有n个观测值的均值,μ1=1/n(fT1)和μ2=1/n(fT1),并且1是全-投影向量可以通过计算本征值来获得,对应于(3)的顶部特征值的向量3. 该方法123.1 动机一个向量。如(1)所示,很容易发现协方差本质上是两个标度向量的内积。因此,它实际上测量两个特征变量之间的线性关系。2.2. CCA如2.2节所述,CCA基于集内和集间协方差矩阵。但是,这些协方差矩阵至少有两个共同的缺点,如下:• 首先,在(1)中定义的协方差度量仅评估假设双视图数据为X1d×n∈Rd1×n,两个随机变量的线性变异性,如dis-在第2.1节中讨论。 因此,X2R2,其中d1和d2是sam的维数。其中,n是样本数。CCA旨在最大化wTX1和wTX2之间的相关性,其可以表示为以下优化问题:CCA自然缺乏评估不同特征之间的非线性关系显然,它限制了CCA在现实世界中的表示学习性能Maxw1,w2 第12周第2周(二)• 其次,在SSS情况下,众所周知CCA中的集内协方差矩阵必然是奇异的,S.T. wTS11w1= wTS22w2=1,从而使得CCA对于两视图表示不可用,其中w1Rd1和w2Rd2是一对投影向量,S12是X1和X2的集间协方差矩阵,S11和S22分别是X1和X2已经表明,(2)中的优化问题可以通过以下特征方程来求解站学习虽然正则化CCA [16,29]可以解决协方差矩阵的奇异性问题,但据我们所知,如何在理论和实践中选择最佳正则化参数为了克服上述缺点,我们进行了探索和研究。S12中国(3)利用不同特征从而提出了一种CCP方法及其扩展。......... ……...... ……......... ……... ……...的21w2S2219263··∈ ∈≤·FFF1我t=1我我我我S.T. WTKFW1=Id,WTKFW2=Id,我JIJ我J我 J我 J我J12D我--t=1Σ Σ ΣΣ3.2. 制剂典型F相关框架。设ft∈Rn为由于使用了非线性函数,所提出的框架可以作为一个通用平台,其中新的规范所述特征向量对应于我中Xi的用于紧凑多视图表示的学习得到进一步发展。 此外,我们的框架第i个视图,i= 1,2且t= 1,2,···,di。那么,Xi可以是可以结合CCA作为特殊情况,当f(ft)=ft,改写为Xi=[f1,f2,···,fdi]T的形式。让每个特征我我i i ifin(·):Rn›→RN是从Rn到RN的非线性映射函数,其中N是某个新空间的维数。我们使用(·)来共产党人社会主义(6)中的非线性函数可以选择作为核映射、神经网络、深度网络等。因此,不同的函数将导致不同的特殊方法。在本文中,我们选取了高斯核映射1,映射原始中的一个新的输入空间到一个新的N维空间,并获得从而导致CCP的优化问题如下:最大Tr(WTKFW2)(ft)=(四)W1,W21 12(七)使用(4),我们可以定义F-内集和F-内集共。1 112 22RN中的变异矩阵为:Cij=CiFj(k,t)=<$(fk)T<$(ft)∈Rdi×dj,(5)其中CFij(k,t)表示C F ij的第(k,t)个条目,i,j=1,2,k = 1,2,···,di,并且t = 1,2,···,di。通过使用(5),我们提出的典型F-相关其中KFij∈Rdi×dj 并且其第(k,t)个条目通过下式计算:KF(k,t)=k(fk)Tk(ft)=ker(fk,f t)(8)其中ker(·,·)为高斯k内核函数,即,ker(fk,ft)=exp.−<$fk−ft<$2/(2σ2)<$,(9)W1Rd1×d和W2Rd2×d(dmin(d1,d2))通过以下优化问题:Max Tr(WTCFW)σ> 0是高斯核的宽度参数,σ·σ表示向量的2-范数,i,j = 1,2,k = 1,2,···,di,t=1,2,···,dj。显然,KF11和KF22是对称的W1,W 21 122(六)半正定矩阵S.T.WTCF1 1W1=Id,WTCF22W2=Id,3.3. CCP解决方案其中Tr(·)表示矩阵的迹,I∈Rd×d是Theo r em1. 设{ft∈Rn}di是一组Didis-单位矩阵。讨 论 : 与 传 统 的 CCA 非 线 性 变 体 ( 如 KCCA 和DCCA)相比,它们利用非线性映射将每个观察投影到两个视图中,我们的框架采用非线性函数()将每个特征而不是每个观察映射到一个新的空间中,从而导致以下四个优点:视图i中的着色特征向量,其中i=1,2.然后,集内协变矩阵KF11和KF2一定是非奇异的.定理1的证明可以在教材中找到. 由定理1可知,KF1和KF2必然是对称正定的. 因此,在本发明中,1 1阶段:1)在建议的框架中,我们的-intraset和-集间协变矩阵可以更好地揭示隐藏在不同特征中的非线性关系,而在KFii=(KFii)2(KFii)2,i=1,2, (10)必须存在。由于KF11和KF22的非奇异性,令和组间协方差矩阵,例如,CCA和OCCA,无法模拟这种关系,由于他们的内-Wi=(KFii)−2Wi,i= 1,2。(十一)固有线性。 2)我们的典型F相关框架设KF=(KF)−KF(KF)−。与(11),op-将两个视图的每个原始特征向量投影到N维空间中。当N > n时,这似乎意味着我们的框架自然会产生新的框架旨在寻求一对线性变换1926411观测分量12 11212 222(7)中的最小化问题可以等价地重新表述作为最大Tr(WTKFW2)用于学习紧凑的多视图表示。它是ob-W1,W21 12(十二)有利于SSS病例。(3)提出的框架具有S.T. WTW1=Id,WTW2=Id。1 2双视图观察的维度没有变化。相比之下,KCCA及其变体将两个视图的原始观察映射到更高甚至无限维的特征空间,其中许多大规模学习问题被转化为SSS案例。(3)由于灵活性对于(12)中的最优化问题的解,我们有以下重要定理:1核映射具有关联核矩阵是半正定的显著优点。19265i=1≤×1···≤≤我我11我i=1我我我我i=112我我以下策略:y=y1,y2w1,···,wm我 IJw1,···,wm我 我 IJ1···∈}{Ij∈我我我···∈−不−--定理2. 设K<$F12的 奇 异 值 分 解为K<$F12=U <$VT,Σ i=dia g(σ1,···,σr)∈Rr× r ,其中UTU=VTV=Ir,{σ i}r为奇异值矩阵W1和W2,并直接将它们应用于不可见的观测,如3.4节所 示。 此外, KCCA 中的 核矩 阵的大 小为n×n,而我们的F-interset按降序排列,即,σ1≥· · ·≥σ r>0,r=rank(K<$F12)≤min(d1,d2). 然后,W1=U(:,1:d)和W2=V(:,1:d)(13)是(12)的解,其中A(:,1:d)表示由A的前d列组成的矩阵,并且d r。定理2的证明可以在教材中找到 使用(11),我们 可 以 得 到 CCP 的投 影 矩 阵 , 其 形 式 为 W =(KF)-U(:协变矩阵的大小为d1d2。这表明,CCP当min(d1,d2)> n时,可以学习到比KCCA更多的特征。4. 延伸我们扩展了CCP学习从两个以上的观点,从而导致多集CCP(MCCP)方法的紧凑表示。给定m视图训练样本Xi=[f1,f2,,fdi]TRdi× n m ,MCCP的优化问题可以表示为和W1=(KF)−V(:,1:d)。112M m,1:d)2222简体中文MaxW1,···,WmTr(WiKijWj)对于未知样本xT=[xT,xT],其中x∈Rdi,我们S.T.WTKFiiWi=Id,i=1,2,···,m,可以以yi=WTxi,i=1,2. 对于y1和y2,我们将它们合并为其中KFijRdi×dj,第(k,t)个元素为ker(fk,ft),、、和。iTTi,j=1,2,···,m k=1,2,···,dit=1,2,···,dj表示下游任务的样本x3.5.与其他方法与CCA比较。CCP和CCA都是非监督的两视图子空间学习方法。不同的是由于正交约束是非凸的,所以(15)是一个非凸优化问题。除了m=2的情况,这个问题的非凸性使得它难以解决。因此,我们采用迭代方法来计算这些变量。CCP具有对非线性关系让我们F与W作为W的第k列。两个视图的不同特征之间的差异,而CCA则没有。另一方面,当d1> n和d2> n时,由于F-集内协变矩阵的非奇异性,CCP可以有效地学习潜在的低维表示。wi=(Kii)2wi i i假 设 我 们 已 经 获 得 了 前 k 1 组 投 影 向 量 , 即 ,Qi=[w∈1,w∈2,,wk−1]Rdi×(k−1),i=1,2,,m和1k d。然后,优化问题在(15)可以重新定义为三次 在这种情况下,由于m,CCA不可用M集内协方差矩阵最大 值WTKFWJi=1j=1将两个视图输入投影到新闻中空间.然而,它们是完全不同的。首先,KCCA使用核函数本质上衡量两个样本之间的相似性,而我们的CCP评估任何两个特征之间的相似性。其次,KCCA经常受到一个著名的琐碎学习问题的困扰[16]。回想一下,在KCCA中,一个视图中的对偶表示向量是通过以下朴素特征值问题获得的[16]:S.T. wTwi=1,QTwi=0,i=1,2,···,m,其中K<$Fij=(KFii)−2KFij(KFjj)−2。设Pi= IdiQiQ。显然,每个Pi都是一个投影算子,它将一个向量映射到Qi的值域空间或正交于Qi的值域空间。 通过Pim,(16)中的优化问题可以等效地重新表述为:M mInu=λu(14)当核矩阵可逆时,其中λ是与特征向量u相关联的特征值。显然,(14)与训练数据无关,因此提供了无用的结果。相比之下,我们的CCP没有遇到这个问题,这个问题可以通过SVD有效地解决;见3.3节。第三、最大 值wTPTKFPjwjS.T.w<$Tw<$i=1,i=1,2,···,m.使用拉格朗日乘子技术,我们可以得到以下更新规则:MKCCA在计算时需要使用所有训练数据看不见的观察的表征。这使得KCCA的测试阶段严重依赖于训练数据λi←.. . Σ13.4.样本外投影i=1j =1(十五),这是用来显然,当m=2时,MCCP简化为CCP。与KCCA比较 CCP和KCCA都使用(十六)i=1j =1(十七)19266j=1M我 IJ我λi我 IJJPTKFPjwj... 、(十八)w←1PTKFPw.(十九)以及在大规模学习问题中耗时相反,我们的CCP计算两个显式投影j=1J19267准确度(%)准确度(%)准确度(%)90 85 92 65607580 90556570 88 50554560 86454050WebKB35BBC体育84克夫什卡普35DNANominal(a)(b)(c)(d)CCA KCCA RCCA DCCA DCCAE滑石粉L2,1-CCA CCP图2.每种方法的分类准确性有两个视图(a)WebKB,(b)BBC-Sport,(c)Krvskp和(d)DNANominal。七十六。8± 2。91718± 3。3178. 3± 1。8671。7± 2。7659. 6± 5。七二六四。0 ±4。11第78章. 4± 2。七九七三。4± 4。七九七六。4± 3。7769. 3± 2。0171. 1± 2。0463. 3 ±4。01第79章. 6± 3。6372. 8± 4。03 79. 5± 2。70 72. 2± 2。34 70. 5± 2。3069. 3 ±1。6879. honor 8± 3。6072. 4± 3。59 801± 2。2072. 5± 2。3170. 1± 2。0369. 4 ±3。3580. honor 8± 4。10759± 4。52 77. 3± 3。1972年。7± 3。 8170. 5± 3。12681 ±2。37L2,1-CCA80. 3± 4。50 77 9± 5。2677 0± 4。29611± 2。0872. 4± 1。7665. 2 ±1。8782. honor 9± 4。60801± 6。57 82. 9± 3。0576. 9± 2。5075. 9±2。4972. 7± 1。82表1.每种方法的分类准确度(%),耶鲁大学和COIL-20的两个视图和相应的标准差。(18)和(19)的详细推导可在补充材料中找到。关于这两个更新规则,我们有以下收敛定理:定理3. (17)中的目标函数是非递减的,并且在(18)和(19)中的更新规则下收敛定理3的详细证明见补充资料。5. 实验在六个真实世界数据集上进行了广泛的实验,以证明CCP和MCCP学习紧凑多视图表示的有效性我们将CCP和MCCP与现有的相关方法进行了比较,包括分类和聚类方面的最新技术。5.1. 数据准备六个数据集的统计数据总结如下:We- bKB[28]:它包含两个类别的 1051个样本(即,课程和非课程),其中课程中有230个样本,非课程中有821个样本。每个样本有两个视图,即1840维的超链接特征和3000维的文本内容特征。BBC-Sport[8]:它包含收集的五个主题类的544个文档准确度(%)方法雅乐RG耶鲁-RL耶鲁-GLCOIL-20-RGCOIL-20-RLCOIL-20-GLCCAKCCA八十4±4。70七十三。8±4。9474岁5 ±3。52五十八2±2。44五十九6±1。89四十七5±1。9319268××BBC体育网站每个文档被分为两个子部分,从而产生两 个 不 同 的 视 图 , 尺 寸 分 别 为 3183 和 3203 。Krvskp[42]:它包括两类36维的3196个样本。我们使用每个样本的前18个维度作为一个视图,其余的作为另一个视图,以产生两个视图。DNANominal[42]:它由3186个基因样本组成,维数为60,分为三类:受体,供体和非剪接。同样,每个基因序列的前30个维度用作一个视图,其余的作为另一个视图。Yale[8]:它由15个人的165张灰度图像组成,具有各种照明条件和面部表情。每个人有11个正面的面部图像的大小为120 91。通过使用原始图像、Gabor和局部二元模式( LBP ) 特 征 产 生 三 个 视 图 , 其 各 自 的 COIL-20[13]:它包含20个对象的1440个灰度图像,以5度的姿势间隔拍摄每个对象有72个图像,大小为128 128。在这个数据集上,我们采用原始图像,Gabor和LBP特征来形成三个视图,每个视图具有16384个维度。5.2. 比较方法为了证明我们的方法如何提高学习性能,我们比较了以下十种方法:19269···Metric CCA KCCA RCCA DCCA DCCAE TALSCCA MCCAL2,1-CCA MCCP76.第七十六 章3七十二9七十三。6七十七。0七十六。478岁8七十七。982岁282岁5STD4.第一章603 .第三章。77二、611 .一、72二、493 .第三章。453 .第三章。673 .第三章。733 .第三章。17COIL-20ACC五十九662.2五十八675. 374岁5七十1五十六666岁。3七十六。9STD二、303 .第三章。443 .第三章。87二、60二、61二、73二、37二、151 .一、89表2.在Yale和COIL-20上具有两个以上视图的每种方法的分类准确度(%)和相应的标准差。ods:CCA,一个经典而强大的双视图表示学习工具。KCCA是CCA的内核扩展。在我们的实验中,核函数被选为高斯核和最佳参数选择在1和25之间,采样间隔为1。随机CCA(RCCA)[24],CCA的随机和非线性变体。DCCA[1],CCA的深度非线性变体。我们使用MATLAB代码2来实现DCCA。深度正则相关自动编码器(DCCAE)[35],它不仅最大化学习的深度表示之间的正则相关性,而且最小化两个自动编码器的重建误差。采用MATLAB软件包2TALSCCA[37],一种基于交替最小二乘的CCA方法。MCCA[26],CCA的多视图扩展,可以学习两个以上视图的紧凑表示。L2,1-CCA [36],它考虑了L2 ,1-范数约束的紧凑MRL。CCP和MCCP是本文提出的两种新方法。在我们的方法中有一个参数σ,如(9)所示。我们根据经验将其设置为σ=10i−6,i=0,1, 、8 并选择CCP和MCCP性能最佳的值。注意,所有前述十种方法都涉及主成分分析(PCA)阶段。在这个PCA阶段,我们为所有数据集保留了每个视图超过98%的数据能量5.3. 分类结果我们在WebKB和BBC-Sport上每类随机选择10个样本,在Yale和COIL- 20上每类随机选择3个样本,在Krvskp和DNANominal上每类随机选择500个样本,分别生成训练集,其余的用于测试。在每个数据集上,执行10个独立测试来测试性能。使用最近邻分类器,我们探索每种方法在所有可能的特征维度上的性能,并报告最佳结果。两个视角的场景对于WebKB,BBC-Sport,Krvskp和DNANominal,我们直接进行双视图分类。图2显示了每种方法的平均分类精度。对于Yale和COIL-20,总共有三种不同的成对视图组合,即,raw-Gabor、raw-LBP和Gabor-LBP,它们被表示为X-RG、X-RG和X-LBP。2https://ttic.uchicago.edu/网址 wwang5/dccae.html19270RL和X-GL,并且X表示数据集。对每个成对组合进行分类。表1列出了每种方法10次运行的平均分类结果从图2中,我们可以看到以下有趣的点。首先,在WebKB和BBC-Sport上,我们的CCP方法明显优于其他七种方法。第二,在Krvskp上,CCP和TALSCCA 的 性 能 优 于 其 他 六 种 方 法 , 而 CCA ,DCCA和DCCAE的性能彼此相近。此外,在该数据集上,特别值得注意的是,L2,1- CCA表现最差,尽管它是专用的MRL方法。第三,在DNANominal上,CCP比其他方法有更好的性能。从表1中,我们可以清楚地看到,CCP始终优于其他方法,与成对视图组合无关。这些结果表明,我们的CCP是一个强大的工具,紧凑的MRL和分类任务。两个以上的视图方案。为了公平比较,我们使用与[30]相同的预处理策略将三个视图转换为两个视图,然后分别基于两个新视图对于MCCA,L2,1- CCA,和我们的MCCP,我们直接使用它们从三个视图学习表2总结了这9种方法在Yale和COIL-20上的平均分类准确度(ACC)以及相应的标准差(Std)。可以看出,我们提出的MCCP方法优于耶鲁大学和COIL-20上的其他八种方法。这些结果表明,所提出的MCCP方法是有效的多视图分类。5.4. 聚类结果我们评估了我们提出的CCP和MCCP方法在多视图聚类任务中的聚类性能。对于每个数据集,聚类数被设置为类数。所有的方法,分别用于紧凑的MRL。在MRL之后,我们应用K-means算法进行聚类。用准确度(ACC)和归一化互信息(NMI)来评价聚类质量.请注意,ACC和NMI的值越高,每种方法的性能越好。表3报告了两种方法下两个视图的每种方法的聚类性能19271F数据集指标CCAKCCARCCADCCADCCAE塔尔斯卡L2,1-CCA中共WebKBACC0.96100.91910.94580.97620.96860.96380.97430.9800NMI0.72250.51550.62670.79860.75010.73710.78240.8290英国广播公司-体育行政协调会0.87500.72610.82540.66910.77570.86210.65810.9430NMI0.80120.69840.66520.49820.53670.79320.68700.8352KrvskpACC0.55630.52410.57010.56450.53500.53190.59170.6834NMI0.00900.01430.04820.05610.04390.00360.06160.1148DNA命名ACC0.51820.54360.36850.50630.55430.57120.50220.6871NMI0.12960.07750.03090.10380.14450.14080.12990.3022雅礼-RGACC0.53940.67880.63640.55760.63640.66670.72730.7273NMI0.64300.72730.75080.74160.75740.75040.76560.8112耶鲁-RLACC0.58180.63640.58790.64240.65450.56970.58790.7030NMI0.70590.68070.68920.69390.69790.71020.72210.7408雅礼-GLACC0.65450.61820.60610.64240.58180.60610.66670.7394NMI0.74810.70160.70350.71900.71190.71540.78100.8013COIL-20-RGACC0.52220.63680.47920.63960.65560.54860.42990.6604NMI0.67250.75980.61420.78820.81480.71350.62160.8257COIL-20-RLACC0.60070.67780.57010.67570.65630.61810.54930.6875NMI0.73960.77630.70110.76110.78350.74320.69600.8120COIL-20-GLACC0.53470.63330.60900.66460.66320.60350.45490.6736NMI0.67300.77550.67890.76670.76960.71210.63340.7814表3.每种方法在不同数据集上的两个度量下的两个视图的聚类性能Metric CCA KCCA RCCA DCCA DCCAE TALSCCA MCCAL2,1-CCA MCCP耶鲁大学行政协调会0.64850.61210.64850.66060.60000.61820.59390.63640.6727NMI0.71290.68480.66590.71740.68830.73180.70690.71700.7440COIL-20ACC0.66460.53960.50070.66810.65000.57080.54310.48750.6826NMI0.77680.70190.56400.80820.79810.75300.69190.61480.8135表4.Yale和COIL-20上两种度量下两种以上视图的每种方法的聚类性能不同数据集上的rics正如我们所看到的,无论度量是ACC还是NMI,所提出此外,我们还进行多视图聚类测试。实验设置与双视图聚类实验中使用的设置相同对于具有两个视图输入的方法,我们再次使用与[30]中使用的相同的预处理策略表4记录了每种方法在两个以上视图下的聚类性能。可以看出,我们的MCCP在所有方法中表现最好,无论指标和数据集如何。简而言之,这些结果表明,我们的CCP和MCCP方法也是强大的多视图聚类。6. 结论在本文中,我们提出了一个新的典型相关框架,通过探索和利用不同特征之间的非线性关系。在这个框架下,我们提出了一个CCP方法,映射. 此外,我们扩展了CCP,并提出了一个MCCP学习两个以上的意见的紧凑表示用迭代法求解MCCP,并从理论上证明了迭代法的收敛性在六个基准数据集上的一系列实验结果证明了我们提出的CCP和MCCP方法在分类和聚类方面的有效性。未来有趣的研究是如何从理论上选择我们的方法的最佳参数。致谢本工作得到了国家博士后科学基金项目(2020M670995)、扬州大学博士后科研与实践创新工程项目 ( KYCX 21 -3220 ) 、 国 家 自 然 科 学 基 金 项 目(62176126、62076217、61906060)的资助,江苏省自然科学基金BK 20190440,扬州市科学工程基金YZ2020173。19272引用[1] 放大图片作者:Galen Andrew,Raman Arora,Jeff A.比尔梅斯和凯伦·利维斯库深度典型相关分析。ICML,第1247-1255页,2013年。二、七[2] 弗朗西斯河巴赫和迈克尔一世约旦.核独立成分分析。JMLR,3:1-48,2002. 2[3] 采佳,单伟,张晓伟。基于l0稀疏典型相关分析及其在跨语言文档检索中的应用。神经计算,329:32-45,2019。2[4] J道格拉斯卡罗尔。将典型相关分析推广到三组或更多组变量。美国心理学会第76届年会论文集,第227-228页2[5] KamalikaChaudhuri , ShamM.Kakade , KarenLivescu,and Karthik Sridharan.通过典型相关分析的多视图聚类。在ICML,第129-136页,2009中。1[6] Jia Chen,Gang Wang,and Georgios B.吉安纳基斯图多视 图典 型 相关 分析 。 IEEE TSP, 67 (11 ) :2826-2838,2019。2[7] Jia Chen,Gang Wang,Yanning Shen,and Georgios B.吉-安纳基斯。具有公共源图的数据集的典型相关分析。IEEE TSP,66(16):43982[8] Mansheng Chen,Ling Huang,Chang-Dong Wang,andDong Huang.潜在嵌入空间中的多视图聚类。在AAAI,第3513-3520页,2020中。6[9] Xiaohong Chen,Songcan Chen,Hui Xue,and XudongZhou.半成对半监督多视图数据的统一降维框架。模式识别,45(5):2005-2018,2012。1[10] 放大图片创作者:Chu Delin, Lia-Zhi Liao,MichaelK.Ng和张晓伟稀疏典型相关分析:新的公式和算法。IEEE TPAMI,35(12):3050-3065,2013年。2[11] 高磊,林奇,陈恩青,凌冠。用于信息融合的判别多重典型相关分析。IEEE TIP,27(4):1951-1965,2018。1[12] 高磊,张瑞,林奇,陈恩青,凌冠。信息融合的标记多重 典 型 相 关 分 析 IEEE TMM , 21 ( 2 ) : 375-387 ,2019。1[13] Quanxue Gao , Huanhuan Lian , Qianqian Wang , andGan Sun.基于深度典型相关分析的交叉模态子空间聚类。在AAAI,第3938-3945页,2020年。二、六[14] 高希展,牛思杰,孙全森。双向二维核典型相关分析。IEEE SPL,26(11):1578-1582,2019。2[15] David R.作者声明:John Shawe-Taylor.稀疏典型相关分析。Machine Learning,83(3):331-353,2011. 2[16] David R.哈登,桑德尔·塞德马克,约翰·肖-泰勒.典型相关分 析: 应用 于学 习方 法的概 述。 神经 计算 ,16(12):2639-2664,2004。一、二、三、五[17] 哈罗德·霍特林两组变量之间的关系Biometrika,28(3/4):321-377,1936. 1[18] William W.谢用神经网络进行非线性典型相关分析。Neural Networks,13(10):1095-1105,2000. 2[19] 马赫迪·卡拉米和戴尔·舒尔曼深度概率典型相关分析。在AAAI,第8055-8063页,2021中。2[20] J. R. 凯 顿 林 几 组 变
下载后可阅读完整内容,剩余1页未读,立即下载
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 构建智慧路灯大数据平台:物联网与节能解决方案
- 智慧开发区建设:探索创新解决方案
- SQL查询实践:员工、商品与销售数据分析
- 2022智慧酒店解决方案:提升服务效率与体验
- 2022年智慧景区信息化整体解决方案:打造数字化旅游新时代
- 2022智慧景区建设:大数据驱动的5A级管理与服务升级
- 2022智慧教育综合方案:迈向2.0时代的创新路径与实施策略
- 2022智慧教育:构建区域教育云,赋能学习新时代
- 2022智慧教室解决方案:融合技术提升教学新时代
- 构建智慧机场:2022年全面信息化解决方案
- 2022智慧机场建设:大数据与物联网引领的生态转型与客户体验升级
- 智慧机场2022安防解决方案:打造高效指挥与全面监控系统
- 2022智慧化工园区一体化管理与运营解决方案
- 2022智慧河长管理系统:科技助力水环境治理
- 伪随机相位编码雷达仿真及FFT增益分析
- 2022智慧管廊建设:工业化与智能化解决方案
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)