高维数据的联合渐进学习多标签分析

高维数据的联合渐进学习多标签分类红丹凤1、2[0000−0002−3212−9584]、横谷直人3[0000−0002−7321−4590]、徐建1[0000−0003−2348−125X]、朱潇湘 1、2[0000−0001−5530−3613]1遥感技术研究所，德国航空航天中心，德国{danfeng.hong，jian.xu，xiao.zhu}@ dlr.de2慕尼黑工业大学地球观测中的信号处理德国慕尼黑3RIKEN先进智能项目中心，日本东京{naoto.yokoya}@ riken.jp抽象。 尽管非线性子空间学习技术（例如 流形学习）已经成功地应用于数据表示，但在可解释性（显式映射）、泛化（样本外）和成本效益（线性化）方面仍有改进的空间。为此，开发了一种新的线性化子空间学习技术的联合和渐进的方式，称为联合和渐进的学习策略（J-Play），其应用程序的多标签分类。 J-Play通过以下方式从高维数据中学习高级和语义上有意义的特征表示：1）联合执行多个子空间学习和分类，以找到期望样本被更好分类的潜在子空间; 2）逐步学习多耦合投影，以线性地接近桥接原始空间与最具鉴别力的子空间的最佳映射; 3）局部映射。y在每个可学习的潜在子空间中嵌入流形结构。大量的实验表明，该方法的优越性和有效性与以前的国家的最先进的方法相比。关键词：乘子交替方向法·高维数据·流形正则化·多标签分类·联合学习·渐进式学习1介绍高维数据往往具有非常丰富和多样的信息，这使得我们能够更有效地对目标进行分类或识别，更容易地分析数据属性，但不可避免地带来了一些缺点-s（例如，信息冗余、复杂噪声效应、高存储消耗等）由于维数的曲线。解决此问题的一般方法2D. Hong等人分别执行子空间学习和分类子空间学习，例如，PCA、LPP、LDA分类最优子空间最优分类原始数据空间联合进行子空间学习和分类子空间标签空间子空间投影θ属性标记投影P足以仅用单个投影原始数据空间子空间标签空间保持局部流形的联合渐进学习算法局部拓扑结构P原始数据空间隐子空间θl1，…M标签空间L低特征鉴别能力高Fig. 1.动机插值从分别进行子空间学习和分类到联合学习再到联合渐进学习。从我们的模型中学习的子空间表明了更高的特征区分能力，如绿色底线所解释的那样。是学习低维和高区分度的特征表示。通常，它也被称为降维或子空间学习。在过去的几十年中，大量的子空间学习技术已经在机器学习社区中被开发出来，并成功应用于生物度量[20][5][9][10]、图像/视频分析[26] 、 可 视 化 [22] 、 高 光 谱 数 据 分 析 （ 例 如 ， 降 维 和 解 混 ）[12][13][14]。这些子空间学习技术通常被分类为线性或非线性方法。理论上，非线性方法能够以更有效的方式弯曲数据结构。然而，没有明确的映射函数（可解释性差），并且同时相对难以将样本外嵌入到学习的子空间中（弱泛化）以及高计算成本（缺乏成本效益）。此外，对于多标签分类的任务，这些经典的子空间学习技术，诸如主成分分析（PCA）[29]、局部判别分析（LDA）[20]、局部Fisher判别分析（LFDA）[23]、流形学习（例如： 拉普拉斯特征映射- s（LE）[1]、局部线性嵌入（LLE）[21]）及其线性化方法（例如局部保持投影（LPP）[6]、邻域保持嵌入（NPE）[4]）通常用作分类前的分离特征学习步骤，其局限性主要在于特征之间的弱连接联合渐进学习3通过子空间学习和标签空间（参见图1的顶部面板）。①的人。不知道哪些学习的特征（或子空间）可以改进分类。最近，上述问题的可行解决方案可以概括为联合学习框架[17]，该框架同时考虑线性化子空间学习和分类，如图1的中间面板所示1.一、在此之后，已经提出了更先进的方法并应用于各个领域，包括监督降维（例如，最小二乘降维（LSDR）[24]及其变体：最小二乘二次互信息导数（LSQMID）[25]）、多模态数据匹配和检索[28，27]以及用于活动识别的异构特征学习[15，16]。 在这些工作中，学习的特征（或子空间）和标签信息通过回归技术（例如，线性回归）以自适应地估计潜在和判别子空间。尽管如此，他们仍然无法找到一个最佳的子空间，因为单一的线性投影几乎不足以表示从原始数据空间到潜在的最佳子空间的复杂变换。受上述研究的启发，我们提出了一种新的联合和渐进学习策略（J-Play），以线性地找到用于一般多标签分类的最佳子空间，如图1的下图所示1.一、我们实际上通过学习一系列子空间而不是单个子空间来扩展现有的联合学习框架，旨在通过多耦合中间变换逐步将原始数据空间转换为潜在的最佳子空间[18]。理论上，通过增加子空间的数量，耦合的子空间变化逐渐缩小到可以经由线性变换有效地表示的非常小的范围。 这使得我们更容易找到一个好的解决方案，特别是当模型是复杂的和非凸的。我们还有助于结构学习在每个潜在的子空间，局部嵌入流形结构。我们工作的主要亮点可概括如下：– 提出了一种线性化的渐进学习策略来描述从原始数据空间到潜在最优子空间的变化，倾向于找到更好的解决方案。一个联合学习框架，同时估计子空间投影（连接原始空间和laten-t子空间）和属性标记的投影（连接学习的潜在子空间和标签空间）被认为是找到一个有区别的子空间，其中样本被期望更好地分类。– 在每个潜在子空间中进行局部流形正则化的结构学习。– 在此基础上，提出了一种新的多标签联合渐进学习策略（J-Play）。– 设计了基于交替方向乘子法的迭代优化算法求解该模型。4D. Hong等人l=1l=12联合渐进学习策略（J-Play）2.1符号令X =[X1，… x k，… xN] ∈ Rd0 ×N是一个维数为d 0，样本数为N的数据 矩 阵 ， 对 应 的类 标 号 矩阵为 Y ∈ {0 ， 1}L×N. Y的第 k 列 是yk=[yk1，...，y kt，...，y kL] T∈ RL×1，其每个元素可以定义如下：ykt =.1、 如果yk属于第t类;0，否则。（一）在我们的任务中，我们的目标是学习一组耦合投影{Θl}m∈Rdl×dl−1和一个有性质标记的投影P∈RL×dm，其中m表示子空间投影和{dl}m被定义为那些潜在的子空间，而d0被指定为X的维数2.2基于子空间学习的J-Play基本框架子空间学习是找到一个低维空间，我们期望在其中最大化原始数据的某些属性，例如。方差（PCA）、判别能力（LDA）和图结构（流形学习）。Yan等人[30]在一般的图嵌入框架中总结了这些子空间学习方法给定一个无向相似图G={ X， W}，其顶点X ∈{x 1，… x N}和邻接矩阵W ∈ RN×N，我们可以直观地测量数据之间的相似性。通过保持相似性关系，高维数据可以很好地嵌入到低维空间中，这可以通过将低维数据表示为Z∈Rd×N（dd0）来mintr（ZLZT），s. t.ZDZT= I，（2）Z其中Di =ΣWij是对角矩阵，L是拉普拉斯矩阵，定义为：L = D− W [3]，I是单位矩阵。在我们这里，我们的目标是学习多耦合线性投影以找到最佳映射，因此线性化子空间学习问题可以在等式（1）的基础上重新表述。(2)用ΘX代替Zm intr（ΘXLXTΘT），s. t.ΘXDXTΘT=I，⑶Θ其可以通过广义特征值分解来求解与先前提到的子空间学习方法不同，基于回归的联合学习模型[17]可以显式地桥接学习的潜在子空间和标签，其可以用一般形式表示1β γmin E（P， Θ）+Φ（Θ）+Ψ（P），⑷P， Θ2 2 2联合渐进学习5Fl=1l=1l=1θTθT12θ1θ2θT3θT4θT5图二.所提出的J-Play框架的说明。其中E（P，Θ）是定义为Y-P ΘX2的误差项，·F表示Frobenius范数，β和γ是相应的惩罚参数。Φ和Ψ表示正则化函数，其可以是11范数、12范数、12，1范数或流形正则化。在本文中，变量Θ被称为中间变换，并且由Θ生成的对应子空间被称为潜在子空间，其中特征可以进一步在结构上学习并以更合适的方式表示[16]。在方程（1）的基础上，(5)，我们通过以下渐进式学习策略进一步扩展框架：min1E（P，{ Θ}m）+β Φ（{Θ}mγ）+ Ψ（P），（5）P，{ Θl}m211=1211=12其中，E（P，{Θ l}m）被指定为Y-P Θ m…Θ l... Θ1λ2和{Θl}m代表l=1重新发送一组中间转换。Fl =12.3问题公式化根据Eq. (6)，所提出的J-Play可以被公式化为以下约束优化问题：min1毫米（{Θ}m）+αE（P，{ Θ}m）+β Φ（{Θ}mγ）+ Ψ（P）P，{ Θl}m211=1211=1211=12（六）S. t.Xl= Θ lXl−1， Xl≥ 0，xlk2≤ 1，l = 1，2，…，m，其中，X被分配给X0，而α、β和γ是对应于不同项的三个惩罚参数，其旨在平衡项之间的重要图2说明了J-Play框架。由于Eq.（7）是一个典型的不适定问题，需要引入合理的假设或先验知识，才能在较窄的范围内有效地搜索解更具体地说，我们将Eq。(7) 作为一个最小二乘回归问题，具有重建损失项（Φ（·）），预测损失项（E（·））和两个正则化项（Φ（·）和Φ（·））。我们将这些术语逐一详述如下。1) 重构损耗项Y（{Θ1}m）：没有任何约束或事先在J-Play中直接估计多耦合投影几乎不被执行θ3θ4θ5P6D. Hong等人l=1l=1Fl=1l=1l−1LFl=1估计预测数量的增加。这可以合理地解释为在优化过程中估计也就是说，使这些相邻投影之间的变化特别地，当投射的数量增加到一定程度时，大多数学习的投射趋于零并且变得无意义。为此，我们采用了一种类似自动编码器的方案，使学习的子空间尽可能多地投影回原始空间。该方案的优点是：一方面，在一定程度上避免了数据过拟合，特别是避免了考虑过多的噪声;另一方面，在原始空间和子空间之间建立有效的联系，使学习的子空间更有意义。因此，结果表达式为ΣmY（{Θ l}m）=Xl−1− Θ TΘ l X l−12。（七）l=1l=11F在我们的情况下，为了充分利用该项的优点，我们在每个潜在子空间中考虑它，如等式（1）所示。（八）、2) 预测损失项E（P，{ Θ1}m）：这个术语是为了最小化empir-原始数据和相应标签之间的风险以渐进的方式耦合投影，其可以被公式化为E（P，{Θ l}m）=Y-P Θ m…Θ l... Θ 1Χ Θ2.（八）3) 局部流形正则化Φ（{Θ1}m”[27]如《说文》所言：“人，ifold结构是子空间学习的重要先验优于向量-基于特征学习，例如人工神经网络（ANN），流形结构可以有效地捕获样本之间的内在结构为了便于J-Play中的结构学习，我们对每个潜在子空间执行局部流形正则化具体地，该术语可以表示为ΣmΦ（{Θ1}m）=l=1 tr（ΘlXl−1LXTΘT）。（九）4) 回归系数正则化Ψ（P）：正则化项可以促进我们导出更合理的解，并可靠地推广到我们的模型可以写成Ψ（P）=P2。（十）此外，关于每个学习维度的非负性约束简化特征（例如，{Xl}m因为我们的目标是获得平均值-类似于原始图像数据的有效低维特征表示以非负数单位表示。除了非负性约束之外，我们还对每个子空间的基于样本施加范数约束4：xlk N且l = l，… M.4关于这一限制，请参阅[19]了解更多详情。联合渐进学习7l=1LLL不l=1l=1LL算法一：联合&渐进学习策略（J-Play）输入：Y、X、L和参数α、β、γ和maxIter。输出：{Θ 1}m。1初始化步骤：2Greatest初始化对应于每个潜在子空间的Θ1对于l=l为3：mdo4Θ0←LPP（X1- 1）5Θ1←AutoRULe（X1- 1， Θ0， L）67端Xl←ΘlXl−18微调步骤：9t=0，ζ=1e−4;10，而不收敛或t >maxIterdo11通过求解P的子问题来固定其他变量以更新P;i=1时为12：mdo13固定其他变量以通过求解Θ1的子问题来更新Θt+1;14151617181920end端将对象绑定到函数值Objt+1，并检查对象绑定到函数值：如果|ζ则|< ζ thenObj停止迭代;其他t←t+1;端2.4模型优化考虑到我们模型的复杂性和非凸性，我们对我们的模型具有子空间投影的初始近似{Θl}m因为这可以在改进的时间内节省时间，并且可以找到最佳方案解决方案更容易。这是一种常见的策略，已成功地应用于深度自动编码器[8]。受此技巧的启发，我们提出了一个关于Θ 1，Θ1 = 1，… 通过简化Eq. (7)作为minΘl12Y（Θ1）+η2Φ（Θ 1）S. t.Xl≥ 0，xlk2≤ 1，（11）这被称为自动重构无监督学习（AutoRULe）。给定AutoRULe的输出，Eq. (7)可以更有效地解决了一个交替最小化的策略，分别解决两个关于{Θl}m的子问题和P.因此，全局算法J-Play可以在算法1中总结，其中AutoRULe通过以下初始化：LPP。预训练方法（AutoRULe）可以经由基于ADMM的框架有效地解决在此之后，我们考虑Eq的等价形式。(12)通过引入多个辅助变量H、G、Q和S来分别替换X1、Θ 1、X+和X，其中（）+表示将矩阵的每个分量转换为其绝对值的算子，并且（）是用于8D. Hong等人FLn=1RR·kl=1l=11求解约束条件xlk2≤1 [7]，如下所示1η ηminY（G，H）+Φ（Θ1）= X1- 1-GTH2 + tr（X1 LXT）Θ1， H， G， Q， S2 2 2 2S. t. Q≥ 0，sk2≤ 1，Xl =Θl Xl−1，X1= H， Θ 1= G，X1=Q，X1= S。（十二）Eq.的增广拉格朗日版本。(13)是.LμΘ1， H， G，Q， S，{ Λη}4Σn=11=X-GT阻碍2+ηtr（ΘX）LXTΘT）+ΛT（H−ΘX）2l−1F2Ll−1l−1l1l l−1+ΛT（G−Θ）+ΛT（Q−ΘX）+ΛT（S−ΘXµ）+ H−ΘX22l3l l−14l l−12Ll−1F+µG−Θ2+µQ− ΘX2+µ2+l+（Q）+l2lF2l l−1F2l l−1FRR（十三）whee{Λn}4是拉格朗日乘数，μ是惩罚参数。两t ermsl+（·）和dll l l（·）表示两个特定的预执行操作的工作。R R此时，l+（·）被定义为.max（·）=·， ·0·彡0，（十四）而l（·k）是由下式定义的基于向量的运算符：.proxf（·k）=·k，·k21·k， k·k彡2彡1，（十五）其中·k是矩阵·的第k列。算法2详细描述了AutoRULe的程序。算法1中的两个子问题可以交替优化如下：关于P的优化：这是一个典型的最小二乘回归问题，可以写为α γ αmin E（P）+ Ψ（P）=Y-PΘ... Θ... ΘΧ Χ2+γ Χ Ρ2，（16）P2 2 2m l1F2F它有一个封闭形式的解P←（αYVT）（αVVT +γ I）−1，（17）其中V = Θ m…Θ l... Θ 1，θ1 =1，...，M.关于{Θl}m的优化：变量{Θ1}m可以单独-}联合渐进学习9因此，每个Θ1的优化问题通常可以被优化，并且因此每个Θ 1的优化问题通常可以被优化。10D. Hong等人LLl−1l−1l−1l−1LLLLLL算法二：自动重构无监督学习（AutoRULe）输入：Xl-1、Θ 0、L以及参数η和maxIter。输出：Θ 1。1初始化：H0 = Θ0 X1- 1， G0 = 0， Q0 = P0 = 0，Λ0 = 0，Λ0 =Λ0=Λ0= 0，μ0 =L1 e − 3，µmax = 1 e 6，ρ = 2，ε = 1 e −6，t = 0。2，而不收敛或t >maxIterdo3通过下式修正Ht、 Gt、 Qt、Pt以更新Θt+ 12 1 3 4Θl=（µHXT+Λ1XT+µ G +Λ2+µQXT+Λ3XT+µ PXT+ΛXT）（η（XLXT）+3µ（XX T）+ µ I）−1。l−14l−1l−1l−1l−1l−14固定Θt+1， Gt， Qt，Pt以通过下式更新Ht+1H =（GGT +µ I）−1（GX5固定Ht+1， Θt+1， Qt， Pt以通过下式更新Gt+1l−1 +μΘIXl−1 -Λ1）。G =（HH T+ µ I）−1（HX + µΘ- Λ）。I I26固定Ht+1， Gt+1， θt+1， Pt以通过下式更新Qt+1Q=max（Θl X l-1-Λ3/μ，0）。7固定Ht+1， Gt+1， θt+1， Qt+1以通过下式更新Pt+1P=proxf（ΘlXl-1-Λ4/μ）。8更新拉格朗日乘数Λt+1 = Λt +µt（Ht+1− Θt+1 Xl−1），Λt+1 = Λt +µt（Gt+1−Θt+1），11 221Λ t+1 = Λ t + µt（Q t+1 − Θ t+1 X l−1），Λ t+1 = Λ t + µt（P t+1 − Θ t+1 X l−1）。3 3i4 4i9更新惩罚参数µt+1 = min（ρµt，µmax）。10检查收敛条件：如果Ht+1−Θt+1 Xl−1Fε和

下载后可阅读完整内容，剩余1页未读，立即下载