高维污染数据中学习鲁棒回归模型的方法探究

4321F鲁棒回归张永强哈尔滨工业中国哈尔滨seekever@foxmail.com高俊斌石大明哈尔滨工业大学;深圳大学哈尔滨;中国深圳d.m. hotmail.com程丹松澳大利亚悉尼大学junbin. sydney.edu.au哈尔滨工业大学哈尔滨，中国cdsinhit@hit.edu.cn摘要从高维污染数据中学习鲁棒回归模型是许多实际应用中必不可少的难题最先进的方法已经研究了对典型噪声（如高斯噪声和样本外稀疏噪声）或离群值具有鲁棒性的低秩回归模型，使得回归模型可以从位于底层子空间上的干净数据中学习。然而，现有的低秩回归方法很少能够处理位于稀疏不相交子空间上的离群值/噪声。为了解决这个问题，我们提出了一个低秩稀疏子空间表示的鲁棒回归，以下简称为LRS-RR在本文中。主要贡献包括：（1）与现有的大多数回归方法不同，我们提出了一种同时进行低秩稀疏子空间恢复和回归优化两个阶段的方法;（2）将线性化的带自适应罚的交替方向法应用于求解LRS-RR问题，证明了算法的收敛性，并分析了算法的复杂性;（3）在合成数据和两个基准数据集上，与现有的几种鲁棒方法进行了比较，证明了本文方法对高维数据的有效性。1. 介绍多元线性回归是一种重要的机器学习技术，它试图通过对观测样本进行线性拟合来建立因变量和自变量之间的关系模型。通常，普通最小二乘（OLS）回归表示为minT||Y−TX||其中X表示因变量，Y表示因变量，T表示X和Y之间的映射关系。在许多实际应用中，这种线性回归模型存在两个缺点：对异常值/噪声和维数灾难缺乏鲁棒性。前者的典型解决方案是在假定的参数分布（例如高斯分布）下估计噪声，而后者的解决方案是通过使用降维（例如主成分分析（PCA））来选择适当的特征。但是，如果样本中存在少量的粗离群值，模型参数的估计值会出现明显的此外，线性回归模型在处理高维数据时往往效果不佳对于像人脸图像这样的高维数据的回归任务，我们通常无法收集和标记足够的样本。事实上，异常值/噪声有三个来源：第一，统计上显著的数据;二是误采集噪声数据;第三，遮挡的多类数据。几乎所有现有的回归方法都是在假设噪声分布的情况下，通过去除第一和第二类异常值/噪声问题，而不是通过第三类离群值可以用最大似然法处理。显然，只有第一种类型的离群值可以说是遵循参数分布。第二种和第三种类型应被视为稀疏破坏的数据。同时，第三种类型也是由线性不可分问题引起的，这需要一个系统的解决方案来处理多个子空间/多类。最近，已经广泛研究了鲁棒方法以克服离群值/噪声的影响，例如基于最小平方和的鲁棒方法[32，30]和统计学领域中使用最小平方中值的在许多计算机视觉应用中已经研究了通过子集选择的方法，如随机样本共识（RANSAC）[35，8]），其随机挑选sam。74457446创建一个干净的模型。当样本数和样本空间维数较大时，这些方法往往计算量大，并且如果存在有限的内点，则可能因此而失败。还有一些方法可以提高线性判别分析（LDA）的鲁棒性[16，9，22，41]。 虽然这些方法可以去除每个维度上远离好样本的离群值，但是它们不能解决仅在某些维度上发生的部分样本损坏。低秩回归模型虽然是为了解决维数灾难问题而提出的，但它具有去噪和许多低秩回归模型[4，38，2，6]已被研究以纳入不同维度之间的相关性，并且这些模型通过考虑实际应用中的低秩结构被证明是非常有效的。 Cai et. 等人[6]表明，低秩回归等价于学习的LDA投影子空间中的正则化回归，这可以减少正态分布离群值/噪声。然而，这些方法不能处理主要子空间之外的离群值或大噪声，这是最近鲁棒子空间恢复方法的焦点，如鲁棒原理分析[7]。这些方法通常去除噪声在独立变量中以无监督的方式，因此缺乏与因变量的相关性。最近，低秩鲁棒回归（这里表示为LR-RR）[19]已经被提出来学习与输出变量高度相关的干净低秩样本空间中的鲁棒回归模型虽然LR-RR可以减少域子空间内和域子空间外的大多数一个独立的子空间和一组不相交的子空间如图所示1. 可以看出，如果异常值或噪声出现在非正交子空间中，则LR-RR往往会失败。我们的工作受到低秩鲁棒回归[19]，低秩稀疏子空间聚类[36]和一些早期的秩最小化方法如鲁棒主成分分析（RPCA）[7]的启发。在本文中，我们的目标是检测样本内离群不相交的子空间的鲁棒回归。提出了一种基于低秩稀疏表示的鲁棒回归方法，该方法不仅能恢复低秩不相交子空间，而且能通过稀疏优化进行鲁棒回归.在第2节中，我们回顾了几种回归方法，并从子空间学习中给出了一个新的观点，包括最小二乘回归（LSR）方法[37，40]，Ride Regression [29]，最小绝对收缩和选择运算符（LASSO）[12]，最小角度回归[10]，降秩回归方法-低秩回归[38]和低秩岭回归[6]，子空间学习回归-主成分回归（PCR）[34]，LDA [31]、支持向量回归（SVR）[39]、相关向量机回归（RVM）[13]、偏最小二乘（PLS）回归[1]、典型相关分析（CCA）[15]、鲁棒PCA[7]和LR-RR [19]。在第三节中，我们首先对不交子空间中的低秩回归问题作了进一步的解释。其次，我们提出了一个低秩稀疏回归方法，通过低秩子空间稀疏表示（LRSR）的框架，通过监督的第4节是专门为所提出的算法的收敛性分析在第5节中，我们介绍了回归的评估指标-相对绝对误差（RAE），并对合成数据进行了实验。此外，我们在两个基准数据集上评估了我们的方法与最先进的方法RPCA+LSR[4]和LR-RR[19]2. 回归方法高维数据如人脸图像或形状通常位于低维子空间中，样本的某些条目经常被破坏。噪声或异常值往往存在于主子空间的内部和外部（与主子空间正交）。通常，子空间回归方法有两个步骤，即子空间恢复和回归优化。前者旨在提取数据所跨越的主维度，而后者旨在从重新覆盖的干净观测中学习鲁棒回归模型。2.1. 典型回归模型的子空间视图在某种程度上，经典回归方法与监督子空间学习有关，如LSR [37，40]，Ride Regression [29]，LASSO[12]和最小角度回归[10]。一般地，LSR从输入变量和输出变量学习一系列线性映射，这些线性映射可以表示为一组位于某些子空间上的超平面。Ride Regression是一种有偏回归方法，它在回归模型中加入了一个N2学习超平面是样本空间和均匀空间（由所有单位向量张成）之间的平衡，LASSO可以从整个样本空间中选择特征的稀疏线性映射，该映射可以作为LASSO所选特征空间张成的子空间内的线性表示。LARS还学习在所选特征子空间内的稀疏线性回归模型。主成分回归[34]从由输入变量的主成分构成的子空间中学习系数矩阵，而LDA[31]学习输入变量的最具判别力的子空间，该子空间似乎包含所有的类变异性。与无监督PCR相比，LDA是一种有监督的子空间学习方法，具有更好的分类或回归效果。在SVR方法中，输出变量被表示为支持向量的线性或非线性组合，7447干净子空间1干净子空间2损坏子空间1损坏子空间2损坏的样本（在子空间内）损坏的样本（超出子空间）64624200−2−4−6−3−2−4−202−101423−2−4−6−3−2−10−3−2−10121234(a) LR-RR（b）LRS-RR图1.损坏的子空间。（a）所有数据都在一个子空间内，正如LR-RR假设的那样;（b）所有数据都分布在两个重叠的子空间中，正如LRS-RR假设的那样。在情况（a）中，LR-RR工作良好;在情况（b）中，它往往失败，因为有一些样本位于一个以上的子空间，这是不考虑的LR-RR。等价于仅由支持向量所张成的子空间中的低秩表示。该子空间的维数等于由所有支持向量连接的矩阵的维数。与SVR类似，相关向量机回归[13]也可以被视为由所有相关向量表示的子空间中的PLS[1]通过将输入变量和响应变量投影到一个新的判别空间来建立线性回归模型。因为X和Y数据都被投影到新的子空间，所以PLS是一个双线性子空间回归模型。与PLS不同的是，CCA将X和Y数据投影到与X和Y数据之间的互信息相关的互子空间上。PLS和CCA都是可用于回归的监督子空间学习方法此外，Lang et.al. [23]在LS、PCR和PLS以及有限数量的其他相关方法之间建立明确的联系，其回归/预测过程可以称为一般的循环子空间回归。最近提出了几种降秩回归模型，如低秩回归[38]和低秩岭回归[6]。Cai et. [6]证明了低秩回归等价于正则化LDA子空间中的回归。还有几种非线性回归方法，如正交前向回归[18，17]和K-最近邻（K-NN）回归[20]。前一类方法以一组基于输入变量的径向基函数作为线性子空间，线性子空间的维数等于径向基函数的个数。然后，输出向量可以表示为投影样本的线性组合，子空间K-NN不是直接使用核函数，而是将样本表示为其邻居的线性组合。它是一个局部线性模型，可以看作是局部子空间中的线性表示，其秩不大于邻域大小K。2.2. 子空间恢复在现代应用中，由于粗差和异常值而损坏的数据是普遍存在的，如何恢复干净的数据对于鲁棒回归至关重要。鲁棒子空间重构是一个基本问题，其中我们假设干净的数据集是从几个固定的子空间中采样的，而异常值/损坏的数据可能遍布整个环境空间。一种尝试是从损坏的观测数据中恢复底层固定子空间。在低维子空间中建模高维数据是子空间恢复中最有用的范例。PCA可以看作是一种子空间恢复技术，在假设数据来自单个固定的未知子空间的情况下，最小化数据点的平方误差和。然而，它对严重损坏的观察结果的敏感性往往危及其鲁棒性。也就是说，数据中的单个严重损坏的条目可以使估计的子空间远离真实的子空间。已经提出了各种方法，如[11，21]，以提高子空间恢复的准确性作为一个突破，RPCA[7]提供了明确的分析，确切的低秩恢复与一个未指定的秩和一定比例的大规模稀疏腐败。给定一个大的数据量X，它可以被分解为X=D+E，其中D低秩，E稀疏。估计这两个com-干净子空间1损坏子空间1损坏的样本（在子空间内）损坏的样本（超出子空间）37448ηRPCA最小化核范数和RPCA1范数的加权组合，公式如下：最小值ΔDmax+λ Emax1，许多计算机视觉应用。第三项E确保噪声/异常值稀疏。虽然LR-RR以监督的方式清理数据D、ES.T.X=D+E，（一）如上所述，对于来自不相交子空间的损坏的输入数据，它不能很好地工作。其中X∈Rm×n，D表示位于低维子空间中的干净数据的矩阵，E可以被认为是X与固有低维子空间的偏差例如，在视频分析中，E表示低维背景中的移动对象。交替方向法（ADM）算法[24]在求解最优化问题（1）时，可以获得比其他算法[25，5]更高的精度和更好的收敛性能。然而，RPCA只能以无监督的方式重新覆盖一个独立的子空间因此，RPCA倾向于将数据点转换到一个共同的低维子空间中，这可能导致在实际应用中削弱不同主题的样本之间的距离和子空间之间的主角。2.3. 回归优化鲁棒回归方法旨在从被异常值/噪声破坏的观测中学习鲁棒回归模型。一个理想的解决方案是通过监督学习方法去除离群值/噪声，如下所示：min（Y−TD）23. 回归问题的低秩子空间稀疏在本节中，我们首先提出了一个用于鲁棒不相交子空间回归的低秩稀疏模型，然后利用一个有效的线性化交替方向方法和自适应惩罚（LADMAP）[27]来求解所提出的模型。3.1. LRS RR回归如上所述，低秩表示可以捕获全局信息，这对于揭示低维子空间的结构和去除原始数据中的大扰动至关重要。LR-RR在分析从独立子空间中提取的损坏数据方面具有出色的性能。然而，使用被大噪声污染的原始数据作为字典决不是一个好的选择。此外，LR-RR往往失败的情况下，不相交的子空间或重叠的子空间。 例如，在图1所示的实验中使用的合成数据中。1，则第一子空间和第二子空间是正交的。TFS.T. X=D+E，D=D;1T。（二）因此，我们有时会得到一些错误的恢复点。虽然LR-RR对来自正交子空间的数据表现得很好，但在重新计算方面比LRS-RR弱其中D是嵌入在主数据中的一个想法，低秩子空间，并且E表示内部或外部的小高斯噪声和大尺度异常值两者的异常值/噪声。侧主子空间。代表性方法是Huang等人的低秩稳健回归。[19]。LR-RR通过如下寻找具有稀疏噪声的低秩表示来从数据中揭示单个低秩子空间：min<$W（Y−TD<$ ）<$2+rank（D）+λ<$E<$0从损坏的数据中覆盖全局子空间结构。合成数据的LR-RR结果见图1。1表明LR-RR不能消除不相交子空间内大噪声的影响。基于上述分析和观察，我们提出了一种结合低秩和稀疏表示的子空间回归方法，特别是对于子空间不独立和数据相关的情况。T、D、E2FS.T. X=D+E，D=D;1T。（三）被巨大的噪音打断。例如，由不均匀照明引起的损坏导致相对大量的类内数据点漂移到其他子组。其 中 W∈Rdy×dy 是 加 权 输 出 维 度 的 对 角 矩 阵 ，T∈Rdy×（dx+1）是回归矩阵（额外维度用于回归偏差术语）。η和λ是分别对等式3中的第一项和第三项加权的标量。LR-RR通过学习明确避免将离群值矩阵E投影到输出空间仅从增广的无噪声数据D∈R（dx+1）×n中求出回归方程T.第二项D是空间.因此，像LR-RR这样的方法可能会将来自不同子空间的点带入具有不均匀光照破坏的相同子空间。然而，由于超学习，LR-RR比RPCA更好地处理腐败。然而，我们不能保证人脸图像子空间是相互正交或相互独立的。因此，我们通过学习一个干净的字典-子空间的基础-来扩展框架，该字典满足低维子空间约束，作为稀疏噪声条件下的良好先验提出的模型被定义为7449F¨¨¨F如下所示η¨ ¨2惩罚参数根据LADMAP方法[27]，等式5可以重写为：J=minW（Y−TD）+联系我们LRS-RRT，D，A，Z，J，E2Fη¨ˆ¨2+中国 +λ2 日本1+λ1 第一章JLRS-RR= minT、D、 A、Z、J、E 2？W（Y-TD）？F+中国S.T. X=AZ+E，D=ΣTΣAZ; 1，Z=J，J≥0。++λ21+λ11µ1（四）+ X−AZ−E + Y1/µ122µ¨Σ Σ¨2其中W∈Rdy×dy是加权输出维度的对角矩阵T∈Rdy×（dx+1）是回归矩阵，+2？D−AZ;1T+Y2/µ2？2Fµ32（额外维度用于回归偏倚项），A是一个干净的低秩字典，它的子空间跨越主要子空间，Z是系数矩阵作为低秩字典，+ 2<$Z−J+Y3/µ3<$F。（六）通过字典A对干净样本进行秩表示。η，λ2、λ1是标量，它们对第一、第四和第五项进行在Eq.4 中分别。E代表样品特异性腐蚀。当rank（A<$Z<$）≤min{ rank（A<$）， rank（Z<$）}时，A<$Z<$为原始数据的低秩回收率在LR-RR模型中，用稀疏噪声的低秩表示代替稀疏噪声的低秩数据，F或六个矩阵T、D、A、Z、J、E中的每一个尤其是Eq. 6，如果其余五个矩阵保持不变，则代价函数是凸的。当量6可以通过以下子问题迭代求解：1. 通过以下方法固定D，A，Z，J，E，求解T的（6）问题，表示为LRS-RR-1，η¨ ¨2在我们的模型中。minW（Y−TD ）（七）受益于低秩表示模型[28]，LRS-RR可以处理位于不相交子空间中的离群值/噪声。AZ明确避免投影离群值矩阵T2？F这是一个普通的最小二乘回归问题，其解决方案是，E到输出空间，通过学习Regr esisionTor e siˆ ˆT-1T根据增强的无噪声数据D=AZ;1T∈T =（D（D）+γIdx+1） Y（D）、（8）R（dx+1） ×n.注意，X有无限可能分解为AZ和E。因此，LRS-RR在等式4中增加了第二、第三、第四和第五项，以限制可能的解。第二项将字典A约束为其中λ是用于正则化解的正标量，T.2. 通过以下方法固定T，A，Z，J，E，求解D的方程（4）问题，由LRS-RR-2表示，位于低维不相交子空间中第三和η¨2µ¨Σ Σ¨2第四项将表示限制为低秩，min<$W（Y−TD<$）<$+2D−AZ;1T+ Y2/µ2？。稀疏第五项将E正则化为稀疏。3.2. LRS RR模型的LADMAP解D22英寸¨F（九）可以使用增广拉格朗日乘数（ALM）技术来求解优化问题（4）首先，我们将它的ALM形式写成如下：J型LRS-RRη¨ ¨2这也是一个普通的最小二乘回归问题，其解决方案是，D=[ηTTWTWT+µ2Id]−1[ηTTWTWY−Y2+µ2[AZ;1T]]。（十）3. 固定T，D，Z，J，通过以下方法求解A和E的方程（6）下降问题，表示为LRS-RR-3，=minW（Y−TD）+中国T、D、A、Z、J、E2？？F最小值λAλ+λE λ++λ21+λ11+Y， X− AZ− E +µ1 2A、E和11+µ1 X−AZ−E+Y1/µ122F（十一）12X−AZ−EHF（5）¨¨2+µ2T2ˆΣTΣµ2¨ˆΣTΣ¨2<$D −AZ; 1+ Y2/µ2<$。+ Y2，D-AZ;12AZ; 1？FF+Y3，Z−J+µ3Z−J2，2这是一个轻微的变化，低秩代表性的概率，lem[28]，线性ADM解为，7450其中Y1∈Rd×n ，Y2∈R（dx+1）×n且Y3∈Rn×nAk+1=D 1/βA（Ak−FAk/βA），（十二）是拉格朗日乘子矩阵，μ1、μ2和μ3是Ek+1=S λ1/µ1 （X−AkZ + Y1/µ1），7451Z不33其中D是奇异值阈值[5]，S是收缩算子[42]，βA=（ µ1+µ2 ） τA/2 ， τA> ρ （ ZTZ ） 是 邻 近 参 数 ， ρ（ZTZ）表示ZTZ的谱半径，FAk是等式中第二项和第三项对Ak十一岁FAk =（（µ1+µ2）Ak Z−µ1（X-E）−Y14. 收敛性分析与计算复杂性分析4.1. 收敛性分析由于LRS-RR-1和LRS-RR-2是普通的最小二乘问题，我们主要介绍两个定理，-（μ2D+Y2）（1：dx，·））Z.（十三）的收敛性的增广拉格朗日多，子问题LRS-RR-3和LRS-RR- 4的plier算法。4. 通过以下方法固定T，D，A，E，求解Z和J的（6）问题，由LRS-RR-4表示，最小值λ λ 1+λ2+ λ1+ µ1X−AZ− E + Y1/µ12子问题LRS-RR-3类似于转置标准LR-RR模型，因此[27]中的收敛性分析可应用于该模型。我们提出了一个收敛定理如下。定理1. 如果{µ1}、{µ2}不递减，则向上-2Fper 有界，τ>ρ（ZZT）， 则序列µ¨ΣΣ（14）.A.k k k k+2D−AZ;1T+Y2/µ2？A、E、Y1、Y2由（12）¨ ¨2F LRS-RR-3的KKT点。+µ3<$Z− J + Y3/µ3<$2。2F对于LRS-RR-4模型（15），有两个主要变量块。对于少于三个街区的情况类似于Eq。11、上述优化问题也是一个低秩表示问题的变化，LADMAP解决方案是，主要变量，ADM的朴素线性化版本趋于收敛。一个微小的区别是，通过约束Z = J，J ≥ 0，变量Z是非负的。后Zk+ 1=D1/βZ （Zk−FZk/βZ）（十五）在[27，26]中的收敛分析中，我们立即得到如下定理Jk+1 = max（Q， 0）定理2. 如果{µ1}、{µ2}、{µ3}不递减，其中β=（µ+µ+µ）τ /2，τ> ρ（AAT）是.若τZ>ρ（ATA），则序列Z1 2 3 Z Z由（15）-（17）的Zk，Jk，Yk近似参数，ρ（AAT）表示AAT的光谱半径，并且FZk是等式中的第二、第三和第四项对Zk的导数14,3LRS-RR-4点请参阅[26]中的证明。最后，我们有FZk =AT（（µ1+µ2）Ak+1 Zk−µ1（X− E）-Y1−（µ2D+Y2）（1：dx，·））+µ（Zk−Jk）+YQk+1是收缩算子，定义为（十六）在LRS-RR-1-4.2. 计算复杂性分析在LRS-RR-1 - LRS-RR-4的迭代过程中对于数据矩阵 X∈Rdx×n ， 全奇 异值 分解 的计 算复杂 度为 O（dxn2）（dx> n）.的每次迭代Qk+ 1=S λ2/µ3（Zk+1+ Y3/µ3）（17）LRS-RR-3主要包括SVD -O（dxn2）和Ak+1Z-O（dxn2）的矩阵乘法。然后整个最后，基于LADM更新拉格朗日乘子矩阵Y1、Y2、Y3和正则化项μ1、μ2、μ3，Yk+ 1=Y k+µ k+ 1（（X）−A k+ 1Z k+ 1−E k+ 1）LRS-RR-3的计算复杂度为O（t1<$2dx n2），并且t1是LRS-RR-3的迭代次数。与LRS-RR-3类似，由于rank（Z）<=rank（X），因此LRS-RR-4的整个计算复杂度为O（t1<$2d x n2），不是迭代次数。 LRS-RR-1和LRS-RR-2连接器1 1 11Yk+1 =Yk+µk+1（（D）−[Ak+1 Zk+1;1T]）得到了D<$（D<$）T+γId+1的逆矩阵的迭代，2 2 2x3K+1kk+1K+1K+1nTTWTWT+µ2Idx，其复杂度为O（（dx+1）），Y3=Y3+µ3（（Z）µk+1= min（µmax，ρµk）-J）（十八）7452时间复杂度为O（dx3）。因此，LRS-RR的总复杂度为O（T（t2d n2+t（d 3）。1 1 1x1xµk+1= min（µmax，ρµk）225. 实验µk+1= min（µmax，ρµk）3 3在本节中，我们评估我们的亲的性能，其中ρ是正标量。对合成数据和来自7453表1.RAE及其标准差的合成数据（10个代表）。0.0140.0120.010.0080.0060.004F（X-D-E）/ F（X）F（D（t）− D（t−1））/ F（D（t−1））F（E（t）− E（t−1））/ F（E（t−1））真正的视觉任务。所有实验都是在具有相同硬件的PC上完成的-i5 CPU（2.57 GHz），8 GB RAM和操作系统-WIN-10。0.00201 2 3 4 5 6 7 8 9 10迭代次数我们比较我们的LRS-RR方法对国家的最先进的方法在四个实验回归和分类。 这些方法包括：（1）标准LSR;(2) RANSAC[35];（3）RPCA+LSR，首先对输入数据执行RPCA [7]，然后使用标准LSR对清洁数据学习回归模型;（4）LR-RR。在第一个实验中，使用位于不相交子空间中的合成数据来验证和比较我们的方法与流行的方法，以及说明我们的方法的收敛性。在第二个实验中，我们将LRS-RR应用于部分损坏图像的头部姿态估计问题，并比较了CPU计算时间。实验三说明了LRS-RR在受损人脸重建中5.1. 准确度和收敛性验证的合成数据本节通过一个合成示例说明RR的优点。我们生成400个三维样本，一个子空间200个样本，另一个子空间200个样本。前两个分量由[-6; 6]。第一个子空间的第三维由z=x+y生成，另一个由z=x−y生成，作为两个联合子空间。我们将RR与五种方法进行比较：（2）RANSAC;（3）RPCA+LSR;（4）LR-RR。我们随机选择200个样本进行训练，并使用剩余的200个数据点进行测试。训练集和测试集都包含一半的损坏样本。 我们计算真实回归矩阵T和图2. LRS-RR在合成数据上的收敛结果。方法姿势角度错误时间（s）LSR二十七岁56度±23度。60度0.05RANSAC23岁20度± 20度。39o0.22RPCA+LSR20块45度± 19度。51o0.25LR-RR1 .一、97度± 5度。77O3.03LRS-RR1 .一、03 o±5. 65度10.02表2.CMU PIE子集上偏航角误差和标准差的比较5.2. 用于位姿估计的CMU PIE数据库本节演示了LRS-RR在头部姿态估计问题中的性能。使用CMU PIE数据库[33]的子集，其中包含来自53个受试者的5000多张人脸图像。面部区域由手工仔细标记。这些面孔涵盖9个头部姿势（从−90o至+90o，步骤22。5o），每个都有随机的照明方向。每张图像都围绕脸部区域进行裁剪，并将大小调整为48×48。我们将每个图像整形为矩阵X中的向量，并且图像的偏航角用作输出数据Y =[cos（θ）;sin（θ）]。与上一节类似，我们将LRS-RR与上述方法进行了比较：（1）RANSAC，（2）RPCA+LSR，(3) RPCA+LSR，（4）LR-RR。将53名受试者随机分为5组进行交叉验证和选择，学习T： RAET=T-T 联系我们，以及这些方法的最佳参数的公平性。选项卡. 5.2F真实输出Y学习Y：RAEY=给出了不同方法的平均角度误差，Y-Y联系我们，结果显示在Tab中。5.1. 它可以还显示了测试不同方法的时间成本可以看出，我们的方法学习最精确的模型，在所有方法中预测误差最小图2给出了学习字典D和分离噪声E相对误差方法RAETRAEYLSR0的情况。269±0。1210的情况。035±0. 012RANSAC0的情况。256±0。1330的情况。036±0. 013RPCA+LSR0的情况。464±0。0300的情况。051±0。006Y7454的相对Frobenius范数误差随迭代次数变化的图。这表明我们的方法可以快速收敛虽然我们的方法实现了最小的错误，计算这一进程仍需加快。姿态偏好的视觉结果也在图中示出。3，表明我们的方法比流行的低秩方法实现了更窄的预测（由于论文的布局而未列出）。7455(a) RPCA+LSR（b）LR-RR（c）LRS-RR图3. 输出空间中的姿势投影[cos（θ），sin（θ）]。红色5.3. 基于YaleB数据库的冠状面YaleB数据库[14]包含38个受试者在不同光照变化下的2,300多张正面人脸图像。每个受试者有64张近正面图像。在这个实验中，我们使用了前15名受试者的裁剪人脸图像（196×128像素）。首先，我们使用训练图像作为输入矩阵X来计算20维特征脸。然后，对于每个测试的人脸图像，随机选择10个块（30×30像素）作为合成腐败（设置为255，见图中的第一列）。4供参考）。为了评估重建的精度，我们首先用特征脸计算未被遮挡的测试图像的真实回归模型，然后以特征脸作为输入矩阵X，以被遮挡的测试图像作为响应，Y.最后，我们计算了学习模型和真实模型之间的输出误差，以及学习模型和真实模型之间的误差。真实模型响应（目标）和学习模型的预测。如Tab.所示5.3比较了RANSAC、RPCA+LSR、LR-RR和我们的LSR-RR的人脸识别精度。文中还给出了几个用不同方法重建人脸的例子.结果表明，该方法得到了与预测目标最接近的视觉结果。图4.在YaleB上重建受损的面孔方法模型错误配件错误RANSAC1 .一、058 ±0.0400的情况。185±0。007RPCA+LSR1 .一、075 ±0.0510的情况。187±0。007LR-RR1 .一、069±0。0440的情况。185±0。006LRS-RR1 .一、045±0. 0490的情况。164± 0。006表3. YaleB在合成腐败下的人脸重建误差和标准差。6. 结论和未来工作本文研究了高维数据中稳健回归的监督低秩稀疏子空间表示问题，并提出了LRS-RR的LADMAP解决方案。我们的方法联合学习回归模型，同时去除与回归响应几乎不相关的离群值/噪声。与以往的低秩子空间约束下的鲁棒回归方法相比，该方法可以处理不相交子空间内外的野值/噪声，在这种复杂情况下可以得到更精确的回归模型.我们说明了LRS-RR在几个计算机视觉问题，包括头部姿态估计和人脸重建的好处。我们表明，通过过滤离群值/噪声通过一个合理的监督低秩备用子空间学习，我们的方法可以更好地恢复干净的数据，并优于最先进的方法在随机和低秩的。LRS-RR的框架是有用的，以解决高维问题在许多现实生活中的应用。此外，我们的方法是可扩展的，可以很容易地集成到其他回归方法，如级联回归人脸对齐和跟踪。但是目前的LRS-RR算法比较耗时，在以后的工作中将对该算法进行并行化。引用[1] 偏最小二乘回归Springer New York，2008.[2] A. Argyriou，T.Evgeniou和M.庞提尔凸多任务特征学习。Machine Learning，73（3）：2437456[3] H. Barreto和D.马哈利最小平方中位数和通过原点的回归。Comput. Stat.数据分析，50（6）：1391[4] F. Bunea，Y.她和M。H.韦格坎普高维矩阵降秩估计的最优选择。Statistics，39（2）：1282[5] J. F. Cai、E. J. 可以，还有Z。 是的。矩阵完备化的奇异值SIAM Journal on Optimization，20（4）：1956[6] X.蔡角，澳-地丁氏F. Nie和H.煌关于低秩线性回归与基于线性判别在ACM SIGKDD中，第1124-1132页[7] E. J. Cand e`s，X. Li，Y. Ma和J. 赖特用主成分分析法吗？Journal of the ACM，58（3）：11，2011.[8] S. 崔 ，T. Kim 和 W. Yu. ransac 家 族的 性 能评 价。 在BMVC，2009年。[9] C. Croux和C.德洪使用s-估计的稳健线性判别分析。Canadian Journal of Statistics，29（3）：473[10] B. Efron和R. Tibshirani最小角度回归Mathematics，32（2）：2004，2004.[11] J. Gao. 鲁棒L1 主成分分析及其贝叶斯变分推断。Neural Computation，20（2）：555[12] J. Gao，P. W. Kwan和D.石稀疏核学习与lasso和baidu推理算法。Neural Networks，23（2）：257[13] J. B. Gao，S. R.冈恩角J. Harris和M.布朗具有输入依赖噪声的回归：相关向量机处理。IEEE跨神经网络学习.系统，2001年。[14] A. S. Georghiades，P. N. Belhumeur，D. J·克里格曼从少到多：可变光照和姿态下人脸识别的照明锥模型 IEEETrans. 模式分析马赫内特尔，23（6）：643[15] D. R. Hardoon，S. Szedmak和J.肖-泰勒典型相关分析：学习方法的应用概述。神经计算，16（12）：2639[16] X. 他 和 W 。 K. 冯 多 总 体 的 高 分 解 估 计 Journal ofMultivariate Analysis，72（2）：151[17] X.洪，S. Chen，J. Gao，and C. J·哈里斯非线性识别采用正交前向回归嵌套最优正则化。IEEE Transactionson，45（12）：2925[18] X.洪，S. Chen，Y. Guo和J. Gao. l1-范数惩罚正交前向回归计算机科学，2015年。[19] D.黄河，巴西-地Cabral和F. D. L.托瑞稳健回归。IEEE传输模式分析马赫内特尔，38（2）：363[20] F. Khelifi和J.蒋KNN回归改进纹理检索的统计特征提取IEEE Transactions on Image Processing，20（1）：293[21] E.金，M。李角，澳-地H.崔，北-地Kwak和S.哦使用交替校正梯度法的大规模问题的有效范数基低秩矩阵近似。IEEE跨神经网络学习.系统，26（2）：237[22] S. J. Kim，A.Magnani和S.P. 博伊德鲁棒Fisher判别分析。神经信息处理系统进展，第659-666页[23] P. Lang，A. Gironella和R.维尼玛循环子空间回归的性质。Journal of Multivariate Analysis，98（3）：625[24] Z.林，M。Chen和Y. MA.增广拉格朗日乘子法精确恢复损 坏 的 低 秩 矩 阵 。 UIUC 技 术 报 告 UIULC-ENG-09-2215，2010。[25] Z. Lin，L. Ganesh，J. Wright，L. Wu，M. Chen和Y.MA.精确恢复低秩矩阵的快速凸优化算法。多传感器自适应处理的计算进展，61，2009。[26] Z.林河，巴西-地Liu和H.李机器学习中可分离凸规划的并行分裂自适应惩罚线性化交替方向法Machine Learn-ing，99（2）：287[27] Z.林河，巴西-地Liu和Z.苏低秩表示的线性化自适应惩罚NIPS，第612-620页，2011年[28] G. Liu ，Z.Lin 和Y.Yu. 低秩表示的鲁棒子空间分割ICML，第663-670页，2010年[29] McDonald 和 C. Gary. 岭 回 归 Wiley Inter-disciplinaryReviews Computational Statistics，1（1）：93[30] P. Meer. 计 算 机 视 觉 的 强 大 技 术 。 IMSC PressMultimedia，2004.[31] R. H. Riffenburgh和C. W.克吕尼斯-罗斯线性判别分析.Springer New York，2013.[32] P.J.Rousseuw和A. M.勒罗伊鲁棒回归和离群值检测。Wiley-Interscience，，2003.[33] T.西姆，S。Baker和M. Bsat cmu的姿势，光照和表情数据库。IEEE传输模式分析马赫内特尔，25（12）：1615[34] L. M. Surhone，M.T. Timpledon，S.F. 马塞肯角相关性，T.S. O. Squares 和R.分析. 主成分回归BetascriptPublishing，pages 1954[35] P. H. S. Torr和A.齐瑟曼。Mlesac：一种新的鲁棒估计器及其在图像几何估计中的应用。计算机视觉与图像理解，78（1）：138[36] J. Wang，D. Shi，D.郑，Y. zhang和J.高. LRSR：用于子空间聚类的低秩稀疏表示神经计算，2016年。[37] S. Xiang，中国西南缘种F. Nie，G.孟角，澳-地Pan和C.张某用于多类分类和特征选择的判别最小二乘回归。IEEE Trans. 神经网络学习. 系统，23（11）：1738[38] S. Xiang，Y.湘，四川人Zhu，X. Shen和J.烨最优精确最小二乘秩最小化。在ACM SIGKDD中，第480- 488页[39] Q. Zhang，X. Hu和B.张某线性回归的范数svr与稀疏编码算法比较。IEEE Trans. 神经网络学习. 系统，26（8）：1828[40] X. Y.张丽Wang，S. Xiang和C. L.刘某重定向最小二乘回 归 算 法 。 IEEE Trans. 神 经 网 络 学 习 . 系 统 ， 26（9）：1，2015.7457[41] Y. Zhang和D. Y.杨最坏情况线性判别分析。NIPS，第2568-2576页，2010年[42] L. Zhuang，H. Gao，Z. Lin，Y.妈，X。Zhang和N. Yu.用于半监督学习的非负低秩稀疏图在CVPR中，第2328-2335页。IEEE，2012。