自适应类保持表示分类方法对线性表示图像分类进行正则化

mijianxun@gmail.com, S150201028@stu.cqupt.edu.cn, liws@cqupt.edu.cn 74270摘要在线性表示图像分类中，未标记样本由整个训练集表示。为了获得稳定和有区别性的解决方案，有必要对表示系数向量进行正则化。例如，基于稀疏表示的分类（SRC）中的表示使用L1范数作为正则化，等于lasso。然而，lasso过分强调了稀疏性的作用，而忽视了属于同一类别的样本之间的内在结构。许多最近开发的表示分类方法采用了lasso类型的回归来提高性能。在本文中，我们提出了自适应类保持表示分类（ACPRC）。我们的方法与基于组lasso的分类相关，但在两个关键点上有所不同：当一个类别中的训练样本不相关时，ACPRC变成SRC；当一个类别中的样本高度相关时，它获得与组lasso类似的结果。通过大量实验评估了ACPRC相对于其他最先进的正则化技术，包括lasso、组lasso、稀疏组lasso等的优越性。01. 引言0SRC是许多计算机视觉应用中广泛使用的方法，包括人脸识别和其他图像分类问题[1]。在SRC中，测试样本由包含所有训练样本的字典协同表示，其公式为y = Ax(1)，其中y是测试样本，A是字典矩阵，每列代表一个样本，x是相应的表示向量。使用模型拟合过程来产生x的解。普通最小二乘法（OLS）是估计x的简单方法，众所周知，将x上的正则化纳入0OLS产生更稳定和可解释的解决方案。SRC中使用的线性回归模型是在简洁性原则下构建的，这在人类感知中也很重要。通过使用整个训练样本的一个小子集对y进行表示是简洁性的一种实践[2]。在SRC中，lasso回归是一种有前途的方法，通过对x施加L1范数惩罚来选择训练样本的子集，从而产生一个稀疏向量[3]。这个约束最小二乘模型给出如下：02 1 argmin λ = − + x x y Ax x                      (2)0其中�2是L2范数（向量范数），�1是L1范数，0λ平衡保真度项和正则化项。然而，lasso回归存在一定的局限性。如果存在一些相关性较高的样本，lasso更倾向于只选择其中一个样本，忽略其他样本[4]。这种现象导致了训练样本的选择不一致[5]。弹性网络（EN）回归提供了一个灵活的模型来解决上述问题[4]。弹性网络准则定义为以下优化问题：02 1 2 argmin (1 ) λ α λα = − + − + x x y Ax x x .  (3)0复杂的正则化函数01 2 (1 α ) α − + x x 为0Lasso和岭回归惩罚的凸组合，其中[α∈0,1]。除了x的稀疏性之外，EN的解决方案0回归具有高度相关的样本共享相似的回归系数的效果。许多其他改进lasso回归的研究也倾向于解决相关性问题。在[6]中，考虑了lasso回归中的样本去相关。在[7]中，提出了一个与协变量最强相关的lasso回归来选择响应变量。另一项最近的研究[8]还考虑了训练样本之间的相关性，提出了自适应模型，通过训练集本身引导L1范数与L2范数的平衡。上述方法在分类中存在明显的缺点。它们没有结合类别0图像分类的自适应类保持表示  Jian-Xun Mi 1, 2 , Qiankun Fu 1, 2 , Weisheng Li 1, 2 1重庆邮电大学计算智能重庆市重点实验室，重庆，中国  2重庆邮电大学计算机科学与技术学院，重庆，中国22( )arg miniiiLabel=−yyA x(1,,ic= ), (4) 2221argminciiλ==−+ xxyAxx (5) 22121argmin(1)+ciiλαλα==−+−xxyAxxx. (6) 22arg ming( )λ=−+xxyAxx (7) 74280将类别信息引入表示过程，即回归不知道任何类内结构。例如，在SRC中，首先计算问题（2）的解，然后决定哪个类别具有最小的代表性残差：0其中c是类别的数量，i A表示第i类的样本0来自第i类的样本，i x是由x组成的向量0与i A（整个训练集）相关的系数  [ ] 1 2 c = , A , ,  A A � A以及表示向量01 2 = , x ,  ,  T T T T c � � � � x x � x ).0使用训练集。除此之外，让我们仔细看一下分类的简洁性原则。稀疏的x意味着只有少数几个训练样本参与表示一个测试样本。这些训练样本可以分布在不同的类别中，也可以来自一个或两个类别。当然，第二种情况对于分类是有利的。因此，限制类别的数量而不是样本的数量可能更具有区分性。在某些情况下，一个测试样本的良好表示可能是由来自正确类别的样本组成的密集表示。因此，对x的强样本稀疏约束可能导致一个较差的解。群组套索（GL）回归在[9]中提出，它产生了一个具有群组稀疏性的表示向量。GL在回归之前预定义了样本组，并且在回归过程中让这些组相互竞争，这意味着特定组的所有成员要么被使用，要么不被使用。在[10]中，基于群组套索回归提出了类别特定的稀疏表示分类方法。在该方法中，来自某个类别的训练样本被定义为一个组，并且可以通过求解以下正则化优化问题来获得x的组稀疏解：0在[11]中可以找到群组套索的进一步改进，提出了稀疏群组套索（SGL）回归：0SGL也可以被看作是弹性网络的一种变体。SGLR不仅考虑了组稀疏性，还考虑了样本稀疏性。手动选择的α值决定了这两种稀疏性的比例。请注意，尽管可能存在不同的类内样本结构，但所有类别都受到相同的约束。在本文中，我们提出了一种自适应类保持稀疏表示（ACPR）方法，并将其应用于图像分类。我们的方法考虑了三个因素。首先，考虑了类别信息。0在回归过程中应该保持这些因素；第二，表示向量的稀疏性受到约束；第三，类别的样本稀疏性的程度适应类内相关结构。尽管以前的lasso类型回归研究考虑了类别信息，但据我们所知，还没有研究利用类内相关性来构建自适应模型。在ACPR中，类别接受单独的约束，即向量ix的约束由第i类的相关结构决定。我们发现，每个类别上的正则化器可以自适应地平衡L1范数和L2范数。因此，使用ACPR进行回归可以获得一个良好的表示结果，实现了这三个重要因素。接下来，我们首先简要回顾和总结相关的lasso类型回归方法。然后介绍我们的回归模型。接下来，我们给出一个有效的迭代算法来解决优化问题。对不同数据集的实验用于评估该方法。02. 相关的Lasso类型回归技术0测试图像通过训练集进行协作表示是基于表示的图像分类算法中的关键阶段。它们假设测试样本可以很好地表示为属于其正确类别的训练样本的线性组合。在这个线性回归框架下，表示向量的正则化在大数据集时获得正确解决方案中起着重要作用。一般的约束回归模型采用以下优化形式：0其中  g( ) �  是对  x进行正则化的惩罚项。测试图像中很可能出现变化和噪声。如果没有有效的正则化器，回归的性能可能会严重下降。许多Lasso类型的正则化器受到越来越多的关注。它们倾向于迫使  x的解决方案变得稀疏。这样做有至少两个优点。首先，稀疏表示具有分类的鉴别性质。其次，测试图像上的噪声更容易被检测到。当  1 g( )= x x   时，(7)是Lasso0回归问题，这在执行稀疏表示时非常流行。Lasso主要考虑样本稀疏性，即只有很小的样本子集表示一个测试样本。如果我们将来自同一类的样本定义为一个组，组稀疏表示约束了回归中使用的类的数量，从而产生了组稀疏性。当每个类只包含一个或两个样本时，组稀疏表示获得了与Lasso类似的结果。根据组Lasso的定义0即 2 1 g( )= c0� i = i x x ，类内表示g(min. =xyAx (8) ()1()TrDiag()Diag() =.TiiiiiiΦ=xx A Axx (9) 2()=.TiiiiΦ=xx xx (10) 21().iii≤ Φ≤xxx (11) 1,/1/1/11=and Diag( )= Diag()TTiTiiiTiiix00A Ax0x0A A，(12) ,1,1,/1,/1/1/1,1 1,/1/1/1,/1()1TrDiag()Diag()=TrDiag()Diag()iTTTiiTiiiiTiTiiiixxxΦ=x0000x0x0A A00xA Ax,1,/11 +().iix=Φ x (13) Lasso  EN   GL  SGL   ACPR     74290子向量  i x   受到L2范数的约束，从而产生了0i x的密集解。通过同时使用样本稀疏性和组稀疏性的简单组合0= − � x x x ，SGL平衡了两种0通过预先分配的参数来衡量稀疏性。EN回归的解决方案显示出分组效应，然而，高度相关的一组样本可能跨越类别。尽管如此，EN相对于Lasso具有其优点，它考虑了样本之间的相关性。在这里，我们总结了表1中提到的四个方面的Lasso类型回归。03. ACPR 模型0在本节中，我们考虑一个回归模型，该模型保留类别信息，并根据特定的类内固有结构具有自适应约束。对于某个类别，当该类别的样本高度相关时，我们更倾向于使用L2范数而不是L1范数约束。相反，当样本不相关时，L1范数约束是更好的选择。03.1. 表述0所提出的回归模型的表述如下：0c0i i s t0其中 * ( ) Diag( ) i i i Φ = x A x ，正则化项 * � 表示0矩阵的核范数，即矩阵的奇异值之和，而 Diag( ) �将一个向量转换为0对角矩阵。假设第 i 类中有 i n个样本，每个样本经过零均值和单位向量长度的归一化预处理。表示向量0对于第 i 类，是一个列向量0在这里我们首先讨论 ( Φ  x i ) 的性质。假设属于第 i类的样本彼此不同，也就是说样本是正交的 T i A A i  = I。然后正则化项可以分解为0因此，对于第 i 类，正则化器 ( Φ  x i ) 变为 L1范数惩罚。这是合理的，因为当没有类内结构时，L1范数是防止过拟合的更好选择。在每个类别都没有类内结构的特殊情况下，(8) 等价于套索回归。如果我们假设第 i类的样本高度相关，即  T T i A A i  ≈ 11  ( 1   是一个大小为 i n    的列向量，每个元素都等于1)。那么我们有：0因此，如果一个类别的样本非常相似，其相应的正则化器近似于L2范数。在每个类别都有高度相关样本的情况下，(8)变为GL回归。一般情况下，一个类别的样本既不太独立也不完全相同。正则化器根据类别的类内结构自适应地平衡L1范数和L2范数：0让我们考虑一个特殊情况，即一个样本，比如第一个样本，被错误地分组到另一个类别，并且它与所有其他样本都是独立的。在这里，我们定义两个分块矩阵：0其中  0  是一个大小为  i n -1  的列向量，其中每个元素都为 10元素都为零，  A i /1  是没有第一个独立样本的样本矩阵0第一个独立样本，表示为 i x ,/1 为表示0向量为  A i /1 . 然后我们可以看到正则化器具有以下属性：0方法0属性0样本稀疏性0组稀疏性0相关性  自适应性0表1.五种相关回归方法的四个方面的总结。'相关性'表示考虑了样本之间的相关性。'自适应性'表示模型具有根据数据集结构自适应调整正则化的能力。1()= ()()piiiΦΦ++ Φxxx (14) where p denotes the number of subgroups in the class. It indicates that, compared with lasso and group lasso, the proposed regularizer can exploit the intra-class structure further. That is, although sample group is determined by the class label, adaptation of (8) is strong enough to reflect the intra-class structure. In real-world applications, a test image is more or less contaminated by variations and noises. So, we solve the following optimization problem instead of (8) 221argmin() .ciiλ=−+ΦxyAxx (15) 22*ˆarg minDiag()iiiiiiλ−+xyA xAx, 1,,ic=.(16) 22*,ˆmin . . Diag().iiiiiis tλ−+=J xyA xJJAx (17) 22*2ˆ( ,)Tr((Diag( )))Diag( )2TiiiiiiiiFLλµ=−++−+−J xyA xJY JAxJAx(18) 2*11=arg min(Diag())2iiFλµµ+−−JJJJAxY. (19) 222ˆargminTr((Diag()))Diag( ).2iTiiiiiiiiFµ=−+−+−xxyA xYJAxJAx (20) where diag( )⋅ takes the diagonal elements of a matrix and stores them in a vector. The multiplier is updated by gradient descent method: (Diag())iiµ=+−YYJAx. (22) The procedure of solving the sub-problem is summarized in Algorithm 2. Since the whole procedure of solving optimization (16) is derived by the theory of ADM, the convexity of this sub-problem guarantees its global convergence. After computing optimal*x , we make the 74300因此，独立样本与其他样本分开，仅受L1范数约束。此外，不难证明，如果一个类中有一些彼此独立的子集，正则化器将转化为子群：03.2. 优化0提出了一种迭代优化算法来解决（8），该算法总结如算法1所示。在更新 x 的每次迭代中，我们将（15）分解为 c个子问题：0这被称为迹套索问题[12]。通过这种方式，算法1逐个类别地更新 x 。0算法1：自适应类保持稀疏表示的过程  1: 输入：训练集 [ ]1 c A = A � A ，查询图像 y ，0参数 λ  > 0 ，ε  > 0 ，初始表示0向量 (0) (0) (0) = (  1 ) ( ) T T T c � � � � x x � x ,  1 t=  .02: 生成一个由1到类别数 c 的整数填充的随机排列向量  1c m ∈ R × 。  3: 定义临时变量 ( ) new t = x x 。对于 1到 c 的每个 i = 4: 计算 ( ) ( ) ( ) ( ) ˆ = new t i i i − + mm m y y Ax A x 。05: 通过使用算法2解决（16），仅更新 ( ) ( ) t x m i 。0输入包括 ( ) ˆ y m i  和 A m ( ) i 。06: 让 ( +1) ( ) ( ) new t i i = mm x x .0结束；  7: 让 ( +1) = t new x x 。8: 如果 ( +1) ( ) t t ε ∞− ≤ x x ，转到步骤9，否则，让  1 t t = +，并转到步骤2；  9: 输出：最优表示向量 * x 。0在优化问题（8）中，目标函数由保真度项和正则化项组成。0众所周知，OLS是凸函数，在[13]中核范数也被证明是凸函数。因此，它们的线性组合也是凸函数。然后我们让0( )= (  1 , , c ) L L x x � x 表示（8）的目标函数。我们将 x分解为小的子向量，并按随机顺序逐个更新每个子向量，以避免优先级。x的相应子向量立即被新的子向量替换。因此，如果有效地解决子问题（16），原始问题将收敛到唯一的全局最优解。为了解决（16），我们首先将其转化为以下等价问题：0它可以通过最小化相应的增广拉格朗日乘子形式来解决：0其中 Y 是拉格朗日乘子矩阵，µ是惩罚参数。我们用交替方向法（ADM）[14,15]解决（18），它现在是一个无约束问题。J 和 i x分别通过固定另一个来进行更新，然后更新Y。首先，我们固定 i x 来解决0奇异值阈值运算符可以提供（19）的近似解[14]。然后我们固定 J ，通过求解0它还有一个闭合形式的解决方案：0T 0P A A A A               (21)74310基于表示的分类中广泛使用的通过 (4) 对标签进行决策。0算法2:    解决子问题 (17)  1: 输入: 第i类的训练集 i A，回归变量  ˆ  i y  ，参数  λ  。02: 初始化: i x (0) ,  Y � 0 � , 0 J � � , µ  > 0  , ε  > 0 , k  = 0 .03: 固定其他变量，通过求解(19)计算  J � k +1 � 。  4:固定其他变量，通过(21)计算  ( k  1) i x +  。05: 根据 (22) 更新乘子 ( Y k + 1)06: 如果  1 || || k k ε + ∞ − ≤ J J  ，  1 || || k k i i ε + ∞ − ≤ x x  ，并且01 1 || Diag( )|| k k i i ε + + ∞ − ≤ J A x , 转到步骤70否则，令   1 k =  k +   并转到步骤3；   7: 输出:最优向量 * i x  。03.3. 时间复杂度0与传统的迹Lasso一样，迭代优化用于解决ACPR模型。在一轮更新中，迹Lasso的时间复杂度为 (  3 Ο n ) ，其中 n为整个训练样本的数量。ACPR的子问题也是一个迹Lasso问题，其时间复杂度为 (  3 Ο p )（这里我们简单地假设每个类有 p 个训练样本）。对于整个x 的每次更新，ACPR的时间复杂度为 3 ( Ο cp ) 。由于 = ncp ，( ) ( ) ( ) 3 3 3 3 = cp c p n Ο Ο Ο � 。04. 稀疏性 vs 相关性0对于图像分类，许多论文认为通过协同表示测试样本来计算表示向量比单独表示更好[3,16]。原因是受限线性回归使样本相互竞争，从而使决策更可靠。由于测试样本上不可避免地存在变化和噪声，约束表示向量的稀疏性可以防止过拟合。一些研究表明，使用带有L1范数的Lasso回归可以进行稳健的分类。在Lasso回归中，竞争是在整个训练样本之间进行的。然而，Lasso忽略了训练集的相关性。如果一些样本是相关的，很可能只有其中一个样本代表一个测试样本。在[10,17]中，证明了类之间的竞争可能获得更好的性能。这些论文使用GL回归来表示一个测试样本，其中属于同一类的样本形成一个组。同一类别的图像可能在某种程度上是相关的。对于特定的类别，表示子向量受到L2范数的约束，允许相关样本0从一个表示测试样本的类到一个合适的表示。然而，如果一个类中有大量的训练样本，当类内结构复杂时，过拟合的风险会增加。SGL回归和EN都考虑了相关性和稀疏性，但需要手动选择参数来平衡这两个因素。以往的Lasso类型回归的一个明显缺点是不可能为每个特定类分配不同的约束。一般来说，类内结构在相关性方面可能会有很大的变化。所提出的ACPR通过平衡L1范数和L2范数来不同地约束每个特定类。ACPR还利用了特定类的潜在丰富的类内结构。如果存在相互独立的子群，ACPR会自适应地重新组合它们，以提供更精细的表示。我们在图1中提供了不同回归方法计算的表示向量的可视化。Lasso回归使用最少的训练样本来表示测试样本，显然忽略了相关性。岭回归使用L2范数作为其正则化器，产生一个密集的向量，其中许多相关样本一起响应。ACPR的表现与GL回归类似。然而，ACPR的类内稀疏性比GL回归更强，比Lasso回归更弱。这表明ACPR不仅考虑了类内样本的稀疏性，还以自适应的方式考虑了组内稀疏性。对于EN回归和SGL回归，如果仔细选择其中的两个参数，它们可能会得到一个近似的向量，就像ACPR一样。但在实践中几乎不可能实现。0图1.使用Lasso回归、岭回归、群组Lasso回归和ACPR表示向量的示意图。使用包含40个主题的ORL人脸数据集，每个主题有10张正面人脸图像。通过将5张图像（来自第一类）和一些高斯噪声组合在一起创建了一个人工测试样本。 743205. 实验0在本节中，我们通过与岭回归、Lasso、GL、SGL和EN等五种最先进的回归方法进行比较，评估了提出的ACPRC的有效性。使用了一些知名的图像数据集：两个常见的人脸数据库（GT和ORL），两个大型人脸数据库（LFW和FERET），MNIST手写数字数据库和COIL20物体识别数据库。图2显示了一些样本，可以看到类内变化。所有使用的图像都被归一化为零均值和单位L2范数。05.1. Georgia Tech（GT）数据库0GT数据库可以从http://www.anefian.com/research/face_reco.htm下载，由来自50个不同时间的个体的每个主题的15张图像组成。它表征了一些变化，如面部表情、杂乱的背景和光照条件。图像被处理为15×15像素。对于每个主题，我们选择（t = 2, 5, 8,10）张图像组成训练集，其余图像用于测试。表2显示了所有算法在10个随机分割上的识别率和标准差。考虑到这种复杂情况，所有使用的方法都面临着巨大的挑战。所有算法的性能，特别是岭回归的性能，都不令人满意，因为在t =2的情况下缺乏训练样本和各种噪声。大多数方法的识别准确率随着训练样本的增加而提高。ACPRC在所有情况下都具有性能优势，这明显表明我们的方法表现更好。0对光照和姿态变化的容忍度。特别是当t =10时，ACPRC是唯一一个准确率超过80%的方法。05.2. ORL数据库0ORL人脸数据库由40个不同的主题组成，每个主题有10张图像，采样时间不同，具有各种变化，如面部表情、不同的光照和面部细节（戴眼镜与否）。我们选择每个主题的前2、3、4、5和6张图像进行训练，其余图像进行测试。图像被调整为15×12像素。表3报告了识别准确率。我们可以看出，随着添加更多的训练样本，所有算法的准确率都增加了。GL和SGL的表现优于Lasso，在GT数据库上的结果不同。原因可能是GT具有较低的类内相关性，削弱了群组结构的作用。尽管具有分组效应的方法表现更好，但ACPRC在平均值上超过第二名约1%。05.3. LFW数据库0LFW是一个大规模的数据库，包含超过13000张非约束性人脸图像，具有姿态、光照、表情、对齐和遮挡等变化。在第一个测试方案（LFW11）中，选择了一个包含至少11张图像的子集。我们随机选择10张图像作为训练数据集，0方法 t = 2 t = 5 t = 8 t = 100Lasso 48.00 65.88 74.46 77.200Ridge 30.09 52.44 65.83 69.52 GL 43.35 60.52 65.4968.88 SGL 48.52 62.62 70.00 69.84 EN 51.88 67.4470.86 75.36 ACPRC 53.05 71.36 78.23 81.960表2.GT数据库中每个类别对应的t个样本的识别准确率（%）。方法 t = 2 t = 3 t = 4 t = 5 t = 60Lasso  80.00  87.39  90.04  92.80  93.750Ridge  75.56  82.11  87.17  91.80  93.69  GL  82.0089.50  92.63  94.80  96.31  SGL  85.84  90.71  94.4296.10  96.75  EN  85.13  91.36  93.79  96.35  96.81ACPRC  87.03  92.07  94.75  96.50  97.560表3. ORL数据库上每个类别对应的t个样本的平均准确率（%）。0图2.FERET、LFW、GT、ORL、COIL20和MNIST数据库的一些样本（从上到下）。Lasso 72.21 1.02± 76.832.44±Ridge 72.790.86± 78.251.01±GL 71.951.38± 79.292.05±SGL 70.701.32± 76.961.68±EN 70.161.38± 74.00 1.86±ACPRC 74.841.04± 80.64 1.57±Ridge 56.20 45.38 51.33 62.00 GL 59.60 50.50 63.83 66.75 SGL 59.50 50.88 63.83 65.00 EN 54.70 43.13 54.50 60.25 ACPRC 60.00 52.63 64.17 70.50 Lasso 86.682.00± 98.080.55±Ridge 82.362.17± 94.61 1.08±GL 84.161.22± 97.500.93±SGL 86.481.28± 96.670.52±EN 85.201.67± 96.690.76±ACPRC 88.881.65± 99.030.60±74330将剩余的图像作为测试数据集。在第二个子集（LFW16）中，共有85个主题，每个主题至少有16个图像，我们随机选择15个图像作为训练数据集，剩余的图像作为测试数据集。图像被处理为1512×的顺序。每种方法的识别准确率在表4中报告。我们可以很容易地看出我们提出的ACPRC的竞争结果优势。特别是在LFW16子集中，只有我们的方法达到了80%的准确率。EN方法在两个子集上分别只达到了70.16%和74.00%的准确率，原因是EN方法没有考虑组间稀疏性。05.4. FERET数据库0在这个实验中，从FERET数据库中选择了一个包含200个主题的子集，共有1400个图像，这可能是最大的公开数据库之一。每个主题包含7个面部图像，主要包含表情变化和姿势变化。我们使用每个个体的前2、3、4和5个图像进行训练，剩余的图像进行测试。图像被处理为1512×的分辨率。实验结果列在表5中。从表5可以看出，尽管所有方法在每个主题的图像数量为3时表现都不是很好，但我们的方法在所有情况下仍然取得了最好的结果。具体而言，当每个主题的图像数量为5时，我们的方法的识别准确率达到了70.50%。与其他算法相比，改进分别为6.50%、8.50%、3.75%、4.5%和9.25%。05.5. MNIST和COIL20数据库0MNIST手写数据库在模式识别领域被广泛采用。它包含10个图像类别，对应于0到9的10个手写数字，每个类别有5000多个图像。我们选择每个主题的前50个样本，并随机选择一半作为训练集，剩余的作为测试集。COIL20数据库包含20个对象，每个对象有72个图像，拍摄角度间隔为5度。我们分别随机选择每个对象的一半作为训练数据集，另一半作为测试集。对于这两个数据库，图像被调整为1515×。在表6中报告了准确率的均值和标准差。在这两个数据库上，除了Ridge之外，最先进的正则化方法的工作效果相似。ACPRC在MNIST数据库上的表现超过第二名超过2%，在COIL20数据库上约为1%。05.6. 实验讨论0我们广泛的实验结果的完整总结如图3所示。在所有情况下，没有施加稀疏性的Ridge回归的性能都无法与其他方法相媲美，这证实了稀疏性对于实现稳健的识别是必要的。在ORL数据库上，Lasso回归的表现仅略好于Ridge回归，因为类内变化很小。GL在GT数据库上取得了第二好的结果。原因可能是GT数据库中每个类别的变化较大，组间稀疏性有益于表示。GL的组间稀疏性在LFW数据库上表现不稳定，标准差较大，这是因为每个组的类内相关性不同。然而，我们提出的ACPRC同时考虑了组间稀疏性和数据相关性，可以自适应地调整到特定的类内结构。对于组间稀疏性和样本间稀疏性的作用，一个不一定比另一个更好。特别是，我们的方法在GT数据库上表现出色，这是因为自适应类保持正则化项的优越性，可以平衡L1正则化。0方法  LFW11  LFW160表4.LFW数据库上两种测试方案的平均准确率（%）及标准差。方法  t  = 2 t  = 3 t  =  4 5 t  =0表5. FERET数据库上对应于t个样本的平均准确率（%）。0方法  MNIST COIL200表6. MNIST和COIL20数据库上的平均准确率（%）及标准差。 74340根据相关性，我们提出了自适应类保持稀疏正则化方法。包括我们的ACPRC在内的这些算法在MNIST数据库上都没有表现完美，尽管ACPRC获得了最高的准确率。主要原因可能在于实验图像数量不足，手写数字数据不适合子空间结构。ACPRC在COIL20数据库上获得了最佳准确率99.03%，这表明自适应类保持稀疏正则化项也有助于处理一般的模式识别问题。06. 结论0本文提出了一种自适应类保持稀疏表示方法用于图像分类。在协同表示测试样本的过程中，ACPR对每个类的表示向量进行不同的惩罚。与之前的Lasso类型回归相比，ACPR能够自适应地平衡Lasso回归和组Lasso回归。为了解决ACPR的优化问题，我们将模型分解为子问题，并通过ADM求解。通过大量实验证实了ACPR基于图像分类的优越性。0致谢：本研究部分资金支持来自中国国家自然科学基金（61472055，U1401252和61672120）。此外，本研究还得到了中国国家重点研发计划（2016YFB1000905）的资助。0参考文献0[1]  J. Wright, M. Yi, J. Mairal, G. Sapiro, T. S. Huang and Y.Shuicheng. 稀疏表示在计算机视觉和模式识别中的应用.IEEE会议论文集, 98(6)  :1031-1044, 2010.  [2]  M. H. Hansenand B. Yu. 模型选择与最小描述长度原则. 美国统计协会杂志,96(454) :746-774, 2001.  [3]  J. Wright, A. Y. Yang, A. Ganesh,S. S. Sastry and Y. Ma.  基于稀疏表示的鲁棒人脸识别.IEEE模式分析与机器智能交易,  31(2) :210-227, 2009.  [4]  H. Zouand T. Hastie. 弹性网正则化和变量选择.皇家统计学会B系列统计方法, 67(2) :301-320, 2005.  [5]  H. Zou.自适应Lasso及其Oracle性质. 美国统计协会杂志, 101(476) 2012.[6]  S.-B. Chen, C. Ding, B. Luo and Y. Xie. 无相关Lasso.AAAI人工智能会议.  2013.0图3. 不同数据库上的识别准确率。 (a) GT数据库，每个主体训练2、5、8和10张图像。 (b)ORL数据库，每个主体训练2、3、4、5和6张图像。 (c) FERET数据库，每个主体训练2、3、4和5张图像。 (d)LFW、MNIST和COIL20数据库。74350[7] B. Jiang, C. Ding和B.Luo。用于特征选择的协变量相关Lasso。机器学习和知识发现数据库：欧洲会议。2014年。[8] J. Wang，C. Lu，M. Wang，P. Li，S.Yan和X. Hu。通过自适应稀疏表示进行鲁棒人脸识别。IEEETransactions on Systems, Man, andCybernetics，44(12)：2368-2378，2014年。[9] M. Yuan和Y.Lin。在具有分组变量的回归中的模型选择和估计。《皇家统计学会B系列统计方法学杂志》，68(1)：49-67，2006年。[10] S.Huang，Y. Yang，D. Yang，L. Huangfu和X.Zhang。用于分类的类别特定稀疏表示。信号处理，116(38-42)，2015年。[11] N. Simon，J. Friedman，T. Hastie和R.Tibshirani。稀疏组Lasso。计算和图形统计杂志，22(2)：231-245，2013年。[12] E. Grave，G. R. Obozinski和F. R.Bach。迹Lasso：一种用于相关设计的迹范数正则化。神经信息处理系统的进展。2011年。[13] B. Recht，M. Fazel和P. A.Parrilo。通过核范数最小化保证线性矩阵方程的最小秩解。SiamReview，52(3)：471-501，2010年。[14] J. Cai，E. J. Candes和Z.Shen。用于矩阵完成的奇异值阈值算法。Siam优化杂志，20(4)：1956-1982，2010年。[15] R. Liu，Z. Lin和Z.Su。用于机器学习中可分离凸规划的线性化交替方向方法与并行分割和自适应惩罚。亚洲机器学习会议。116-132，2013年。[16] L.Zhang，M. Yang和X.Feng。稀疏表示还是协作表示：哪个有助于人脸识别？IEEE国际计算机视觉会议。2011年。[17] N. Rao，R. Nowak，C. Cox和T.Rogers。使用稀疏组Lasso进行分类。IEEE信号处理杂志，64(2)：448-463，2016年。