基于集的人脸识别中的区分学习凸模型

1基于集的人脸识别中的区分学习凸模型Hakan Cevikalp Golara Ghorban DordinejadEskisehir Osmangazi大学机器学习与计算机视觉实验室hakan. gmail.com，golaradordinejad@gmail.com摘要大多数基于图像集的人脸识别方法对每个人使用生成学习模型，该模型通过忽略图库集中的其他人而独立学习。与这些方法相比，本文介绍了一种新的方法，该方法搜索最适合个人的面部图像，但同时尽可能远离图库中其他人的图像的判别凸模型我们学习的歧视性凸模型，ELS的仿射和凸包的图像集。在测试期间，通过使用简单的矩阵乘法来有效地计算所提出的方法显着优于其他方法，使用生成凸模型的准确性和测试时间方面，并实现了国家的最先进的五个测试数据集的结果特别是在具有挑战性的PaSC、COX和ESOGU视频数据集上，准确性的提高是显著的1. 介绍人脸识别是一个重要的计算机视觉问题，在各个领域有着广泛的应用.最初，单个图像用于人脸识别，但最近，基于集合的方法已经开始主导该领域，主要是因为人脸图像集合允许对个体外观的可变性进行建模。对于基于集合的人脸识别，图库和查询集合都是以图像集合而不是单个图像的形式给出的。分类系统必须返回其图库集与给定查询集最相似的个体。使用图像集的人脸识别方法也更实用，因为它们通常不需要受试者的任何合作。然而，尽管有这些优点，传统的分类器，如支持向量机（SVM），分类树，k-最近邻分类器等。不能直接用于基于集合的识别。有两个重要因素决定了基于集合的人脸识别方法的成功率：用于近似人脸图像集的模型，以及用于度量这些模型之间的相似性的距离度量。各种不同的模型被用来近似人脸图像集。作为一个开拓性的工作，基于集合的识别，山口等人。[34]使用线性子空间来近似图像集，并且子空间之间的正则角用于测量它们之间的距离。处理基于图像集的分类的另一种方式是将每个样本集视为格拉斯曼流形中的一个点。Hamm和Lee[10]在固定维线性子空间上使用了格拉斯曼判别分析。 王和石[30]提出了核格拉斯曼距离来比较图像集。最近，对称正定（SPD）矩阵的流形被用于对图像集进行建模，并且通过使用不同的黎曼度量（例如仿射不变度量或对数欧几里德度量）来计算这些流形之间的相似性[20，18，19]。Cevikalp和Triggs [3]引入了仿射和凸包来近似图像集，并且这些模型之间的几何距离用于度量相似性。在[16，36]中已经提出了仿射壳和凸包的不同其中，[16]的稀疏近似最近点（SANP）加强了用于仿射外壳组合的样本的稀疏性。类似地，[36]使用正则化仿射壳模型，该模型要求在计算图像集之间的最小距离期间最小化仿射壳组合系数Wang等人。[31]提出了一种方法，当不同类的仿射壳重叠时，可以学习更紧凑的仿射壳。最近，这些方法的新扩展[32，37与对每个图像集使用独立的仿射和凸包的传统方法相比，这些方法通过使用单个仿射或凸包来逼近所有图库集在基于图像集的识别中使用稀疏模型的其他代表性方法可以在[9，8，7]中找到。 大部分1012310124CΣCCC.CC.上述方法具有可用于近似非线性面部模型的核化版本。最近，[13，11]提出了一种深度学习框架来估计图像集的非线性几何结构。他们为每个图像集训练了一个自适应深度网络模板，以学习特定于类的模型，然后根据使用这些预先学习的特定于类的模型计算的最小重建误差对查询集进行分类。Hayat等人[12，14]使用线性SVM分类器来近似查询集和图库集之间的距离以类似的方式，Cevikalp和Yavuz [5]用更合适的多面体圆锥分类器替换了线性SVM分类器，该分类器可以返回多面体接受区域以进行基于集合的识别。最后，还有一些使用人脸图像集的相关人脸验证和识别方法[23，35，26，22]。例如，Liu等人[22]使用多任务联合稀疏表示算法进行基于视频验证。Liu等人 [23]和Rao et al.[26]使用基于深度神经网络的方法本文其余部分的组织结构如下：第2节简要回顾了生成学习的仿射/凸包模型。我们将在第3节中介绍所提出的方法。第4节总结了实验结果。最后，我们的结论在第5节中给出。2. 基于生成学习仿射/凸壳的设人脸图像样本为xci∈IRd，其中c=1，. . .，C对C个图像集（个体）进行索引，并且i=1，. . .，n，c索引图像集c的n，c个样本。[3]用凸模型（仿射模型）近似图像集或凸包），并且查询图像集被分配给具有最接近图库集的类。2.1. 生成仿射壳模型在该方法中，通过忽略其他类别的面部图像，通过其样本的仿射外壳来近似图像集以在其中找到高质量的有区别的面部图像帧图像集，以提高人脸识别系统的准确性和速度以类似的方式，Yang et al.[35]将CNN网络和聚合模块组合以创建H=.ΣncX=k=1αck..ncx ck..k=1αckΣ=1，c = 1，. . . 、C.（一）使用高质量的用于基于视频的人脸识别的图像帧。动机和贡献：除了少数例外，大多数基于集合的人脸识别方法都是基于如下假设构建的生成学习方法：人脸图像集合可以由仅使用这些集合的样本创建的模型表示。因此，这些方法集中在不同的模型，如线性/仿射子空间，格拉斯曼流形，SPD人，仿射模型基本上将个体为了计算两个仿射外壳之间的距离，我们首先需要在仿射外壳上选择一个参考点该参考点可以是集合的面部图像样本之一，或者它可以是集合的平均面部图像将参考点表示为µc。然后，集合c在这一点的条件写为：折叠等，最适合图库集的类，并且它们通过独立于图库中的其他类来学习每个类的模型。然而，一个众所周知的事实是，H=..Σ.x=µ+U v. v∈IRl..（二）与分类问题的生成方法相比，犯罪方法大多产生高得多的准确性受这一事实的启发，本文介绍了一种混合方法，发现模型近似人脸图像集结合生成和判别方法。为此，我们通过最适合个人图像集的有区别的仿射/凸包来近似面部图像集，但同时尽可能远离属于图库中其他人的与需要通过使用大规模数据集在线训练分类器的判别分类方法[12，14，5]相反，在所提出的方法中离线实现判别模型的学习。一旦识别模型被学习，查询集的分类需要一些简单的矩阵乘法，这可以非常有效地完成。因此，所提出的方法是非常快的其他判别方法相比，在实验中证明。这里，Uc是由仿射子空间所跨越的方向的正交基，Vc是确定子空间内的点的坐标的自由参数的向量，相对于基Uc来表达，并且l是基向量的数量。在数值上，Uc通过对[xc1−µc，.. . .，xcnc −µc]。 给定两个不相交的af优良船体，{Ucvc+µc}和{Uc′vc′+µc′}，最接近点，给出仿射之间的距离可以通过求解以下优化问题来找到外壳：阿革米因||（Ucvc+µc）−（Uc′vc′+µc′）||二、（三）vc，vc′vc定义U≡（Uc−Uc′）和v≡（vc′），这可以是写为标准最小二乘问题，阿革米因||Uv−（µc′−µc）||第 二条、 第四条v10125+++CΣ+⊤2+.−cc′其解为v=（U<$U）−1U<$（µ′−µ）。所以我们可以考虑一个正交基向量集，C c仿射壳之间的距离变为，D（Ha ff，Ha ff）=||（I−P）（µc−µc′）||、（五）UU+= I. 从任何样本x到这个仿射外壳的距离可以通过使用来计算，d（x，Haff）=（I−P）（x−µ）=P（x−µ），（8）其中P=U（U<$U）−1U<$是正交投影+++矩阵中包含的方向的联合跨度两个子空间。其中P+=U+U是正交投影⊥2.2. 生成凸壳模型集合的凸包定义为包含其样本的最小当（1）中给出的全仿射壳表示仅限于正αck系数时，它表示最小凸集，即，集合的凸包，算子到正类的仿射壳上，P+是P+的正交补的投影矩阵。应当注意，正交投影算子是对称的和幂等的，即，P2=P+，P3= P+。我们的目标是找到最适合阳性类样本的仿射壳，但同时又尽可能远离其他图像集的阴性类样本。在那里-Hconv=.ΣncX=k=1αck..ncx ck..k=1αck = 1，αckΣ≥0.（六）因此，我们必须尽量减少从正图像样本到仿射外壳的距离，并尽量增加从负类样本到外壳的通过 使用xi=xi−µ+将所有图像样本居中，可以写为集合的凸包表示比仿射近似两个凸点之间的距离下面的优化问题，1中文（简体）⊤¨2λΣn−¨⊤¨2可以通过求解以下约束来找到外壳线凸二次优化（QP）问题，使用任何arg minn+U+i=1¨x~i−U+U+x~i¨n−j=1¨x~j−U+U+x~j¨标准QP解算器：S.T. UU+= I.（九）（α，α）= arg min ||X α-X ′ α ′ ||2这里n表示正（负）类的数量c c′ΣncS.T.k=1αc，αc′αck= 1 =CC c c阿森克αc′k′，αck，αc′k′≥0.k′=1（七）+（−）样本，并且λ是必须由用户设置的参数并且它相对于正类样本的距离调整负类样本的距离的权重为了解决这个优化问题，我们首先引入3. 该方法下面给出的拉格朗日函数在所提出的方法中，我们的目标是为每幅图像找到有L（U，Λ）=中文（简体）-U¨Ux~¨这些模型最适合于它们自己的图像集的样本，但远离其他集的图像样本+λΣn−¨n+i=1I++I¨属于不同的人。 学习模式---UUx2+TrΛ（UU-I）。在前一部分中解释的ELS通过仅使用属于感兴趣的特定人的图像样本来为图库中的每个人怎么-n−jj=1++J正+ +（十）然而，我们必须考虑图库中的所有数据来学习每个人的判别模型，因此我们需要更有效的算法来完成这项任务。以下为这里，Λ=（Λkl）表示拉格朗日乘数，对基向量强制正交规范约束的KKT最优条件产量ing，我们解释了寻找歧视性的程序L=−2n+x+2λn−xxU+2UΛ= 0。仿射和凸包模型。联系我们n+i=1ii+n−j=1jj++（十一）3.1. 判别仿射壳让假设我们给定一个属于特定类c的图像集。让我们把这个类表示为正的S=1 公司简介x~x~−λΣn−x~x~。（十二）类和库中所有其他剩余类作为负类。如前所述，仿射外壳（或我我+i=1n−jjj=11+n10126仿射子空间）由基向量U+和参考点µ+，我们选择它作为参考点应当注意，矩阵S+是两个协方差矩阵的差，因此它是对称的。也是类平均值，µ+=n+i=1 Xi. 不失一般性，正（半）定，λ的值足够小。10127++++通过在（11）中插入该定义，我们得到以下关系：S+U+= U+Λ。（十三）这是一个典型的特征分解问题，其解是对称正（半）定矩阵S~+的特征向量。应该注意的是，解决方案是多面体接受区域是非常快的，因为它需要简单的点积，如在线性SVM。我们使用[4]的扩展多面体圆锥分类器（EPCC）来近似图库中每个类的判别凸包。正类的扩展多面体圆锥函数可以写为，全局最小值，并且如果S+是严格正定的，则解也是唯一的全局最小值。fw+，γ+，c+，b+（x）=w（x−c）+γ|x-c|−b+ ，（14）对库中的每个类重复此过程其中x∈IRd是测试点，c∈IRd是锥并且我们获得针对每个的有区别的仿射外壳模型课 在在线测试中，我们发现顶点，w +∈IRd+是权重向量，b+是偏移，通过使用（8）查询图像样本到每个仿射壳，并计算k个最接近样本的距离的平均值。然后，将查询集分配给产生最小平均距离的类。我们不使用所有查询图像样本的距离，而是使用位于查询集接近其他查询集的关键区域|=（|u1|、...、|, ..., |表示分量模，γ + ∈ IR d是对应的权向量。|)⊤denotes the component-wise modu- lus and γ+∈ IRdis a corresponding weight vector.我们将锥顶点设置为正类样本的平均值，如下所示：在[4]中。为了找到将返回多面体接受区域的分类器，我们需要为图库中的每个类解决以下QP问题：画廊布景k的最佳值基于以下确定：argminλww+1中国+1-sγ交叉验证w+，γ+2++n+iin−jj+最后，应该指出的是，这种方法非常不同于线性判别分析方法S.T. w（xi−c+）+ γ|xi− c+|− 1 ≤ i，i = 1，.， n+，w<$（xj−c+）+γ<$|xj−c+|−1≥1−j，j=1，.，n−，其中通过使用类内和类间散布矩阵。在我们的集合中，有C个不同的仿射子空间，正+ +n = 1，n = 2，n=1，n=（十五）每个人在画廊，并决定是基于最近的距离仿射子空间。3.2. 判别凸包与仿射壳相反，凸包具有指数地多个小平面，因此它们不能像仿射壳中那样直接显式地存储。因此，当找到从查询样本到图库中的类的凸包的距离时，必须在线这个问题的一个解决方案可能是找到最好的分离锥的超平面这里，λ是w+的正则化权重，s>0是用户提供的用于增加γ+的成本惩罚的向量，并且b+被固定为1。此优化问题通过使用随机梯度（SG）方法。我们为图库中的每个类别c解决优化问题（15），并计算EPCC分类器参数wc，γc。然后，我们通过使用以下包含简单点积的函数来计算从查询图像样本到每个类的多面体接受区域d（x，Hconv）=w（x−c）+ γ|X−c|-1。vex外壳的一个类从其余的类样本由我们-使用线性SVM分类器，因为线性SVM返回查询ccquery cc查询C（十六）正类和负类凸包之间的最佳分离超平面[1]。然后，可以通过简单的点积计算从查询样本到分离超平面的距离来近似距离然而，当图库中的类的凸包不可由线性超分离时，这种解决方案将不起作用在仿射外壳的情况下，我们计算k个最接近的查询对每个图库类的距离进行采样，并计算它们的平均值x′c。然后，我们将查询集Xq分配给产生最小距离的类我们使用下面的判决函数，平面如图所示。1.一、如图所示，不可能分离红色的凸包g（Xq）= minc=1，…C（xc）.（十七）通过线性超平面将中间的类样本从其他类中分离出来。另一方面，在这种情况下可以使用[4]的多面体圆锥分类器（PCC）。 而不是与线性SVM分类器相比，PCC分类器可以返回包围正类样本的紧密多面体接受区域。这些紧凑的多面体接受区域可以用来近似类的判别凸包，并计算从查询样本到在线决策过程非常快，甚至可以与线性仿射外壳相媲美，因为我们需要实现两个简单的点积。对于区别性仿射壳，跨越区别性壳的特征向量的数量大多大于2。因此，决策过程是慢得多的歧视性凸包相比，这是近似使用紧凑的多面体接收区域。++10128(a)（b）（c）(d)（e）（f）图1.用于2D合成数据的PCC分类器的可视化：类的正接受区域是包含相应类点的“风筝状”八面体，其中线性超平面位于L1锥之上。(a)：4个不同类别的2D数据样本和所得近似凸包。（b）：3D中类的组合多面体圆锥函数（c）-（f）：每个类别的3D阳性类别接受区域的视图应该注意的是，Cevikalp和Yavuz [5]也使用EPCC分类器进行基于集合的识别。然而，它们的设置与我们在这里提出的设置完全不同。Cevikalp和Yavuz [5]和Hayat等人。[14]使用区分分类器来分离图像集。但是，它们训练将查询集图像与图库图像分开，这需要在测试期间在线训练二进制因此，这两种方法的测试时间是非常长的实时应用程序，特别是对于大规模的数据集，在我们的实验中给出相反，我们的学习过程是离线完成的，我们只是在在线测试中实现简单的点积。4. 实验我们测试了所提出的方法，歧视性AH和歧视性CH，使用歧视性仿射/凸包在5个数据集上用于基于图像集的人脸识别和验证。这些是点和射击人脸识别挑战 （ PaSC ） [2] ， YouTube 名 人 [21] ， COX [17] ，ESOGU [33]和FaceScrub[25]数据集。通过使用局部二进制模式（LBP）特征或卷积神经网络（CNN）特征来表示图像。我们将所提出的方法与使用生成学习的仿射/凸包的其他方法以及文献中的一些不同模型进行了比较，包括凸包方法（CHISD）[3]，仿射壳方法（AHISD）[3]，二元EPCC [5]，SANP [16]，Mu-[34]，正则化最近点（RNP）[36]，SPD流形[18]，流形-流形距离（MMD）[29]，协同正则-最近点化（CRNP）[32]和自正则化非负自适应距离度量学习（SRN-ADML）[24]。对于SPD流形，使用其均值增强的集合的协方差矩阵来创建SPD矩阵，如[18]所示，我们使用对数欧几里德度量来衡量它们之间的相似性。4.1. 基于PaSC数据集的人脸验证实验对于人脸验证实验，我们使用了点和射击人脸识别挑战（PaSC）数据集[2]。PaSC数据集包括265人进行简单动作的2802个视频。视频在两种不同的设置下录制在我们的实验中，我们使用了[19]提供的人脸图像的深度CNN特征。在PaSC上，有两个视频人脸验证实验：控制对控制和手持对手持实验。在这两个实验中，目标和查询集包含相同的视频集。该任务是通过与相关联的目标视频进行比较来验证查询视频中的声称的身份。由于相同的1401个视频用作目标和查询集，因此为了测试方法，我们遵循与[19]中使用的相同的测试设置：我们首先计算成对人脸视频之间的相似性并创建相似性矩阵。然后，使用该矩阵创建ROC曲线，并报告错误接受率为0.01时的验证率。此外，我们还报告了从精确-召回曲线获得的平均精确度（mAP）分数。我们设置最接近查询的数量10129表1.PaSC人脸验证实验的结果方法PaSC质控品PaSC手持式核实率（%）最大平均接入点（%）核实率（%）最大平均接入点（%）区分性AH88岁76七十66七十七。39六十岁。37判别CH九十三31七十六。82八十五0068岁33线性AHISD八十9761岁90六十五14四十六岁。76线性CHISD88岁48七十1174岁0155. 49MSM84. 16六十五23 69岁。6850块55三普86岁。8867岁48七十一73五十三12RNP75. 51五十四62 五十四84三十六42SRN-ADML84. 6366岁。93 69岁。3652岁10CERML-EG [19]八十11–七十七。37–DAN [27]92. 06–八十33–对于判别AH方法，样本k至20，对于判别CH方法，样本k至结果报告在表1中，它们支持我们的主张，即判别模型显着优于生成学习模型。更具体地说，所提出的判别式AH方法在控制数据集上比生成学习的仿射外壳提高了约8%，在手持数据集上提高了约12%。类似地，所提出的判别性CH方法在对照数据集上改进其生成对应物约5%，在手持数据集上改进其生成对应物约11%。此外，所提出的判别CH方法在所有测试方法中达到了最佳精度，并且显著优于DAN（判别聚合网络）方法[27]的先前最先进结果以及CERML-EG的精度[19]使用我们在测试中使用的相同CNN功能。据我们所知，我们的结果是最好的准确性报告的PaSC数据集在文献中。4.2. 基于集合的人脸识别4.2.1YouTube名人数据集上的实验YouTube Celebrity数据集包含从YouTube收集的47位名人的1910个视频每个序列包括不同数量的帧，这些帧大多是低分辨率的。 数据集不提供裁剪面从视频中。因此，我们使用半自动注释工具手动裁剪人脸，并将其调整为40×40灰度图像。然后，我们提取LBP特征。我们通过随机选择9个视频（3个 用于训练，6个用于测试）进行10 次实验根据[37，28]的相同协议分类率和测试时间的平均值最近的查询样本的数量k被设置为7，用于区分性仿射和非区分性仿射。10130表2.分类率（%）和测试时间在YouTube名人数据集。方法精度测试时间区分性AH七十一5±2。00的情况。3秒判别CH七十一2±2。20的情况。1秒线性AHISD62. 0 ±2。439岁7秒线性CHISD六十五7±2。523岁6秒二进制EPCC七十二1±2。4五、7秒MSM63岁8±2。3二、4秒三普五十八6±3。875. 5秒RNP68岁4±2。620块6秒CRNP七十一2±2。6七十六。6秒SPD歧管五十八9±2。37 .第一次会议。1秒SRN-ADML63岁6±2。9七十六。1秒MMD六十五5±2。5三十四0秒凸壳方法这两种方法都明显优于使用生成仿射/凸包的经典方法，但其精度略低于达到最高精度的二进制EPCC。然而，所提出的方法是测试时间方面最有效的例如，所提出的鉴别CH方法比二进制EPCC快约57倍，而其准确度仅落后于二进制EPCC 0.9%。4.2.2基于ESOGU-285人脸视频数据集的实验研究ESOGU-285数据库[33，6]是一个视频数据集，由285人组成，每个人有8个视频。在室内环境中，在四种不同的场景下，在两个单独的会话中捕获视频。总人数-10131表3.ESOGU-285视频数据集的分类率（%）和测试时间方法LBP特征CNN特征精度测试时间精度测试时间区分性AH86岁。63 .第三章。7秒八十五2610个。6秒判别CH89岁。0二、8秒八十五707 .第一次会议。6秒线性AHISD66岁。8一百八十0秒81. 32543号8秒线性CHISD七十六。6390秒79岁。82378 6秒二进制EPCC86岁。4二百五十5秒81. 322268号9秒MSM69岁。6五、1秒七十七。02五、6秒三普79岁。1564. 6秒81. 661087 6秒RNP51岁92205 3秒八十79367 8秒CRNPOOM−−OOM−−SPD歧管六十四65五十六5秒七十六。3163岁6秒SRN-ADML68岁4三百八十2秒七十七。46458 5秒MMD七十七。6一百五十4秒79岁。0428岁9秒在2280个视频序列中，帧的BER为764006。就总帧数而言，这是本研究中使用的最大数据集。我们使用了图像样本的LBP和CNN特征。为了提取CNN特征，我们使用了最近最先进的ResNet-101架构[15]。在我们的实验中，我们使用第一个会话视频来形成图库集，第二个会话视频用于测试[5]。实验结果在表3中给出。由于内存问题，我们无法实现CRNP，并且表中的“OOM”表示“内存不足”问题。对于仿射和凸包，最近的查询样本的数量k被设置为95。如表中所示，所提出的方法对于LBP和CNN特征都实现了最佳精度，并且它们显著优于所有其他测试方法。所提出的判别式AH方法在LBP特征上比线性AHISD高出19.8%，在CNN特征上高出3.9%。类似地，判别CH方法比线性CHISD方法对LBP高12.4%，对CNN高5.9%。这些结果清楚地表明了判别模型优于生成模型。此外，据我们所知，所提出的判别CH方法的准确度为89.0%，是在该数据集上文献中报道的最佳准确度。所提出的方法也是测试时间方面最有效的方法。另一个判别分类器，二进制EPCC，实现了第三个最好的准确性LBP功能，但它是非常缓慢的相比，所提出的方法。更确切地说，我们的判别CH方法比LBP特征的二进制EPCC快大约89倍，并且它比CNN特征快298倍。类似地，所提出的判别式AH方法对于LBP比二元EPCC快大约68倍，对于CNN特征快214倍。值得一提的是，所有生成方法的性能都明显优于LBP当我们使用ResNet-101 CNN功能时。这是非常自然的，因为无论我们如何训练生成方法，判别信息都已经包含在学习的CNN特征中。但是，在鉴别方法上没有改进。事实上，与LBP特征相比，它们的准确性较低，这是非常出乎意料的。这清楚地表明，对于基于集合的识别，可以提高用单个图像训练的基于经典深度神经网络的方法的准确性，其中图像具有不同的姿态，除了正面视图之外还包括完整的左/右轮廓视图。为此，我们必须用图像集训练这样的网络，并强制最小化同一集中不同姿态图像特征之间的距离（例如，通过使用三重损失函数而不是普通的软最大损失）来获得更高的精度。4.2.3COX视频到视频数据集COX Faces数据集包含1000个行走个体的3000个视频序列[17]。这些视频是用三个固定的摄像机拍摄的，而受试者绕着预先设计的S形路线行走 对于这个数据库，我们使用从32×40直方图均衡化人脸图像中提取LBP特征。 我们没有提取CNN特征，因为图像的小尺寸每个人有3个图像集我们从每个人身上选了一组进行测试，剩下的两组用作画廊。对于第二次和第三次试验，我们从之前未用于测试的集合中选择了测试集合分类率是这三次试验的平均值，它们在表4中给10132出。对于判别仿射和凸包方法，最近查询样本的数量k与ESOGU数据集类似，所提出的方法再次显著优于使用生成仿射和凸包的方法10133与线性AHISD相比，判别式AH方法提高了11.6%的精度;与线性CHISD相比，判别式CH方法提高了30.3%的精度。在所有测试方法中，提出的判别CH方法获得了最好的精度，并且它显著优于[5]的判别二元EPCC方法精度提高约11%，这是相当大的。所提出的方法在测试时间方面也是最有效的方法例如，所提出的鉴别CH方法比鉴别二进制EPCC方法快大约100倍表4. COX视频数据集的分类率（%）和测试时间。方法精度测试时间区分性AH55. 9 ±13。63 .第三章。4秒判别CH75. 1 ±1。61 .一、7秒线性AHISD44. 3 ±9。882岁9秒线性CHISD44. 8 ±11。3五十四3秒二进制EPCC六十四0±11。5171. 7秒MSM41岁6 ±5。3十八岁6秒三普四十三6±11。2九百七十八。7秒RNP四十五4±13。7217 3秒CRNPOOM−−SPD歧管三十三岁。1 ±9。1九十七3秒SRN-ADML44. 6 ±7。9351 7秒MMD四十二7±10。5六十岁。3秒4.2.4FaceScrub数据集上的实验FaceScrub数据集[25]包括530位名人的面部图像。 它是通过在互联网上自动搜索公众人物来检测人脸，然后手动检查和清理结果而创建的。在数据集中，有265名男性和265名女性名人的面部图像。我们手动检查了人脸图像并清理了非人脸图像，因为仍然存在一些注释错误。结果，我们有530位名人的67，437张人脸图像，平均每人127张图像（最小39张，最大201张），适合形成图像集。人脸图像多为高分辨率正面图像我们将它们的大小调整为128×128。我们提取了这些图像的CNN特征。在我们的测试中，我们首先将数据集分为4个相等的折叠，我们使用一个折叠的图像作为图库，其余的图像用于测试（即，530个图像集用作图库，剩余的3×530 = 1590个图像集用作测试集）。这是重复4次对于每个折叠，最终精度是每次试验中获得的结果的平均值。最近查询样本的数量k对于仿射和凸都被设置为7表5.面部-磨砂数据集的分类率（%）和测试时间。方法精度测试时间区分性AH100 ±0。001 .一、20秒判别CH100 ±0。000的情况。70秒线性AHISD九十九。94±0。05六、17秒线性CHISD九十九。97±0。048. 33秒二进制EPCC100 ±0。00四十六岁。2秒MSM九十九。94±0。050的情况。30秒三普九十九。94±0。0575. 40秒RNP100 ±0。0010个。81秒CRNPOOM−−SPD歧管九十六。20±3。319号。5秒SRN-ADML九十九。95±0。04十四岁78秒MMD100 ±0。00二、45秒船体比较方法的准确度和测试时间在表5中给出。从表中可以看出，所有测试方法都达到了100%左右的非常高的准确度。所提出的方法再次达到最高的精度。所提出的方法也比所有测试方法更快，除了MSM方法，这是最有效的方法，在测试时间为这个数据集。5. 结论本文介绍了歧视性仿射/凸包图像集的人脸识别。与其他独立学习生成模型逼近人脸图像集的方法不同，所提出的方法通过将画廊中属于不同人的所有图像集合并来学习判别模型。因此，与使用生成学习模型的方法相比，准确性显著提高。所提出的方法也显着优于用于基于集合的识别的判别方法。准确性的提高是非常显着的，特别是在具有挑战性的PaSC，ESOCU和COX数据集。例如，提出的判别CH方法在COX数据集上比另一种成功的判别方法[5所有这些结果验证了所提出的判别模型比生成模型更适合于基于集合的分类。除了这些准确性增益之外，所提出的方法也非常快，因为我们离线学习判别模型参数，并且我们在在线测试期间仅实施简单的矩阵其结果是，我们获得了298倍的速度超过其他判别方法在文献中。致谢：这项工作得到了土耳其科学技术研究委员会（ TUB stecitak ） 的 支 持 ， 资 助 号 为 EEEAG-118E294。10134引用[1] 作者：Kristin P. Bennett and Erin J.布莱登施泰纳支持向量机分类器中的对偶性和几何性。2000年，国际机器学习会议。4[2] 放大图片创作者：David S. 布鲁斯·博尔梅Draper，Geof H.作者：张浩，张文辉.作者：Patrick J.弗林，还有苏城。数码傻瓜相机的人脸识别挑战。在BTAS，2013年。5[3] 哈坎·切维卡普和比尔·崔格斯基于图像集的人脸识别。在IEEE Conf. Comput.目视模式识别。，2010年。一、二、五[4] 哈坎·切维卡普和比尔·崔格斯用于视觉目标检测和分类的多面体圆锥在CVPR，2017年。4[5] Hakan Cevikalp和Hasan Serhan Yavuz。使用图像集进行快速准确的人脸识别在ICCV研讨会，2017年。二、五、七、八[6] Hakan Cevikalp，Hasan Serhan Yavuz，and Bill Triggs.基 于 凸 壳 的 视 频 人 脸 识 别 。 IEEE Transactions onCircuits and Systems for Video Technology，第1-1页，2019年。6[7] 放大图片作者：Chen Shaokang，Conrad Sanderson，Mehrtash T. Harandi和Brian C.洛弗尔通过联合稀疏近似最近子空间改进图像集分类。在IEEE会议Comput.目视模式识别。，2013年。1[8] 作者：Chen Yi-Chen，Vishal M.Patel、Sumit Shekhar、Rama Chel-lappa和P.乔纳森·菲利普斯。通过联合稀疏表示的基于视频的人脸识别。在IEEE国际会议上在自动机上。面部手势识别。，2013年。1[9] Zhen Cui，Hong Chang，Shiguan Shan，Bingpeng Ma，and Xilin Chen.基于视频的人脸识别的联合稀疏表示。神经计算，135：306-312，2014。1[10] Jihun Hamm和Daniel D.李你格拉斯曼判别分析：基于子空间学习的统一观点 在Int.马赫会议学习. ，2008年。1[11] Munawar Hayat，Mohammed Bennamoun，and SenjianAn.学习图像集分类的非线性重建模型。在IEEE Conf.Comput.目视模式识别。，2014年。2[12] Munawar Hayat，Mohammed Bennamoun，and SenjianAn.反向训练：一种有效的图像集分类方法。2014年，在ECCV。2[13] Munawar Hayat，Mohammed Bennamoun，and SenjianAn.用于图像集分类的深度重建模型。IEEE传输模式分析马赫内特尔，37：7132[14] Munawar Hayat，Salman H.可汗和穆罕默德·本·纳蒙。为基于图像集的人脸识别提供简单的二进制分类器国际计算机视觉杂志，123：479-498，2017。二、五[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。7[16] 胡益群，阿杰马勒.米安和罗宾·欧文斯基于稀疏近似最近点的人脸识别集. IEEE传输模式分析马赫内特尔，34（3）：1992-2004，2012. 一、五[17] Zhiwu Huang，Shiguang Shan，Ruiping Wang，HaihongZhang，Shihong Lao，Alifu Kuerban，and Xilin Chen.基于cox人脸数据库的视频人脸识别基准测试与比较研究。IEEE图像处理，24：5967-5981，2015。五、七[18] Zhiwu Huang ， Ruiping Wang ， Xianqiu Li ， WenxianLiu，Shiguang Shan，Luc Van Gool，and Xilin Chen.SPD流形上的几何感知相似性学习。IEEE Transactionson Circuits and Systems for Video Technology，28：1318-1322，2018。一、五[19] Zhiwu Huang，Ruiping Wang，Shiguang Shan，Luc VanGool，and Xilin Chen.跨欧几里德-黎曼度量学习及其在视频人脸识别中的应用。IEEE Transactions on PatternAnalysis and Machine Intelligence ， 40 ： 2827-2840 ，2018。一、五、六[20] Zhiwu Huang，Ruiping Wang，Shiguang Shan，XianqiuLi，and Xilin Chen.对称正定流形上的对数欧几里德度量学习及其在图像集分类中的应用。ICML，2015。1[21] Minyoung Kim，Sanjiv Kumar，Vladimir Pavlovic，andHenry Rowley.真实世界视频中具有视觉约束的人脸跟踪和识别 在IEEE会议Comput. 目视模式识别。，2008年。5[22] Luoqi Liu，Li Zhang，Hairong Liu，and Shuicheng Yan.无约束视频中的大规模人脸识别。 IEEE Trans. onCircuits and Systems for Video Technology ， 24 ：1874-1884，2014. 2[23] Yu Liu，Junjie Yan，Wanli Ouyang.质量感知网络用于集对集识别。在IEEE Conf. Comput. 目视模式识别。，2017年。2[24] Ajmal Mian，Yiqun Hu，Richard Hartley ，and RobynOwens.基于图像集的自正则非负编码和自适应距离度量学 习 人 脸 识 别 。 IEEE Transactions on ImageProcessing，22：5252-5262，2013。5[25] Hong-Wei Ng和Stefan Winkler。一种数据驱动的清理大型人脸数据集的方法。IEEEInternational Conference onImage Processing，2014。五、八[26] 饶永明、纪林、陆纪文、周杰。学习判别聚合网络在视频人脸识别中的应用。IEEE计算机视觉会议，2017年。2[27] 饶永明、纪林、陆纪文、周杰。 学习判别聚合网络在视频人脸识别中的应用。InICCV，2017. 6[28] 王瑞平和陈西林。流形判别分析。在IEEE Conf. Comput.目视模式识别。，2009年。 6[29] 王瑞平，单世光，陈西林，高文。流形-流形距离及其在基于图像集的人脸识别中的应用 在IEEE会议Comput.目视模式识别。，2008年。5[30] 王铁生和石鹏飞。核格拉斯曼距离与判别分析在图像集人脸识别中的应用。Pattern Recognition Letters，30：1161-1165，2009. 110135[31] 王文、王瑞平、Shiguang Shan、陈西林。图像集分类的原型判别学习。IEEE Signal Processing Letters，24：1318-1322，2