多特征描述子在群体照片中的人脸识别方法及实时背景场景下的应用

沙特国王大学学报基于多特征描述子的群体照片卡皮尔·朱内贾Maharshi Dayanand大学计算机科学与工程系，307，Sector 14，Rothak 124001，Haryana，印度阿提奇莱因福奥文章历史记录：2015年10月23日收到2016年9月10日修订2017年2月20日接受2017年2月23日在线发布关键词：全视图局部视图结构LBP情景合影A B S T R A C T人群中的人的检测是人脸识别中最迫切需要解决的问题。组中的面部可以包括面部定位、部分遮挡以及面部重叠和实时背景场景的关键性。本文提出了一种适用于群体图像的单人和多人识别方法。这种方法首先定位了个体的面部区域通过观察椭圆图，将这些识别出的人脸划分为完整或在执行识别时，将对两个面部组应用采用LBP、Gabor和基于结构特征融合的距离分析方法进行人脸识别这些方法将单独和联合应用于识别面部图像。部分人脸识别在这里暗示使用判别结构分析。该构造地层在此使用构造点和基弧识别来获得最大结构点和曲线比率图被认为是识别图像。在家庭、办公室、教室和路边捕捉多个场景的群体图像对复杂场景和场景下的全视和部分视图像分别进行了实验判读。在此，将该评价应用于执行面部区域识别和团体照片识别。人脸区域提取应用于八个数据集。这些数据集是IMM，Caltech，CMU，Bau，FDDB，LFW，Pointing和Self CollectedDataset。人脸提取适用于复杂背景图像与单一和多个人脸。对比评价表明，该模型的本地化阶段降低了FAR和FRR。完整的识别模型应用于实时家庭数据集，与LFW和FDDB数据集相关联的随机网络名人数据集。对不同场景下正面和局部人脸图像的识别进行了评价人脸识别的比较结果与PCA，ICA和PCA-LDA方法进行了评估实验结果表明，本文提出的方法提高了完整人脸和部分人脸的识别精度©2017作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍团体照片是最标准的捕获的照片形式，在正在进行的情况下，无论是作为家庭照片，场合驱动捕获照片或任何监视系统的图像帧。集体照片识别可以隐含在各种应用领域，包括教室考勤系统，门口监控摄像头等。有时，在执行识别时，个人图像不可用，或者识别系统直接连接到可以捕获个人或集体照片的摄像机设备。在这种情况下，识别系统需要电子邮件地址：gmail.com，kapil.juneja.1981@www.example.comieee.org制作和主办：Elsevier应用于组图像中的面。这种识别系统在诸如通过监控摄像机进行犯罪现场监控的真实场景中是有效需要的。应用于群体照片的识别系统是相关的挑战。对系统的第一个挑战是识别图像中每个人的面部区域。该视图区域可以是完整的或部分的。随着场景复杂度的提高，人脸区域可能会被另一个人或场景中的某个物体所覆盖。在图1中，人6被人7部分地重叠，这隐藏了那个人的面部信息中的一些。姿势变化（Takallou和Kasae，2014）、侧视图和方向对于不同的人可以是不同的，如这里在人1、2和3中所描绘的。所有人都有不同的头部方向。这样的方向，有时只给人的侧面的看法.在这样的场景特定捕获中，距相机点的方向和距离测量可以不同。人1和人8的相机集中方向完全相反，而人7和人3的距离方面完全不同。基于这一观点，http://dx.doi.org/10.1016/j.jksuci.2017.02.0021319-1578/©2017作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com186K。 Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185- 207Fig. 1. 示例组图像。面部图像大小可以不同。所有这些差异都表明，集体照片拍摄需要大量的预处理，以将每个面部图像转换为个人面部。在本文中，执行人脸识别的团体照片，一个独特的过程中，cess的面部区域分割，以及从组中识别个人的面部图像。如果背景场景与面部对象部分重叠，或者场景颜色、光线或对比度与面部区域混合，则此类组照中的背景场景也会造成混淆但是，如果背景场景是已知的，这是在这样的图像上的真实现象，那么背景掩模可以被应用于识别面部区域容易。这种识别系统的应用范围非常广泛，可以应用于犯罪嫌疑人的身份识别甚至可以在社交媒体和在线共享的照片上识别这些嫌疑人在社交媒体上分享的照片可以被分析，以确定一些主要嫌疑人。意外捕获的照片或刺痛捕获的照片和视频帧可用于识别-嫌疑人的身份1.1.问题陈述组照是在公园、医院、火车站等真实场景中实时拍摄的照片。由于这些照片可以使用固定摄像机、闭路电视摄像机或偶然拍摄，因此几乎不可能获得某些嫌疑人的清晰视图。利用局部人脸图像在实时捕获的条件下对犯罪嫌疑人进行身份识别是非常关键的。正因为如此，需要一个完整的模型，可以从组照片中识别面部对象，以及在完整和部分面部图像上应用单独的特征测量来提高面部识别。在本文中，提供了一个完整的框架，以涵盖这些常见的问题，集体照片识别。在与集体照片识别的应用领域合作该框架对集体照片中的每一张人脸都进行了独立的识别，并将其分类为包和分数视觉图像。然后应用分离的算法蕴涵提取具有代表性的特征论坛。该特征轮廓应用于具有一定范围映射的个体面部特征，以确定具有下限规定这项工作是隐含在自我捕获的图像数据库。为群体图像的人脸识别提供了一种鲁棒、可靠的解决方案。基于观察，分别提出了完整和部分人脸识别的算法解决方案。在本节中，提供了集体照片识别的要求和复杂性。讨论了与应用有关的地面可靠性和识别过程中存在的问题本文所提供的方法考虑了所有这些关键因素。第二节讨论了早期研究者的贡献和工作模式的意义。在第3节中，提供了集体照片识别的框架。在第4节中，提供并讨论了完整人脸识别的算法规范。在第5节中，给出了基于比率驱动的局部人脸识别在第6节中，提供并讨论了实时捕获照片和网络捕获照片的实验。2. 相关工作集体照片识别（Liao等人，2014; Kaur和Kaur，2013;Shelke，2013）是较少研究者考虑的罕见且复杂的应用领域。这个应用领域仍然需要研究人员的大量考虑。大多数研究人员提供了应用方面的工作（Manyam等人，2011）特定的团体照片识别，包括学生认证系统（Tamimi等人，2015）、犯罪调查（Manjula和Santhosh Baboo，2012）等。这些识别系统的基础是识别面部区域并分离个体面部图像。研究人员应用聚类方法（Barr等人，2014年，他将组面。这里可以基于约束观测（Junjea，2015）形成聚类，包括姿态变化、距离变化或照明变化（Juneja，2015）。采用距离集合聚类的方法对分类算法进行改进。 约束聚类是研究人员在早期阶段提供的，以减少识别错误。利用连通分量模型聚类形成的距离生成分量权重，将相似的待聚类分量保留在一组中。分类方法的可靠性取决于聚类方法。为了适当地应用识别算法，需要观察基本的面部特征以将图像转换为归一化图像。Xu等人（2016）设计了一个框架，将面部数据集转换为轴对称形式，以提高面部识别的准确性这种虚拟归一化图像处理减少了图像中在识别阶段以较少的计算量达到了较高的准确率Haghighat等人（2016）对面部图像进行归一化，以提高识别过程对非正面和变化照明K. Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185-207187问题作者使用主动外观模型来改善面部特征，使其与标准特征形式兼容。针对不同复杂度和临界度的人脸识别的质量取决于所生成的特征空间。大多数优化识别过程的研究都是基于特征子集生成的方法。Gabor滤波器（Abhishree等人，2015）是一种这样的滤波器，其以不同的指定角度进行处理生成Gabor图像。Mahbubur Rahman等人（2016）使用使用全局和局部特征形成区别特征集。采用固定阶矩的启发式方法作为二维特征空间，提高了识别精度。通过应用Zernike矩引入混合特征描述符（Fathi等人，2016年）的Gabor滤波器结果。将全局特征与局部特征形式相结合，提高了识别的准确性识别方法。Liu等人（2016 b）使用了基于重叠局部斑块的局部结构观察。利用概率分布观测值的熵估计来提取相位特征。该方法利用多特征对人脸图像进行多阶段分类.判别（Juefei-Xu和Savvides，2016）信息是使用LDA（线性判别分析），UDP（无监督判别投影）和LPP（局部保持投影）方法提取的基于降维的子空间特征形式。为了生成多方面特征，更有效的Zernike（Fathi等人，2016）的时刻应用的Gabor滤波器。该特征空间提供了旋转不变性和多尺度特征描述子以实现鲁棒的人脸识别。通过结合使用熵权的块特征分析来提供对Gabor特征的另一改进（Cament等人，2015年）。这种改进的局部归一化方法提供了对姿态变化和光照变化特征增强的补偿。Gabor特征可以与一些统计测量相结合以生成单位长 度 归 一 化 （ Unit Length Normalization ， 简 称 归 一 化 ）（Thiyagarajan等人，2010年），零均值和单位方差方法。归一化方法在不同的特征分类器下应用，以提高人脸识别率。基于Gabor的统计建模可以在图匹配下应用（Zhao等人，2009年），创建本地地标。这种基于局部对准的界标映射能够以更广泛的形式提供轮廓和形状鲁棒的面部特征。Gabor滤波器组（Serrano等人，2011），可以应用高斯宽度来实现对转向面部、照明以及面部表情和遮挡问题的鲁棒性。整体性和分析性的特征组合能够提高识别精度。不同方面下的描述性特征可以是提取以提高计算简单性、鲁棒性和准确性。LBP（Local BinaryPattern）是一种基于广泛邻域分析的纹理特征表示形式LBP可以应用于图像区域空间或直方图区域空间（Yang和Chen，2013），以促进分类方法中的特征利用具有金字塔的加权扩展局部二进制模式（Gao等人，2013）变换方法生成局部子特征图。在不同的关键问题下，包括遮挡，表情和光照变化，在局部区域提供使用LBP结构的互信息提取（Ren等人， 2015）基于像素差异分析提供的学习被认为是强相关特征选择方法。利用像素差增量的空间特征模式来提高动态人脸识别率。融合过程是在同一层次上定义的两种或两种以上技术或方法的合并。融合过程可以应用在过滤阶段、特征生成阶段或识别阶段，以提高人脸识别的准确性和效率。Zhang et al.（2016）在特征生成阶段使用了相同的策略，使用了LBP（Local Binary Pattern）和Gabor滤波器。该方法对人脸图像的纹理变化、结构变化和几何变化具有较好的鲁棒性。基于欧几里德和流形的特征融合（Chen等人，2015）结构被考虑以生成区别特征空间。利用该融合方法，给出了一种局部保留投影下的结构量化测度。组合的结构特征区域能够提供更高的识别率。不同的研究人员确定了不同的优化和特征训练方法，以提高面部识别。Liuet al.（2016a，b）给出了一种基于改进的柔性流形嵌入（FME）的基于标签的学习方法。作者还使用了分数融合方案来适当地预测标签。 使用体素的机器学习方法的另一种改进（Li等人，2016b）基于形态测量学的分析。提出了一种基于线性回归方法的预测模型，用于识别患者的路径生理状态。在高形式聚类中，姿态（Li等人，2014）是可能增加识别时间误差的主要约束。基于特征尺寸的调整，需要对姿势难度分辨率进行里程碑式的工作。通过对分割区域的形状、纹理和位移场进行语义观察，得到分割区域的比较观察结果。这些约束与邻居级的置信度的措施，以确定集群成员观察。这些参数定向观测对于3D数据库更关键（Min等人，2014年）。这些数据库遭受维度特定的遮挡和照明。数据不确定性（Xu等人，2014年），以及此类数据库中的模式增加。动态方法被应用于获取潜在地表示为面部标志的结构和环境特定的细节。这些标志需要在受控条件下观察各种面部变化。一些适应性（Wang et al.，2014）和动态鲁棒方法来实现可靠和鲁棒的识别公式化。通过相关结构图和样本结构化分析，获得所需的方法观测值，提高识别过程的准确性。为了处理这种不确定的数据、对象和情境变化，不同的训练滤波器（Rong等人，2009年; Xu等人，（2014年）在应用分类方法之前应用。这些方法使原始图像能够进行更具交互性的实时和在线识别（Mallauran等人，2005; Fazl-Ersi等人， 2008）的应用。规则制定可以是距离驱动的（Gunjan Dashore和Cyril Ra，2012）或基于一些智能分类方法。该框架还涵盖了所有实时关键性和观察，以实现高识别率。框架和算法阶段对应的工作在接下来的部分。3. 拟议框架该框架的目标是为人物人脸数据集的一组图像提供准确的个人人脸识别。动态本能分析提高了将其应用于各种应用的潜力，包括犯罪调查，课堂出勤或网络犯罪检测。图2所示的框架能够提供一些关键解决方案，更好地识别群体照片中的个人。在人脸区域分割、人脸分类、特征信息提取和识别的各个阶段都采用了运动学观测。算法方法的动态行为符合预期的问题推导。在不同的窗口规格下，结构和统计方法协同工作。本地化和拆分融合特征全脸结构判别点归一化的面部数据库（单个面部）结构曲线归一化的面部数据库（单个面部）识别的脸部基于比率的识别（点频率比率和曲线图比率）基于距离的识别（个体特征和融合特征地图）Gabor合影LBP部分面部188K。 Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185- 207图二. 提议的框架。模型的输入（MImg）是多人高分辨率彩色或灰度图像与随机背景场景。输入图像可以有多个面部实例，但不应包括非常接近或相互作用的面部组，如接吻图像，深情的图像等。该模型将工作的地方，个人的脸可以清楚地识别是否与完整或部分视图。在建立了特征约束后，对输入图像进行改进，利用直方图均衡化方法均衡特征约束。应用不应用任何掩模或模板的第一动态过程来获得面部对象或区域。每个提取的面部区域由单独的图像描述。由于来自不同图像的相机距离可能不同，因此基于最大尺寸的面部对象来进行尺寸级别调整。这些调整的面部区域在应用于每个面部区域的定义的椭圆符合椭圆形结构的面被视为全视图面，并放置在同一组中。其余的面部图像被认为是部分视图面部。在对人脸进行分类后，分别采用特征提取和识别方法.由于全脸图像是具有大量决定性信息的正面图像。该信息提取使用LBP（局部二进制模式）、Gabor和结构方法来应用。LBP生成纹理特征，以独立于照明和计算能力的统一形式呈现描述信息。获得面部描述符的局部基元以考虑相干特征。Gabor滤波器是一种与方向无关的线性测度，它从多个视点生成特征模式。特征的产生是基于频率，边缘和方向矢量在空间域。核函数被应用到细胞规格，以获得感知特征。该方案通过对结构特征进行伪装来表示信息区域。每个区域中的大多数合格点被用来表示面部结构。在捕获每个全视图人脸上的这些区别特征之后，将基于距离的映射应用于DB图像。应用核特定映射来识别最大识别的面部图像。重组过程适用于单个和组合特征方法。对人脸图像进行融合处理，结合特征信息。基于对四种不同特征模式的这些距离观测，最大匹配图像被认为是用于全面部地图的合格图像第二步提取的部分人脸群是对较小人脸区域更为关键的一组。这种较少的信息被认为是有区别的面部区域，这是量化下的区别性特征评估方法。评估分两个阶段进行。在第一阶段中，识别特征被提取来表示人脸图像上的信息区域。基于纹理信息、可见性信息和边缘信息，采用了基于段驱动的信息量化方法.点表由判别特征点组成。在将曲线识别为连通边点的基础上，进行了另一种判别观察。利用高频和边缘特征观测值生成人脸图像的判别曲线。这些判别点和曲线与数据库图像判别特征进行比较。该比较分别应用于位置和强度值观测。 将最大比例的点映射作为子模型得到的结果图像。从模型中可以理解，为了应用个体面部识别，需要首先识别面部区域并将它们分别分类到可用的面部信息。在本节中，将描述这两个阶段。3.1. 个体人脸识别在实时场景中对通过静态或视频摄像机捕获的图像进行分组。这些视频或图像可以具有已知或未知的场景。为了从图像中提取人脸目标，需要实时去除这些复杂背景并提取人脸区域。如果背景场景是已知的，则可以应用清晰减影方法这种基于背景掩模的去除在图3（a）如果场景是通过摄像机捕获的，并且该组人不是静止的，则可以观察电影帧之间的运动分析以识别帧之间的相似性，如图3（e）如果一个静止的图像与未知的场景是可用的，那么一些智能观察需要识别的个人。为了提取人脸区域，在调整颜色和颜色模式后检测肤色区域。在预处理期间，通过调整光干涉来提供光和颜色补偿。通过在平均颜色值上增加一定的颜色公差这个球-K. Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185-207189图三.单个、组图像和视频中的面部区域分割（a）该方法首先将图像在YCbCr颜色空间中进行变换，然后在亮度层上进行处理，并在最后阶段，高斯分布相结合，以实现颜色差异和亮度无关的皮肤选择，并避免面部重叠。应用孔洞填充以避开较小的皮肤区域，包括手、脚等。该模型的算法实现如表1所示。表1中定义的算法均衡了应用于RGB模型的颜色特征。使用统计推导对每层进行强度观测利用平均亮度-亮度差分析实现了光照不变图像的重构这种颜色空间转换被应用于将图像改造为YCbCr模型。为了识别肤色，对50+组实时图像进行分析以确定阈值限制。此限制应用于亮度层，以获得图像上的皮肤区域。分别对均值进行高斯滤波，得到亮度滤波的区域不变性此过程在图像上生成皮肤片段通过应用面积大小的条件来最后，如图3（d）、（h）和（j）所示，获得高度准确的皮肤3.2. 基于椭圆图的人脸视图分类皮肤区域扭曲应用于多人图像，发现图像中的所有人这些面部区域大小不一因为与相机的距离、姿势或遮挡。要应用的识别是必不可少的，然后在个人的人脸图像。每个人脸图像必须用相同的几何特征来解释。分别对正面和较大的人脸图像应用尺寸级的个体人脸重构。这些大小调整后的人脸图像被认为是识别过程的测试图像。但是为了应用识别特征方法，需要基于面部视图内容观察对图像进行分类。对于这种分类，椭圆形图被应用于面部图像，如图4所示。这个椭圆在圆周点处被分成N个较小的部分。评估每个分段点的面部连接。该方法通过对圆周段上连接点的数目进行动态计算，并与给定的界限值进行比较，来判断该面是完整面还是局部面。本文将个体测试集分为全脸测试集和部分脸测试集。基于椭圆图的面部分类的算法公式如表2所示。该算法首先对人脸基图像进行识别，然后分别对每幅测试图像的物理参数进行这些结构化测试图像映射为生成的椭圆形，每个椭圆形的圆周距离为30°将检测到的触摸点数量与阈值限制进行比较，将其分为完整人脸数据集和部分人脸测试集。在这个阶段之后，现在两个不同的测试集是可用的，可以在其上应用识别过程。N算法输MImg//多人图像过程：2.强度3。4.1. LayerR LayerG LayerB]=GetLayers（MImg）//生成颜色层生成最小、最大和平均照明平均值的分层统计数据5.6.7.生成平均聚集强度图像为每个彩色层应用基于变化分析的颜色平衡：LayerR，LayerG，LayerBReformedImg=GenerateImage（ReformedR，ReformedG，ReformedB）//生成平衡的重组图像生成YCbCr彩色模型图像并分离各层对LuminanceImg应用范围阈值以生成皮肤区域8.生成预期的平均值计算SkinImage 9.应用TImg=Transform（CbImg，CrImg）生成交通特征图像10.将高斯分析应用于均值差分析DImg=（Timg-TransitMean）2用于邻域分析11.应用乘法增强以突出显示皮肤区域阈值 *DImg*（Timg- TransitMean）212.应用动态阈值以识别更精细的蒙皮区域13.blks=GetBlocks（SkinRegionImg）14.对于Blks start中的每个blk15.如果块长度阈值块类型=背景16.其他blk.type=SkinForeground端端17.ResultImg=重建图像（blk）输出量：ResultImg//组图像的19万 Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185- 207表1多人图像中的人脸识别算法。4. 全人脸识别图案图案¼XSImgi-C2i1本文所描述的框架主要分为两个部分。在第一段中，识别全脸图像是S= 0或11/1在第二分段中，处理部分面部视图图像。在这一部分中，提出了应用于完整人脸识别的特征提取和为了生成特征，使用三种不同的方法收集结构、方向和纹理特征。这些方法被单独应用，以及在融合过程中提供解决方案的情况下，在图像中的方向，照明，姿态变化和非线性。这些提取的功能进行比较，单独和集体使用基于距离的方法与内核规范。这种核控制距离映射能够通过覆盖识别方法来识别图像。在本节中，将解释所有的特征提取和识别方法。4.1. LBP特征方法LBP（Local Binary Pattern）算法基于广泛的纹理特征生成统一的纹理模式该信息描述符能够提供旋转无效特征，使得可以导出针对姿势和头部位置该特征测度对强度和对比度参数进行了循环分析，并将值插值作为特征测度。顾名思义，该方法以循环形式应用按位旋转转换来生成模式。可以估计被圆形区域邻居覆盖的区域以生成所指特征。集中像素C（cx，cy）的LBP特征形式在等式中给出（一）这里N是邻居S状态值表示C区域的覆盖集中像素。该局部描述符被应用于利用应用于中心C的径向解释分割的样本点。这种光照鲁棒和旋转鲁棒的纹理方法丢失了一些信息，这标志着不均匀的模式。LBP信息模式具有空间有效形式的统一定义.直方图指示符描述了特色符号。在图5中示出了条形图形式的该特征符号表示，用于识别全视图图像。 这里的图显示了完整的原始图像，LPB形成了提取的纹理形式和相对的直方图特征形式。表3中示出了这种基于径向分割的特征提取和直方图生成的数学表示。根据表3中描述的方法，通过在其上应用圆形区域将个体全视图面部图像划分为较小的分段。这些分割的区域像素被分析为相对于中心像素特定的相邻强度分析。这里应用LBP限定符来生成特征向量。收集这些特征向量以形成结果LBP图像。对得到的特征图像进行直方图处理，生成图像的灰度图。输入：SegImgSet：提取的人脸图像数据集工艺流程：1.2.3.4.5.6.7.8.9.10.分析SegImgSet的密度并确定最大强度图像的索引确定此索引强度图像的大小并将其视为SegImgSet中每个segImg的基本估计，称为开始TsegImg=Transform（segImg，BaseImg.Size）//规范化图像的物理属性为TsegImg生成中心和径向特征以生成椭圆形结构为TsegImg如果TouchCount>Thrshold，则从椭圆形结构化图像中识别触摸点开始FullImageSet.Add（segImg）其他PartialImageSet.Add（segImg）端端输出FullImageSet：具有完整面部的图像集ImagePartialImageSet：具有部分图像集的K. Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185-207191图四、基于椭圆映射的人脸数据分类（a）分割的人脸图像（b）单独提取的人脸图像（c）椭圆映射的人脸。表2用于人脸分类的椭圆形图。4.2. 嘉宝精选Gabor滤波器是一种方向鲁棒的线性方法，它可以探索物体的边缘特征并形成物体的视觉表示。在空间域中，该滤波器用于视点的指定，并通过核指定来识别高亮度区域。该方法是基于低通滤波，它产生的能量点的图像。点探索r hnXhnΣ Σ¼Σ ΣΣ Σð Þ..！！p输FullFaceImgSet：提取的图像，具有完整的面部视图Rad：分割尺寸规格工艺流1.2.3.4.5.ForEach img in FullFaceImgSetbegin将img划分为大小为Rad的径向块，并在RadialSegImage开始使用等式（1）LBP模式设置.添加//生成 的 分段 特征模式集6.7.在LBP_Pattern上生成直方图，称为LBP_HistLBPHist设置.添加（LBPHist）端端输出LBP特征块集：分割的LBP特征块集LBPHist：分段LBP直方图块集192K。 Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185- 207图五. TestFullImg样本图像上的LBP特征结果（a）左姿势样本原始图像1、LBP特征图像和相对直方图特征图像（b）左姿势样本原始图像2、LBP特征图像和相对直方图特征图像（c）右姿势样本原始图像3、LBP特征图像和相对直方图特征图像（d）左姿势样本原始图像4、LBP特征图像和相对直方图特征图像。表3LBP特征形式。或者基于作为对正弦测量的响应的幅度分析来进行区域探测。相位和幅度估计应用于特征计算。频域观测适用于傅立叶变换以及比例值观测。该滤波器生成响应掩模，其具有从不同视点获取的高幅度和相位鲁棒点的评估。该掩模应用于图像的复正弦描述，并从图像中提取特征区域。Gabor核掩码的公式定义在等式中。（二）系统的角度鲁棒性通过从视点规格评估平面特定观测来实现，其获得为IxhnsinhncoshnIx3Iyhn-coshn新仁礼评估相位鲁棒方向点以生成对图像的特征变换。 使用Eq. （四）1lx2gf;h lx;Iy 1/4实验-22Iy22Exp2Pfxhn2hn¼Pn-14这里，p表示特定方向向量的数量其中，f为频率hn表示方向rx和ry表示包络分析的标准差观测值。n表示方向点的数量。在这项工作中，Gabor滤波器被应用在分割的窗口点与指定的方向向量和幅度评估。分割窗口特定的GaborRyK. Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185-207193特征段的评价段（Seg）在等式中给出。（五）Segx，Segy 1/4Seg x; ygf;hlx;Iy5这里，表示应用于图像片段的卷积算子特定窗口将Gabor掩模应用于复数形式的图像。生成的掩模和获得的用于测试的Gabor特征图像如图所示。 六、这里的图包括输入图像以及从不同视点获得的能量和频率分布，以生成Gabor形式。复杂形式图像的方向方面在这里被识别为方向方面。将该特征映射到图像上，生成具有频率和方向鲁棒性的特征图像.表4中所示的算法描述了将图像生成为更小的片段。对于每个片段，完成多个视点的识别。从这些观点出发，生成应用于图像片段以获得特征图像的Gabor特征掩模。4.3. 结构特征为了从人脸图像中提取结构信息，提出了一种改进的曲率生成方法。该方法分为三个子阶段。在第一阶段，基于粗边缘点区域检测提取曲率信息。内部结构的形成采用了基于约束分析这些约束包括高可见性、粗边缘点、连接点的长度和零交叉。该算法利用实极大值确定图像的角点，并利用核函数指定的邻域像素分析生成连通区域。采用带间隙填充的轮廓测量生成主曲率。一个低比例尺的一阶曲率的分析，以实现结构的形状。完成了低宽度边缘曲线和短长度边缘曲线长度(l)该平面的评估在Eq.（六）状态。该高斯向量选择性地应用于x和y平面两者。随着曲率生成过程中，三个不同的约束共同适用于识别结构更主观。在此操作中，将清理较小的块和较薄的最重要的是，具有零交叉的曲率点被计为最终构造的一部分测试集图像的曲率生成如图7所示该图包括人脸图像上的最大特征点以及每个图像的零交叉曲率也在图中示出该方法的算法公式如表5所示。该算法表明，这项工作是单独适用于每个人脸段的标准差基础的可见性分析。当绘制初始曲线时，应用清理以移除不需要的曲线。这种清理基于所生成曲率的大小、密度和交叉点计数。图7中得到的结果表明，该算法提供了一个令人印象深刻的结构形式提取全视图人脸图像。4.4. 基于特征模态的人脸融合在对测试图像进行了有希望的实验后，得到了三种不同类型的图像，分别表示纹理方面、结构方面和旋转鲁棒性方面的上下文信息。融合过程就是要理解这些特征信息，并将其分解为一种内在的模式。基于知识方面的强度，一些权重分配给相关的特征图像。这种突变信息检查根据加权特征效应产生的合成特征图像。这种基于互特征观测的概率信息强调在Eq.（九）、这里的等式表示在第4.1-4.3节中描述的LBP、Gabor和结构方法下应用于三个提取的特征图像这些特征与提取的具有适当权重分配的特征像素采用对数概率乘子来避免零值，并生成实时特征数据。基于概率幅度分析，形成结果融合图像等式影响如图（8）ExpCurveilluminescence曲线图1;2;3;4;5;ResIm gx;yxXXwip tx;ylog g. Ptx;yΣð9Þ通过在分段窗口上应用卷积算子，由方程得到关于标准偏差的平面导出评价（7）和（8）xl;rlxl Gaussianl;r7x;y2LBPx;y2GIx;y2CI在这里，LBP是LBP特色图片GI is Gabor精选图片PtxPtyyl;rl;r8高斯滤波器在这里应用于分段窗口形式。该评价基于对标准器械的差异观察CI是曲率提取特征图像x，y是图像的平面导数Pt是从应用融合w是分配给每个特征形式的权重见图6。FullViewTestSet上的Gabor滤波器的结果（a）样本图像1的能量、频率分布和Gabor特征（b）样本图像2的能量、频率分布和Gabor特征（c）样本图像3的能量、频率分布和Gabor特征（d）样本图像4的能量、频率分布和Gabor特征输fullfaceImg：是从集体照片wsize：矩形分割窗口工艺流1.2.3.4.5.为segBlks中的每个块生成wsize的fullfaceImg的n，m个segBlks开始使用等式（6）生成称为面曲线的初始相位曲率从facecurveif width = 1 Or Size = 2//修剪较小的断开连接的曲线段，然后6.Facecurve=0其他//通过连通性分析7.8.从面曲线分析中如果facecurve.crosscount>0，则facecurve=0elseCurvatureFace.Add//删除包含交叉曲线9.10.端11.端输出CurvatureFace：返回曲率框架曲线作为最终结构化图像。194K。 Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185- 207表4Gabor特征图像算法。表5零交叉曲率生成算法。该融合过程应用于全脸测试图像的结果如图所示。8.第八条。在这里，该图显示了使用Eq.（九）、该图显示了应用于样品的融合过程XK. Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185-207195见图8。特征融合结果（a）源特征图像和融合图像的融合过程（b）图中考虑的其他测试的融合结果图像。7.第一次会议。见图7。基于结构特征的曲率结果（a）样本图像1的提取的交叉点和结构（b）样本图像2的提取的交叉点和结构（c）样本图像3的提取的交叉点和结构（d）样本图像4的提取的交叉点和结构。图像以及显示其他测试图像的结果图的第一层显示了在三种不同方法下生成的特征图像在第4.1-4.3节中已使用结果公式探索了每种方法采用对数概率权重驱动的融合过程生成算法第二级的组合特征图像在第三级，示出了从三个样本图像获得的一些4.5. 基于核的距离自适应识别为了在训练集上识别个体组面部，需要在训练集上应用相同的特征模型。这些特征集具有光照不变性和方向鲁棒性。由于完整的面部视图是可见的，因此面部特征中缺少遮挡的机会即使这样，结构图也能够处理这种情况。为了按照预期的姿势执行识别，应用了基于距离分析图。在查询图像上识别预期的姿势方向，该查询图像随后被应用于具有角度规范的方向方面。为了覆盖训练集中的所有姿势位置，在该姿势上生成每个像素的多个位置。每个direc- tional视图，然后与基于距离的映射下的训练特征进行比较。一个对角线分割的方法与密度和地理区域分析应用到一个像素区域的所有三个特征的脸，如图所示。9.第九条。为了估计姿态，面部图像被划分为应用于查询的两个对角线上的三个分裂，如图9所示，连同区域编号。每个对角差区域根据像素密度和覆盖的地理区域进行分析。在表6中获得的规则公式。在估计姿态之后，获得底角。现在，查询图像上的像素位置用角度范围规范更新。h变化主观面部生成应用于被称为d h的角度变化以覆盖60°的范围。基于这些角度的面部更新，多个查询的脸被生成，并基于距离的观察被应用于训练图像。这种非线性结构化限定符适用于所有的个人特色面和融合面.这些N生成的有序m结构面的线性连接面。该窗口点zi分别到任意点zp的特定距离测量在等式2中给出。（十）Nzpjjzp- zijjjjzp-zijj 101/1其中Zp、Zi是 LBP、GI和CI。表7中示出了应用于这些查询形成的图像的不同训练集的实验。该算法在每个特征图像以及融合特征图像上示出了表6中描述的规则实现。采用具有相位鲁棒性的欧氏距离图进行有效的人脸识别。该模型的实验结果在第6节中讨论。5. 部分人脸识别根据第3节中描述的框架，组图像也可以具有部分面部图像。在这些人脸图像中，由于某些人或物体的重叠，部分人脸信息被隐藏或不可用在本节中，描述了这些部分面部的识别过程。在提取出部分人脸区域作为单独的图像之后，接下来的工作是从部分人脸图像中提取这些特征为了生成特征表，本文描述了两种不同的方法XX196K。 Juneja/Journal of King Saud University- Computer and Information Sciences 31（2019）185- 207见图9。 查询图像中结构变化的姿态估计（a）用于右姿态估计的对角特征提取（b）用于左姿态估计的对角特征提取。表6用于姿态估计的规则公式化。规则判定Nqsx;yfx·rgx;y·Rthr·txx;y11r1其中，N =旋转过渡如果（密度（区域1）DenThresh1和覆盖面积（区域1）

下载后可阅读完整内容，剩余1页未读，立即下载