QMagFace：基于质量感知的人脸识别模型

3484QMagFace：简单准确的质量感知人脸识别PhilippTerh oürst124，MalteIhlefeld3，MarcoHuber23，NaserDamer2，FlorianKirchbuchner23，Kiran Raja1，Arjan Kuijper231挪威科技大学，挪威2弗劳恩霍夫计算机图形研究所IGD，德国3德国达姆施塔特工业大学4德国帕德博恩大学电子邮件：philipp. uni-paderborn.de摘要在这项工作中，我们提出了QMagFace，一个简单而有效的人脸识别解决方案（QMagFace），它结合了质量感知的比较分数与识别模型的基础上的幅度感知的角度利润损失。所提出的利用利用损失引起的质量与其比较分数之间的线性关系，我们的质量感知的比较函数是简单的，具有高度的可推广性。在几个人脸识别数据库和基准上进行的此外，所提出的QMagFace方法在具有挑战性的情况下表现得特别好，例如交叉姿势，交叉年龄或交叉质量。因此，它导致国家的最先进的性能在几个人脸识别基准，如98。50%的数据库，83。95%的XQLFQ，和98。CFP-FP占74%的QMagFace的代码是公开可用的1.1. 介绍人脸识别系统正在全球范围内传播，并且越来越多地涉及无约束环境[29]。在这些环境中，这些系统必须处理大的可变性，例如具有挑战性的照明，姿势和表情，这可能导致不正确的匹配决策[20][19]。样本的人脸图像质量被定义为其识别效用[16][34][5][42]，并衡量这些变量对人脸识别性能的影响。以前的作品要么不采用人脸图像质量信息在比较1https://github.com/pterhoer/QMagFace图1：建议的质量感知com-score的可视化。真实（蓝色）和冒名顶替者（红色）分布相对于比较分数和它们的面部图像质量示出。虽然质量分布（右）非常相似，但分数分布（上）非常重叠。所提出的质量感知com-score通过黑色等值线示出。虚线表示负分，实线表示正分。质量意识增加了两种分布的可分性。[27][44][9][18]或在比较过程中包括质量估计，这些估计本身不适合这样的任务[40][26]。虽然第一种情况导致用于比较的有价值信息的损失，但在第二种情况下，限制因素在于所利用的质量估计。在这项工作中，我们提出了QMagFace，这是一种将质 量 感 知 比 较 函 数 与 使 用 幅 度 感 知 角 裕 度（MagFace）损失训练的人脸识别模型相结合的解决方案。在比较过程中验证模型特定的面部图像质量旨在使3485N∥ ∥我j=1，j=yiJ即 使 在 挑 战 环 境 下 也 能 提 高 面 部 识 别 性 能 利 用MagFace损失导致的质量与其比较分数之间的线性关系，我们的质量感知比较函数简单但有效。在图1中，所提出的质量感知评分函数的效果是可视化的。使用标准比较分数，真实（同一个人）和冒名顶替者（不同的人）分布是强烈重叠的（见上图）。即使它们各自的质量分布非常相似（右图），将这两种信息与所提出的质量感知评分函数相结合，增加了可分性，从而导致更可靠的比较分数用于匹配。特别是对于较低的比较和质量分数，所提出的方法更强烈地适应分数以增加准确性。对于更高的质量和比较分数，所提出的解决方案不改变分数，因为高比较分数意味着高质量的面部对因此，QMagFace在处理具有挑战性的情况时特别有效，例如交叉姿势或交叉年龄。实验在四个人脸识别数据库和六个基准上进行。结果表明(a) 在宽范围的误匹配率上，与标准比较分数相比，人脸识别性能的持续改进，（b）所使用的线性函数对于质量加权的适用性，以及（c）所提出的方法的高度通用性，尽管骨干结构、训练数据库和评估基准发生了变化。此外，QMagFace在基于视频的识别任务中始终达到高性能，并在四个基于图像的人脸识别基准测试中的三个上取得了最先进的结果特别是在具有挑战性的情况下，如跨姿势，跨年龄，或跨质量，QMagFace取得了很高的性能。2. 相关作品2.1. 人脸图像质量评估受国际标准（如ISO/IEC）的推动[42]提出了FIQA（SER-FIQ）的随机嵌入鲁棒性。这个概念衡量的鲁棒性的脸表示对辍学的变化，并使用此措施，肯定要确定的脸的质量。它避免了培训的需要，并考虑到决策模式的人脸识别模型。 2021年，Meng et al.[31]提出了一类损失函数，其包括将质量编码到面部表示中的幅度感知角裕度。 在这种损失的情况下进行训练，一种人脸识别模型，它产生的嵌入的幅度可以衡量他们的脸的FIQ。虽然前两代FIQA方法的目的是评估图像在一般人脸识别中的效用，但第三代方法的目的是确定特定于模型的质量值。因此，我们断言这些方法，SER-FIQ [42]和MagFace [31]，具有提高识别性能的最大潜力。SER-FIQ可以应用于任意的人脸识别网络，但在FIQ和比较分数之间产生复杂的关系。另一方面，MagFace在质量和比较分数之间产生线性关系，如我们将在5.4节中所示，因此，它更适合于识别性能的普遍增强。2.2. 人脸识别近年来，人脸识别受到深度表示学习的进步的强烈推动早期的作品依赖于基于度量学习的损失[31]，例如 对比 损 失[8]， 三重 损 失 [37]或 惩罚 角 边缘 损 失[45][9]。然而，由于训练所需的人脸三元组数量的组合爆炸，研究重点转移到基于分类的方法。这些方法通常基于softmax，目的是在训练过程中对一组封闭的身份进行分类，并利用前一层作为未见过面孔的特征提取器将softmax激活与交叉熵损失相结合，大多数人脸识别损失L具有以下形式：L=−1log（L），其中（1）19794-5 [20]和ICAO 9303 [19]，第一代人脸图像质量评估（FIQA）方法Ni=1我ercos（m1θyi+m2）−m3是 建造 对 人类 感知 图像 质量因素[十四][十三][三十八][三十四][二][一][十一]。第二代Li=ercos（m1θy+m2）−m3+<$N.（二）ercos（θy）FIQA方法[47][3][7][23][5][16][33][48]包括基于人类或人工构建的质量标签的监督学习算法。然而，人类可能不知道面部识别系统的最佳特性，并且从com-mapping分数导出的人工标记的质量值依赖于易于出错的标记机制。第三代FIQA方法[42]通过利用人脸识别网络本身完全避免了使用质量标签。2020年，Terh oürstetal.这里，训练集包含N个样本，并且Θyi是指最后一层权重向量与归一化特征向量 xi之间的角度（其中xi2=r）。对于火车-如果没有边距，则m1=1，m2=m3=0，这表示简化的softmax损失。在SphereFace [27]中，使用m1=α和m2=m3=0部署乘法角裕度。为了保持余弦余量罚分m3=α（m1=1和m2=0），这是指CosFace [44]，并且为了罚分角余量m2=α（m1=1和m2 = 0），3486NM∥ ∥m3=0），这是指ArcFace [9]损失。然而，这些损失选择固定的裕度α，假设样本在类中心周围的嵌入空间中均匀分布为了解决这个问题，提出了基于可变裕度的解决方案。在[6]中，Boutros et al.提出了ElasticFace，其中在 每次训练迭代中从高斯分布中提取随机边缘。这允许ElasticFace提取和收缩单独的边距，每 个 类 （ 例 如 ， m1=1 且 m2=N ） 。 类 似 地 ，CurricularFace [18]解决了早期训练阶段采用m2，后期采用难易训练阶段采用m1=1，m3=0。在MagFace [31]中，提出了具有正则化g（r）的幅度感知角度裕度m（r）（其中m1=1且m3=0），其目的在于将样本的效用（面部图像质量）包括在裕度中。虽然正则化g（r）奖励具有大幅度r的样本，但m（r）是一个简单的线性函数，旨在将高质量样本集中在类中心周围的小区域这导致基于样本的效用并且以嵌入的幅度编码的更合适的裕度2.3. 质量感知人脸识别人脸图像的质量通常用于视频到视频识别任务，其中来自一个人的一组图像与来自另一个人的一组图像相匹配[28][33][48][36][49]。在那里，每个图像的质量用于信息的加权聚合。对于基于单幅图像的识别任务，只有少数研究将人脸图像质量作为提高人脸识别性能的指标。 在EQFace [26]中，Liu et al.在人脸识别模型上附加了一个质量预测网络，以在训练过程中包括质量。然而，这种方法受到计算昂贵的训练的限制，这种训练不是端到端的。在[40]中，Shi和Jain提出了概率人脸嵌入（PFE）.将人脸图像表示为嵌入空间中的高斯分布，每个特征的方差为了进行比较，它们利用互似然分数将质量包括在比较分数中。然而，通过质量估计来确定性能，该质量估计受到以下限制：（a）所使用的不确定性估计模块，其与面部识别网络分开训练，(b) 假设每个特征可以独立地表示为高斯过程。与以前的工作相比，我们使用特定于模型的质量估计，这些估计以端到端的方式线性包含。因此，这使得我们提出的解决方案能够更简单、更有效地工作。3. 方法这项工作的主要贡献，QMagFace，将质量感知比较函数与使用MagFace损失训练的人脸识别模型相结合[31]。在比较过程中包含特定于模型的人脸图像质量旨在持续提高人脸识别性能，特别是在具有挑战性的条件下，如交叉姿势、交叉年龄或交叉质量。此外，所提出的质量感知评分函数可以基于Mag- Face损失在任何人脸识别网络上进行鲁棒训练，如第5.4节所示。3.1. 质量意识比较评分在人脸生物特征识别中，比较分数反映了两幅人脸图像的身份相似性。当比较的样品是 高品质[16]人脸图 像 的 生 物 特 征 质 量 被 定 义 为 其 识 别 效 用[16][34][5][42]。在[41]中，表明模型特定质量评估反映了面部识别模型的挑战性情况，例如与姿势或年龄的强烈变化进行比较。与SER-FIQ [42]类似，MagFace网络[31]的质量利用了部署的人脸识别系统，因此强烈反映了决策模式和模型偏差。因此，我们提出了一个简单但有效的比较函数，其中包括这些模型特定的质量值，以提高人脸识别系统的准确性和鲁棒性。给定用Mag- Face loss训练的人脸识别模型和两个人脸图像I1和I2，它们的嵌入由e1=M（I1）和e2=M（I2）给出，对应的面图像质量q1=qe1×2，以及q2=e22通过矢量长度编码。标准比较得分s=cos（e1，e2）在这些模板的余弦相似度上定义两个模板之间相似性更大。然而，与低质量图像的比较会影响比较分数，因此需要进行调整。所提出的质量感知比较得分s_n被定义为s（s，q1，q2）=ω（s）min{q1，q2}+s（3），具有质量加权函数ω（s）= min {0，β <$s − α}。（四）该比较函数仅由两个可训练参数（α和β）组成，因此可以被鲁棒地训练。由于生物特征样本质量线性地包含在MagFace损失中（通过m（r）），因此我们假设面部图像质量与其比较分数之间在第5.4节中，我们将证明线性函数对质量加权的适用性我们毛皮-因此，假设分数调整取决于3487∗ −Σ。SSQωΣΣ¯|不|不Maxoptoptoptt∈T（t−t<$）（ωopt（t）−ω<$opt）不最低质量的比较，并且只有与至少一个低质量样本的比较需要调整。请注意，质量q1和q2不容易用其他FIQ方法来高相似性得分s只能通过以下方式实现：第三步旨在学习质量加权函数ω（s）。由于质量线性地包括在Mag- Face损失中，因此假设质量的重要性q（s）与其比较得分s因此，我们通过一个简单的线性函数ω（s）=β s α对质量权重进行建模。 参数α和β可以通过求解以下优化两个高质量样本的比较。在这种情况下，相似性很好地反映在比较分数s中，因此不需要基于质量的分数调整（ω=0）最小ωα，βt∈Topt（t）+α−β<$t<$2，（7）较低的比较分数可能是由退化引起的-一对至少有一个低质量的样本。在这种情况下，相似性会因样品质量和我们的从而得到最佳参数β和αt∈T（t−t<$$>）（ωopt（t）−ω<$opt）（八）所提出的函数基于质量来调整分数β=βt∈T （t-t<$）2，因此，如果两个比较结果相似，α=βt<$−ω<$opt，其中（9）ison得分s1<$s2（ω（s）<0），但具有不同的最小品质qmin<$qmin，得分越高ω<$opt=1Σωopt（t）和t<$=1Σt.（十）12|不||T|质量经历更强的调整，因此，导致更低的质量--W是比较得分（s= 1，

下载后可阅读完整内容，剩余1页未读，立即下载