“面部嵌入中的确定性与概率性差异”

1可能的面部嵌入Yichun Shi和Anil K.密歇根州立大学，密歇根州，东兰辛网址：shiyichu@msu.edu，jain@cse.msu.edu摘要嵌入方法通过在潜在语义空间中比较人脸特征，然而，在完全不受约束的人脸设置中，嵌入模型学习的面部特征可能是模糊的，甚至可能不存在于输入人脸中，从而导致噪声表示。我们建议，可区分面模糊面孔=人脸嵌入（PFE），代表每个人脸图像(a) 确定性嵌入(b) 概率嵌入在潜在空间中的高斯分布。分布的均值估计最可能的特征值，而方差显示特征值的不确定性然后，可以自然地导出概率解，用于使用不确定性信息匹配和融合PFE。在不同基线模型、训练数据集和基准测试上的实验结果表明，该方法可以将确定性嵌入转换为PFE，从而提高人脸识别性能。PFE估计的不确定性也是潜在匹配精度的良好指标，这对于风险控制的识别系统是重要的。1. 介绍当人类被要求描述一张人脸图像时，他们不仅要给出人脸属性的描述，还要给出与之相关的置信度。例如，如果眼睛在图像中是模糊的，则人将保持眼睛大小作为不确定的信息，并关注其他特征。此外，如果图像完全损坏并且无法辨别属性，则受试者可能会回答他/她无法识别该面部。这种不确定性（或置信度）估计在人类决策中是常见且重要的。另一方面，在现有技术的面部识别系统中使用的表示通常是置信度不可知的。这些方法依赖于一个嵌入模型（例如，深度神经网络）为潜在特征空间中的每个人脸图像提供确定性点表示[27，35，20，34，4]。潜在空间中的点表示模型如果估计中的误差图1：确定性人脸嵌入和概率性人脸嵌入（PFE）之间的差异。确定性嵌入将每个人脸表示为潜在空间中的一个点，而不考虑其特征模糊性。概率脸嵌入（PFE）给出了潜在空间中特征的分布最好用彩色观看。有界，两点之间的距离可以有效地衡量对应的人脸图像之间的语义相似性。但是，如果输入的是低质量的图像，其中预期的面部特征是模糊的或不存在的，嵌入点的大偏移是不可避免的，从而导致错误识别（图1a）。鉴于人脸识别系统已经在相对受限的人脸识别基准上实现了高识别精度，例如，LFW [10]和YTF [37]，其中大多数面部属性可以清楚地观察到，最近的面部识别挑战已经转移到更不受约束的场景，包括监控视频[18，23，12]（见图2）。在这些任务中，面部图像中可能存在任何类型和程度的变化，其中可能不存在由表示模型学习的大多数期望的面部特征由于信息的缺乏，不太可能找到一个总是能准确匹配这些面孔的特征集。因此，在LFW上获得超过99%准确度的最先进的人脸识别系统在IARPA Janus基准测试中遭受了较大的性能下降[18，23，12]。为了解决上述问题，我们提出了概率人脸嵌入（PFE），它给出了一个分布估计，而不是每个输入人脸图像的潜在空间中的点估计（图1b）。分布的平均值可以被解释为最可能的潜在特征值，而分布的跨度表示不确定性。6902可区分脸（ |）模棱两可脸6903(a)（b）IJB-S [12]图2：IJB-A和IJB-S的示例图像。第一列示出静止图像，随后是接下来三列中的相应对象的视频帧这些基准提供了一种更不受约束的识别场景，其中图像质量存在很大的变化。这些估计的准确性。PFE可以通过两种方式解决未控制的人脸识别问题：（1）在匹配（人脸比较）期间，PFE惩罚不确定的特征（维度），并更加关注更有信心的特征。(2)对于低质量输入，PFE估计的置信度可以用于拒绝输入或主动请求人工帮助以避免错误识别。此外，一个自然的解决方案，可以得出一个集合的人脸图像的PFE表示聚合成一个新的不确定性，以提高识别性能。PFE的实现是开源的1。本文的贡献可以总结如下：1. 一种不确定性感知的概率人脸嵌入（PFE），它将人脸图像表示为分布而不是点。2. 一个概率框架，可以自然地得出人脸匹配和特征融合使用PFE。3. 一种简单的方法，将现有的确定性嵌入转换为PFE，而无需额外的训练数据。4. 综合实验表明，该方法能有效地提高确定性嵌入的人脸识别性能，并能有效滤除低质量输入，增强人脸识别系统的鲁棒性2. 相关工作为了提高判别式深度神经网络（DNN）的鲁棒性和可解释性，深度不确定性学习越来越受到关注[14，5，15]。不确定性主要有两种类型：模型不确定性和数据不确定性。模型不确定性是指给定训练数据的模型参数的不确定性，可以通过收集额外的训练数据来降低[22，24，14，5]。数据不确定性是指输出的不确定性，其主要来源是输入数据中的固有噪声，因此无法通过更多的训练数据消除[15]。在我们的工作中研究的不确定性可以归类为数据不确定性。虽然技术他们不适合我们的任务，因为我们的目标空间没有被给定的标签2很好地定义。变分自动编码器[17]也可以被视为估计数据不确定性的方法具体到人脸识别，一些研究[6，16，45]利用模型不确定性来分析和学习人脸表示，但据我们所知，我们是第一个利用数据不确定性3进行识别任务的工作。概率人脸表示将人脸建模为概率分布并不是一个新的想法。 在人脸模板/视频匹配领域，有大量文献将人脸建模为特征空间中的概率分布[29，1]、子空间[3]或流形[1，11]。然而，这些方法的输入是一组人脸图像而不是单个人脸图像，并且它们使用分布之间的相似性或距离度量，例如，KL-发散，用于比较，不惩罚不确定性。同时，一些研究[19，9]试图使用面部部分的特征来建立给定面部的模糊模型。相比之下，所提出的PFE将每个单个人脸图像表示为由DNN编码的潜在空间中的分布，并且我们使用不确定性感知的对数似然分数来比较分布。与上述方法相反，最近关于人脸模板/视频匹配的工作旨在通过将所有人脸的深度特征聚合到单个紧凑向量中来杠杆化深度CNN嵌入的显着性[41，21，39，7]。在这些方法中，一个单独的模块学习预测图像集中每个人脸的质量，然后将其归一化为特征向量的加权池。我们表明，在我们的框架下，可以自然地得到一个解决方案，这不仅给出了一个概率的解释质量感知池方法，但也导致了一个更一般的解决方案，图像集也可以建模为PFE表示。3. 确定性嵌入在本节中，我们从理论和实证两个角度解释了决定性面孔嵌入的问题。设X表示图像空间，Z表示D维的潜在特征空间. 一个理想的潜在空间Z应该仅编码身份显著特征，并且与身份无关特征分离。因此，每个身份应该具有最好地代表这个人的唯一内在代码z ∈ Z，并且每个面部图像x∈ X是从p（x）采样的对象|z）。训练人脸嵌入的过程可以看作是一个搜索的联合过程对于这样的潜在空间Z，学习逆映射已开发用于估计数据的不确定性，不同的任务，包括分类和回归[15]，1https://github.com/seasonSH/概率面嵌入2.虽然我们给出了身份标签，但它们不能直接作为潜在特征空间中的目标向量。[3]文献中的一些文献也出于不同的目的使用了术语6904191725334149576573(a) 高斯模糊0.10.20.30.40.50.60.70.80.91.0(b) 闭塞0.150.300.450.600.750.901.051.201.35一点五(c) 随机高斯噪声图3：特性模糊性困境的说明。图显示了具有不同退化程度的LFW数据集上的余弦相似性。蓝线表示原始图像与其各自的降级版本之间的相似性。红线表示退化图像的冒名顶替者对之间的相似性。阴影表示标准偏差。随着退化程度的增加，模型以错误的方式变得更加自信（非常高/低的分数）。p（z|X）。对于确定性嵌入，逆映射是狄拉克δ函数p（z|x）= δ（z − f（x）），其中f是嵌入函数。显然，对于任何空间Z，给定x中的噪声的可能性，恢复精确的z和低质量输入的嵌入点将不可避免地偏离其固有z（无论训练数据）。问题是，这种转变是否可以有界，使得我们仍然具有比类间距离更小的类内距离。然而，这对于完全无约束的人脸识别是不现实的，我们进行了一个实验来说明这一点。让我们从一个简单的例子开始：给定一对相同的图像，即使这些图像不包含面部，确定性嵌入也将总是将它们映射到相同的点，因此它们之间的距离将总是为0。这意味着为了证明这一点，我们进行了一个实验，通过手动降低高质量的图像和可视化他们的相似性分数。我们从LFW数据集[10]中随机选择每个受试者的高质量图像，并手动将高斯模糊，遮挡和随机高斯噪声插入面部。特别地，我们线性地增加高斯核的大小、遮挡率和噪声的标准差来控制退化程度。在每个降级级别，我们使用64层CNN4提取特征向量，这与最先进的人脸识别系统相当。将特征归一化到超球面嵌入空间。然后，报告两种类型的余弦相似性：（1）原始图像与其相应退化图像对之间的相似性，以及（2）不同身份的退化图像之间的相似性。如图3所示，对于所有三种类型的退化，真实相似性分数降低到0，而4人接受了Ms-Celeb-1 M的培训[8]与AM-Softmax [33]（a）低相似性的真实配对(b)高相似性冒充者对图4：来自IJB-A数据集的示例真实对，通过64层CNN模型估计具有最低相似性得分和具有最高相似性得分的冒名顶替者对（在所有可能的对中）。真正的对大多由一个高质量和一个低质量的图像组成，而冒名顶替者对都是低质量的图像。请注意，这些对不是验证方案中的模板。冒名顶替者相似性得分收敛到1。0！这表明即使模型非常可信（非常高/低的相似性分数），在完全不受约束的情况下也可能出现两种类型的错误：(1) 虚假接受冒名顶替者低质量对，(2) 真正的交叉质量对的错误拒绝。为了证实这一点，我们在IJB-A数据集上测试了模型，分别找到了具有最高/最低分数的冒名顶替者/真实图像对。情况与我们假设的完全一样（参见图4）。我们称之为特征模糊困境，这是观察到的确定性嵌入时，被迫估计模糊的脸的特征。实验还表明，存在一个黑暗的空间，模糊的输入映射到和距离度量是扭曲的。4. 可能的面部嵌入为了解决上述问题所造成的数据的不确定性，我们建议将不确定性编码到人脸表示，并在匹配过程中考虑到它。具体来说，不是建立一个模型，在潜在空间中的点估计，我们估计一个分布p（z|x）在潜在空间中表示潜在的冒名顶替者 原创与退化一元冒名顶替者 原创与退化一元冒名顶替者 原创与退化一元0.750.750.750.500.500.500.250.250.250.000.000.00零点二五零点二五零点二五6905我我我我2我一个人的脸5特别地，我们使用多元高斯分布：p（z|xi）= N（z; μi，σ2I）（1）其中μi和σi都是网络从第i个输入图像xi预测的D维向量。 在这里，我们只考虑对角协方差矩阵，以减少面部表示的复杂性。此表示应具有以下属性：1. 中心μ应编码输入图像中最可能的面部特征。2. 不确定性σ应编码模型此外，我们希望使用单个网络来预测分布考虑到用于训练人脸嵌入的新方法仍在开发中，我们的目标是开发一种方法，可以以简单的方式将现有的确定性人脸嵌入网络转换为PFE。在下文中，我们首先展示了如何比较和融合PFE表示来证明它们的强度，然后提出我们学习PFE的方法。注1. 由于篇幅所限，我们在补充材料中提供了以下所有命题的证明。4.1. 与PFE给定一对图像（xi，xj）的PFE表示，我们可以直接测量它们属于同一个人（共享相同的潜在代码）的“ 可能性”： p（z i = z j），其中z i <$p（z|xi）和zjp（z|xj）。特别是，∫p（zi=zj）= p（zi|xi）p（zj|xj）δ（zi−zj）dzidzj。（二）在实践中，我们希望使用对数似然来代替，其解由下式给出：s（xi，xj）= logp（zi=zj）12(a)（b）第（1）款图5：与PFE融合。(a)以定向图形模型说明聚变过程。(b)给定人脸的高斯表示（来自相同的身份），融合过程在潜在空间中输出具有更精确的平均值和更低的不确定性的新的高斯分布因此，我们称之为相互似然评分（MLS）。与KL发散不同，该分数是无界的，不能被视为距离度量。可以证明，当所有不确定性假设相同时，平方欧几里德距离等价于MLS的特殊情况：物业1. 如果σ（l）对于所有数据x i和维度l都是一个固定数，则MLS等价于缩放和移位的负平方欧几里德距离。此外，当不确定性允许不同时，我们注意到MLS具有一些有趣的性质，使其不同于距离度量：1. 注意力机制：等式（3）中的括号中的第一项可以被视为加权距离，其将较大的权重分配给不太确定的维度。2. 惩罚机制：等式（3）中括号中的第二项可以被视为惩罚项，其使具有高不确定性的维度永久化。3. 如果输入xi或xj具有较大的不确定性，则MLS将较低（由于惩罚），无论其均值之间的距离如何。4. 只有当两个输入都有很小的不确定性，并且它们的均值彼此接近时，MLS才可能很高。最后两个性质意味着PFE可以解决有限元-1天 （µ（l）−µ（l））2真正的模糊困境，如果网络可以有效地估计，=−（i j +log（σ2（l）+σ2（l）2σ2（l）+σ2（l）ij马特岛l=1ij-const，（3）其中const=Dlog 2π，µ（l）是指，故以其为一，以其为一。注意，这种对称度量可以被视为一个输入的潜在代码以另一个输入为条件的可能性的期望∫4.2. 与PFE在许多情况下，我们有一个人脸图像的模板（集合）使用PFE，可以导出表示融合的共轭公式（图5）。 设{x1，x2，. . . ，xn}是来自相同身份的一系列观察（面部图像），并且p（z|x1，x2，. . . ，xn）是后分布，在第n次观察之后。然后，假设所有的观察者-s（xi，xj）=log=logEp（z|xi）p（z|xj）dz[p（z|x）]（四）vations是条件独立的（给定潜在代码z）。可以看出：=logEzp（z|xi）z p（z|xj）J[p（z|xi）]。p（z|x1，x2，. . . ，xn+1）6906= αp（z|xn+1）p（z|x，x，. . .，x），p（z）12n第五节在第三节的注释之后。（五）6907nnσ2σ2J其中α是归一化因子。 为了简化符号，让我们只考虑下面的一维情况;该解可以容易地扩展到多变量情况。所有真实对的相互似然得分（xi，xj）。对于一般情况，要最小化的损失函数为如果p（z）是一个无信息先验，即p（z）是方差接近∞的高斯分布，等式（5）中的后验分布是新的高斯分布。L=1|P|Σ−s（xi，xj）（9）（i，j）∈P不确定性较低的分布（参见补充材料）。此外，给定一组面部图像{x1，x2，. . . ，xn}，融合表示的参数可以直接由下式给出：其中P是所有真实对的集合，并且s在等式（3）中定义。在实践中，损失函数在每个小批量内被优化。直觉上，该损失函数可以被理解为最大化p（z）的替代方案|x）：如果n= Σni=1σˆ2（6）我所有可能的真对的潜在分布都具有大的重叠，潜在目标z应该具有大的可能性p（z|x）对于任何对应的x。 注意到因为1σˆ2Σn=i=11 .一、（七）我μ（x）是固定的，优化在实际应用中，由于条件独立性假设往往不成立，如：视频帧包括大量冗余，等式（7）将被集合中的图像的数量偏置。因此，我们采取维度最小化来获得新的不确定度。如果我们考虑所有维度共享相同不确定性σi的情况，5. 实验在本节中，我们首先在标准人脸识别协议上测试所提出的PFE方法然后，我们进行定性分析，以获得更多的洞察如何PFE的行为。由于篇幅所限，我们在补充材料中提供了实施细节。对于第i个输入，并令质量值qi=1我 是输出为了全面评价PFE的疗效，我们在7个基准上进行实验，包括的网络。那么等式（6）可以写为：[2019-04 -13][2019 - 04 - 04][2019 -04][2019 - 04 -04][2019- 04 01：05：00]µˆ 为 ΣnΣi=1 qiµI.（八）其他不受约束的基准：nnqj如果我们不使用融合后的不确定性，该算法将与最近的集对集人脸识别的质量感知聚合方法相同[41，21，39]。4.3. 学习请注意，任何确定性嵌入f，如果适当优化，确实可以满足PFE的属性：（1）嵌入空间是一个未纠缠的身份显着潜在空间，（2）f（x）表示潜在空间中给定输入的最可能因此，在这项工作中，我们考虑了一个阶段性的训练策略：给定一个预训练的嵌入模型f，我们固定其参数，取μ（x）= f（x），并优化一个额外的不确定性模块来估计σ（x）。当不确定性模块在嵌入模型的同一数据集上训练时，这种分阶段的训练策略使我们能够在PFE和原始嵌入f（x）之间进行比端到端学习策略更公平的不确定性模块是一个网络，有两个完全-CFP[28]包含了500张照片中的7000张正面/侧面照片科目我们只测试了正面轮廓（FP）协议，其中包括7000对正面轮廓的脸。IJB-A[18]是一个基于模板的基准， 含有25813张500个受试者的面部图像。每个模板包括一组静态照片或视频帧。与以前的基准相比，IJB-A中的面具有更大的变化，并提出了一个更不受约束的方案。IJB-C[23]是 IJB-A 的 扩 展 ，包 含 3 ， 531 名受 试 者 的140，740张人脸图像IJB-C的验证协议包括更多的冒名顶 替 者 对 ， 因 此 我 们 可 以 以 较 低 的 错 误 接 受 率（FAR）计算真实接受率（TAR）。IJB-S[12]是一个监控视频基准，包含350个监控视频，总共30个小时，5，656张入组图像，以及202个子样本的202个入组视频。此数据集中的许多面孔都具有极端姿势或低-质量，使其成为最具挑战性的人脸识别基准之一（参见图2的示例图像）。我们使用CASIA-WebFace [42]和MS-Celeb-1 M [8]的清理版本7作为训练数据，从中我们删除了也包含在测试数据集8中的主题。σ26908连接层共享与bot相同的输入，领层6.优化标准是最大化6瓶颈层是指输出原始人脸嵌入的层。7https://github.com/inlmouse/MS-Celeb-1M_清洗清单。分别从CASIA-WebFace和MS-Celeb-1 M中删除884例和4，182例6909基础模型表示LFWYTFCFP-FP方法训练数据IJB-A（TAR@FAR）CFP-FPSoftmax +98. baby baby 9394. 74 93.8478. 160的情况。1% 1. 0%的百分比[35]第三十五章：我的天27 95。4294 518083[第27话]第97章. 6593. 3689. 7660。8298. baby 45 93. 96九十0461. 00[32]第三十二章：一个人9± 4。377. 4±2。七九三。41Yin等 [44]第四十三章：你是我的女人9± 4。2775±2。59439[26]第二十六话0± 1。093。4± 0.58917A-Softmax [20]99. baby baby 1594. 80 92.41785499. baby baby 32 94. 94九十三3782. 58[41]第四十八章. 1± 1。1941±0。8-[21]第八十九章. 31±3。92 94. 20± 1。53-Cao等人 [2]第90话. 4± 1。495. 8± 0。6-[39]第三十九章：一个女人0± 1。396。2± 0。5-表1：在CASIA-WebFace上训练的模型的结果。“Original”每个基本模型中的更好性能以粗体数字显示 IJB-A结果是FAR= 0时的验证率。百分之一。方法培训数据LFWYTFMF1MF1表2：我们的模型（最后三行）在MS-Celeb-1 M上训练的结果以及LFW，YTF和MegaFace上的最先进方法MegaFace验证率在FAR= 0时计算。0001% “-” indicates that the author did report the performanceon the corresponding5.1. 不同基底嵌入由于我们的方法是通过转换现有的决定性嵌入来工作的，所以我们想评估它如何与不同的基础嵌入一起工作，即。用不同的损失函数训练面部表征。特别是 ， 我 们 实 现 了 以 下 最 先 进 的 损 失 函 数 ： Soft-max+Center Loss [35] ， Triplet Loss [27] ， A-Softmax[20] and AM-Softmax [33] 9.为了与以前的工作[20，34]保持一致，我们训练了一个64层残差网络[20]，其中每个损失函数都是CASIA-WebFace数据集上的基础模型。所有的特征都被归一化到一个超球面嵌入空间。然后我们在CASIA-WebFace上为每个基础模型再次训练不确定性模块3000步。我们根据四个基准评估性能：LFW [10]、YTF [37]、CFP-FP [28]和IJB-A [18]，它们在人脸识别中提出了不同的挑战。结果示于表1中。PFE在所有情况下都比原始表示有所改进，表明所提出的方法对不同的嵌入和测试场景具有鲁棒性5.2. 与最新技术为了与最先进的人脸识别方法进行比较，我们使用了不同的基础模型，这是一个64层的[25]第二十五3.7M94 3 ± 0。5九十七00 ±-话0。4基线4.4M九十三30 ±1。29九十六。15± 0。7192.78PFE熔断器4.4M94 59 ± 0。七二九五。92± 0。73-PFE保险丝+匹配4.4M九十五25± 0。8997. 50±0。43九十三34AM-Softmax [33]99. baby baby 2895. 六四 九四7784. 6999. baby baby 55 95. 92九十五0687. 58Rank1真的[31]第三十一话4M九十七3591. 4--[27]第二十七话200M九十九。63九十五1--[30]第三十话300K九十九。47九十三2--[35]第三十五话0.7M九十九。2894 9六十五23七十六。52[20]第二十话0.5M九十九。42九十五075. 7789岁。146910表3：我们的模型（最后三行）在MS-Celeb-1 M上训练的结果以及CFP（额侧协议）和IJB-A上的最新方法。方法训练数据IJB-C（TAR@FAR）89.第八十九章. 64九十三25九十五4997. 17表4：我们的模型（最后三行）在MS-Celeb-1 M上训练的结果和IJB-C上最先进的方法。在MS-Celeb-1 M数据集上使用AM-Softmax训练的网络。然后，我们固定参数，并在同一数据集上训练不确定性模块12000步。在下面的实验中，我们比较了3种方法：• Baseline只使用64层确定性嵌入的原始特征以及余弦相似度进行匹配。平均池在TEM情况下使用-板/视频基准。• PFE融合使用PFE中的不确定性估计σ和等式（6）来聚合模板的特征，但是使用余弦相似度进行匹配。如果不确定性模块可以有效地估计特征不确定性，则通过为置信特征分配更大的权重，使用σ的融合应该能够优于平均• PFE融合+匹配使用σ进行融合和匹配（具有相互似然分数）。基于等式（6）和等式（7）融合模板/视频。在表2中，我们展示了三个相对简单的基准测试的结果：LFW，YTF和MegaFace。虽然LFW和YTF的精度接近饱和，但所提出的PFE仍然改善了原始表示的性能请注意，MegaFace是一个有偏差的数据集：因为所有的探针都是来自FaceScrub的高质量图像 ，所以MegaFace中的阳性对都是高质量图像，而阴性对最多只包含一个低质量图像。因此，这两种类型的错误都不会导致9我们也尝试过实现ArcFace [4]，但它不能很好地收敛在我们的情况下。所以我们没有使用它。10验证协议中的MegaFace的负对仅在-0的情况。001%0的情况。01%0的情况。百分之一百分之一Yin等[四十三]0.5M--69岁。383岁8Cao等人[二]《中国日报》3.3M74岁784. 091. 0九十六。06911方法培训数据监测到单监测到预约监测到监测1级5级10级 百分之十一品五品十品 百分之十一品五品十品1% 10%C-FAN [7]5.0M50块8261. 16六十四95十六岁44二十四岁19五十三0462.6766岁。35二十七岁4029岁7010个。05十七岁5521岁060的情况。11068基线4.4M50块0059. 0762. 707 .第一次会议。2219号。05四十七5456.1461岁08十四岁75二十二岁999 .第九条。40十七岁5223岁040的情况。06071PFE熔断器4.4M五十三四四六一。40六十五0510个。53二十二岁8755. 4563. 1766岁。38十六岁70二十六岁208. 18十四岁5219号。310的情况。090.63PFE保险丝+匹配4.4M50块1658. 3362. 2831岁88三十五33五十三6061.75六十四97三十五9939岁829 .第九条。2020块82二十七岁340的情况。842. 83表5：IJB-S的三种协议的性能比较性能报告为秩检索（闭集）和TPIR@FPIR（开集），而不是媒体标准化版本[12]。第二行中的数字冒名顶替者原创与退化冒名顶替者原创与退化冒名顶替者原创与退化340034003400300030003000260026002600220022002200180018001800191725334149576573(a)高斯模糊0.10.20.30.40.50.60.70.80.91.0(b)闭塞0.150.300.450.600.750.901.051.201.35一点五(c)随机噪声图6：使用所提出的PFE对特征模糊性困境进行重复实验图3中的同一模型被用作基本模型，通过训练不确定性模块转换为PFE没有额外的训练数据，也没有数据增强用于训练。零点一八0.150.120.09(a) 低分数真实对（b）高分冒名顶替对图7：来自IJB-A数据集的真实对示例，用最低的相互似然分数估计，冒名顶替者对具有最高的分数0.060.030.000.0000.0010.002 0.003 0.004 0.005 0.006不确定通过第3节中相同的64层CNN模型的PFE版本。在与图4相比，这里的大多数图像都是具有清晰特征的高质量图像请注意，这些对不是验证方案中的模板。MegaFace中将出现特征模糊性困境（第3节）然而，在这种情况下，PFE仍然保持性能。我们还注意到，这样的偏差，即目标图库图像比图库的其余部分具有更高的质量，在现实世界的应用中将不存在。在表3和表4中，我们显示了三个更具挑战性的数据集的结果：CFP，IJB-A和IJB-C。这些数据集中的图像因此，我们可以看到PFE在这三个基准上实现了更显著的改进。特别是在FAR = 0时的IJB-C上。001%，PFE将错误率降低了64%。 在ad-版本，简单地将原始功能与学习功能融合在一起，不确定性（PFE保险丝）也有助于性能。在表5中，我们报告了最新基准IJB-S的三个协议的结果。同样，PFE在大多数情况下能够提高性能。请注意，画廊模板中的包括探针和牵引器之间的那些。IJB A公司简介LFW频率6912图8：不同数据集上估计不确定性的分布这里，请注意，估计的不确定性与数据集的复杂性成正比最好用彩色。呈现小的特征模糊性。因此，我们在这两个协议中只看到轻微的性能差距。但在最具挑战性的“监视到监视”协议中，通过使用不确定性进行匹配可以实现更大的改进。此外，PFE融合+匹配显著提高了所有开集协议的性能，这表明MLS对绝对成对评分的影响大于相对排名。5.3. 定性分析为什么以及何时PFE可以提高性能？ 我们首先使用PFE表示和MLS重复第3节中的相同实验。这里使用相同的网络作为基本模型。如图6所示，尽管低质量冒名顶替者对的得分仍在增加，但它们收敛到一个低于大多数真实得分的点。类似地，交叉质量基因对的得分收敛到高于大多数冒名顶替者得分的点这意味着第3节中讨论的两类错误都可以用PFE解决。图7中的IJB-A结果进一步证实了这一点。图8示出6913x σ平均值样本1样本2样本3样本4LFW IJB-AHLH图9：来自IJB-A的高质量、低质量和误检测图像对于每个输入，由预训练的解码器使用平均值和4个随机采样的z向量重建5个图像根据估计的分布p（z|X）。L图10：来自LFW和IJB-A的示例图像，通过我们的方法和MTCNN人脸检测器以最高（H）置信度/质量分数和最低（L）分数进行估计。LFW、IJB-A和IJB-S上估计不确定度的分布。可以看出，不确定性的“方差”按以下顺序增加：LFW <

下载后可阅读完整内容，剩余1页未读，立即下载