GridFace：局部单应性变换的人脸校正与识别方法

GridFace：通过学习局部单应性变换进行Erjin Zhou，Zhimin Cao，Jian SunFace++，Megvii Inc.{zej，czm，sunjian}@ megvii.com抽象。在本文中，我们提出了一种方法，称为GridFace，以减少面部几何变化，提高识别性能。我们的方法纠正的脸局部单应变换，估计的脸整流网络。为了鼓励具有规范视图的图像生成，我们应用基于自然面部分布的我们以端到端的方式学习矫正网络和识别网络。大量的实验表明，我们的方法大大减少了几何变化，并在无约束的人脸识别场景中获得显着的改善。关键词：人脸识别·人脸校正·单应变换图1：面部矫正示例。顶部两行是具有大的几何变化的面，以及由校正网络估计的局部单应性底部两行示出了通过局部单应性校正的面部，其极大地减少了几何变化并将面部校准到规范视图中。1介绍尽管最近在深度学习方面取得了学术/商业上的进展[34，31，30，47，41，28，18，37，20，36，14，42，43，39]，但仍然很难说人脸识别已经在无约束的环境中得到了解决。野外识别的剩余挑战之一是面部几何变化。姿态和未对准的这种变化（由面部检测边界2E. Zhou和Z. Cao和J. 孙hω整流模块g识别模块正则化fθ个经校正图像输入图像局部单应性转型识别网络纠风网络图2：系统概述。该系统包含两个模块：校正模块和识别模块。校正模块通过校正网络提取深度特征，并利用一组局部单应性变换来扭曲图像（第2节）。3.2）。整流后的输出通过隐式规范视图面先验进行正则化，该先验通过去噪自动编码器进行优化（第12节）。3.3）。正则化框中的红色箭头表示DAE估计的近似梯度。利用经校正的面部作为输入，识别网络学习区分性面部表示（第二节）。3.4）通过度量学习。整个系统是端到端的随机梯度下降优化。框定位）实质上降低了面部表示和识别性能。处理该问题的常用方式是使用2D变换来将面部界标校准到预定义的模板（即，2D平均面部标志或3D平均面部模型）。然而，这种预处理没有针对识别系统进行优化，并且严重依赖于手动调谐的参数和准 确 的 面 部 标 志 。 为 了 解 决 这 个 问 题 ， 最 近 的 工 作 使 用 空 间Transformer网络（STN）[15]来执行端到端优化，同时考虑面部对齐和检测/识别[5，44]。然而，在这些作品中学习的变换使用整体参数模型，其只能捕获粗略的几何信息，例如面部取向，并且可能在校正结果中引入显著的失真。在本文中，我们提出了一种新的方法称为GridFace，以减少面部几何变化，提高识别性能。如图2所示，我们的系统包含两个主要模块：校正模块和识别模块。在校正模块中，我们应用面部校正网络来估计用于校正输入面部图像的一组局部单应性变换3.2）。我们通过一组可变形的平面单元来近似基本的3D规范面形状。当输入具有几何变化的人脸时，估计局部单应性变换以分别对每个单元的翘曲进行建模。为了鼓励规范视图的生成，我们引入了基于规范视图面分布的正则化（Sec.3.3）。这种自然的面部分布没有被明确地建模。相反，我们使用一个德-基于单应性的3噪声自动编码器（DAE）来估计概率密度的对数的梯度，这是受到先前工作[27，1]的启发识别模块（Sec.3.4)将校正后的图像作为输入，并通过度量学习来学习区别性表示。节中4，我们首先用定性和定量的结果来评估我们的方法，以证明人脸校正在野外识别中的有效性。然后，我们提出了广泛的消融研究，以显示上述每个组件的重要性。最后，我们评估我们的方法在四个挑战性的公共基准LFW，YTF，IJB-A，和多PIE。我们在所有的基准测试中获得了很大的改进，并取得了与最近的人脸正面化和识别工作相一致的优越或可比的结果我们的贡献概述如下：1. 我们提出了一种新的方法，以提高人脸识别性能，减少面部几何变化与局部单应性变换。2. 我们引入了一个规范的脸前和一个去噪自动编码器为基础的近似方法，以更好的整流质量正规化的脸整流过程。3. 在约束和无约束环境下进行了大量的实验，以证明我们的方法的优异性能。2相关作品深度人脸识别早期的作品[31，34]通过多类分类网络学习人脸表示。从数千个独立功能中学习到的功能可实现通用功能。 Sunetal. [30]我通过联合学习识别和验证损失来提高性能Schroff等人。[28]在度量学习框架中制定了表示学习任务，并引入了三元组损失和硬负样本挖掘技巧以进一步提高性能最近的工作[37，18]提出了中心损失和球体损失，以进一步减少特征空间中的类内变化。Du和Liang [8]提出了年龄不变特征。Bhattarai等[3]介绍大规模人脸检索的多任务学习。Zhang等人[43]开发范围损失以有效地利用长尾训练数据。姿态不变表示是真实世界鲁棒识别系统的关键步骤，一直是许多工作的重点。例如，Masi等人[20]通过融合多个姿势感知CNN模型来提出面部表示。Peng等人。[25]通过在特征空间中重构来解开表示中的身份和姿势。Lu等人。[19]提出了人脸和姿态任务的联合优化框架。正面化和规范化。面部额化和规范化中的现有工作优化图像扭曲以基于局部化的2D面部标志来拟合3D面部模型最近，已经进行了几次尝试，以提高生成的人脸质量与神经网络。早期的工作[46]，[47]将各种姿势的面部校准到规范视图中，并使用卷积神经网络从身份中分解姿势因子。Yim等人[41]通过引入辅助任务来4E. Zhou和Z. Cao和J. 孙以重建输入数据。Cole等人[6]将生成模块分解为几何部分和纹理部分，用可微变形进行训练最近的工作进一步提高了生成对抗网络（GAN）的生成质量Tran等人。[36]提出DR-GAN同时学习正面人脸生成和从姿势变化中解脱出来的区别 性表示。Yin等人[42]在所提出 的FF-GAN框架中引 入了3DMM重建模块，以提供更好的形状和外观先验。Huang等人[14]将全局结构和局部细节结合到具有地标定位的贴片网络的生成器中。在我们的方法中，我们不需要前面的工作中所需要的正面和侧面训练对，我们的整流过程是面向识别的，这会导致更好的识别性能。空间Transformer网络。空间Transformer网络（STN）[15]使用差分模块在图像或特征图中执行空间变换，该差分模块STN与我们的工作最相关的应用是图像对齐。Kanazawa等人[16]通过在具有非刚性变形的两个输入图像之间建立对应来匹配细粒度对象。Chen等人[5]使用STN将面部建议扭曲到具有检测到的面部标志的规范视图。Zhong等人[44]在识别之前使用STN进行面部对准。Lin等人。[17]提供了STN和Lucas-Kanade算法之间的理论联系，并引入了逆合成STN以减少输入变化。最近的工作吴等。[39]提出了一种递归空间Transformer（ReST）用于无干扰人脸识别。它们还以端到端优化的方式集成识别网络。我们的方法和ReST之间有两个主要区别。首先，我们使用一组可变形平面单元来处理复杂的扭曲效果，而不是手动将面部区域划分为几个区域以允许非刚性变换建模。其次，引入正则化先验，以达到更好的校正效果.3方法记法。令IX、IY表示原始图像和经校正的图像。我们将原始图像I X中的坐标定义为原始坐标，并且将校正图像I Y中的坐标定义为校正坐标。设p= [px，py]T和q= [qx，qy]T表示原始坐标和校正坐标中的点。我们把p和q定义为p=[px，py，1]T，q=[qx，qy，1] T。不失一般性，我们假设像素的坐标被归一化为[0， 1）×[0， 1）。3.1概述该系统包含两个部分：校正模块和识别模块（图1B）。2）的情况。在整流过程中，整流网络fθ，基于单应性的5i、j可变形约束图3：局部单应变换。整流过程近似的3D面作为平面细胞和规范化它与本地单应性。2Q00模板局部同形映射个经校正图像将校正后的图像划分为n个单元，并且通过整流网络估计对应的单应性我们在单元格的拐角处放置弹簧作为软约束，以避免边界中的大参数θ通过非刚性图像变形将原始人脸图像IX映射到校正的人脸图像IY然后，基于校正后的图像IY，利用度量学习来训练识别网络gφ。我们进一步引入了正则化，以鼓励整流面在规范的意见，这是建模为一个先验下的分布与规范的意见，自然的面孔。3.2人脸校正网络在本节中，我们将介绍纠正过程。不同于最近的面部正面化技术[36，42，14]从抽象特征生成面部，我们将矫正过程定义为将像素从原始图像扭曲到规范图像，如图所示。3.第三章。形式上，我们定义了一个模板Q的分割成n2的纠正图像非重叠单元.Q=Qi，jΣ，0≤i，j，

下载后可阅读完整内容，剩余1页未读，立即下载