级联形状回归：动态注意力控制CSR在非约束人脸的鲁棒人脸标志点检测中的应用

2481利用训练数据扩充和模糊集样本加权的冯振华1约瑟夫·基特勒1威廉·克里斯马斯1帕特里克·胡贝尔1吴晓军21萨里大学视觉、语音和信号处理中心，Guildford GU2 7XH，UK2江南大学物联网工程学院无锡214122{z.feng，j.kittler，w.christmas，p.huber}@ surrey.ac.uk，wuxiaojun@jiangnan.edu.cn摘要本文提出了一种新的级联形状回归（CSR）结构，即动态注意力控制CSR（DAC-CSR），用于非约束人脸的鲁棒人脸标志点检测我们的DAC-CSR将面部标志检测分为三个级联子任务：人脸边界框细化、一般CSR和注意力控制CSR。前两个阶段细化初始人脸边界框和输出中间人脸标志。然后，使用在线动态模型选择方法来选择合适的特定于领域的CSR，以进一步细化界标。我们的DAC-CSR的关键创新是容错机制，使用模糊集样本加权，注意力控制特定领域的模型训练。此外，我们提倡使用简单但有效的2D轮廓人脸生成器进行数据增强，并使用上下文感知的特征提取来更好地表示面部特征。在具有挑战性的数据集上获得的实验结果证明了我们的DAC-CSR与最先进的方法的融合。1. 介绍人脸标志点检测（FLD），也称为人脸对齐，是许多自动人脸分析系统的先决条件，例如。面部识别[3，33，34]，表情分析[13，14]和2D-3D逆绘制[1，20，21，23、28、48]。面部标志提供具有语义意义的准确形状信息，使得能够进行几何图像归一化和特征提取以用于面部处理流水线的剩余阶段。这对于高保真人脸图像分析至关重要。由于约束面部的FLD技术已经得到了很好的发展，当前的趋势是在姿态、表情、照明和部分遮挡存在极端变化的情况下解决无约束面部的FLD [2，4，24，25，30]。最近，由于最先进的级联形状重新设计，无约束FLD已经取得了巨大的进展，图1.我们提出的DAC-CSR的管道回归（CSR）架构[6，12，15，29，46]。CSR成功的关键是从一组级联排列的弱回归变量中构造强回归变量该体系结构大大提高了FLD的泛化能力和准确性。然而，根据最近的研究[35，39，42，46，47]，CSR的能力似乎饱和，特别是对于具有极端外观变化的无约束面部。例如，最先进的基于CSR的方法的FLD误差从野生标记面部部分（LFPW）[2]数据集上的约3%（眼间距离的百分比误差）增加到更具挑战性的加州理工 学院野 生遮挡面 部（COFW ）[4]数据 集上的6.5%。这种退化有三个主要原因：1）现有CSR架构的建模能力有限。2)CSR对用于地标初始化的面部边界框的定位敏感。3)现有的培训数据量不足。这些限制是否可以克服，特别是对于表现出极端外观变化的无约束面我们提供了一个令人鼓舞的答案，提出了一个新 的 动 态 注 意 力 控 制 的 CSR （ DAC-CSR ） 的architecture与动态域选择机制和一个新的训练策略，受益于训练数据的增强和模糊集训练样本加权。图1描绘了所提出的DAC-CSR架构的简化概述。它的创新之处在于将三种类型的回归级联连接起来：1）用于更好的界标初始化的面部边界框细化，2）使用一般CSR的初始界标更新，以及领域特定CSR一般CSR面盒优化24823)- 通过动态选择被优化以改进地标位置估计的注意力受控的域特定CSR的最终地标细化。新的体系结构将手头的任务分解为三个级联的子任务，这些子任务更容易处理。与以前的多视图模型相比，[39，46]，我们的DAC-CSR的关键创新在于其内置的容错机制。容错是通过一种创新的训练策略来实现的，该训练策略用于对执行最终形状更新细化的特定于域的CSR的集合进行注意力控制的模型训练。而不是只使用一个域的样本，每个域特定的回归级联训练使用所有的训练，ING样本。然而，它们的影响是由特定于域的模糊隶属函数控制的，该模糊隶属函数对来自相关域的样本的权重大于所有其他训练样本。领域特定的模糊隶属函数的退火时间表逐渐锐化的相对权重的域内和域外的训练样本有利于在域集的每个领域特定的级联的连续阶段。每个测试样品都通过cas-cades系统。在每个域特定级联阶段之前，基于当前形状估计动态地选择关注域。所提出的训练策略保证了每个特定于域的级联回归器可以处理域外测试样本，并且即使当前域已经被选择为标签错误，也能够在正确的方向上更新形状。这是所提出的系统的误差容限的本质。我们的DAC-CSR的良好表现的一个重要因素是训练数据的增加。我们在这里的创新是使用一个2D人脸模型来合成极端的轮廓脸构成（平面外旋转）与真实的背景。此外，我们提出了一种新的上下文感知的特征提取方法，以提取丰富的局部人脸特征的背景下，全球人脸描述。建议的框架已评估基准数据库使用标准协议。在包含极端姿势图像的数据库（AFLW [24]）上获得的结果显著优于文献中报告的最新性能。本文的组织结构如下。在下一节中，我们将简要回顾相关文献。CSR的初步内容见第3节。第4.1节介绍了拟定的DAC-CSR。其训练的讨论仅限于第4.2节，其中定义了特定领域的模糊隶属函数及其退火时间表。在线动态域选择是第4.3节的主题，所提出的特征提取方案可以在第4.4节中找到。第5节讨论了训练集扩充的问题实验进行的评价和取得的结果见第6节。本文在第7节中得出结论2. 相关工作面部标志检测的历史可以追溯到二十世纪九十年代 。 具 有 代 表 性 的 FLD 方 法 包 括 主 动 形 状 模 型（ASM）[8]，主动外观模型（AAM）[7]和约束局部模型（CLM）[10]。这些算法及其扩展在受限场景中实现了出色的FLD结果[17]。因此，目前的趋势是开发一个更强大的FLD的无约束的脸，丰富的外观变化。主角-无约束FLD的搜索算法是基于CSR的方法[6，12，15，29，46]。与ASM、AAM和CLM等依赖于基于PCA的形状模型的经典方法相比，CSR直接基于图像特征将面部标志定位在其最佳位置上。通过构造鲁棒的形状相关局部特征到形状更新的映射函数，以区别性的方式实现形状更新CSR成功的秘诀在于它的架构将一组弱回归变量串联起来，形成一个强回归变量。对基于CSR的FLD的性能进行了许多改进。其中一类改进是增强现有CSR架构的某些组件。例如，使用更鲁棒的形状相关的局部特征，例如，尺度不变特征变换（SIFT）[38，42，43]，Ori-有约束的自组织（HOG）[11，15，21，40]，稀疏自动编码器（SAE）[16]，局部二进制特征（LBF）[6，29]和基于卷积神经网络（CNN-）的特征[35，37]。 另一个例子是在CSR中使用更强大的回归方法作为弱回归，例如随机森林[6，29]和深度神经网络[32，35，37，42，43，44]。最近，3D人脸模型已被证明在具有挑战性的基准数据集中对FLD产生积极影响，特别是与极端姿势的人脸相关[15，26，47]。多视图模型：另一个重要的方法是采用先进的CSR体系结构，例如使用多CSR模型或构建多视图模型。Feng等人[16]通过随机构建多个CSR模型从所述原始训练集中选择子集并融合多个输出以产生所述最终FLD结果。类似的观点也被引用[41]。作为替代方案，多视图FLD系统采用一组视图特定模型，其能够实现对呈现特定视图的面部的更准确的地标检测[9，36，46]。然而，使用多个模型或多视图模型并非没有困难。必须估计测试图像的视图以选择适当的模型，或者将所有视图特定的模型应用于测试图像，然后选择2483我i=1我i=1我我我最好的结果作为最终输出。对于前者，实现无约束面的模型选择阶段在实践中是困难的。错误选择视图特定模型可能导致FLD失败。对于后一种策略，将所有训练好的模型应用于一幅测试图像是耗时的。此外，不同的基于视图的模型的输出的排名是不平凡的。与以前的研究相比，我们的DAC-CSR通过提高训练的特定领域模型的容错性能和使用在线动态模型选择策略来解决这些问题。数据增强：对于CSR等基于学习的方法，大量训练样本的可用性至关重要。然而，这是一项繁琐的任务，手动注释大量训练数据的面部标志。为了解决这个问题，数据增强被广泛用于基于CSR的FLD。传统的方法包括随机扰动初始特征点、图像翻转、图像旋转、图像模糊和对原始人脸图像添加噪声等然而，这些方法都不能将新的面外旋转面注入现有的训练数据集。最近，为了通过具有丰富姿态变化的样本来增强训练集，已经建议使用3D人脸模型例如，Fenget al. [15，23，31]使用3D变形人脸模型来合成大量的2D人脸。然而，合成的虚拟人脸缺乏真实的外观变化，特别是在背景和表情变化方面。 为了减轻这个问题，DOM森林和神经网络。在本文中，我们使用岭回归作为一个弱回归，即。 φ ={A，e}：φ：δs=A·f（I，s′）+e，（1）其中A∈R2L×Nf是投影矩阵，Nf是使用f（I，s′）提取的形状相关特征向量的维数，e ∈ R2L是偏移量. 对于形状相关的特征提取，我们应用局部描述符，例如。猪，当前形状的所有面部界标的邻域估计并将所提取的特征连接成长向量。弱回归量的使用导致对当前形状估计的更新：s′←s′+ δs。（二）经过训练的CSR应用级联的所有弱回归量来逐步更新形状估计并从输入图像获得最终的给定训练数据集T={Ii，bi，s}I，其中I个样本包括人脸图像、人脸边界框和手动注释的人脸标志，我们首先获得初始形状估计{s′}I在我们所有的训练样本中-设置提供的面边界框。 然后把形状向上-当前形状估计与第i个训练样本的地面真实形状之间的数据可以使用δs=s-s′来计算。第一个弱回归量是使用他们提倡级联协作回归策略，以从真实和合成的面孔的混合物中训练CSR为了生成具有姿态变化的逼真人脸图像，岭回归通过最小化损失：ΣIargmin||A·f（Ii，s′）+e − δs||2+ λ||一||第二条、第三条等人将3D形状模型拟合到2D面部图像并生成从重建的3D形状信息的轮廓面视图A、Ei=1i i2Fmation [47].然而，这些基于3D的方法[15，23，47]需要3D面部扫描以用于模型构建，这是捕获的成本此外，在实践中难以将3D面部模型拟合在本文中，我们提出了一个简单，但有效的基于二维的方法来生成虚拟人脸与平面外的姿态变化。3. 级联形状回归（CSR）给定输入面部图像I和图像中检测到的面部的对应面部边界框b =[x1，y1，x2，y2]T（左上角和右下角的坐标），FLD的目标是以向量s=[x1，y1，.，xL，yL]T，由L个预定义的具有语义的面部界标（例如眼睛中心和鼻尖）的坐标组成。为此，我们首先通过将平均形状放入边界框来初始化面部形状s′然后，训练的CSR Φ ={φ（1），φ（2），.，φ（N）}用于更新初始形状估计，其中Φ是强回归量，n弱回归可以得到一个弱回归量使用任何回归方法，例如线性回归，运行-其中λ是正则化项的权重。这是一个典型的最小二乘估计问题，具有封闭形式的解决方案[16，38]。最后，用训练好的弱回归器更新所有训练样本的当前形状估计重复这个过程，直到获得所有N个弱回归量4. 动态注意控制CSR4.1. 架构所提出的DAC-CSR方法的架构具有三个级联级：面边界框细化，一般的CSR和域特定的CSR，如图所示。2.事实上，我们的DAC-CSR可以被描述为一个强大的回归-SorΦ={φb，Φg，Φd}，其中φb是用 于 面 部 边 界 框 细化 的弱回归器，Φg={φg（1），.，φg（Ng）}是具有Ng个弱回归元的经典CSR，为{Φd（1），.，Φd（M）}是M域的强回归子具体的CSR和他们每个人都有Nd弱回归Φd（m）={Φd（m，1），.，φd（m，Nd）}。2484稠密面描述...面盒优化n=1n←n+1n=1稠密人脸稀疏人脸描述一般形状回归函数n（n∈ {1，2，形状初始化n←n+1域特定形状回归算法（Domain Specific ShapeRegression）Nd}）d（1，n）d（2，n）...d（M，n）图2.提出的DAC-CSR包括三个级联阶段：面边界框细化，一般CSR和特定领域的CSR。面边界框细化：我们将第一步的弱回归量定义为φb={Ab，eb}：φ：δb=A·f（I，b）+e，b b bb（四）其中fb（I，b）从原始人脸边界框内的图像区域提取密集局部特征，δb用于调整原始边界框。这个弱回归量的训练与第3节中介绍的经典CSR的过程相同。这里唯一的区别是，我们使用面部边界框差异而不是形状差异来进行等式中的回归（三）、训练样本的地面实况面部边界框通过取地面实况面部形状周围的最小外接矩形来计算。一般CSR：一般CSR的初始形状估计值s′是通过平移和缩放平均值获得的形状，使其完全符合细化的边界框，接触所有四个方面。然后，一般CSR使用所有的公式逐步更新初始形状估计s′←s′+δsΦg={φg（1），.，φg（Ng）}，作为indi-在算法1中。 第n个弱回归量定义为φg（n）={Ag（n），eg（n）}：φg（n）：δs=Ag（n）·fc（I，s′）+eg（n），（5）其中fc（I，s′）是结合密集面部描述和形状相关稀疏局部特征的上下文感知特征提取函数。这个阶段的训练与第3节介绍的经典CSR相同。特定领域的CSR：假设该阶段具有对应于M个子域的M个域特定CSR，每个CSR具有N-d个弱回归量。第m个特定领域CSR的第n个弱回归量定义为：φd（m，n）：δs=Ad（m，n）·fc（I，s′）+ed（m，n），（6）其中m=1，…M，N=1，...，Nd.给定由先前的一般CSR输出的当前形状估计s’，使用域预测器来选择域特定的CSR以用于算法1：使用我们的DAC-CSR的 FLD当前形状更新（第4.3节）。应该注意的是，我们使用动态域选择策略，其在每次形状更新之后更新用于域特定模型选择的标签由于在第4.2节中描述了所提出的特定于域的CSR训练，该机制使得我们的DAC-CSR能够容忍域预测错误。4.2. 企业社会责任培训如第3节所介绍的，给定一个具有I个样本的训练数据集T，前两个阶段，即：人脸边界框细化和一般CSR，直接使用T.为了训练特定于领域的CSR，我们首先创建M个子集{T1，… TM}，其中Tm T.为此，我们对所有当前形状估计进行归一化，将前一个通用CSR的输出转换为区间[0，1]。然后利用主成分分析法求出前K个形状特征向量。所有当前形状估计都被投影到基于当前形状估计（m∈ {1，2，.，M}）稠密面描述稀疏人脸描述输入：图像I、面部边界框b和训练的DAC-CSR模型Φ={Φb，Φg，Φd}输出：面部标志s′1 使用φb细化面边界框b;2.使用细化的面部边界框来估计当前面部形状s;3forn←1 toNgdo4应用第n个广义弱回归量φg（n）更新当前形状估计;5端6forn←1 toNddo7预测所述子域的标签（m当前形状估计使用Eq. (11);′8将第n个弱回归量φd（m，n）应用于第m个特定于域的CSR，用于更新当前形状;9端部2485我{i}K为了训练第m个特定领域CSR的第n个弱回归量，目标函数被定义为：ΣI最小值wi||Ad·fc（Ii，s′）+ed− δs<$||2+ λ||一个d||二、Ad， edi=1i i2F（九）其中wi是由下式定义的模糊集隶属度值图3.提出的域分裂策略（K= 2，ck= 0）。.wi=1−h（n）如果{Ii，bi，s<$}∈Tmh（n）否则、（10）K维子空间，以获得投影系数其中，h（n）是递减函数，其逐渐地恢复。引入训练样本的权重，第m个子域，并增加训练的权重-ii=1，其中ci=[ci，1，.，ci，K]T. 则原始对第m子域的样本 这是一个标准域 被 划 分 为 M=2K+1 重 叠 子 域 ， 如 图 所 示 。 3 ，K=2。对于第M个子域，它包括满足以下条件的训练样本加权最小二乘估计问题的封闭形式的解决方案。应该注意的是，我们的模糊特定领域模型学习了一个弱回归量，ΣKing2（ci，k−c）≤1，其中ck和σ（k）为平均值从任何子域的面部形状估计，并且具有更好的k=1（σ（k））2和系数的第k个向量对于其他子域，每个子域包括K维坐标系的特定区域中的训练样本。更具体地说，对于每个系数ci，通过下式生成子域隶属度字g（ci）：ΣKg（ci）=1+bc（ci，k）2k−1，（7）k=1其中b_c（c_i，k）是将系数向量中的第k个元素压缩为比特的编码函数称之为从特定域中细化面部形状的能力即使在没有重叠的情况下使用域分割策略，也会显示出这种能力4.3. 测试中的动态域选择给定具有检测到的面部边界框的新测试图像，训练的DAC-CSR模型Φ={φb，Φg ，Φd}首先应用面部边界框细化器φb和一般CSR Φg以获得中间面部形状估计s′。然后选择一个特定的领域注意力弱回归变量，从而更新当前形状估计。bc（ci，k）=.1如果ci，k≥c（k）.（八）为了选择适当的弱回归量，将当前形状估计s′投影到学习的PCA空间0否则然后，第m个子域，1

下载后可阅读完整内容，剩余1页未读，立即下载