13D人脸变形模型James Booth1Epameinondas Antonakos2，StylianosPloumpis1 George Trigeorgis1Yannis Panagakis1Stefanos Zafeiriou1，31英国伦敦帝国理工学院2德国柏林亚马逊3芬兰奥卢大学1{james.booth，s.ploumpis，g.trigeorgis，i.panagakis，s.zafeiriou}@ imperial.ac.uk2antonak@amazon.com摘要三维变形模型（3DMM）是三维面部形状和纹理的强大统计模型，并且是用于从单图像重建面部形状的最先进方法之随着新的3D传感器的出现，许多3D人脸数据集已被收集包含中性以及表情的脸。然而，所有数据集都是在受控条件下捕获的。因此，即使强大的3D面部形状模型可以从这样的数据中学习，它是难以建立统计纹理模型，足以重建在无约束条件下（“在野外”）捕获的脸在本文中，我们提出了第一个，据我们所知，我们表明，这种“在野生”纹理模型的就业此外，我们提出了一种新的快速算法，适合在任意图像的3DMM。最后，我们已经捕获了第一个3D人脸数据库，相对不受约束的条件和报告的定量评估与国家的最先进的性能。在标准的“野外”面部数据库上证明了互补的定性重建结果1. 介绍在过去的几年中，我们已经见证了各种人脸分析任务的显著改进，例如人脸检测[19，42]和静态图像上的2D面部标志定位[40，21，6，38，43，4，5，36]。这主要归因于社区已经做出了相当大的努力来收集和注释在不受约束的条件下捕获的面部图像[24，45，9，32，31]（通常称为“在野外”），当这项工作完成时，图1.我们的创造性的方法，可以利用这样大量的数据的然而，由于缺乏地面实况数据，判别技术不能应用于3D面部形状估计在过去的二十年里，从单幅图像中估计三维人脸形状一直受到许多研究者的关注。研究的两条主线是（i）拟合3D可变形模型（3DMM）[11，12]和（ii）应用阴影形状（SfS）技术[34，35，22]。Blanz和Vetter [11，12]的工作中提出的3DMM拟合是第一个基于模型的3D面部恢复方法之一。该方法需要构建一个3DMM，这是一个统计模型的面部纹理和形状的空间中，有明确的对应关系。第一个3DMM是使用在良好控制的条件下捕获的200张面孔这就是为什么该方法只在现实世界中工作，而不是最先进的SfS技术利用特殊的多线性分解，找到照明的近似球谐分解此外，为了从大型4849为了提高“野外”图像的可用性，这些方法联合重建了大量图像。然而，尽管[34，22]的结果非常有趣，但考虑到没有面部表面的先验，这些方法只能恢复面部的2.5D表示，特别是面部法线的平滑近似。在“野外”条件下从单个图像恢复3D面部形状• 从单个图像中提取3D面部形状的一般问题是一个病态问题，众所周知，在不使用任何状态的情况下难以解决面部形状和纹理的统计先验。也就是说，在没有关于手头的对象的形状的先验知识的情况下，存在问题中固有的模糊性。在图像中的位置处的像素强度是对象的基本形状、表面曲率和法线特性、相机参数以及场景照明和场景中的其他对象的布置的复杂组合的结果。因此，这个问题可能有无限的解决方案• 学习“野外”图像的3D面部形状和纹理的统计先验使用现代采集设备。也就是说，即使在3D采集设备中有相当大的改进，它们仍然不能在任意条件下操作。因此，所有当前的3D面部数据库都是在受控条件下捕获的。利用可用的3D面部数据，可以学习面部形状的强大统计模型，该模型可以很好地识别身份和表达[14，30，13]。然而，这是不可能的，以构建一个统计模型的面部纹理，概括以及这就是为什么当前最先进的3D面部重建方法仅依赖于在稀疏的地标集合上之前拟合统计3D面部形状的原因[2，16]。在本文中，我们做出了一些贡献，使3DMM的使用“在野外”的脸rebraction-tion（图。①的人。具体而言，我们的贡献是：• 我们提出了一种从“野生”面部图像中学习统计纹理模型的方法显示身份和表达变化的先验。受基于特征的（例如 ， HOG [15] ， SIFT [25] ） 主 动 外 观 模 型（AAM）[3，4]，我们进一步展示了如何学习3DMM的基于特征的纹理模型。我们证明了使用“野外”基于特征的纹理模型的优点• 通过利用拟合统计变形模型[29，37，4，1]的最新进展，我们提出了一种新的快速算法来拟合3DMM。此外，我们公开了我们算法的实现，我们相信这对社区有很大的好处，因为缺乏强大的开源实现来拟合3DMM。• 由于缺乏真实数据，大多数3D人脸重建论文只报告了定性结果。 本文旨在提供定量的为了进行有效的评估，我们使用Kinect Fusion[18，28]收集了一个新的3D表面数据集，该数据集具有许多本文其余部分的结构如下。在第2节中，我们详细介绍了我们的“在野外”3DMM的建设第4节描述了我们的新数据集，这是第一个提供具有地面真实3D面部形状的图像的我们在第5节中概述了一系列定量和定性实验，并在第6节中得出结论。2. 模型训练3DMM由三个参数模型组成： 的形状、相机和纹理模型。2.1. 形状模型让我们用N表示对象的3D网格（形状）顶点作为3N×1向量Ts= x1，. . .，xN=[x1，y1，z1，. . . ，x N，y N，z N]（1）不其中xi=[xi，yi，zi]是以物体为中心的笛卡尔坐标第i个顶点的坐标3D形状模型可以是通过首先将一组3D训练网格进行密集对应来构建，使得每个网格都用相同数量的顶点来描述，并且所有样本都具有共享的语义排序。然后，通过应用广义网格，将对应的网格{si}带入形状空间。进 行 Procrustes 分 析 ， 然 后 进 行 主 成 分 分 析（PCA），得到{s，Us}，其中s∈R3N是平均形状向量，Us∈R3N×ns是平均形状向量。在保持第一个Ns主坐标后的标准正交基，ponents。该模型可用于生成新颖的三维形状50SIFT RGB不q=[q0，q1，q2，q3]为了将3D旋转表示为1−q2−q2q q−q qq q+ q q22 31 20 3 1 3 0 2Rv= 2μ m q1q2+q0q31−q2−q2q2q3−q0q121 3q1q3−q0q2q2q3+q0q11−q2−q221 2（五）注意，通过对四元数强制执行单位范数约束不nion向量，即Q Q=1、旋转矩阵con-与单位行列式正交的应变与-举办 给定单位范数性质，四元数可以是不我们看到a是一个三参数向量[q1，q2，q3]和标量q0= 1−q2−q2−q2。3DMM上的大多数现有作品1 2 3图2. 左：我们的“野生”SIFT纹理模型的平均值和前四个形状和SIFT纹理主成分。右：为了帮助解释，我们还显示了等效的RGB基础。使用函数S：Rns→R3N作为S（p）=<$s+Usp（2）不参数化旋转矩阵Rv 使用三个欧盟-更小的角度定义了绕水平线的旋转垂直和相机轴。即使欧拉角是更自然的解释，他们有很大的缺点时，采用优化程序，最显着的解决方案的模糊性和万向节锁定效果。基于四元数的参数化方法克服了这些缺点，并进一步保证了计算效率、鲁棒性和更简单的微分.相机功能。由3DMM的相机模型执行的投影操作可以用函数P（s，c）表示。 ： R3N →R2N，适用于转换Eqs。3和4关于提供的要点其中p =[p1，. . . ，pns]2.2. 相机模型是n个形状参数。三维网格，不c=[f，q1，q2，q3，tx，ty，tz]（六）相机模型的目的是映射（投影）将3D网格实例的以对象为中心的笛卡尔坐标转换为图像平面上的2D笛卡尔坐标。在这项工作中，我们采用了针孔相机模型，它利用了透视变换。然而，也可以以相同的方式使用正射投影模型透视投影。3D 点的投影是长度为nc= 7的相机参数的向量。出于缩写的目的，我们用函数W：Rns，nc→R2N表示3DMM的相机模型为W（p，c）P（S（p），c）（7）其中S（p）是使用等式（1）的3D网格实例。二、不x= [x，y，z]到其在图像平面x′中的2D位置=T′2.3. “In the Wild” Feature Based Texture[x，y]包括两个步骤。 首先，旋转3D点并且在相机静止的假设下，使用线性视图变换进行平移。不[vx，vy，vz]=Rvx+tv（3）不生成一个“在野外”的纹理模型是建议的3DMM的关键组成部分。为此，我们利用现有的大型面部假设对于一组M个其中R∈R3×3且t=[t，t，t] 是3D轮值表v v xyz和翻译的部分，分别。然后，应用非线性透视变换，3241324151我们可以访问相关联的摄像机和形状参数{pi，ci}。让我们也定义一个稠密特征提取函数Σx′=fvxvzvyΣ ΣΣ+cxcy（四）F：RH×W→RH×W×C（8）其中C是基于特征的图像的通道的数量。对于每个图像，我们首先计算其基于特征的代表，其中f是以像素为单位的焦距（我们假设，焦距的x和y分量相等），不表示为Fi=F（Ii），然后使用Eq. 7在每个顶点位置对其进行采样，以重建矢量化纹理[cx，cy]是设置到图像中心的主点。样本ti=Fi（W（pi，ci））∈ R.此纹理示例四元数我们参数化3D旋转，四元数[23，39]。 四元数使用四个参数对某些地区来说是荒谬的，主要是由于自我-在图像空间中投影的网格中存在遮挡52SλΣ图3.建立ITW纹理模型W（pi，ci）.为了缓解这些问题，我们从相机向每个顶点投射光线，并测试与网格的三角剖分的自相交，以便学习投影样本的每个顶点的遮挡掩模mi∈RN让我们创建矩阵X=[t1，. . . ，tM]∈RCN×M通过连接M个严重损坏的基于特征的具有由掩码mi表示的缺失条目的纹理向量。为了基于这种严重污染的不完整数据鲁棒地构建纹理模型，我们需要恢复表示干净的面部纹理的低秩矩阵L∈RCN×M和针 对 总 的 但 稀 疏 的 非 高 斯 噪 声 的 稀 疏 矩 阵E∈RCN×M，X=L+E。为了从不完整和严重损坏的观测值中同时恢复L和E，解决了具有缺失值的双分量追踪[33]使用上述程序学习该纹理模型与所提出的3DMM拟合算法在相同的数据上使用，建立了改进的对应关系，细化了纹理模型。3. 模型拟合我们建议使用高斯-牛顿迭代优化在输入图像上拟合3DMM。为此，在这里，我们首先制定成本函数，然后提出两个优化程序。3.1. 成本函数所提出的3DMM公式的总体成本函数由基于纹理的项、基于稀疏2D地标的可选误差项以及关于参数的可选调节项组成。纹理重建代价。优化问题的主要术语是旨在估计形状、纹理和摄像机参数，以最小化基于图像特征的纹理之间的差异的范数其对应于3DMM的3D形状实例和纹理实例的投影2D位置。让我们用F=F（I）表示基于特征的表示，其中输入图像I的C个通道使用等式（1）：8. 然后纹理重建成本表示为arg min +λ1L、E（九）arg min<$F（W（p，c））− T（λ）<$p，c，λ（十一）S.T. P（X）=P（L+E），其中λ·λ1表示核范数，λ·λ1是矩阵λ1-范数，λ >0是正则化子。X表示对应于X的观测条目的位置集合（ 即 ， （ i ， j ） ∈n ， 如 果 mi=mj= 1 ） . 然 后 ，P<$（X）被定义为矩阵X在观测项上的投影，即如果（i，j）∈ <$，则P<$（X）ij=xij，否则P<$（X）ij= 0。凸优化问题的唯一解问题在Eq。9是通过采用基于乘法器的算法的交替方向方法[10]找到的。通过对从前一过程中获得的基于特征的重构纹理集应用PCA来创建最终的纹理模型。这将导致{t，Ut}，其中<$t∈RCN是平均txture向量，Ut∈RCN×nt是保持第一个nt印刷后的标准正交基。注意，F（W（p，c））∈RCN表示在投影的2D上对基于特征的输入图像进行采样由 相机 模型 获取 的3D形 状实 例的 位置 （等 式 2）（七）.正规化。为了避免过拟合效应，我们增加了两个可选的regularisation项的形状和纹理参数的成本函数。让我们将形状模型和纹理模型的特征值在其主对角线上的对角矩阵分别记为εs∈Rns×ns和εt∈Rnt×nt基于由于形状和纹理模型的PCA性质，假设它们的参数遵循正态先验分布，即p<$N（0，λs）和λ<$N（0，λt）。 我们制定的正则化项作为参数向量的用相应的逆特征值加权，即，联合国难民署组成部分。该模型可用于生成新颖的基于特征的3D纹理实例，arg mincsp，λ2ǁpǁΣ−1+ct2ǁ ǁ−1不（十二）T：Rnt→RCNas其中csct是用来衡量T（λ）=<$t+Utλ（10）成本函数中的正则化项。2D地标成本。 为了快速适应凸轮-其中λ=[λ1，. . . ，λ nt不] 是Nt纹理参数Eq.的成本中的era参数。11、我们进一步扩大最后，可以使用迭代过程来细化质地也就是说，从我们提供的3D贴合开始带项253arg minc<$W（p，c）−s2（十三）仅使用2D地标[20]，可以使用纹理模型l llp， c54随便c=l.St不其中s1= [x1，y1，. . .，x L，y L]表示L个稀疏在图像坐标系上定义的2D界标点（L<$N）和Wl（p，c）返回这些L个稀疏界标的2D投影位置的2L×1直观地，该术语旨在使用所选择的稀疏地标作为锚来驱动优化过程，对于所述锚，我们具有最佳位置SL。 这种可选的基于地标的成本是注意，由于以下原因，该成本函数的纹理重建和地标约束项是非线性的：相机模型操作。我们需要使用一阶泰勒级数展开在（p，c）附近将它们线性化，（p+p，c+c）=（p，c）（p，c）=0.线性-图像项的位置给出用常数CL加权。总成本函数。整体3DMM成本函数F（W（p+p，c+c））<$F（W（p，c））++JF，p+JF，c（十八）是公式化为Eqs中的项的总和。11、12、13，即..argminp， c，λ<$F（W（p，c））− T（λ）<$2+cl<$Wl（p，c）−sl<$+其中JF、p= 10F10W。p= p 和JF、c=10F10W。C=c是22相对于形状和凸轮的像雅可比矩阵+cs p−1+ctλ−1（十四）标志项以及正则化项是可选的，并且旨在引导优化过程更快地收敛并达到更好的最小值。请注意，由于所提出的参数，分别。注意，大多数密集特征提取函数F（·）是不可微的，因此我们简单地计算多通道特征图像的梯度F（·）。类似地，稀疏地标投影项的线性化给出Wl（p+n p，c+n c）<$ Wl（p，c）+JWl，p<$p+JWl，c<$c与相关文献[11，12]中的模型相似，这极大地简化了优化。其中JWl，p.W.随便p=p和JWl，c克拉夫湖=0.00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000002552一比三S不λ λΣC= c（十九 ）是3.2. 高斯牛顿优化受Lucas-Kanade 2D图像对齐[7，27，29，37，4，1]中大量文献的启发，我们制定了高斯-牛顿优化框架。具体地，假定相机投影模型被应用于等式（1）的图像部分14、所提出的优化具有“向前”的参数更新。形状、纹理和相机参数以加法方式更新，即，p←p+p，λ←λ+λ，c←c+c（15）其中，Δp、Δλ和Δc是在每次拟合迭代时估计的增量。注意，在四元数的情况相机雅可比。有关计算该等衍生工具的详情，请参阅补充资料3.2.1同时在这里，我们的目标是同时解决所有参数的增量。通过将等式18和19在Eq.17我们得到arg minp、<$F（W（p，c））+JF，p<$p+JF，c<$c− T（λ+<$λ）<$+2+cl<$Wl（p，c）+JWl，p<$p+JWl，c<$c−sl<$+用于参数化3D旋转矩阵，更新为2 2作为乘法+cs p+p−1+ctλ+λ−1Σ Σ Σ ΣSt（二十）q←（ q）q=0.0000q0=让我们将参数及其增量连接为箴言1：3Σq1：3Σ（16）b=[pT 、c、T不，λ] 且[b]= [p]T，T ，λT] .借？q0q0−=q1：3使最终线性化成本函数的导数与对于φ b，取φ q0q 1：3+q 0φq 1：3+ φq 1：3×q 1：3然而，为了简单起见，我们仍然将其表示为加法b= −H−1。JTe+cJTe+c<$−1p+c<$−1λ<$最后，我们发现保持焦距是有益的在大多数情况下，由于其与tz的模糊性，它是常数。FFl WllsST T−1不不（二十一）−1线性化。通过引入Eq.14、成本函数为其中H=JF黑森，JF+clJWl JWl+c ss +c ttt 是表示为T TTTTJF=2JF，p，JF，c，−Ut（二十二）arg minp、<$F（W（p+<$p，c+<$c））− T（λ+<$λ）<$+2+cl<$Wl（p+<$p，c+<$c）−sl<$+和JWl=TJWl，p，J Wl，c，0nt×2L+cs2p+2+不（十七）eF=F（W（p，c））−T（λ）el=Wl（ p， c）− sl（二十三）不56F、pF、c2S不CUPSpF，pL+cJJ是剩余项。 的计算复杂度注意，最昂贵的操作是JTP. 怎么-每次迭代的同时算法由以下因素支配：如果我们先做JT然后乘以这个结果纹理重建项为O（（n+n+n）3+TF、ps c t2如果U为t，总成本为O（CNn t n s）。 相同的CN（n s+n c+n t）），这在实践中太慢了。代表JTP。 因此，每次迭代的成本为3.2.2项目输出我 们 建 议 使 用 Project-Out 优 化 方 法 ， 该 方 法 比Simultaneous方法快得多。其主要思想是在纹理子空间的正交补上进行优化，这将消除在每次迭代时求解纹理参数增量的需要。通过将等式18和19到Eq。17并去除纹理参数的增量更新以及纹理参数正则化项，我们最终得到问题算法复杂度为O（（ns+ nc）3+ CNnt（ns+ nc）+CN（ns+ nc）2），比Simultaneous算法快得多。残留掩蔽。在实际应用中，我们在高斯-牛顿优化的纹理重建残差上应用掩模，以加快3DMM拟合。该掩模通过首先使用z缓冲获取可见顶点的集合，然后随机选 择 其 中 的 K 个 来 通 过 保 持 较 小 的 顶 点 数（K=5000N），我们可以大大加快拟合过程，准确性的惩罚。argminλ p， λc，λ<$F（W（p，c））+JF，p<$p+JF，c<$c− T（λ）<$+2+cl<$Wl（p，c）+JWl，p<$p+JWl，c<$c−sl<$+4. KF-ITW数据集为了评估3DMM，我们构建了+cs2p+（二十四）KF-ITW，第一个在相对无约束条件下捕获的3D人脸数据集。数据集由17个方程的解。关于λ的24很容易由下式给出在不同的照明条件下记录不同的主题，表演一系列表情的地方（中性，快乐，λ=UT（F（W（p，c））+JF、pPURPOSE+JF、c（25）惊喜）。我们采用KinectFusion [18，28]框架来获取受试者的三维表示，通过插入Eq. 25进入Eq 24，我们得到Kinect V1传感器argmin布雷普F（W（p，c））+JF、pPURPOSE+JF、cc−<$t2+2每个主题的融合网格作为3D面部地面实况，我们可以在其中评估我们的算法，与其他方法比较。一个大小为6083的体素网格，+cl<$Wl（p，c）+JWl，p<$p+JWl，c<$c−sl<$+2+cs p+p−1用于获得面部的详细3D扫描。为了准确地重建面部的整个表面，不其中P=E−UtUt（二十六）是的正交补执行圆周运动扫描模式每个受试者都被要求在整个过程中保持固定姿势。纹理子空间作为其 中 E 表 示 CN×CN 酉 矩 阵 。 注 意 ， 为 了 导 出Eq.26，我们使用性质PT=P和PTP = P。 通过微分方程。26并等于零，我们得到解整个扫描过程。每个主题的帧率每秒8帧。在从KinectFusion框架获得3D扫描后，我们以非刚性方式拟合我们的形状模型，以获得具有用于评估过程的明确顶点数的干净网格最后，-1。 不T −1每个网格都用iBUG 49稀疏Hp=HpJF，pPeF+clJWl，pel+cssp.（二十七）地标设置。T Pe=H−1JTPe+cJTeC哪里F，cLWl，cl5. 实验H=JTPJ不F、p不lWl，p不W，p+cs−1（二十八）为了训练我们的模型（我们将其标记为ITW），我们使用巴塞尔人脸模型（BFM）[30]的一个变体，Hc=JF， cPJF，c+clJWl，cJWl，c是Hessian矩阵，57eF=F（W（p，c））−<$t el=Wl（ p， c）− sl（二十九）包含从原始BFM模型中得出的两个恒等式以及[14]提供的表达式。我们在iBUG，LFPW AFW数据集的图像上训练了2.3使用[44]提供的3D形状拟合此外，我们选择在整个实验中使用是剩余项。纹理参数可以在迭代过程结束时使用Eq. 二十五由于其优越的运行时间性能和与同步的拟合性能相当。581.00.90.80.70.60.50.40.30.20.10.00.000.01 0.02 0.03 0.040.05归一化稠密顶点误差0.06方法AUC失效率（%）ITW0.6781.79线性0.6154.02经典0.53113.9表1. KF-ITW数据库上面部形状估计的准确性结果。该表报告了图1的累积误差分布的曲线下面积（AUC）和失效率。4.第一章1.00.90.80.70.6图4.KF-ITW数据库上面部形状估计的准确性结果结果表示为归一化稠密顶点误差的累积误差分布。表1报告了其他措施。5.1. 3D形状恢复在本文中，我们针对两种流行的最先进的替代3DMM制剂在3D形状估计精度方面评估我们的第一个是一个经典的3DMM与原来的巴塞尔实验室纹理模型和充分照明方程，我们称之为经典。第二种是[16，17]中提出的无纹理线性模型，我们称之为线性模型。对于 Lin-ear 代 码 ， 我 们 使 用 Surrey 模 型 和 相 关 的blendshapes以及[17]中给出的实现。我们使用KF-ITW数据集中提供的地面实况注释来初始化并将所有三种每个受试模型的平均网格都使用数据集中使用的相同49点标记进行标记，并通过使用稀疏注释执行Procrustes对齐，然后使用非刚性迭代最近点（N-ICP）迭代变形两个表面，直到它们对应为止，从而相对于地面实况网格进行配这为每个测试图像的3D形状重新加工问题提供了每个模型的“地面实况”。我们的误差度量是恢复的形状和模型特定的对应地面实况拟合之间的每个顶点密集误差，由测试网格的眼间距离图4显示了三个受试模型的累积误差分布。表1报告了相应的曲线下面积（AUC）和失效率。经典模型很难适应测试集中存在的无纹理线性模型做得更好，但ITW模型是最能够恢复的面部形状，由于其理想的特征基础的“在野外”的图6展示了0.50.40.30.20.10.00 10 20 30 40 50平均角误差图5. 以平均角度误差的累积误差分布的形式对面部表面法线估计的结果。300W数据集[31，32]，定性地突出了所提出的技术的有效性。我们注意到，在各种各样的表情，身份，照明和遮挡条件下，我们的模型能够鲁棒地重建经得起审查的真实3D面部形状。5.2. 定量正常恢复作为第二次评估，我们使用我们的技术来找到每像素法线，并与两种良好建立的阴影恢复形状（SfS）技术进行比较：[22 ]《明史》卷128为了进行实验评估，我们使用了来自Photoface数据库的100名受试者的图像[41]。由于为每个主体提供了一组四个照明条件，因此我们可以使用校准的4源光度立体[26]生成地面真实面部表面法线。图图5示出了根据平均角误差的累积误差分布尽管IMM和PS-NL都使用了每个受试者的所有四个可用图像，但ITW的表现略优于IMM6. 结论我们已经提出了一种新的配方的3DMMs重新想象使用在“在野外”的条件。我们利用注释的此外，我们提出了一种新的优化程序3DMM拟合。我们经 典 线性ITW顶点比例ITWPS-NLIMM图像比例59图6.我们的ITW3DMM在300W的野生配合中的例子[31]。表明我们能够恢复形状更多的细节比可能使用纯粹的地标驱动的方法。我们新引入的鸣谢：布斯和G. Trigeorgis获得了伦敦帝国理工学院EPSRC DTA奖的支持。E. Antonakos和S. Ploumpis部分由欧洲共同体地平线2020 [H2020/2014-2020]根据第2020/2014-2020号赠款协议资助。688520（TeSLA）。S. Zafeiriou部分由EPSRC项目EP/N 007743/1（FACER2 VM）资助。60引用[1] J. Alabort-i Medina和S. Zafeiriou.一个统一的框架组成拟合的积极外观模型。国际计算机视觉杂志，第1-39页，2016年。二、五[2] O. Aldrian和W.A. 史密斯用3d可变形模型逆向绘制人脸IEEEtransactionsonpatternanalysisandmachineintelligence，35（5）：1080-1093，2013。2[3] E. Antonakos，J. Alabort-i-Medina，G. Tzimiropoulos，以及S. Zafeiriou.猪活跃的外观模型。IEEE图像处理国际会议论文集，第224-228页。IEEE，2014。2[4] E. Antonakos，J. Alabort-i-Medina，G. Tzimiropoulos，以及S. Zafeiriou.基于网络的卢卡斯-卡纳德模型和主动应用模 型 。 IEEE Transactions on Image Processing ， 24（9）：2617-2632，2015年9月。一、二、五[5] E. Antonakos，J. Alabort-i-Medina和S. Zafeiriou.积极的图 像 结 构 。 在 Proceedings of IEEE InternationalConference on Computer Vision Pattern Acquisition， 第5435美国电气与电子工程师协会。1[6] A. Asthana，S. Zafeiriou，S. Cheng和M.惊慌失措令人难以置信的面部线条。在2014年IEEE计算机视觉和模式识别会议集，第1859-1866页中。1[7] S. 贝克和我马修斯卢卡斯-卡纳德20年：统一框架。国际计算机视觉杂志，56（3）：221-255，2004。5[8] R. 巴斯里D.雅各布斯和我凯梅尔马赫测光立体声，一般，未知照明。IJCV，72（3）：2397[9] P. N. Belhumeur，D. W. Jacobs，D. J. Kriegman和N. Ku-mar. 使 用 一 致 的 例 子 定 位 面 部 的 部 分 。 IEEEtransactionsonpatternanalysisandmachineintelligence，35（12）：2930-2940，2013。1[10] D. P. Bertsekas. 约束优化和拉格朗日乘子法。学术出版社，2014年。4[11] 诉Blanz和T.维特三维人脸合成的可变形模型在第26届计算机图形和交互技术年会的会议记录中，第187页194. ACM出版社/Addison-Wesley出版公司1999. 一、五[12] 诉Blanz和T.维特基于三维形变模型拟合的人脸识别IEEE Transactions on pattern analysis and machineintelligence，25（9）：1063-1074，2003. 一、五[13] J. Booth，A. Roussos，S. Zafeiriou，A. Ponniah和D. 快走开。从10，000张面孔中学习的3D变形模型。在CVPR，2016年。2[14] C. Cao ， Y.Weng 、 黄 毛 菊 S.Zhou ， Y.Tong 和 K. 舟Faceware- house：一个用于视觉计算的三维面部表情数据 库 IEEE Transactions on Visualization and ComputerGraphics，20（3）：413-425，2014。二、六[15] N. Dalal和B. Triggs用于人体检测的定向梯度的直方图。在2005年IEEE计算机协会计算机视觉和模式识别会议IEEE，2005年。2[16] P. 胡贝尔 Z.- H. 冯先生， W. 圣诞节 J. Kittler和M. 好吧。利用局部特征拟合三维可形变面模型在图像处理（ICIP）中，2015 IEEE国际会议，第1195-1199页。IEEE，2015年。二、七[17] P. Huber，G.胡河，巴西-地Tena，P. Mortazavian，W.P.Koppen，W. 圣诞节M Ratsch，andJ. 基特尔河多分辨率三维形变人脸模型及拟合框架。2016年第11届计算机视觉、成像和计算机图形理论与应用国际联合会议论文集。7[18] S. 伊萨迪D.Kim，O.希利格斯，D。莫利诺河纽科姆P. Kohli ， J. Shotton ， S. Hodges ， D. Freeman ， A.Davison等人运动融合：使用移动深度照相机的实时3D重建和交互。第24届ACM用户界面软件和技术研讨会集，第559-568页。ACM，2011年。二、六[19] V. Jain和E.学习米勒。Fddb：无约束环境下人脸检测的基准测试。技术报告UM- CS-2010-009，马萨诸塞大学，阿默斯特，2010年。1[20] A. Jourabloo和X.刘某基于cnn的密集3d模型拟合的大姿态人脸对齐在CVPR，2016年。4[21] V. Kazemi和J.苏利文用回归树的集合进行一毫秒人脸对齐。在2014年IEEE计算机视觉和模式识别会议集，第1867-1874页中。1[22] I.克梅尔马赫-施利泽曼基于互联网的变形模型。在IEEE计算机视觉国际会议论文集，第3256-3263页一、二、七[23] J. B. Kuipers等人四元数和旋转序列，第66卷普林斯顿大学出版社，1999。3[24] V. Le，J. Brandt，Z.林湖，澳-地Bourdev和T. S.煌交互式面部特征定位。欧洲计算机视觉会议，第679-692页Springer，2012. 1[25] D. G.洛基于局部尺度不变特征的目标识别。计算机视觉，1999年。第七届IEEE国际会议论文集，第2卷，第1150-1157页。Ieee，1999年。2[26] D. Marr和H. K.西原三维形状的空间组织的表示和识别 。 伦 敦 皇 家 学 会 B ： Biological Sciences ， 200（1140）：269-294，1978. 7[27] I. Matthews和S.贝克修订了主动外观模型。InternationalJournal of Computer Vision，60（2）：135 5[28]R. A. 纽科姆，S。 伊扎迪河 希利格斯，D。莫利诺D. Kim，A.J. Davison，P.Kohi，J.Shotton，S.霍奇斯，A.菲茨吉本运动融合：实时密集表面映射和跟踪。在Mixed and augmented reality（ISMAR），2011年第10届IEEE国际研讨会上，第127- 136页IEEE，2011年。二、六[29] G. Papandreou和P.马拉戈斯自适应和约束算法用于逆合成活性外观模型拟合。计算机视觉和模式识别，2008年。CVPR 2008。IEEE会议，第1-8页。IEEE，2008年。二、五[30] P. 佩桑河诺特湾Amberg，S.Romdhani和T.兽医。一种姿态和光照不变的三维人脸模型61识别.在先进的视频和基于信号的监视，2009年。AVSS'09 。 第 六 届 IEEE 国 际 会 议 ， 第 296-301 页 。IEEE，2009年。二、六[31] C. Sagonas，E.安东纳科斯湾Tzimiropoulos，S. Zafeiriou和M.惊慌失措300人面临野外挑战：数据库和结果。图像和视觉计算，面部标志定位“野外”特刊一、六、七、八[32] C.萨戈纳斯湾Tzimiropoulos，S. Zafeiriou和M.惊慌失措300人面临野外挑战：第一个面部标志定位挑战。在IEEE Intl Conf.计算机视觉（ICCV-W 2013），300面在野外挑战（300-W），悉尼，澳大利亚，2013年12月。1、7[33] F.尚，Y. Liu，J. Cheng，and H.程具有缺失数据的稳健主 成分 分析 。 在 第23 届ACM 信 息和 知识 管 理 中 ，CIKMACM。4[34] 斯内普，Y。Panagakis和S. Zafeiriou.鲁棒球调和子空间的自动构造。在IEEE计算机视觉和模式识别会议的Proceedings中，第91-100页，2015年。一、二[35] P. 斯内普和S.Zafeiriou. 从明暗恢复形状的表面正态性核主元分析在IEEE计算机视觉和模式识别会议论文集，第1059-1066页，2014年。1[36] G. Trigeorgis，P.斯内普M. Nicolaou，E.安东纳科斯，S. Zafeiriou.记忆下降法：用于端到端面对齐的循环过程。在IEEE计算机视觉模式识别集，拉斯维加斯，内华达州，美国，2016年6月美国电气与电子工程师协会。1[37] G. Tzimiropoulos和M.惊慌失措野外快速aam拟合的优化问题在IEEE国际计算机视觉会议论文集，第593-600页二、五[38] G. Tzimiropoulos和M.惊慌失措用于野外人脸对齐的高斯牛顿可变形零件模型。在IEEE计算机视觉和模式识别会议论文集，第1851-1858页，2014年。1[39] M.惠勒和K。池内使用四元数迭代估计旋转和平移：计算机科学学院，1995年3[40] X. Xiong和F.德拉·托雷监督下降法及其在人脸配准中的应用。在IEEE计算机视觉和模式识别会议论文集，第532-539页，2013年。1[41] S. Zafeiriou M. 汉森 G. 阿特金森 V. Argyriou，M.彼得鲁湾Smith和L.史密斯Photoface数据库见CVPR，第132-139页，2011年6月。7[42] S.扎费里乌角zhang和Z.张某关于野外人脸检测的调查：过去现在和未来计算机视觉和图像理解，138：1-24，2015。1[43] S. Zhu，C. Li，C. Change Loy和X.唐通过由粗到细的形状搜索进行人脸对齐。在IEEE计算机视觉和模式识别会议论文集，第4998-5006页，2015年。1[44] X. Zhu，Z. Lei，X. Liu，H. Shi和S. Z.李跨大姿势的面部对齐：3D解决方案在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。6[45] X. Zhu和D. Ramanan野外人脸检测、姿态估计和地标定位。在计算机视觉和模式识别（CVPR），2012年IEEE会议上，第2879-2886页。IEEE，2012。1
