组合3D变形模型：人脸和头部模型的建模和重建

1212+-2组合3D变形模型：一个大比例尺的人脸和头部模型Stylianos Ploumpis1，3王浩洋1Nick Pears2 William A.P. 史密斯2Stefanos Zafeiriou1，31英国伦敦帝国理工学院2英国约克大学3FaceSoft.io1{s. ploumpis，haoyang.wang15，s. zafeiriou}@ imperial.ac.uk2{nick.pears，william.smith}@ york.ac.uk全球模特黑人模特亚洲模特年龄在7岁以下模特1 1正+ +--平均平均平均图1.定制的组合面头模型。前两个形状分量以及平均头部形状的可视化摘要三维变形模型（3DMM）是一种强大的统计工具，用于表示对象类的3D表面。在这种情况下，我们确定了一个有趣的问题，以前没有得到研究的关注：是否有可能组合两个或更多个3DMM，（a）是使用不同的模板，也许只是部分重叠，（b）具有不同的表示能力，（c）是建立从不同的数据集，可能不是公开的？在回答这个问题时，我们做两个贡献。首先，我们提出两种方法来解决这个问题：I.使用回归量来使用另一个模型来完成一个模型的缺失部分，ii.使用高斯过程框架来混合来自多个模型的协方差矩阵第二，作为我们的方法的一个例子应用，我们建立了一个新的脸和头的形状模型，结合了可变性和面部细节的LSFM与完整的头部建模的LYHM。所得到的组合形状模型实现了最先进的性能，并大大超过现有的头部模型最后，作为一个应用实验，我们重建完整的头部表示，从单一的，不受约束的图像，利用我们提出的大规模模型结合Face-Warehouse混合形状处理表情。1. 介绍由于其推断和表示3D表面的能力，3D可变形模型（3DMM）在计算机视觉、计算机图形学、生物识别和医学成像中有许多应用[4，15，1，26]。正确训练3DMM需要许多注册的原始3D图像有时，只有生成的3DMM可供研究界使用，而不是原始3D图像。由于日益严格的数据保护法规，人脸/头部的3D图像尤其如此。此外，即使3DMM具有重叠部分，它们的分辨率和表达详细形状变化的能力也可能完全不同，并且我们可能希望在单个模型中捕获多个3DMM的最佳特性然而，目前极难在没有这样的原始数据的情况下组合和丰富具有描述对象的不同部分的不同属性的前3DMM因此，在本文中，我们提出了一种通用的方法，可以用来将3DMM从一个对象类的不同部分到一个单一的3DMM。由于它们在计算机视觉社区中的广泛使用，我们将人脸和整个人类头部的3DMM融合在一起，作为我们的样本，从而创建了第一个组合的，大规模的，完整的头部变形模型。该技术易于扩展以结合详细的1093412+-10935耳朵[10]和身体的模型，并且确实适用于由3DMM良好描述的任何对象类。更具体地说，尽管在身份[17，30，28]和表情[8，29]方面有许多人脸模型，但很少涉及完整的头部解剖结构[11]。建立一个高质量的，大规模的统计模型，描述了整个人类头部的解剖结构，为许多学科铺平了道路。首先，它将协助颅面临床医生的诊断，手术计划，宁和评估。其次，基于面部几何形状生成比例正确的头部模型将有助于计算机图形设计师创建逼真的化身式表示。最后，头部模型将提供旨在从数据不足的源（诸如2D图像）重建完整头部我们的主要贡献是：（i）一种旨在融合基于形状的3DMM的方法(Note 3DMM的纹理组件超出了本文的范围，也是我们未来工作的主题。）特别是，我们提出了一种基于潜在形状参数的回归方法，和一种协方差组合方法，在高斯过程框架中使用，（ii）在种族、年龄和性别方面的人类头部的组合大规模统计模型，该模型比任何其他现有的头部变形模型都要准确得多--我们将其公开--以供研究界使用，包括有和没有眼睛和牙齿的版本，以及（iii）应用实验，其中我们利用组合的3DMM从不受约束的单个图像执行完整的头部重建，还利用FaceWarehouse混合形状来处理面部表情。2. 面部和头部模型文献第一个3DMM是由Blanz和Vetter [3]提出的。他们是第一个认识到3DMM的生成能力的人，他们提出了一种捕捉3D人脸变化的技术。仅使用200次扫描来构建模型（100名男性和100名女性），其中基于光流计算密集对应关系，光流取决于描述形状和纹理的能量函数Basel人脸模型（Basel Face Model，BFM）是Paysan等人提出的一种应用最广泛、最著名的三维数字高程模型。[23]并采用比原始Blanz-Vetter 3DMM更好的配准方法。他们使用已知的模板网格，其中所有顶点都具有已知的位置，然后通过利用最佳步骤非刚性迭代最近点算法（NICP）[2]将其配准到训练扫描采用标准主成分分析作为降维技术来构建模型。最近，Boothet al.[7]通过使用近10，000次面部扫描建立了大规模面部模型（LSFM）该模型是通过应用加权版本的最佳-步 骤 NICP 算 法 [13] ， 然 后 是 广 义 Pro-crustes 分 析（GPA）和标准PCA。由于大量的面部扫描，进行了一个强大的自动化程序，包括3D地标定位和错误修剪不良配准扫描。这项工作是第一个引入年龄，性别和种族方面的定制模型，也是迄今为止制作的中性表情中信息最丰富的面部形状3DMM。Li等人[20]使用来自美国和欧洲CEASAR身体扫描数据库[25]的总共3，800个头部扫描来构建整个头部的统计模型这项工作的目的主要集中在三维扫描的时间配准，而不是头部区域的拓扑结构。数据由全身扫描组成，并且记录头部拓扑的分辨率不足以正确描绘每个个体人类头部的形状。此外，在该方法中用于配准的模板非常稀疏，只有5000个顶点，这使得难以准确地表示整个头部。此外，配准过程结合了用于头部后部和颈部后部的耦合权重，这极大地约束了整个头部区域的实际统计变化在[24]中提出了这项工作的扩展，其中使用卷积网格自动编码器构建非线性模型，专注于面部表情，但仍然缺乏完整颅骨的统计变化。类似地，在Hu和Saito [16]的工作中，从单个图像创建完整的头部模型，主要用于实时渲染。这项工作旨在创建一个逼真的头像模型，其中包括3D头发估计。对于所有受试者，头部拓扑被认为是不变的，并且只有头部的面部部分是解剖学上正确的表示。最精确的颅面3DMM在形状和纹理方面，利物浦-约克头模型（LYHM）[11]。在这项工作中，从1,212个不同的身份建立了全球颅面3DMM和人口统计子群体3DMM虽然这项工作是第一个描述颅骨和面部之间的统计相关性，但它缺乏面部特征的细节，因为面部区域的空间分辨率并不明显高于颅骨区域。实际上，在PCA参数化中，颅和颈部区域的方差主导面部区域的方差。此外，尽管该模型描述了颅骨在给定受试者年龄的情况下如何受到影响，但由于数据集中缺乏种族多样性，因此在种族方面存在偏差。3. 头面形状组合在本节中，我们提出了两种方法来结合LSFM人脸模型和LYHM全头部模型。第一种方法，利用潜在的PCA参数，并解决了线性最小二乘问题，以近似完整的头部形状，而第二种方法构建了一个组合的covari。10936FFFCF不不H随后在高斯过程可变形模型（GPMM）中用作内核的ance矩阵[22]。3.1. 回归建模Wh，f∈ Rnh× nf来描述从LSFM人脸形状参数pf到对应的LYHM全头形状参数ph的映射。我们通过制定线性最小二乘问题来解决这个问题，该问题最小化：图2示出了三阶段回归建模流水线，其包括1）回归矩阵计算，H2Ch-Wh，f中国（4）2)模型组合和3）全头部模型配准，随后进行PCA建模。现在描述每个阶段。对于阶段1，让我们表示物体的3D网格（形状）。利用法方程，方程的解。4很容易由下式给出：具有N个点的对象作为3N×1向量Wh，f=Ch CT. CCT−1（5）S= [xT. . . xT]T= [x1，y1，z1，. . . x N，y N，zN]T（1）.Σ−11N其中CC ff是C f的右伪逆LYHM是具有Nh个点的PCA生成头部模型在保持前nh个主成分Uh∈R3Nh×nh和相应的λh特征值的基础上，用一个正交基来描述该模型可用于生成新颖的3D头部实例，如下所示：Sh（ph）=mh+Uhph（2）给定3D面部实例Sf，我们导出完整头部的3D形状Sh，如下所示：Sh=mh+UhWh，fUT（Sf−mf）（6）通过这种方式，我们可以根据LYHM拓扑映射和预测任何给定面部形状的颅骨区域的形状其中pΣh=p h1。. .pΣTHn是nh形状参数在第二阶段（Fig.2）采用大型MeIn3D数据库[7]，其中包括近10，000个3D人脸图像，我们利用W回归矩阵来构建新的完整的特斯类似地，具有Nf个在保留了nf个主成分Uf∈R3Nf×nf和相应的λf个特征值后，用一个相应的标准正交基来描述该模型通过以下方式生成新的3D面实例：Sf（pf）=mf+Ufpf（3）h，f我们稍后会将其与真实的面部扫描相结合我们通过丢弃具有较少详细信息的完整头部实例的面部区域来实现这一点，并且我们用MeIn3D扫描的注册LSFM面部替换它为了创建一个独特的实例，我们通过应用NICP框架将网格合并在一起，在该框架中，我们仅变形面部网格的外部以匹配其中pf=Σpf1. . .pfnΣT是nf个形状参数。颅骨角度和形状，从而使两个网格平滑结合。按照配方为了结合这两个模型，我们直接从潜在的特征空间的头部模型（Uh）的头部模型的主要特征值所每个分布的标准差等于特征值的平方根通过这种方式，我们随机产生nr个不同的形状参数。在生成随机完整头部实例后，我们在头部网格和LSFM面部模型的裁剪平均面部之间应用非刚性配准（NICP）[13]。我们执行此任务，在每一个的n r网格，以获得面部的一部分的完整的头部实例，并描述它的LSFM拓扑结构。一旦我们获得这些reg-square网格，我们将它们投影到LSFM子空间，并检索相应的形状参数。因此，对于随机产生的头部实例中的每一个，我们具有对应于头部实例的一对形状参数（ph，pf）。全头部表示和面部区域。利用这些对，我们构造了一个矩阵Ch∈Rnh× nr，其中我们堆叠了所有的头形参数，并构造了一个矩阵Cf∈ Rnf× nr，其中我们堆叠了来自LSFM模型的脸形参数。我们想找到一个矩阵FF10937在[13]中，当我们应用NICP算法时，这是通过在内部网格中引入更高的刚度权重（在外部较低）来实现的为了计算这些权重，我们测量给定点到网格鼻尖的欧几里得距离，并为该点分配相对权重。距鼻尖的距离越大，点的重量越LYHM的缺点之一是任意的颈部周长，当头部的一般形状增加时，颈部往往会变得更宽。在第3阶段（图2），我们的目标是通过在合并的网格之间应用最终的NICP步骤，从我们的最终头部模型中排除此因素和我们的头部模板St。我们使用与之前相同的框架，使用点加权策略，根据点与头部质量中心的欧几里得距离为点分配权重这有助于我们避免任何...回归图中可能出现的颈部区域的轮廓。对于耳朵周围的区域，我们引入了50个额外的标志来控制配准并保持耳朵区域的一般形状。在为10，000个网格中的每一个实现了上述管道之后，我们对10938具有LSFM 平均 面 的NICPUFH1）回归矩阵计算2）模型组合3）全头部模型配准nr随机LYHM头部网格形状参数回归量公式MeIn3D的10，000张面孔10，000个预测头数删除低细节面使用NICP合并面头部模板St使用合并网格的NICP头部配准注册的LSFM面网格数逐顶点模板权重图2.回归建模管道。1）左侧部分说明了原始LYHM头部模型的矩阵公式;2）中心部分演示了我们如何利用MeIn 3D数据库生成高度详细的头部形状; 3）右侧的最后一部分描述了配准框架以及每个顶点的模板权重和统计建模。点的网格，我们获得了一个新的生成完整的头部模型，展示了更多的细节，在面部区域与定制的头部形状相结合。经验平均值：1Σn3.2. 高斯过程建模模型组合的高斯过程是一个不太COM-µPDM（x）=n协方差函数：i=1i（x）（8）复杂且更稳健的技术，不会因回归值较差而产生不规则的股骨头形状。kPDM（x，y）=1 Σn（ui（x）−µPDM（x））高斯过程可变形模型（GPMM）的概念最近在[22，14，18]中引入。GPMM的主要贡献是类-1 −ni=1（ui（y）−µPDM （y）T（九）sic点分布模型（例如使用PCA构建的模型），以及高斯过程的帮助形状被建模为来自参考形状SR的变形u，即形状可以表示为：S={x+u（x）|x∈SR}（7）其中u是变形函数u：n→R3，该内核被定义为经验/样本协方差内核。这种特定的高斯过程模型是PCA模型的连续模拟，并且它在面部变形谱中操作。对于每一个模型（LYHM，LSFM），我们知道主正交基和特征值。因此，定义每个模型的协方差矩阵阿斯图里亚斯河变形被建模为高斯处理u∈ GP（μ，k）。其中，µ：→R3是平均de-Kh=UhΛhT（十）k：R×R→R3×3是协方差函数或核。高斯过程模型能够在有效人脸形状的空间之外进行操作这在很大程度上取决于为此任务选择的内核。在经典的方法中，变形函数是通过一个se-一系列典型的示例表面S1，. . . ，Sn，其中学习变形场的集合{u1，. . .其中，ui（x）表示将参考形状上的点x映射到第i个训练表面上的对应点的变形场。通过估计来获得对该特征变形进行建模的高斯过程GP（μPDM，kPDM），Kf=UfΛfUT其中Kh∈R3Nh×3Nh 且Kf∈R3Nf×3Nf 是协方差矩阵，且Λh∈R3nh×3nh 和Λf∈Rnf × nf是对角矩阵，其特征值在头部和面部模型的主对角线。我们的目标是构造一个通用的协方差矩阵KU∈R3NUX3NUS，它适应了LSFM的高细节特征和来自LYHM我们保持头部模型的平均值作为参考，并且我们非刚性地配准LSFM的平均面部。两个PCA模型必须形状参数统计PCA建模10939在相同的尺度空间中才能使该方法起作用，这对于10940K1TJc1k2JC2NICP注册LYHM域名C3v1K3C1我C3v2C2我不是U2HHUUUpX XXp uX XXXFC+C回归分析法同样，我们注册我们的头部模板，其中ρi，j=ρi+ρj是一个归一化的权重，基于St通过利用与之前相同的流水线进行全头部注册，其将被用作新的联合协方差矩阵的参考网格。对于St中的每一点对i，j，存在一个局部协方差矩阵Ki，j∈R3×3.为了计算其值，我们首先将点投影到平均头部网格上。如果这两个点都位于LSFM的注册平均网格覆盖的面部区域之外，则我们根据第i个点的重心坐标（ci，ci，ci）和第i个点的重心坐标（cj，cj，cj）来确定它们在平均头部网格中的确切位置。（i，j）个点到配准网格鼻尖的欧氏距离（ρ i，ρj）。我们应用这种加权方案来平滑地混合头部和面部模型的属性，并避免出现在面部和头部区域的边界上的不连续性最后，当点属于不同的区域，即。（面部上的第i个点，头部上的第j个点）我们简单地遵循仅利用头部协方差矩阵Kh的第一种方法，因为面部/头部形状的相关性仅存在于LYHM重复上述方法后，1 2 3 12 3第j个点相对于它们对应的三角形ti=[vT，vT，vT]T，tj=[kT，kT，kT]T.对St中的每个点对进行ogy，并计算整个加入协方差矩阵KU，我们能够采样新的1 2 3 1 2 3三角形之间的每个顶点对（v，k）具有来自高斯过程可变形模型的实例。个体协方差矩阵Kv， k∈R3×3，其中Kv， k<$Kh。因此，我们混合这些局部顶点协方差矩阵以获得最终的局部Ki，j，如下所示：3.3. 模型细化为了改进我们的模型，我们首先利用已经存在Σ3Σ3wi，jKv，k上一节培训的GPMM。带着我们的头-板St和普适协方差矩阵KU，我们定义Ki，j=v=1k=1v，k h（十一）U33wi，j核函数：其中wi、jv，kIjVK2v=1k=1v，k是一种加权方案，kU（x，y）=KCP（St，x），CP（St，y）（13）其中x和y是定义域中的两个给定点，（i，j）点的重心坐标的图示在图3中可以看到上述方法的。平均头部LYHM平均面LSFM模板Stv3图3.所有平均网格的非刚性配准的图形表示以及我们的头部模板St和基于第i和第j个点的位置的局部协方差矩阵Ki，j的计算。定义高斯过程，并且函数CP（St，x）返回表面St上x的最近点的索引。我们将GPMM定义为：GPU（µU，kU）（14）其中μU（x）= [0，0，0]T。对于MeIn3D数据集中的每次扫描，我们首先尝试使用高斯过程回归用GPMM[22、14]。给定一组观测到的变形X，其受到高斯噪声<$N（0，σ2）的影响，高斯过程回归计算后验模型GPp（μp，kp）=posterior（GP，X）。参考网格和原始扫描之间的界标对定义了一组稀疏映射，它准确地告诉我们参考网格上的点将如何来自这个后验模型的任何样本将在我们观察到的点上有固定的变形，即。面部标志。平均µp和协方差kp计算如下：µ（x）=µ（x）+K（x）T（K+σ2I）−1X（15）k（x，y）=k（x，y）−K（x）T（K+σ2I）−1K（y）（十六）在点位于面部区域的情况下，我们首先通过投影和计算给定平均面部的混合协方差矩阵Ki，j来哪里KX（x）=（kU（x，xi）），<$xi∈X（17）KXX=（kU（xi，xj）），nxi，xj∈X=10941H（18）LSFM网格，然后是混合协方差矩阵根据LYHM的平均头部网格计算Ki，j我们将最终的局部协方差矩阵公式化为：对于具有界标L的扫描S，S={11，. 首先，我们基于由界标定义的稀疏变形来计算后验模型：Ki，j=ρi，j Ki，j+（1−ρi，j） Ki，j（十二）GP0（µ0，k0）=后验（GPU，LS−LS）（19）U hfp pt10942regppregp利用修改后的构建原始扫描意味着更新平均值模型细化ICP的第i次迭代+稀疏GP回归+Dence GP回归重复GP回归面部NICP统计建模新协方差矩阵：图4.模型细化管道。我们从由普适协方差矩阵定义的GP模型开始。对于MeIn3D数据集中的每次扫描，我们使用稀疏标志和密集ICP算法通过GP回归获得完整的头部重建。然后，我们将完整头部重建的面部区域与扫描结果非刚性对齐，并构建一个新的样本协方差矩阵来更新我们的模型。然后，我们用迭代最近点算法改进后验模型。更具体地说，在每次迭代i中，我们[11]的头部扫描，从中我们选择了300个从训练过程中排除的将当前回归结果计算为Si={x+该测试集是在人口统计学一致性中随机选择的µi−1（x）|x∈St}，它是用后验模型GPi−1的平均变形包裹的参考形状。然后，我们找到S i上Si中每个点的最近点Ui，并将后验模型更新为：GPi+1（µi+1，ki+1）=后验（GP0，Ui−Si）（20）确保种族、年龄和性别多样性。 我们将模型变体命名为：CFHM-reg由回归方法构建，CFHM-GP由高斯过程核框架构建，最后，CFHM-ref经高斯过程回归细化后构建。 此外，我们提出根据年龄和种族定制的模式，P P P预注册通过高斯过程核方法与再-由于MeIn3D数据库中的原始扫描可能存在噪声，如果U（x）在S的边缘上或者x和U（x）之间的距离超过阈值，则排除对应对（x，U（x））。 在最 后 一 次 迭 代 之 后 ， 我 们 获 得 回 归 结 果Sreg={x+µfinal（x）|x∈St}。 然后，我们将Sreg的面部区域与原始扫描的面部区域非刚性地对齐，以获得我们的最终重建。在实践中，我们注意到，重建往往产生不切实际的头部形状。因此，我们在高斯过程回归之前修改协方差矩阵KU我们首先通过分解KU来计算主成分，然后使用等式重建协方差矩阵。10、统计成分少利用来自MeIn3D数据集的完整头部重建，然后计算新的样本协方差矩阵，并重复先前的GP回归过程以细化重建。最后，我们对改进的重建进行PCA，以获得最终的改进模型。4. CFHM模型的内在评价我们将我们的组合全头模型命名为组合面头模型（CFHM），现在展示它的比较性能。按照惯例，我们通过使用紧凑性、概括性和特异性来评估我们的CFHM变体与LYHM的比较[12，9，5]。对于所有后续实验，我们使用原始的精致图5中的上图显示了CFHM模型与LYHM模型相比的紧凑性紧凑性计算当保留一定数量的主成分时，模型解释的训练数据的方差百分比。与精化后的模型相比，CFHM-reg、CFHM-GP模型表现出更高的紧凑性。从图中可以看出，所有提出的方法的紧致性都远远大于LYHM全球和定制的CFHM模型都可以被认为是足够紧凑的。图的中心行。图5示出了泛化误差，其证明了模型表示在训练期间不可见的新颖头部形状的能力。为了计算给定数量的主成分的泛化误差，我们计算测试集的每个样本与其对应的模型投影之间的每个顶点的欧氏距离所有提出的模型表现出更大的泛化能力相比，LYHM。改进模型CFHM-ref比其他方法具有更好的泛化能力，特别是在20到60个组分的范围内。此外，我们在图5（b）中绘制了定制模型对CFHM-ref的泛化误差。为了推导出定制CFHM-ref的正确泛化度量，10943我们使用每个网格的人口统计信息，将其投影到相应定制模型的子空间上，然后计算总体平均误差。我们观察到CFHM-ref在大多数情况下优于定制的泛化模型，这可能是由于许多特定模型是从较小的队列中训练出来的，因此没有有趣的统计方差。最后，图5的底部图表显示了引入的模型的特异性度量，其评估由模型生成的合成面部的多样性。我们从每个模型中随机合成5，000张固定数量的组件的人脸，并基于标准的逐顶点欧几里得距离度量来测量它们与真实人脸我们观察到，保持最佳误差结果的模型是所提出的改进模型CFHM-ref。LYHM模型仅在前20个组分中表现出比CFHM-reg、CFHM-GP模型更好的特异性误差。这两个建议的组合模型显示，稳态误差测量（103. 8）保持成分大于20后。 这是由于更高的紧凑性，这两个组合模型的证明，这使得他们能够保持一定的特异性误差后，20个组件。对于所有定制模型，我们观察到的特异性误差达到特别低的值，在1至4毫米的范围内。这是证据，全球和定制CFHM模型生成的合成面是足够逼真的。我们的研究结果表明，我们的组合技术产生的模型，能够表现出改善的内在特性相比，原来的LYHM头模型。5. 从单个图像重建头部作为一个应用实验，我们概述了一种方法，使我们能够从不受约束的单图像重建整个头部形状。我们严格地仅使用一个视图/姿势进行头部重建，而[21]使用了多个图像。我们实现这一点，从一个潜在的空间，代表3D人脸和耳朵形状的潜在空间的完整的头部模型所提出的方法构建回归。我们首先建立一个内面的PCA模型，每个耳朵上有50个标志，如[27]所述。我们利用我们提出的方法产生的10000个在建立了面耳PCA模型之后，我们对每个面耳样本进行投影，以获得相关的形状参数pe/f。同样，我们将同一身份的全头部网格投影到全头部PCA模型中，以获得整个头部的潜在形状参数ph。类似地，如在第3.1节中，我们构造回归矩阵，其用作从耳朵/面部形状的潜在空间到完整头部表示的映射。为了从2D图像重建完整的头部形状，我们首先利用[6]中提出的基于特征的纹理算法拟合面部3DMM。Af-(a)（b）第（1）款图5.与LYHM相比，CFHM模型的特征。顶部：紧凑性;中心：概括性;底部：特异性。左栏（a）：不同的方法，右栏（b）：基于CFHM-ref模型的人口统计学特定3DMM。因此，我们实现了如[27]中提出的耳朵检测器和主动听觉模型（AAM），以在2D图像域中定位耳朵界标。由于我们已经在图像空间中拟合了3DMM，所以我们已经知道了相机参数，即，焦距，旋转，平移为此，我们可以通过求解逆透视n点问题来容易地在3D空间[19]给定相机参数和拟合网格的深度值。我们相对于z轴镜像3D标志在获得面部和耳部标志之后，我们能够在回归矩阵的帮助下获得完整的头部表示。由于每一种方法对10000次面部扫描的头部形状的估计都略有不同一些定性结果可以在图6中看到。我们定量地评估我们的方法，从我们的测试集中呈现30个不同的头部扫描，正面和侧面的姿势在y轴周围从20度到-20度不等轴，以便耳朵在图像空间中可见我们应用我们以前的程序，其中我们适合3DMM的脸，我们检测图像平面中的耳朵地标。然后，对于每种方法，我们利用定制的回归矩阵来预测整个头部形状。我们测量每个顶点之间的错误恢复头部形状和10944通过将拟合网格的每个点投影到地面实况并测量欧氏距离来测量实际地面实况头部扫描。图7显示了该实验的累积误差分布，针对四个受试模型。表1和2分别报告了拟合和实际地面真实3D面部网格的相应曲线下面积（AUC）和故障率。在这两种情况下，LYHM努力恢复头部形状。CFHM-法规a）b）与CFHM-GP的性能相当，而精化后的模型效果最好。最后图图8示出了当仅成像受试者的面部可见时的完整头部形状的回归。图7.头部形状估计的精度结果，作为归一化密集顶点误差的累积误差分布。a）基于拟合到渲染图像的面部网格的准确度结果，b）基于实际地面真实3D面部网格的准确度结果表1和表2报告了其他措施。方法AUC失效率（%）CFHM参考0.7513.64CFHM-reg0.6936.88CFHM-GP0.6817.55[第11话]0.60519.21表1.我们的测试集的拟合面部网格的头部形状估计精度结果图12是图11的累积误差分布的曲线下面积（AUC）和失效率7 .第一次会议。方法AUC失效率（%）CFHM参考0.8800.62CFHM-GP0.8442.46CFHM-reg0.8311.69[第11话]0.73914.10表2.我们的测试集的实际地面真实3D面部网格的头部形状估计精度结果。图2是图1的累积误差分布的AUC和失败率7 .第一次会议。图8.当只有脸（左）可见时，回退整个头部。图6.我们在野外的3D头部反射的定性结果虽然面部纹理是从图像中重建的，但眼睛、内嘴和头部纹理是由艺术家创造的，以获得更现实的表现。6. 结论我们提出了一种将多个3DMM融合成单个3DMM的流水线，并使用它来组合LSFM人脸模型和LYHM头部模型。所得到的3DMM捕获了两个组成3DMM的所有期望性质;即面部模型的高面部细节和头部模型的全颅骨形状变化。八月-由于原始模型中存在的面部和头部外观的高度变化，因此分割模型能够表示和我们证明，我们的方法产生了一个统计模型，是相当优于原来的组成模型。最后，我们说明了该模型鸣谢：S. Ploumpis由EPSRC项目（EP/N 007743/1）FACER 2 VM支持。S.Zafeiriou ac-知识基金来自Google Faculty Award，以及EPSRC FellowshipDEFORM：Large Scale Shape Analysis of Deformable Modelsof Humans（EP/S 010203/1）。10945引用[1] Oswald Aldrian和William AP Smith。用3d可变形模型逆向绘制人脸。IEEE transactions on pattern analysis andmachine intelligence，35（5）：10801[2] Brian Amberg，Sami Romdhani，and Thomas Vetter.用于表面配准的最佳步长非刚性icp算法。《计算机视觉与模式识别》，2007。07年CVPR。IEEE会议，第1-8页，2007年。2[3] Volker Blanz和Thomas Vetter。三维人脸合成的可变形模型在Proc 26 th annual conf on Computer Graphics andInteractive Techniques，第187-194页2[4] Volker Blanz和Thomas Vetter。基于三维形变模型拟合的 人 脸 识 别 IEEE Transactions on pattern analysis andmachine intelligence，25（9）：1063-1074，2003. 1[5] Timo Bolkart和Stefanie Wuhrer三维人脸的分组在IEEE计算机视觉国际会议论文集，第3604-3612页，2015年。6[6] James Booth ， Epameinondas Antonakos ， StylianosPloumpis ， George Trigeorgis ， Yannis Panagakis ，Stefanos Zafeiriou，et al. 3d脸变形模型在野外。在IEEE计算机视觉和模式识别会议论文集，2017年。7[7] James Booth、Anastasios Roussos、Stefanos Zafeiriou、Allan Ponniah和David Dunaway。从10，000张面孔中学习的3D变形模型在IEEE计算机视觉和模式识别会议论文集，第5543- 5552页，2016年。二、三[8] Alexander M Bronstein ， Michael M Bronstein 和 RonKimmel。表情不变的三维人脸识别。在基于音频和视频的生物特征个人认证国际会议上，第62-70页，2003年。2[9] Alan Brunton ， Augusto Salazar ， Timo Bolkart ， andStefanie Wuhrer.三维数据统计形状空间的回顾与人脸的比较分析计算机视觉和图像理解，128：1-17，2014。6[10] Hang Dai，Nick Pears，and William Smith.一个数据增强的耳朵三维变形模型。在自动人脸手势识别（FG2018），2018年第13届IEEE国际会议上，第404-408页。IEEE，2018年。2[11] 戴航，尼克·皮尔斯，威廉·史密斯，克里斯蒂安·邓肯.颅面形态和纹理变化的三维形变模型。2017年IEEE国际计算机视觉会议（ICCV），第3104-3112页，2017年。二、六、八[12] Rhodri Davies，Carole Twining，and Chris Taylor. 形状的统计模型：优化和评估。Springer Science BusinessMedia，2008. 6[13] 我的朋友德·斯梅特和卢克·V·安·古尔。基于线性模型的三维人脸重建的最优区域在亚洲计算机视觉会议上，第276-289页，2010年。二、三[14] ThomasGerig ， AndreasMorel-Forster ， ClemensBlumer，BernhardEgger，MarcelLuthi，SandroSchönborn ，andThomas Vetter.可变形人脸模型-一个开放的框架。在自动人脸手势识别（FG 2018），2018第13届IEEE国际会议，第75-82页，2018年。四、五[15] Guosheng Hu ，Fei Yan，Chi-Ho Chan，Zhao Deng，William Christmas，Josef Kittler，and Neil M Robertson.使用统一三维变形模型的人脸识别在欧洲计算机视觉会议上，第731[16] 胡立文，齐藤俊辅，魏玲玉，长野幸树，徐在宇，严思福，萨迪吉，孙嘉莉，陈燕春，李浩.从单个图像进行化身数字化 以进行实时渲染。ACM Transactions onGraph-ics（TOG），36（6）：195，2017。2[17] Patrik Huber ， Guosheng Hu ， Rafael Tena ， PouriaMortaza- vian ， P Koppen ， William J Christmas ，Matthias Ratsch，and Josef Kittler.多分辨率三维可变形人脸模型及拟合框架。在2016年第11届计算机视觉、成像和计算机图形理论与应用国际联合会议上发表。2[18] PaulKoppen ， Zhen-HuaFeng ， JosefKittler ，Muhammad Awais，William Christmas，Xiao-Jun Wu，and He-Feng Yin.高斯混合三维可变形人脸模型。模式识别，74：617-628，2018。4[19] Vincent Lepetit ， Francesc Moreno-Noguer ， and PascalFua. Epnp：pnp问题的精确O（n）解。国际计算机视觉杂志，81（2）：155，2009。7[20] Tianye Li，Timo Bolkart，Michael J Black，Hao Li，and Javier Romero.从4d扫描中学习面部形状和表情的模型ACM Transactions on Graphics（TOG），36（6）：194，2017。2[21] Shu Liang ， Linda G Shapiro ， and Ira Kemelmacher-Shlizerman.从网上照片重建头部。欧洲计算机视觉会议，第360-374页，2016年。7[22] MarcelLuithi， ThomasGerig ， ChristophJud ，andThomasVetter.高斯过程变形模型。IEEE transactionson pattern analysis and machine intelligence，2017。三、四、五[23] Pascal Paysan、Reinhard Knothe、Brian Amberg、SamiRomdhani和Thomas Vetter。一种用于姿态和光照不变人脸识别的三维人脸模型在先进的视频和基于信号的监控，2009年。AVSS'09。第六届IEEE国际会议，第296-301页，2009年。2[24] Anurag Ranjan ， Timo Bolkart ， Soubhik Sanyal ， andMichael J Black.使用卷积网格自动编码器生成3d人脸。arXiv预印本arXiv：1807.10267，2018。2[25] Kathleen M Robinette，Sherri Blackwell，Hein Daanen，Mark Boehmer和Scott Fleming。美国和欧洲民用体表人体测量学资源（凯撒），最终报告。第1卷摘要技术报告，2002年。2[26] Femke CR Staal，Allan JT Ponniah，Freida Angullia，Clifford Ruff，Maarten J Koudstaal，and David Dunaway.用主成分分析法描述crouzon和pfeiffer综合征。颅颌面外科杂志，43（4）：528-536，2015。1[27] Yuxiang Zhou和Stefanos Zaferiou。用于校准和识别的野生耳朵可变形模型。2017年10946第12届IEEE自动人脸手势识别国际会议（FG 2017），第626-633页，2017年。7[28] Xiangyu Zhu，Zhen Lei，Xiaoming Liu，Hailin Shi，and Stan Z Li.跨大姿势的面部对齐：3D解决方案。在IEEE计算机视觉和模式识别会议论文集，第146-155页，2016年。2[29] Xiangyu Zhu ， Zhen Lei ， Junjie Yan ， Dong Yi ， andStan Z Li.用于野外人脸识别的高保真姿势和表情归一化。在Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，第787-796页2[30] Xiangyu Zhu ， Junjie Yan ， Dong Yi