基于形状子空间细节拟合的参数化T样条人脸变形模型

1基于形状子空间细节拟合的参数化T样条人脸变形模型彭伟龙1、冯志勇2、徐超2、苏勇11天津大学计算机科学与技术学院，2天津大学计算机软件学院{wlpeng，zyfeng，xuchao，suyong}@ tju.edu.cn摘要预先学习的子空间方法，例如，3DMM是通过假设面在线性类中来合成3D面的重要探索。然而，人脸是一个非线性流形，由于种族、年龄、性别等带来的差异，新的测试往往不能准确地在预先学习的子空间中进行。 本文提出了一种用于三维人脸表示的参数化T样条形变模型（T-splineMM），它具有精确拟合未知数据的优点。 在该模型中，我们用C2T样条曲面描述人脸，并根据人脸动作编码系统（FACS）将人脸曲面划分为若干形状单元（SU），而不是直接在曲面上进行划分。提出了一种拟合算法，以优化系数的T样条控制点组件沿预先学习的身份和表达子空间，以及优化的细节细化过程中。由于任何预先学习的子空间都不能完全处理面部和表情的多样性和细节，因此它覆盖了有限的变形范围。SU的划分和细节细化使模型在更大的变形子空间中拟合面部肌肉变形通过对人脸扫描数据、Kinect数据和时空数据的实验，验证了模型的细节拟合性能、对缺失数据和噪声的鲁棒性，并验证了模型的有效性令人信服的结果表明，与流行的方法相比，我们的模型的有效性1. 介绍3DMM（3D Morphable Models）是Blanz和Vetter提出的人脸形状和纹理的三维统计模型，目前已广泛应用于计算机视觉、人类行为分析、计算机图形学等领域。通过假设人脸属于线性类，3DMM通常通过对面部网格和纹理的训练集执行典型的主成分分析（PCA）来构造，并且任何新的面部形状及其纹理都可以由成分（或基）的线性组合来表示通常，3DMM用作在低维特征空间中编码任何3D面部的工具，这是一种紧凑的表示，使得许多3D面部分析问题易于处理，例如识别和表情规范化[5，11，29]。具有丰富形状先验的3DMM可以在拟合算法中被利用，以从数据缺乏的源（如野外2D地标[24]）重建面部的良好3D表示，或者准确地重建有噪声的3D深度扫描数据[7]事实上，不仅是恒等式拟合，表达式拟合也是模型的一个非常重要的性能指标。最近，Booth等人根据10，000个考虑不同年龄、性别和种族背景的高质量中性3D面部扫描构建了3DMM[7]，并报告了最新的拟合结果。Cao等人提出了一个包含150个个体的19个表情的表情模型[10]，该模型可以拟合图像表情并执行好看的动画。一个问题是，由于人脸和表情的多样性和不确定性，预学习子空间是不完整的，导致拟合细节的性能有限。因此，当新的测试不完全在预先学习的人脸子空间中时，总是会发生有缺陷的拟合结果。另一个问题是，当身份未知时，拟合结果混合身份信息受3DMM线性子空间思想的启发，以及可扩展的局限性，本文提出了一种基于预学习人脸子空间的参数化T样条形变模型（T-splineMM）。为了扩大表示范围，根据面部动作编码系统（FACS）[12]在T网格上进行形状单元（SU）划分。与Blanz等人[4]提出的直接在曲面上进行分段划分的方法相比，SU划分是基于T样条形状的参数空间，有利于ad-61396140次区域。为了处理不正确的拟合，本文还提出了一种适用于三维数据的T样条MM拟合算法，该算法能够处理缺失数据，逼近细节，分离身份部分和表情部分。为了说明我们的方法的强度，我们进行实验，面部扫描数据，kinect数据以及时空3D表情。定性和定量的实验进行了比较，与国家的最先进的方法。总之，本文的贡献有三• 提出了一种基于T-网格上SU划分的参数化T-样条曲面变形模型（T-splineMM）。它可以实现一个更大的跨度的变形超出了事先的统计数据。• 提出了T样条MM拟合算法，不仅可以稳健地拟合3D数据到缺失数据、噪声、种族和表达等，又能将身份部分与具体表达分开。2. 相关工作变形技术人脸变形技术，包括2D图像变形[16]和3D变形[27]，已被频繁地用于计算机动画、电影和人脸图像处理。虽然2D图像变形技术不能正确地处理照明和可见性的变化，但是3D变形技术创建独立于观看和照明参数的3D形状变形技术可以分为两类：基于体积的方法和基于表面的方法。基于体积的方法，如水平集方法[27，13]，在对象和目标对象之间实现非线性和但它们非常耗时和内存。基于表面的方法通常计算速度更快，并且需要更少的内存，因为它们在低维上操作 ， 但 是 它 们 受 到 对 应 问 题 和 路 径 问 题 的 影 响3DMM-在考虑人脸相似性的基础上解决了人脸的对应配准问题，并在预学习人脸子空间的基础上实现了人脸变形。但变形跨度受到先验信息的限制。据我们所知，公开和可用的人脸3DMM包括Basel人脸模型(BFM)来自巴塞尔大学[19]的表情模型，来自Cao等人[10]的FaceWarehouse的表情模型，以及融合的3DM-M，其在中性表情[9]和不同表情[8，6]中集成了不同受试者的3D面部形状。3DMM的重建通常包括两个主要步骤：在面部网格的训练集之间建立逐组的密集对应，然后对配准的数据执行某种统计分析，例如PCA，以产生低维模型。三维数字万用表的拟合性能在很大程度上依赖于三维数字万用表的完整性注册的训练数据。训练数据越多越好。Blanz和Vetter为200名种族和年龄相似的受试者建立了面部网格模型[4]。James Booth等人对10，000个高质量的3D面部扫描进行了研究，考虑了不同的年龄、性别和种族背景[7]。面部表情的拟合在3DMM应用中也是非常重要的，例如，[29]第10段。Chu等人将3DMM扩展为包含表情作为偏移量[11]，但仅考虑了6种通用表情，包括愤怒、快乐、恐惧、厌恶、悲伤和惊讶。Cao等人[10]提出的FaceWarehouse包含19个用于学习的表达式。事实上，一个高质量的三维面部扫描大约有20000 -50000个点。尽管只有80个组件包含[7]中约10，000个中性面的96%的方差，但3D拟合必须丢失一些细节。在另一方面，由于表达多样性，表达的类别数不限于19。这就是为什么新的测试，有时，不能准确地表示由3DMM。表面表现。曲面变形技术涉及的曲面类型包括多边形等离散曲面网格和连续类型，如显式和隐式表面模型[18]。基于网格的方法在对对象的低维表示进行操作时通常计算速度更快参数曲面模型在变形变化过程中具有光滑性和连续性，例如B样条演化[14]，B样条建模[21]和T样条水平集[27，13]。样条曲面需要较少的控制点来描述一个完整的表面，在contrast离散的表面点。通常，T样条曲面使用比B样条和3D网格更少的参数来通过考虑局部形状的不同复杂性来描述相同的形状[25，22]。虽然基于网格的表示也可以通过拉普拉斯编辑[26][23]等操作进行平滑，但网格的精度由模板控制。因此，如果将控制点调整与线性面类表示的思想相结合，参数T样条曲面具有高压缩比、低存储量和良好的连续性，3. T样条人脸形变模型在这一节中，我们首先定义了面的参数T样条曲面，并在3.1节中描述了T网格上SU的划分。其次，在第3.2节中，基于预先学习的人脸子空间来制定T-splineMM。最后，在3.3节中给出了一种利用我们的变形模型进行三维拟合的方法。3.1. T样条曲面T-样条，也被称为基于点的样条（PB-样条），是张量积B-样条的推广[25]，其中通过控制网格（或T-网格）对控制点施加了一定的顺序的6141T样条曲面的方程为∑nPB（s，t）S（s，t）=∑i=1我我， （s，t）∈Domni=1 Bi（s，t）其中Pi是控制点，Dom是（s，t）。Bi（s，t）是由下式给出的基函数：Bi（s，t）=N3（s）N3（t）我0我 0其中N3（s）和N3（t）是某些三次B样条，我0我 0相关的节点向量si=[si0，si1，si2，si3，si4]和ti=[ti0，ti1 ，ti2，ti3 ，ti4]由T网格确定，如图所示。第1段（d）分段。为了简化概念，我们用u表示参数域中的点u=（s，t），并将控制点（按适当的顺序）聚集在一个列向量P. T样条基函数形成另一列向量b=[b1，b2，.，bn]T，其中∑nb（u）=B（u）/B（u），i = 1，2，.，n.图1.保角映射与T-网格剖分图i ii=1iT样条方程被重新定义为S（u;P）= b（u）TP，u∈Dom.（一）由于人脸在拓扑结构和几何形状上的相似性，可以固定T-网格（因此b是固定的），然后仅通过改变控制点P来确定表面变形。由于T样条函数是分段有理的，所以T样条参数曲面是分段代数曲面。此外，如果不存在奇点，则它们继承基函数的可微性阶，即，他们是C2在立方的情况下。3.1.1T型网结构PB样条上的T型网格定义在参数域中，有两个目的。首先，它反映了PB样条控制点在参数空间中的拓扑结构，并提供了一个友好的形状调整用户界面。其次，推导出每个基函数的节点向量si和ti。首先，为了将三维表面点映射到复杂（或二维）平面上，需要进行表面参数化。根据Riemann映射定理，我们使用保角映射找到一个参数化，或一个有效的三维到二维映射，在角度和边缘失真。每个表面点（x，y，z）被映射到复平面的复点s+i·t其次，利用四叉树划分法对复杂平面进行空间划分，并限制所有区域内的点的所有矩形的边缘形成T形网格，并且边的连接点称为结点。通过收集T-网格中的所有n个节点，并对节点的实部和虚部进行抽象，得到n个参数点方法：利用最小二乘配置管理将三角网格模型映射到二维参数平面上，并在两个固定点的外眼角处建立两个固定点;根据映射后的复点，采用四叉树划分方法构造T网格，并在节点处得到T网格参数点;根据T网格参数点的位置，推导出每个节点ui的节点矢量si=[si0，si1，si2，si3，si4]和ti=[ti0，ti 1，ti2，ti 3，ti 4 ]，并将节点矢量si=[si0，si1，ti 2，ti 3，ti4]与T网格参数点的位置进行比较。T型网{u1，u2，…un}，ui=（si，ti），其对应于n个控制点{P1，P2，.，Pn}。根据T-网格结构，我们还计算节点矢量si=[si0，si1，.， si4]，ti=[ti0，ti1，...， ti4]和T-样条基系数b（ui）。T型网格能够很好地描述人脸几何的局部特征，网格越密集，局部位置的形状细节越多，并且可以通过控制点进行更精确的调整。特别地，我们使用基于Cauchy-Riemann方程的最小二乘保角映射（LSCM）[15]，以获得准保角参数化，其也广泛用于纹理映射、模型变形等应用。特别地，两个眼睛的外眼角作为LSCM中的固定点，如图所示。1（b）和（c）。而T型网格最好是由张开嘴的人脸构成，以获得嘴部轮廓处的密集网格，从而对嘴部动作实现更细粒度的控制，如图所示。第1段（c）分段。3.1.2T形网格上的形状单元划分FACS [12]定义了32个动作单元（AU）来描述人脸的基本动作，这些动作是一个或多个肌肉的收缩或放松。可以基于AU的不同组合来创建不同的面部表情。为了澄清，FACS是面部表情的指数，但实际上并不提供任何生物力学信息。6142表1.基于面部肌肉和动作单元的形状单元划分整形单元肌肉编号肌肉名称相对动作一⃝1⃝2额肌内侧部额肌外侧部内眉提升器;外眉提升器B1、B2⃝4⃝5其他皱眉肌眼轮匝肌（a）睑部和（b）眶部提上睑肌眉毛降低;上盖提升器;脸颊提升器;盖干燥器;裂隙;闭眼;斜视;眨眼;盖下垂C⃝6⃝7降眉肌鼻眉毛降低;鼻子动作D1和D2⃝8⃝9⃝10⃝11⃝12⃝14其他鼻翼提上唇肌颧肌：小Risorius和大Risorius颈阔肌颊肌咬肌提口角鼻皱器;上唇提升器;鼻唇沟加深器;唇部拉伸器;唇角拔出器;颊河豚E⃝13口轮匝唇部紧缩;唇部漏斗唇部加压器;唇部;唇吸吮F⃝15⃝16⃝17别人降下唇颏降口角内翼肌;翼状肌，二腹下唇压板;下巴抬高;唇角抑制器;下巴下降G⃝3别人耳廓其他控制轮廓耳朵动作;脸部轮廓动作。形成肌肉激活的程度。虽然没有给出肌肉激活，但涉及FACS的主要肌肉可用于在T形网格上定义形状单元（SU）。T形网格对应于决定面形的控制点。T型网格划分使得控制点通过不同的SU模拟不同位置的肌肉功能成为可能。一个局部的形状总是受到几个相邻肌肉的影响，因此我们根据17个肌肉单元的面部图在T-网格上划分9个区域{A，B1，B2，C，D1，D2，E，F，G}进行SU划分，如图所示。二、请参见表。1，了解SU涵盖的详细肌肉名称和相关动作描述。例如，在一个示例中，SU A受额肌、内侧部和外侧部控制，可产生内、外提眉动作最后，将T样条控制点分为9组，即Pj，j = 1，2，.，9、它们之间的关系是∑9图2.根据面部肌肉单位在T形网格上划分形状单位：通过考虑与面部动作相关的17个肌肉单元及其邻域关系，在T网格上定义了9个形状单元{A，B1，B2，C，D1，D2，E，F，G};参考表。1为SU的详细定义、覆盖肌的名称和相关作用。P=j=1 Pj，j = 1，2，.，9.第九条。其中，ΔPj是SUj的控制增量。不一样的-这也意味着Pj在第j组控制点的位置处为非零，而在其他位置处为零我们可以通过改变相应的控制点Pj来改变SUj，以获得新的形状，P新= P+Pj可以根据不同的SU控制cal形状：SU A覆盖额肌区域;SU B1和B2覆盖眼睛和眉毛的区域; SU C覆盖鼻子区域; SU D1和D2覆盖脸颊区域; SU E覆盖口腔区域; SUF覆盖口腔周围的下巴区域; SU G覆盖包括耳朵、下巴和外脸颊的区域。6143jéJiexexididP exex3.2. T样条形变模型通过参考3DMM [4]假设人脸形状可以是形状基的线性组合，我们建立了T样条变形模型：3.3. 三维拟合首先，我们定义域D内源S和目标T之间的T样条距离为∫S（u）=b（u）（P<$+N∑idi=1αiP？id（i）+N∑exi=1βiPéex（i）），u∈Dom.（二）（S（u）-T（u））2dD，D式中，P′为平均控制点，P？id（i），i=1，2，.，NiD是控制点的身份基础，佩克斯（i），i=其中v2在这里代表3×1，2，...，Nex是控制点的表达基础。则b（u）P′、b（u）Püid （i）和b（u）Püex（i）是人脸的平均形状、身份系数αi和βi用于控制相应的形状分量。然而，由于人脸的多样性，预先学习的人脸形状子空间不能1矢量v.曲面拟合是计算控制点P的表面S通过最小化T样条表面的距离。对于实际任务（例如，点云）离散版本更合适，因此我们最小化A（D）∑N0身份和表达，所以它涵盖了有限的变形跨度因此，基于T-网格预定义的SU，我们可以在更大的范围内模拟人脸变形Ef（P）=Nj=1w（uj）（S（uj）-T（uj））2，（4）变形跨度：N9其中w（uj）={1，如果T（u）存在，，且uj=1：NS（u;α，β，α-），）=b（u）（P<$+∑id∑JαiPid（i）0，如果T（u j）不存在。0i=1j=1（三）是采样参数点的序列，其是uni-公司简介N∑ex∑9i=1j=1βjPüj（i）+βj）的情况。形式分布在T样条函数域D.A（D）是域的面积因为w（u，j）表示核心，其中，Püj（i），i=1，2，...， N和<$j（i），i=1，2，...，N分别是身份和表达基础控制点源和目标之间的响应，最小化通过更新w（u），j= 1，.，N. 尤其是，一个-对于SUj，系数{αj}和{βj}堆叠在αj0平滑项Es是处理丢失数据所必需的分别为β。特别地，Rxid和Rxex是同一性的，以及面部亚空间无法提供的表情细节提出了一种新的曲面变形模型。3的T样条MM具有9个N（Nid+Nex）自由度，而Equ.2只有Nid+Nex。 实际上，T-splineMM考虑了do中的局部变形例如，在一个实施例中，Es（P）=∑N0j=1（S（uj）−S<$1（uj））2+·2S（uj），（5）T样条控制点的主要部分，然后是更多的跨度其中，ε是使得ε S=ε2S+ε2S的拉普拉斯算子，乌克兰2在连续的形状空间中，phing空间大大加宽而细节参数Rxid和Rxex则超出了人脸子空间的表达范围，有助于细节的3D拟合。建筑模型由于T样条变形是基于人脸形状子，空间，任何预先学习的3DMM模型都可以用来构建我们的模型。为了实现具有足够大跨度的变形，我们基于融合BFM模型[19]中的身份基础和FaceWarehouse[10]中的表达基础来构建T-splineMM。前者在100名8至62岁的女性和100名男性的中性面部扫描而后者则接受了150人的面部扫描，每个人有20种表情。首先，我们使用非刚性ICP（迭代最近点）[3]来找到对应点并合并两个模型。合并后的06144而S′1是参考中性面。在优化过程中，第结合方程（4）和方程（5），我们可以通过逐步极小化ET（P）= λ1·Ef（P）+ λ2·Es（P）.（六）3.3.1沿SU形状子空间移动控制点当应用我们的T-样条变形模型时，如果我们将Rxid和Rxex设置为0，并且仅计算等式（3）中的系数α和β，而不是等式（1）的控制点P然后拟合是解决以下最小化EM（α， β）=λ1·Ef（α， β;π）+λ2·Es（α， β），（7）3DMM由S=S<$+Bidαid+Bexαex给出。秒-最后，计算平均控制点，basisT样条MM中的控制点{P<$，Pid（i），Px（i）}哪里E（α， β; π）=∑w（u）（S（u;α，β）−π<$T（u））2，布拉夫从S'，Bid，Bex.构造了P，F，T-网格j j j∑j<$2 2基于BFM模拟的张嘴脸。ΔEs（α，β）=（<$S（uj;α，β）−<$S1（uj））J+·S（uj;α，β），6145其中模型S（uj;α， β）只考虑参数{α， β}而忽略{α_id，α_ex}。π算子考虑了目标和源之间的尺度、旋转和变换优化过程按照算法1进行。算法11. 用S′初始化S′12.根据S′1和T，估计π并计算{w（uj）}和{T（uj）};3. 通过求解方程（7）得到{α， β}4. 用S（u;α，β）更新Es中的S<$1;5. 终止： 检查停止标准满足{α，β}。继续步骤2（否）或完成（是）。在优化过程中，T样条控制点沿着SU的预先学习的形状子空间移动。它有点像经典的3DMM拟合，但它比3D-MM更准确。然而，它不能接近算法1的详细拟合，因为即使我们通过多个SU扩大了变形跨度，新的测试也不总是精确地在预先学习的人脸子空间中在另一方面，它不能保证SU的相邻部分处的真实连续性，因为SU之间的形状基础在拟合期间几乎彼此独立。因此，对未完成的细节进行处理是另一项重要工作。3.3.2最终精炼最后的细化是计算T样条形变模型的参数Ekid和Ekex，但一个很大的问题是识别细节Ekid和表达细节Ekex是混在一起的。我们发现，身份形状必须在中性的形状空间，脸是中性的嘴巴关闭和眼睛打开。也就是说，主要是中性脸在嘴和眼睛的轮廓上具有相似的二阶信息。因此图3.用红线标记的嘴和眼睛的轮廓：假设所有中性面的局部轮廓线在二阶上是相似的。轮廓线C是参数点集C，并且参数点之间的邻接由{N（u i）|u i∈C}。而C和C′是S和S′相对于V的轮廓，覆盖了图中所见的眼睛和嘴巴周围的点。3 .第三章。在上述等式中，参数{π， α， β}是从先前步骤计算的已知方程（8）中的四项在优化中起不同的作用• 用Ef（α，β， π）来拟合S（u;α， β，β，α，β，β，• Es（εid，εex;α，β）用于光滑S（u;α，β，εid，εex x）。 这里的平滑是基于参考S1。• 利用εs（α，α）光滑S（u;α，α 这里的平滑是基于参考S′2。• Ec（α）抑制了S（u;α）中立身份空间分离身份细节，一个额外的二阶项在优化中考虑Ec（αid;α）图4.好的解决方案VS解决办法不好和ξexp 在前ER（λid，λex）=λ1·Ef（λid，λex;α， β， π）+λ2·Es（λid，λex;α，β）+λ3·Es（λid;α）（八）压缩细节子空间和身份细节子空间分别：1)红点表示表情细节与身份细节混杂; 2）绿点表示表情细节和身份细节相互分离。哪里Ec（α，α）=∑uj∈C+λ4·Ec（λid;α），（C（uj;id，α）−C<$（uj;id，α））2该细化类似于分别在身份细节子空间和表达细节子空间中找到最优解，如图1所示。4.第一章但是，身份和表达的细节相互混杂而ΔC是对等值线C的微分运算，∑C（u j;ui∈N（uj）如果只使用Ef和Es当引入项Ec时，S（u;α，α_id）中的轮廓信息主要满足中性人脸的约束，例如：嘴巴闭上，眼睛睁开。因此，身份和6146可以很好地分离表情细节。细化过程按照以下算法2进行。算法21. 用S（u;α，β）初始化S<$1，用S（u;α）初始化S<$2。2. 估计π并计算{w（uj）}和{T（uj）}，ac-根据S′1和T;4.1. 扫描数据结果我们使用的面部扫描数据是来自巴塞尔大学网站[20]的高质量中性由于它们已正确配准，因此它们非常适合用于比较3DMM和我们的T-splineMM模型的拟合性能。由于所有要拟合的面都是中性的，只有身份参数-3. 获取{}id，droxex¯}通过求解Equ（8）;¯s被考虑。 为了进行比较，T-splineMM和3DMM仅建立在BFM模型上。我们测试4种方法4. 用S（u;α， β， αid，αex）更新S1，用S（u;α， αid）;5. 终止：检查停止标准是否满足于{blogid， blogex}。继续步骤2（否）或完成（是）。3.3.3更新{T（uj）}和{w（uj）}目标T上的点T（u j）是S（uj）在正被拟合的模型S上的对应点。和{w（u，j）}是对应关系的标识符，表示对应关系和缺失数据.非刚性ICP [3]是一种密集配准方法，可以找到从模板中的每个点到目标的映射它可以处理国防部-在模板和目标之间具有主动刚度的EL变换，例如，两个不同的神经元之间的转换。但是，它不能直接处理表达式的变形。因此，首先，我们通过调整界标约束对S应用拉普拉斯曲面编辑[26]，使得变形的S具有T中的表达式。最后，我们应用非刚性ICP来计算对应关系。最后，对于j = 1，2，.， 我们定义：包括基于全局面3DMM（3DMM Glb）、基于分段的3DMM（3DMM Segs）、没有细化的T-splineMM（T-splineSU）以及具有细化的T-splineMM（T-splineMMRef ） 。 特 别 地 ， 我 们 测 试 了 T-splineMM SU 和 T-splineMM Ref，以分别验证SU和细节细化的性能。图5. 4种模型在6个样本计算拟合误差，并根据眼角的距离进行归一化6个样品的结果和误差比较如图所示。五、我们的T-splineMM方法显示出更好的性能比3DMM方法在所有的例子。表. 2显示了所有样本的4个模型的平均误差。3DMM Glb的最大误差超过8%。T样条MM SU的平均误差为4.99%，T（u，j）= argmin{dist（ S不和{变形（u j），t）|t∈T}，T-splineMM Segs的平均误差为6.16%，T-splineMM Ref的平均误差为1.21%。因此，T样条模型中的SU更有效地改善了预处理，比3DMM中的段精确，也可以在图中看到6（b）和w（uj）=1，ifdist（Sdefrmed（uj），T（uj））ε，0，否则。（c）。细化过程使结果接近地面实况，如图19所示。第6（d）段。在上面的等式中，dist（m，m）是两点之间的欧几里德距离，并且S变形是在使用拉普拉斯编辑和非刚性ICP之后S的变形形状，并且t∈T意味着t是目标T上的点。 我们说当w（uj）=0时T（u j）缺失。4. 实验在本节中，为了显示SU的有效性和拟合算法中的详细 细 化 ， 我 们 的 模 型 在 面 部 扫 描 数 据 [20] 和KinectfaceDB [17]上进行了测试，并将结果与经典的3DMM进行了比较。为了展示面部表情的详细拟合性能，我们在时空人脸上测试了我们的模型[28]，以通过形状子空间中的人脸解析实现身份与表情的分离。表2.4种方法的平均拟合误差方法3DMM Glb3DMM分段平均误差8.68%6.16%方法T样条MM SUT-splineMM参考平均误差4.99%百分之一点二一4.2. Kinect数据结果Kinect人脸数据[17]包含低质量的人脸3D点云，其中存在较大的噪声和缺失数据。我们使用这个数据库6147的一个重要原因是它涵盖了几种种族，如高加索人，东亚人，印度人等。这确保了测试集中的形状子空间与预学习模型的重叠较少。6148图6.四种模型对一个扫描样本的拟合结果和误差：全局3DMM（a）、基于分段的3DMM（b）、没有细化的T-样条MM（c）和具有细化的T-样条MM（d）。这里的3DMM和T-splineMM都建立在预先学习的BFM上。我们使用3DMM Segs进行3DMM拟合，使用T-splineMM SU进行T-splineMM拟合。拟合结果和比较的示例如图所示7 .第一次会议。左边的结果是由3DMM拟合产生的，而右边的结果是T样条MM。后者的结果显然比前者更一方面，它说明了T样条SU可以大大扩大变形跨度的预先学习的形状子空间。另一方面，T-splineMM证明了对缺失数据的鲁棒性，从而产生光滑和完整的结果。图7. Kinect面部数据的拟合结果：左边是由3DMM生成的，右边是由T样条MM生成的。4.3. 关于Space Time Faces时空人脸[28]包含具有表情变化的良好重建的时间人脸数据。三维表情的连续框架为表情分析提供了有用的数据。面孔的身份是东亚人，在种族上与BFM模型没有重叠。我们在10个样本上进行了身份与表达分离的实验。与仅使用BFM模型作为预学习模型的先前实验不同，3DMM和T-splineMM在这里还通过合并表情模型[10]作为预学习的表情子空间来考虑面部表情部分。为了进行比较，我们通过迭代优化表达式来实现3DMM表达式拟合，图8.通过3DMM（a）和T-splineMM（b）从表达数据中分离身份：左边的结果是拟合的表达重建，右边是身份重建。恒等系数计算了同一性和表达式的拟合误差，并将误差统计量列于表中。3 .第三章。3DMM在表达式拟合上的平均误差远大于T-splineMM，因为后者接近地面真实值。与3DMM的平均误差10.69%相比，一个样品的比较结果如图所示。8.显然，T-splineMM方法在分离身份和表达的任务上表现出更好的性能。表3. 表达和鉴别的平均拟合误差。方法3DMMT样条MM平均误差（Ex）12.64%0.84%平均误差（Id）10.69%8.50%5. 结论提出了一种基于预学习身份和表情子空间的参数化T样条形变模型在T-网格上定义了人脸SU，以提高T-样条人脸的表示性能提出了一种T样条MM拟合算法，以逼近身份和表达的细节。事实上，我们基于两个关键贡献解决了不完整子空间的问题：在T网格上定义局部SU，在拟合算法中细化求解，对各种人脸变形都有很好的效果。在扫描数据、Kinect数据和时空数据上的实验结果证明了该模型对噪声、缺失数据、表情和种族等的有效性和鲁棒性。在未来，T样条MM将被扩展到二维人脸图像拟合，或将作为一种基于子空间的自由曲面造型技术被引入CAD/CAM系统。6. 确认这项工作得到了国家的部分支持。国家自然科学基金项目（No.61373035和No.61304262）和国家重大技术研发计划（No.2015BAH52F00）。6149引用[1] O. Aldrian和W.A. 史密斯用3d可变形模型逆向绘制人脸IEEETransactionsonPatternAnal-ysisMachineIntelligence，35（5）：1080-93，2013。1[2] B.安贝格河Knothe和T.维特基于形变模型的表情不变三维人脸识别。在IEEE关于自动面部手势识别的国际会议上，第1-6页，2008年。1[3] B. Amberg，S. Romdhani和T.维特用于曲面配准的最优步 长 非 刚 性 ICP 算 法 。 在 IEEE Computer SocietyConference on Computer Vision Pattern Recognition IEEEComputer Society Conference on Cvpr，第1-8页，2007年。五、七[4] 诉Blanz和T.维特用于合成3D面的可变形模型计算机图形年会，1999年，第187-194页。一、二、五[5] 诉Blanz和T.维特基于三维形变模型拟合的人脸识别IEEE模式分析和机器智能学报，25：1063-1074，2003年。1[6] T. Bolkart和S.乌勒运动中的3D面：全自动配准和统计分析. 计算机视觉图像理解，131：100-115，2015。2[7] J. Booth，A. Roussos，S. Zafeiriou，A. Ponniah和D. 快走开。从10，000张面孔中学习的3D变形模型。在Proc. IEEE计算机视觉和模式识别会议，2016年6月。一、二[8] A. Brunton，T.Bolkart和S.乌勒Multilinear Wavelet：AStatistical Shape Space for Human Faces. Springer国际出版社，2014年。2[9] A. Brunton，A.Salazar，T.Bolkart和S.乌勒三维数据统计形状空间的回顾与人脸的比较计算机视觉图像理解，128（11）：1C17，2014。2[10] C. Cao ， Y.Weng 、 黄 毛 菊 S.Zhou ， Y.Tong 和 K. 舟Faceware- house：一个用于视觉计算的三维面部表情数据库Visualization Computer Graphics IEEE Transactionson，20（3）：413-25，2014. 一、二、五、八[11] B. Chu，S. Romdhani和L.尘3D辅助面部识别对表情和姿势变化鲁棒。在IEEE计算机视觉和模式识别会议上，第1907-1914页一、二[12] Ekman和W.弗瑞森面部动作编码系统：一种测量面部动作的技术Rivista Di Psichiatria，47（2）：126-38，1978. 第1、3条[13] R. Feichtinger，H.Yang和B.杰特勒基于粒子的t样条水平集演化算法在具有范围和体积约束的三维物体重建中的应用。Vclav Skala-UNION Agency，2008年。2[14] M.冈萨雷斯-伊达尔戈，A.若梅卡普A.和平号，以及G.尼古拉·贝斯塔德样条曲面变形解析模拟工具。计算机辅助设计，45（2）：168-179，2013。2[15] B.利维，S。Petitjean，N.雷和J·马约最小二乘保角映射用 于 纹 理 图 谱 自 动 生 成 。 Acm Transactions onGraphics，21（3）：362-371，2002年。3[16] J. Liao，R. S.利马湾Nehab，H.霍普桑德，还有J. Yu.利用半域结构相似性实现图像自动变形。AcmTransactions on Graphics，33（5）：1-12，2014。2[17] R. Min，N. Kose和J. L.杜杰雷Kinectfacedb：用于人脸识别的Kinect数据库。Systems Man Cybernetics SystemsIEEE Transactions on，44（11）：1534-1548，2014. 7[18] J. Montagnat，H. Delingette和N.阿亚奇可变形表面的综述：拓扑、几何和变形。图像视觉计算，19（14）：1023-1040，2001年。2[19] P. 佩桑河诺特湾Amberg，S.Romdhani和T.兽医。一种用 于 姿 态 和 光 照 不 变 人 脸 识 别 的 三 维 人 脸 模 型IEEEInternational Conference on Advanced Video SignalBased Surveillance，第296二、五[20] P. 佩桑河诺特湾Amberg，S.Romdhani和T.兽医。来自巴塞尔人脸模型网站的注册好的扫描数据。http：//faces.cs.unibas.ch/bfm/，2009年。7[21] W.彭角，澳-地Xu和Z.峰 三维人脸建模基于B样条的结构优化和曲面重构。神经计算，179（12）：228-237，2016。2[22] L. Piegl和W.蒂勒NURBS书。Springer-Verlag，1995. 2[23] J. Roth，Y. Tong和X.刘某无约束三维人脸重建。在IEEE计算机视觉和模式识别，第2606-2615页2[24] J. Roth，Y. Tong和X.刘某无约束照片集的自适应三维人 脸 重 建 。 IEEEComputerVisionandPatternRecognition，2016。1[25] T. W. Sederberg，J. Zheng，中国春萤叶甲Bakenov和A.纳 斯 里 T 样 条 和 T 样 条 曲 线 。 Acm Transactions onGraphics，22（3）：477-484，2002. 2[26] O. Sorkine、D. Cohen-Or，Y. Lipman，M. Alexa角ssl和H. P. 赛德尔拉普拉斯曲面编辑。在Eurographics/acmSIGGRAPH Symposium on Geometry Processing，第54 A页，2004年。二、七[27] H. Yang和B.杰特勒基于t样条水平集的三维形状变形。The Visual Computer，23（12）：1015-1025，2007. 2[28] L. Zhang，N.斯奈利，B. Curless和S. M.塞茨时空面对：高分辨率捕获，用于建模和动画。在数据驱动的3D面部动画中，第248- 249276. Springer，2007. 七、八[29] X. Zhu，Z. Lei，J. Yan，and D.逸用于野外人脸识别的高保真姿势和表情归一化。第787-796页，2015年。一、二