三维统计形状建模的点自动编码器

5410PointAE：用于3D统计形状和纹理建模的点自动编码器杭岱，凌少阿联酋阿布扎比Inception Institute ofArtificial Intelligence阿布扎比hang. inceptioniai.org，ling. ieee.org摘要标准统计形状建模的结果是对象的向量空间表示。一组对象类示例的向量的任何凸组合生成真实且有效的示例。本文提出了一种直接在三维点上进行三维统计形状建模的点自动编码器（PointAE）。所提出的PointAE能够用对应细化块来细化对应。具有精确对应性的数据可以再次馈送到而不是两个单独的模型，PointAE可以同时模拟形状和纹理的变化。在三个开源数据集上的广泛评估表明，该方法在形状变化的表示能力方面取得了更好的性能。1. 介绍凭借先前的知识和经验，人们可以很容易地在2D和3D图像中观察到某种类型的对象（例如人脸，猫或椅子）的丰富形状和纹理变化这种能力可以帮助我们识别同一个人，区分不同种类的生物，并绘制出同一对象类的未见过样本。捕获这种先验知识的过程在数学上被解释为统计建模。一个这样的结果是3D变形模型（3DMM），对象的向量空间表示，其捕获形状和纹理的变化。一组对象类示例的向量的任何凸组合在该向量空间中生成真实且有效的示例统计形状建模在各种学科中得到广泛研究;例如计算机视觉，研究人员专注于医学成像，生物识别和创意产业中的应用。统计形状建模的目的是表征的平均形状，以及不同类别的对象的不同对象部分的方差和协方差形状，定义为丹吉Kendall [26]，是所有的几何信息当位置、比例和旋转效果从对象中滤除时，保留。换句话说，当进行形状分析时，需要通过对齐形状的集合来过滤掉那些相似性效应。通过定位轮廓上的多个点来描述形状。这些点被定义为在群体之间和群体内匹配的每个对象上的对应点。统计形状建模可能最常见的是通过一组网格上的正交分量分析（PCA）来执行，其找到向量空间中具有最大方差的方向，同时相互正交。然而，PCA过滤掉高频信号，从而在形状重建中丢失形状细节。为了克服这一点，我们采用点自动编码器来提取形状的潜在表示并重建形状。潜在表示是一种分布式表示，它捕获数据中主要变化因素的坐标这类似于对主成分的预测将捕获数据中的主要变化因素的方式。实际上，如果存在一个线性隐藏层并且使用均方误差准则来训练网络，则m个隐藏单元学习将输入投影到数据的前m个如果隐藏层是非线性的，则自动编码器的行为不同于PCA，具有捕获输入分布的多模态方面的能力。我们提出了一种深度的方法来建模3D形状。特别是 ， 我 们 的 方 法 具 有 一 种 新 颖 的 点 自 动 编 码 器（PointAE），具有跳跃连接和注意力块，其贡献在于：• 与之前需要将网格转换为其他几何表示/特征或重新网格化表面的深度方法不同，3D点可以被直接馈送到用于统计形状建模的建议点AE。• 我们提出了一个对应细化块以下PointAE细化对应。然后我们通过向PointAE提供具有精确对应关系的数据来引导建模过程消融研究表明，该过程增强了形状再现。5411怨恨能力• PointAE可以处理包含3D颜色的输入，而将XYZ和纹理颜色RGB指定为具有6个通道的点云。据我们所知，我们的PointAE是唯一一种同时对形状和纹理进行建模的深度方法。• 我们将所提出的PointAE应用于三种类型的公共数据集，即人脸，头部和身体数据集，分别定性和定量的评估表明，该方法提高了性能比目前的最先进的方法。2. 相关工作2.1. 3DMM的历史在20世纪90年代，Cootes et al.开发的应用于2D图像的形状模型，称为点分布模型（PDM）[11]。这项工作是参考2D形状完成的，其中相应的点被手动标记在一组训练示例的边界上。Cootes等人在[ 12 ]中提出了主动形状模型（ASM），其中确定姿势、比例和形状参数以便将模型拟合到图像。这项工作的灵感来自于活动轮廓模型的早期工作[25]。同一个研究小组还继续在他们的模型中加入纹理，以提供活跃的外观模型[10]。他们开发了一套形状建模方法，其中最佳对应性是那些定义最紧凑形状模型的方法，给定模型和数据之间的拟合质量[16，28]。Terzopoulos和Metaxas [39]介绍了一种基于物理的方法来拟合3D形状。他们形成了可变形超二次曲面，它将传统超椭球的全局形状参数与样条的局部自由度结合起来。Kakadiaris等人[24]提出了一种使用基于物理的框架进行形状分割和运动估计的集成方法。现有的三维统计人脸模型主要包括可变形模型、多线性模型和基于部分的模型。在20世纪90年代后期，Blanz和Vetter通过3D人脸扫描[3]构建了3DMM，并将其用于2D人脸识别[4]。使用200次扫描来构建模型（年轻人，100名男性和100名女性）。 巴塞尔人脸模型（Basel Face Model，BFM）是最著名和最广泛使用的人脸模型，由Paysan等人开发。[31 ]第30段。基于部件的模型显示出比全局模型更高的数据准确性[38，2]。采用称为多线性模型[42，44，5，43]的统计模型来对变化的面部表情进行通过使用多线性模型，Vlasic等人。[42]使用身份和表情变化的组合建模的面部形状。杨等人[44]模拟了在同一对象的不同输入图像中的面部表情。每个表达式的多个PCA形状空间被构建并与多线性模型组合后续工作[5，43]使用此模型更好地描述视频中的表情。Golovinskiy等人引入了分层金字塔方法。建立一个本地化模型[20]。为了在高分辨率人脸网格中建模几何细节，该统计模型能够描述变化的几何人脸细节。Brunton等人[7]描述了使用小波基在多个尺度下的3D面部形状变化。小波基提供了一种方法来组合局部区域的小Claes等人[9]探索了性别、基因组血统和基因型对面部形状变化的独立影响。实验结果表明，一组20个基因对面部形状的变化有显着的影响。2017年，Booth et al.[6]使用非刚性迭代最近点模板变形方法（如在BFM中使用的）构建了大规模面部该3DMM采用了迄今为止最大的3D人脸数据集，并从9663个不同的面部识别构造。Marcel等人[30]用高斯过程模拟形状变化，它们使用其Karhunen-Loeve展开的主要分量表示。这种高斯过程变形模型（GPMM）以B样条和PCA模型为例统一了各种非刚性变形模型。在他们的后续工作中，他们提出了一种基于高斯过程的变形人脸模型构建的新管道[19]。GPMM通过将特定于域的适应作为先验模型来将特定于问题的要求与配准算法Tran等人。[41]提出了一种框架，可以从大量无约束的人脸图像中构建非线性3DMM模型，而无需收集3D人脸扫描。具体地，给定面部图像作为输入，网络编码器估计投影、形状和纹理参数。两个解码器作为非线性3DMM，分别从形状和纹理参数映射到3D形状和纹理。2.2. 深度3D形状建模Genova等人[18]提出了一种用于训练从图像像素到3D变形模型坐标的回归网络的方法，其中不需要监督训练数据。Tewari等人[40]在端到端训练框架中融合了具有可微分渲染器和自监督训练损失的卷积编码器。Kim等人[27]采用了一种针对面部的深度卷积逆渲染框架，旨在通过仅从单个图像估计所有参数来估计面部姿势、形状、表情、反射率和照明5412最近Bagautdinov et al.[1]提出了一种对多尺度面部几何进行建模的方法，该方法使用UV参数化来学习面部几何以用于网格表示。Tan等人。[37]采用网格变分自动编码器来探索3D网格的概率潜在空间。 训练是在称为RIMD（旋转不变网格差异）的表面表示上执行的，而不是网格的UV参数化。Ranjan等人[34]介绍了一种卷积网格自动编码器（CoMa），由网格下采样和网格上采样层组成，具有在网格表面上定义的快速局部卷积滤波器[17]。这需要重新划分曲面网格并考虑三角剖分关系。当考虑时间相关性时，更难以对动态高分辨率3D网格[8，29]进行建模3DMM构造的最新进展具有应用3D深度学习来对非线性形状变化进行建模的趋势。这种变化通常不能用传统的建模方法进行统计描述。上述方法需要对曲面重新划分网格、考虑连通关系或将网格转化为其他几何表示。相比之下，我们提出了一种基于PointNet [33]架构的新型点自动编码器，以直接消耗3D点进行统计形状建模。此外，这些深层方法仅坚持形状建模。3. 方法我们提出了一个点自动编码器的3D统计形状和纹理建模。在以下部分中，我们首先描述用于为PointAE准备输入数据的数据预处理。然后，我们制定的PointAE数学方法。在此之后，我们提出了建议PointAE，这是其次是一个对应的细化块的架构。以下部分用于描述使用PointAE的同时形状和纹理建模。最后，我们提出了我们的方法的实现细节。3.1. 数据预处理当且仅当每个网格被重新参数化为一致的形式时，统计建模过程才是可行的，其中顶点数量、三角测量和每个顶点的（近似）解剖学意义在所有网格中是一致的。例如，给定一个网格中索引为i的顶点对应于左嘴角，则要求每个网格中索引相同的顶点也对应于左嘴角每个顶点都我们使用[13]中的模板变形方法在顶空数据集中建立密集对应，并使用[19]中的模板变形方法在BU3DFE数据集中建立密集对应。凯撒数据集提供具有密集对应性的配准扫描。一旦建立了密集对应关系，配准的数据在数据集上共享相同的三角测量关系。因此，我们可以将这种三角关系从统计建模过程中取出，并且仅使用3D点进行建模。然后对密集对应的扫描集合进行广义普罗克鲁斯特分析（GPA）[21]，以去除相似性效应（旋转和平移），仅留下形状信息用于建模。3.2. 问题公式化诸如[23]中的一个的全局线性模型将所有可能的面部形状表示为一组基向量中的线性组合。在[14，15]中，它是通过对训练数据库进行主成分分析获得的。在本文中，建议PointAE消费点云直接分解成一个潜在的代表性的数据集。对于每个3D扫描已经建立了密集对应关系。每个密集对齐的3D扫描X∈Rn具有η个点：X=[x1，x2，···，xi，···，xn−1，xn]，（1）其中xi指示第i个点，其值是3D 坐标xi=（xi， yi，zi）。形式上，点自动编码器可以被公式化为：L=E（X;θe），X*=D（L;θd）（2）其中，E（？;θ e）和D（. ;θd）是多层卷积编码器和解码器，分别由权重θe和θd参数化，L∈Rk是k个潜在参数的集合，并且X*∈Rn是从解码器重构的点云，使得||X-X*||被最小化。3.3. 点自动编码器我们提出了一个点自动编码器（PointAE）直接在3D点上执行统计形状建模如图1所示，输入点集eRn×3被编码为潜在表示，然后将其解码为3D坐标。编码器的主要模块由一个控制器组成卷积层，然后是批量归一化，具有跳过连接的级联层和基于[22]的注意块。在四个主要块的结尾处，输出被最大池化为平坦向量，平坦向量是输入3D点的紧凑表示。这也被称为输入数据的潜在变量/表示。解码器使用三个全连接（FC）层对潜在表示进行上采样，以获得3n维特征，然后将输出点集重塑为∈Rn×3。损失函数。由于对应关系是在训练之前建立的，因此我们可以计算平均每点误差54131我Σ.X图1.用于3D统计建模的PointAE网络的体系结构，具有相应的核大小（K），特征图的数量(N)以及为每个卷积层指示的步幅（S）最小化时||X-X*||：‚n .Σxyz∗∗2S1∈[0，1]m×n和S2∈[0，1]m×n分别作为从去噪网格和输入扫描中选择相互最近邻的m个顶点的准则。这种对应关系X（X，X）=，n（xi−xi）（三）精化系统可以写为：i=1xi∈X，x<$∈X<$这是所提出的PointAE中的关键任务，即最小化xi和x*之间的距离误差。.ΣλCS1精制.Σ=λCX降噪S2X输入（四）我3.4. 对应细化块自动编码器能够对数据进行降噪。我们利用这个属性来完善的对应和引导的统计建模。如图2所示，所提出的PointAE细化了失效情况的网格结构。由于潜在表示L被视为X的有损压缩，因此对于任意输入，它不能是良好的（小损失）压缩。这就是自动编码器概括的意义：它在来自与训练样本相同的分布的测试样本上给出低重构误差，但是它为遵循该分布的任意部分生成最佳重构该机制使得自动编码器能够细化对应关系。提出的PointAE算法使点遵循相同的分布规律，并利用训练样本中的知识对噪声点进行细化。预期所提出的对应细化块一起实现两个目标(1)（2）减小了观测值X与重建值X*之间的距离误差。为此，我们使用Laplace-Beltrami（LB）正则化网格操作，以在向3D原始扫描移动时保留网格结构给定存储在矩阵Xinput∈Rn×3中的扫描顶点和存储在矩阵Xdenoised∈Rn×3中的来自PointAE的去噪网格，我们定义了选择矩阵其中C∈Rp×p是余切拉普拉斯近似，LB算子[36]和Xrefined∈Rp×3是我们希望求解的细化顶点位置。 这页-参数λ对位置和正则化约束的相对影响进行加权，有效地确定投影的当λ→0时，投影趋于向最近邻投影。 当λ→ ∞时，成型模板只允许刚性变形。在对应细化之后，可以将点集馈送到PointAE。如图2所示，来自自举过程的具有更好对应性的点被馈送到PointAE。3.5. 形状和纹理建模与以前的方法使用一个其他模型的纹理建模，所提出的方法是能够同时建模的形状和纹理，而不增加潜在参数的数量。为此，我们将具有6个通道的n维输入公式化为：Q=[q1， q2， ··· ，qi， ··· ， qn−1， qn]，（5）其中输入Q∈Rn和输出Q*∈Rn有n具有6个通道的点，qi=（xi，yi，zi，ri，gi，bi）表示3D坐标XYZ和纹理颜色的组合RGB。因此，所提出的方法可以将此输入视为6通道点集，该点集在[0，1]之间归一化。然后，点自动编码器可以被公式化为：5414xyzRGB图2.对应细化块。注意，PointAE细化鼻子和嘴部区域中的网格结构，但是它在鼻子、嘴部和颅骨区域中具有明显的距离误差。对应细化块显着降低了距离误差，并保持网格结构尽可能刚性的X*。L=E（Q;θe），Q=D（L;θd）（6）当||Q−Q*|| 最小化时，编码器生成隐变量来复杂地表示形状和纹理。然而，标准损失函数。对于3D坐标xyz，我们可以计算平均每点误差，而我们采用均方根误差（RMSE）用于纹理重建损失。最小化||Q−Q*||，我们可以将每个点的平均值误差和RMSE作为损失函数：层将3n维特征重新整形为n×3个点，这就是重建。训练我们使用以下设置在DGX1机器中训练模型：批大小是64，2001个时期，并且学习速率从0.001开始。我们使用亚当优化器，λ= 1。4. 实验结果我们在三个开放的数据集：BU3DFE，顶空和凯撒，这是脸，完整的头部和身体数据集评估所提出的方法我们比较了所提出的方法Qst（Q，Q）=（Q，Qxyz）+RMSE（Q*，Qrgb）（7）用标准方法和深层方法。注意，在用于比较的深度方法中，所提出的因此，建议PointAE可以统计模型的三维形状和纹理的同时。3.6.实现细节AE点。图1中示出了PointAE网络的架构，其中针对每个卷积层指示了对应的内核大小（K）、对于编码器，结构如下：（1）K[1，3] N64S [1，1]，（2）K[1，1] N64S [1，1]，（3）K [1，1] N64S [1，1]，（4）KK[1，1] N64S [1，1]、⑷ K[1，1] N256S [1，1]和⑸K[1，1]N1024 S[1，1]。1024个特征与来自跳过连接的256个特征连接合并后的1280 fea-方法是唯一一种直接消耗3D点，而不需要将网格转换为其他几何表示/特征或重新网格化表面的方法。我们评估所提出的方法定性和定量。4.1. 评估指标通过归一化平均误差（NME）评估准确度，即通过3D网格大小归一化的每个顶点距离误差的平均值。在对网格进行姿态归一化之后，尺寸可以被定义为长度（l）、宽度（w）和高度（h）的最大值，如图3所示。因此，NME可以公式化为：图被最大池化到具有1280个潜在变量/表示的潜在空间对于FC 解码器， 结构如下：（ 1） N1024，（2 ）N1024和（3）N3n。最终NME（X，X）=1n×max（l，w，h）（X*，X）（8）5415图3. 3D网格中长度（l）、宽度（w）和高度（h图4.具有误差图的重建结果：（1）输入数据;（2）不含b1&b2;（3）不含b1;（4）W/O B2和（5）所提出的方法。图5. BU3DFE数据集上具有误差图的重建结果：（1）和（2）输入数据、来自成分VAE的结果和来自所提出的方法的结果。4.2. 消融研究根据[14]中的设置，我们评估每个组件的功能，例如跳过连接（b1）和atten。图6.顶空数据集上具有误差图的重建结果：（1）和（2）输入数据; PCA重建;（3）提出的方法。图7.在Caesar数据集上从正视图和俯视图得到的具有误差图的重建结果：（1）输入数据;（2）主成分分析（PCA）;L数量w/o b不含b1不含b2P1P21280.06120.05370.02710.02020.01682560.05810.05170.02490.01630.01435120.05400.04870.02250.01240.009510240.05010.04380.01960.01070.0083表1.具有不同潜在维度的保持形状的归一化平均误差。在重构误差方面，对块（b2）进行重构。我们使用80%的Headspace数据集进行训练，20%用于测试。我们计算归一化的平均每顶点距离误差进行定量评估。图4示出了没有（w/o）bl和b2、没有bl、没有b2的所提出的方法、没有对应细化的所提出的方法（pl）和所提出的方法（p2）的重建结果以及误差。如表1所示，在所提出的方法中，跳跃连接和注意块具有显著的特别地，在所提出的方法中，跳跃连接比注意块具有更大的影响当比较p1和p2时，p2在所有数量的潜变量上获得更少的重构误差，这意味着对应细化块增强了形状表示能力。5416图8.顶空数据集中潜在表示的前八个元素的平均值与平均值的形状变化+和-3标准差。L数量PCA [13][1]第一章提出1280.03110.02220.01782560.02580.01740.01475120.02130.01200.009610240.01870.01040.0074图9.形状插值描述压缩表达的能力：第一行-PCA，第二行-建议的方法。4.3. 表示能力为了量化统计建模方法的表示能力，我们计算了具有不同潜在维度的保持形状的归一化平均每顶点距离误差。我们在三种类型的开源数据集中将所提出的方法与PCA，MeshVAE [37]和Compositional VAE [1]进行 了 比 较 ： BU3DFE [45] ， Headspace [14 ， 35] 和Caesar [32]。我们将80%的数据集用于训练，20%用于测试。脸上 BU3DFE包括100名受试者，2500个面部表情模型。每个主题包含一个中性和六个表情，四个强度级别。 从图5中可以看出，具有误差图的重建结果表明，对于两个看不见的示例，所提出的方法具有较小的重建误差，特别是在下巴、脸颊和前额区域。 表2展示了在BU3DFE中具有不同潜在尺寸的保持形状上的归一化平均每顶点距离误差。所提出的方法实现了最佳的性能在所有数量的潜变量。所提出的方法优于组合VAE [1]的原因是PointAE直接应用于3D点，而组合VAE [1]用于网格的2D UV表示。头Headspace数据集是一组人类头部的3D图像，由1519名戴着紧身乳胶帽以减少发型影响的受试者组成。图6示出了具有误差图的重建结果两表2.具有不同形状的BU3DFE中的潜在维度L数量PCA [14][1]第一章提出1280.03340.01940.01682560.02860.01540.01435120.02490.01240.009510240.01870.01030.0083表3.顶空中具有不同潜在尺寸的保持形状的归一化平均误差由于该方法的重建结果与输入数据更接近，因此该方法的重建结果特别地，所提出的方法能够捕获形状细节，例如，嘴周围的表3展示了在顶空中具有不同潜在尺寸的保持形状上的归一化平均每顶点距离误差所提出的方法比组合VAE [1]获得了轻微的改进。与顶空PCA [14]相比，存在更显著的改善。这是因为PointAE在解码器的五个主要块中捕获了非线性变化，而非线性变化很容易被PCA过滤掉。身体Caesar有4309个全身配准扫描，年龄分布、体重和身高变化很大，这使得对形状变化进行建模具有挑战性。在图5中，MeshVAE [37]显示了不正确的头部姿势和较薄的胸部，而所提出的方法在整个身体上的误差较小。从表4可以看出，我们计算Caesar中具有不同潜在维度的保持形状上的归一化平均每顶点距离误差。所提出的方法获得了最低的每顶点重建误差对所有的选择5417图10.顶空数据集中潜在表示的前八个元素的平均值与平均值的纹理和形状变化+和-3个标准差图11.形状纹理模型重建的两个未见过的示例&：第一和第二示例的重新缩放的每顶点重建误差是1.97mm和2.42mm;重新缩放的（[0 255]）纹理RMSE是2.68和3.12。在一个实施例中，解码器可以将扰动的潜在向量转换为等于对应的标准偏差的扰动的潜在向量，并且使用解码器将扰动的潜在向量转换为重构的样本。从图8中可以看出，第一主导潜变量显示了反映性别的形状变化，而第二主导潜变量显示了与年龄相关的形状变化。随着主导潜变量的减少我们使用形状插值从一个表达式到另一个表达式来描述压缩表达式的能力。在图9中，所提出的方法呈现了比PCA模型更平滑的形状插值。形状纹理模型。我们将选出前八名-L数量PCA [32]MeshVAE [37]提出潜在表征的部分从联合学习-1280.07350.05480.0503通过对形状和纹理的分析，我们可以同时查看纹理和2560.06480.05110.0459形状变化在一起。形状模型的形状为vi-5120.05810.04480.0409纹理模型的实现。 如图10所示，10240.05130.04050.0378显示平均值与平均值之间的纹理和形状变化+表4.具有不同形状的凯撒的潜在维度潜在变量的数量。由于身体尺寸的原因，这比面部和头部建模具有更大的误差。4.4. 变形模型该方法可以同时建立形状模型和纹理模型。在重建之 后 ， 我 们 需 要 从 [0 1] 重 新 缩 放 3D 坐 标 。 由 于Headspace同时发布了3D形状和纹理数据，因此我们使用所提出的方法对该数据集中的形状和纹理变化进行建模。形状模型。我们通过可视化前八个组件来探索学习到的潜在表征。我们首先通过训练的编码器在潜在空间中编码所有训练样本（形状和纹理）。我们计算潜在表征的前八个分量的平均值和平均值+和-3标准差。然后，我们用pertur的量扰动潜在向量的每个元素和-3个前八个元素的标准偏差帐篷表示。第一个优势纹理变化主要是从白到黑，第二个优势纹理变化是从年轻到年老，有一些胡子。图11展示了通过形状纹理模型重建的两个看不见的示例。第一和第二示例的重新缩放的每顶点重建误差为1.97mm和2.42mm。重新缩放的（[0 255]）纹理RMSE为2.68和3.12。5. 结论我们提出了一个PointAE同时执行3D形状和纹理统计建模直接对3D点和纹理。所提出的PointAE实现了较低的重建误差相比，国家的最先进的方法。该方法构造的三维模型具有更强的形状表示能力。所提出的PointAE具有利用所提出的对应关系细化块来细化对应关系的能力。一次自举增强了所构造的三维模型的表示能力。5418引用[1] Timur Bagautdinov 、 Chenglei Wu 、 Jason Saragih 、Pascal Fua和Yaser Sheikh。使用合成vae建模面部几何形状。在IEEE计算机视觉和模式识别会议集，第3877-3886页，2018年。三、七[2] Curzio Basso，Alessandro Verri，and Jens Herder.使用隐式表示拟合Journal of Virtual Reality and Broadcasting，4（18）：1-10，2007. 2[3] Volker Blanz和Thomas Vetter。三维人脸合成的可变形模 型 。 在 Proceedings of the 26th annual conference onComputer graphics and interactive techniques，pages 187-194，1999中。2[4] Volker Blanz和Thomas Vetter。基于三维形变模型拟合的 人 脸 识 别 IEEE Transactions on pattern analysis andmachine intelligence，25（9）：1063-1074，2003. 2[5] Timo Bolkart和Stefanie Wuhrer运动中三维人脸的统计分析2013年3D视觉国际会议-3DV 2013，第103-110页。IEEE，2013。2[6] James Booth、Anastasios Roussos、Stefanos Zafeiriou、Allan Ponniah和David Dunaway。从10，000张面孔中学习的3D变形模型在CVPR会议录中，第5543- 5552页，2016年。2[7] 艾伦·布伦顿，约亨·朗，埃里克·杜波依斯，还有常舒。基于小波模型的立体快速，鲁棒的人脸重建。2011年加拿大计算机和机器人视觉会议（CRV），第347-354页，2011年。2[8] Shiyang Cheng，Irene Kotsia，Maja Pantic，and StefanosZafeiriou. 4dfab：用于面部表情分析和生物识别应用的大规模4D数据库在IEEE计算机视觉和模式识别会议论文集，第5117-5126页，2018年。3[9] Peter Claes ， Denise K Liberton ， Katleen丹 尼 尔 斯Kerri Matthes Rosana，Ellen E Quillen，Laurel N Pear-son，Brian McEhran，Marc Bauchet，Arslan A Zaidi，Wei Yao，et al.从dna建立3d面部形状。PLoS genetics，10（3）：e1004224，2014. 2[10] Timothy F Cootes，Gareth J Edwards，and Christopher JTay- lor.活动外观模型。IEEE模式分析机器智能汇刊，（6）：681-685，2001。2[11] Timothy F Cootes和Christopher J Taylor。基于有限元分析的点分布模型与形状模型相结合。Image and VisionComputing，13（5）：403- 409，1995. 2[12] Timothy F Cootes ， Christopher J Taylor ， David HCooper，and Jim Graham.主动形状模型的训练与应用。计算机视觉与图像理解，61（1）：38-59，1995. 2[13] Hang Dai，Nick Pears，and William Smith.利用自适应模板的非刚性三维形状配准。在欧洲计算机视觉研讨会上，第48Springer，2018. 三、七[14] 戴航，尼克·皮尔斯，威廉·史密斯，克里斯蒂安·邓肯.颅面形状和纹理变化的三维可变形模型2017 IEEEInternational Conference on Com-计算机视觉（ICCV），第3104-3112页。IEEE，2017年。三六7[15] 杭戴，华盛顿史密斯，尼克皮尔斯，和基督教邓肯。颅面形状的对称因子统计建模在计算机视觉研讨会威尼斯国际会议论文集，意大利，第223[16] Rhodri H Davies ， Carole J Twining ， Tim F Cootes ，John C Waterton，and Camillo J Taylor.统计形状建模的最小描述长度方法Medical Imaging，IEEE Transactionson，21（5）：525-537，2002。2[17] 我 的 朋 友 德 夫 费 拉 尔 ， XavierBresson 和PierreVandergheynst。具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统的进展，第3844-3852页，2016年。3[18] Kyle Genova、Forrester Cole、Aaron Maschinot、AaronSarna、Daniel Vlasic和William T Freeman。三维可变形模型回归的无监督训练。在IEEE计算机视觉和模式识别会议的论文集，第8377-8386页，2018年。2[19] Thomas Gerig ， Andreas Forster ， Clemens Blumer ，BernhardEgger ， MarcelLuüthi ， SandroSchoünborn ，andThomasVet- ter.变形人脸模型-一个开放的框架。CoRR，abs/1709.08398，2017年。二、三[20] Aleksey Golovinskiy 、 Wojciech Matusik 、 HanspeterPfister、Szymon Rusinkiewicz和Thomas Funkhouser。用于 合 成 详 细 面 部 几 何 形 状 的 统 计 模 型 。 在 ACMTransactions on Graphics（TOG），第25卷，第1025-1034页，2006中。2[21] 科林·古道尔Procrustes方法在形状统计分析中的应用。皇家统计学会杂志。Series B（Methodological），pages285-339，1991. 3[22] 杰虎，李申，孙刚。挤压-激发网络。在IEEE计算机视觉和模式识别会议论文集，第7132-7141页，2018年。3[23] 美国电气与电子工程师协会。A 3D Face Model for Poseand Illumination Invariant Face Recognition，Genova，Italy，2009. 3[24] Ioannis A Kakadiaris ， Dimitri Metaxas ， and RuzenaBajcsy.活动部件-对铰接对象进行分解、形状和运动估计：基于物理的方法。在CVPR，第94卷，第980-984页，1994中。2[25] 迈克尔·卡斯安德鲁·维特金和德米特里·特佐普洛斯。Snakes：活动轮廓模型。 国际计算机视觉杂志，1（4）：321-331，1988。2[26] 大卫·G·肯德尔形状的统计理论综述Statistical Science，第87-99页，1989年。1[27] Hyeong wooKim、Mi chaelZoll höfer、AyushTewari、JustusThies、Christian Richardt和Christian Theobalt。反向面网：从单幅图像进行深单次拍摄逆人脸渲染。arXiv预印本arXiv：1703.10956，2017。2[28] Aaron CW Kotcheff和Chris J Taylor。通过直接优化的本征形状模型的自动医学图像分析，2（4）：303-314，1998。2[29] Tianye Li，Timo Bolkart，Michael J Black，Hao Li，and Javier Romero.从4d扫描中学习面部形状和表情的模5419型ACM Transactions on Graphics（TOG），36（6）：194，2017。35420[30] MarcelLu¨thi，ThomasGerig，ChristophJud，andThomasVetter.高斯过程变形模型。IEEE trans-actionson pattern analysis and machine intelligence，2017。2[31] Pascal Paysan、Reinhard Knothe、Brian Amberg、SamiRomdhani和Thomas Vetter。一种用于姿态和光照不变人脸识别的三维人脸模型在先进的视频和基于信号的监控，2009年。AVSS'09。第六届IEEE国际会议，第296-301页，2009年。2[32] Leonid Pishchulin，Stefanie Wuhrer，Thomas Helten，Chris- tian Theobalt，and Bernt Schiele. 建立统计形状空间用于三维人体建模。Pattern Recognition，67：276-286，2017. 七、八[33] Charles R Qi， Hao Su ，Kaichun Mo ， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别会议论文集，第652-660页3[34] Anurag Ranjan ， Timo Bolkart ， Soubhik Sanyal ， andMichael J Black.使用卷积网格自动编码器生成3d人脸。arXiv预印本arXiv：1807.10267，2018。3[35] B Robertson，H Dai，N Pears和C Duncan。验证年龄依赖性舟状头畸形矫正结果的人类头部变形模型国际口腔颌面外科杂志，46：68，2017。7[36] 奥尔加·索尔金和马克·亚里克萨。尽可能刚性的曲面建模。在Proceedings of the Fifth Eurographics Symposiumon Geometry Processing，第109-116页，2007年。4[37] Qingyang Tan，Lin Gao，Yu-Kun Lai，and Shihong Xia.用于使3d网格模型变形的可变自动编码器。在IEEE计算机视觉和模式识别（CVPR）会议上，2018年。三、七、八[38] 弗兰克·B·特尔·哈尔和雷姆科·C·维特坎普。用于识别的三维人脸模型拟合欧洲计算机视觉会议，第652-664页2[39] Demetri Terzopoulos和Dimitri Metaxas具有局部和全局变形的动态3d模型：可变形超二次曲面。计算机视觉，1990 年 。 第 三 届 国 际 会 议 论 文 集 ， 第 606-615 页 。IEEE，1990年。2[40] AyushTewari ， MichaelZollhofer， PabloGarrido ， FlorianBernard，HyeongwooKim，PatrickPe'rez，andChristianTheobalt.250hz以上单目重建的自我监督多层次人脸模型学习。arXiv预印本arXiv：1712.02859，2，2017。2[41] Luan Tran和Xiaoming Liu。非线性三维人脸变形模型。arXiv预印本arXiv：1804.03786，2018。2[42] 丹尼尔·弗拉西奇，马修·布兰德，汉斯佩特·菲斯特和约万·波普。多线性模型的空间转移。在ACMTransactions onGraphics（TOG），第24卷，第426- 433页2[43] Fei Yang ， Lubomir Bourdev ， Eli Shechtman ， JueWang，and Dimitris Metaxas.