面向密集三维人脸对应的增强局部形状匹配

10944面向密集三维人脸对应的增强局部形状匹配中国科学院自动化研究所范振峰1，2，胡锡源1，2，陈晨1，2，彭思龙1，2，312中国科学3北京威视特电子有限公司公司{fanzhenfeng2016，xiyuan.hu，chen. chen，silong. peng}@ ia.ac.cn摘要稠密三维人脸对应是三维人脸分析中的一个基本且具有挑战性的问题两个3D人脸之间的配准可以被看作是一个变形到另一个的非刚性配准问题，在许多现有的工作中，这通常由一些面部标志引导。然而，目前的工作很少考虑地标引起的非相干变形的问题。在本文中，我们明确表示的变形为局部刚性运动的一些种子点的指导下，所制定的变形满足相干的局部运动在一个面上无处不在。该算法首先利用少量特征点对种子点进行初始化，然后逐步增强种子点，以提高模板与目标人脸的形状匹配，最终实现稠密对应。在每一步中，我们采用了一个层次的计划，局部形状配准，连同高斯重新加权策略的准确匹配的局部特征周围的种子点。在我们的实验中，我们在几个数据集上广泛地评估了所提出的方法，包括两个公开的数据集：FRGC v2.0和BU-3DFE。实验结果表明，我们的方法可以实现准确的特征对应，连贯的局部形状运动，紧凑的数据表示。这些优点实际上解决了实际应用中的一些重要问题，如表达式、噪声和部分数据。1. 介绍密集对应寻求数据的规范表示，使得它们的全局和局部结构所有信件应转交给胡西苑。 本课题得到了国家重点科技攻关项目的资助。na（2017YFC 0803505）、国家自然科学基金（ 61571438 ） 、 法 庭 科 学 国 家 工 程 实 验 室 开 放 项 目（2017NELKFKT 02）。可以比较。它可以被视为非刚性配准问题[55]，这是3D人脸分析领域的基础。虽然界标对应[29，32]仅匹配不同面部的稀疏和解剖学上有意义的关键点，但密集对应匹配足以详细描述整个面部区域的所有精确的点对点对应有助于3D面的许多应用[18，41，5，42，66，56、39、60、28、24、13、14、33]。然而，密集的3D人脸对应仍然是一项挑战性的任务，特别是对于具有大表情的数据。 可以认为，这个问题在数学上和物理上都是隐含的。在数学观点中，与刚性情况不同，非刚性配准问题属于没有明确公式的更大类别，并且大表达式为考虑大变形的配准增加了另一层复杂性。在物理视图中，虽然可以通过解剖结构的常识来指导在3D面部上定位界标，但是平滑区域（例如，颊部和前额）上的点的对应没有坚实的定义。这也给评估对应结果带来了困难。最先进的文献[2，35，46，28，37，63，62，65]通常使用三角形网格数据和模板变形策略来建立不同面部之间的密集对应。网状连接关系（拓扑）在对应过程中本质上是固定的，这有利于精确的点对点对应。在这项工作中，我们采用了模板变形策略。 首先，选择一个任意但无噪声的脸作为模板。当所有人脸的对应完成后，我们使用所有中性人脸的平均人脸作为模板。对于大的表达式变化，单模板策略不能保证良好的为了解决这个问题，一些现有的作品[37，36，51]将下巴视为关节形状，并使用blendshapes来模拟张开的嘴运动，109452而其他人[27，45，58，16，7，26]使用统计面模型来正则化对应过程。这些方法结合了人脸的一些先验知识，并显示出令人印象深刻的结果，能够建模的表情。然而，这是一个先有鸡还是先有蛋的问题，因为先验知识通常是从一些准确对应的人脸样本中学习的。本研究的目的是在没有先验模型的情况下建立3D人脸的密集点到点对应。我们提出了一个显式的变形模型，以最小化加权最小二乘误差的刚性对齐的一些种子点。种子点由几个面部标志初始化，然后逐渐增强以增强局部形状匹配以建立整体对应。在多个数据集上的实验表明，该方法能够获得准确可靠的结果.这项工作的主要贡献是：1）提出了变形过程的显式描述，不仅保证了种子点的精确匹配，而且保证了相邻点的运动一致; 2）提出了一种全局到局部的分级配准策略，实现了种子点的精确定位。2. 相关工作文献中有许多用于3D形状的刚性/非刚性配准方法。对于一个全面的概述，可以参考[55，57，40]。在本节中，我们只介绍最相关的作品，主要关注3D人脸。2.1. 2D与3D方法大多数以前的方法[42，28，2，27，37，51，45，7]直接在面部形状的3D空间上工作，因为原始数据的全部信息保存在该原始域上。作为替代方案，其他一些方法[30，59，11，31，53，38]找到了从3D空间到规范 2D 域 的 合 理 映 射 。 在 3D Morphable Mod- el（3DMM）[5，6]的开创性工作中，Blanz和Vetter提出将3D人脸映射到2D柱面坐标，对形状和纹理特征进行编码，并使用基于正则化光流的算法进行密集对应。尽管2D方法通过降低维度而有效，但一个潜在的缺陷是丢失了一些原始的3D形状特征。因此，我们在这项工作中处理的密集对应问题的3D。2.2. 建模形状运动约束[44在对应过程中引入函数映射，并利用Laplace-Beltrami算子本征函数的低频基保证局部运动的光滑性。总之，人们普遍认为配准过程应满足相干局部运动.Amberg等人[2]提出了一种最优步长的非刚性迭代最近点（NICP）算法，并将形状运动建模为局部仿射变换。NICP通常被视为基准方法，并有许多有效的变体[45，16，42，17，35]。最近，它已被用于构建一些著名的统计面部模型，如巴塞尔面部模型（BFM）[47，25]和大规模面部模型（LSFM）[8，9]。2.3. 地标效应3D人脸的密集对应应该优先考虑地标对应，因为地标是最突出的特征点。地标控制整体面部形状，并帮助处理表情。在对应过程中，许多现有方法[5，2，45，16，26，46，1]使用一些稀疏对应的标志来引导整体变形过程以实现密集对应。这些地标被手动或自动检测最近，Fanet al. [22]定义高熵点来代替界标，这些点可以被认为是更密集的界标。由界标引起的问题是不能严格保证相干的局部运动，特别是当两个面部的界标分布一个典型的情况是在配准的数据与极端表达式考虑大变形，其中界标和最近点对应可能相互矛盾。这导致在变形过程中的地标周围的不连贯的形状运动。我们提出了一个优雅的制定形状运动来解决这个问题。3. 基于加权最小二乘法的两个点集的配准通常涉及刚性运动估计过程。 给定两个对应的点集P ={p1，p2，.， p n}且Q ={q1，q2，...， qn}中，刚性运动估计被表示为关于最优旋转R的约束最小化问题翻译T：两个面的对应可以看作是一个局部或全局地向另一个面移动的变形过程。Patel和Smith [46]使用薄板样条{R，T}=arg minR∈SO（3），T∈R3Σni=1wi<$（Rpi+T）−qi<$2，（1）(TPS)在一些手动注释的帮助下，扭曲以建立对应关系。[43，42，45]通过强制局部平滑来其中SO（3）表示R3×3并且w i（i = 1，2，.，n）是每个点对的权重。解决方案程序概述如下。10946nD2n21. 计算两个点集的加权质心：以下条件定义了p¯=越南w pΣi=1ii，q<$=i=1wiWuQiΣi=1一.（二）i=1wi所需的变形以实现密集对应。i. 配准误差应呈下降趋势。ii. 对应的种子点应精确匹配iii. 相邻点应具有相干运动。2. 计算中心向量：xi=pi−p<$，yi=qi−q<$（i=1，2，.， n）。（三）3. 计算R3×3协方差矩阵S=XWYT，其中X=（x1，x2，...，xn），Y=（y1，y2，...，yn），并且W =diag（w1，w2，...， w n）。4. 计算奇异值分解S=U VT。5. 计算最佳旋转R和平移T：条件i保证变形以收敛的方式表现，并且条件ii和iii保证稳定的特征对应，同时保持3D面部的局部结构。事实上，许多用于非刚性配准的最先进方法[1，43，2，34]都是为了实现这些目标而设计的。例如，在NICP [2]中，这些条件分别被建模为距离、地标和刚度的三个能量项。这些术语1R =V1检测（VUT）U T，T=q−Rp。（四）然后被馈送到公共优化目标函数中。第然而，使用控制（种子）点的一般框架不能同时满足条件ii和iii原因在于控制权众所周知的刚性运动估计过程用于刚性物体配准的迭代最近点（ICP）[4，15]算法可以被认为是一种特殊情况，其中wi=1（i=1，2，.，n）。与刚性配准相反，非均匀加权策略为3D人脸的非刚性配准提供了更好4. 该方法密集的点对点对应关系可以被视为非刚性配准问题，并且必须是特定于域的当它应用于三维人脸时，应该考虑一个人的解剖结构的共同知识。被广泛认可的面部标志，其数量从几十到一百不等，是解剖学上有意义的结构的基准点。因此，这些标志为最突出的面部特征，特别是感官特征的对应提供了线索。点和其他。具体地说，地标及其周围环境的对应的不同规律几乎不会导致连贯的局部运动，即使在正则化方面做出了很大的相反，我们建议制定一项统一的法律来满足这些条件。假设P和Q是分别代表模板和目标人脸的两个稠密点集。我们将变形建模为由局部刚性运动的单个元素组成，pi←Ripi+ Ti（i∈P），（5）其中{Ri，Ti}（i∈P）是每个点的最优旋转和平移它们通过对应的种子点集PP和QQ的加权刚性对齐来估计，如下所示：{Ri，Ti}=机关但是我们无法准确定位那艘船s、肌肉和骨骼上的皮肤表面数据arg minR ∈SO（3），T∈R3Σ1RipjD2+Ti−qj<$2，（6）不与眼睛、嘴和鼻子区域相邻。此外，在实际应用中还需要解决表达式、噪声和部分数据等问题。在本节中，我们将介绍一种自动、自适应和精确的3D人脸密集对应方法。4.1. 使用种子点的模板变形在模板变形透视图中[5，2，45，16，26，46，1，22]，每个特定的地标应该在它周围的局部区域中的其他点上所有地标的对应关系控制整体变形，每个特定地标的局部优势控制区域变形。地标引导变形带来了这样一个基本问题：给定一些种子点的稀疏对应，如何至少进一步扩展它们以实现所有点的密集对应？i ipj∈P<$，qj∈Q<$ij其中dij=（i∈P，j∈P）是每个指定点和每个种子点之间的距离。虽然将非刚性配准建模为局部刚性运动并不是一个新的想法，但我们明确地将对应过程表示为由稀疏对应种子点引导的变形。我们还将种子点的影响建模为与指定点的平方距离成反比，这确保了由每个种子点的对应性引导的局部变形。该模型的优点如下所述。• 它可以完美地定制，以满足上述三个条件。首先，我们将提升这个变形模型用于增量形状匹配（在第二节中）。4.3)满足条件i.第二，权重1接近无穷大，IJ10947图1.一、使用几个相应的地标（红点）的3D人脸对齐的建议变形和仿射变形之间的比较结果底部和顶部行是两个不同的例子，分别有和没有表达式-种子点增强。我们通过模板上的一些地标来初始化种子点，如图所示。1. 然后，种子点增加一些新选择的一步一步，以匹配相应的facial表面尽可能多的。 给定模板网格S=（ V0， E0）和目标网格T=（V1，E1），其中V和Ei（i=0，1）表示网格的顶点和边es，算法1给出了每一步中自适应种子点选择 可以概括简而言之：选择具有最大配准误差但彼此远离一定距离阈值ρ的点。目的是实现快速收敛，同时避免冗余的局部配准。ly.注意那些有绿色圆圈的地方。算法1种子点选择。输入：pi是特定种子点（i=j）。根据解决方案-在SEC的程序3、Eq。6，所得到的变形{Ri，Ti}将首先将种子点pi与qi对齐，然后估计以pi（qi）为中心的兼容旋转Ri。因此，条件ii完全成立最后，两个相邻点pi和pk将导致类似的变形{Ri，Ti}和{Rk，Tk}根据等式6，满足条件III。• 它可以被认为是一种插值算法，所有种子点的对应关系相比相对于现有的一些稠密对应方法，外推法通过施加面结构的刚性而更鲁棒，这使得其适用于具有缺失部分的数据。此外，由于人脸是一个分段光滑的表面，种子点的自适应增强与大的配准误差可以恢复在几个迭代的整体对应这避免了模板网格S=（V0，E0），目标网格T=（V1，E1）;输出量：选择点集Vc;1：计算每个点vi（i∈V0）和T;2：初始化Q=（di，vi）（i∈ V0）和Vc=0; 3：重复4：找到di0=maxdi（i∈ Q），并将相应的vi0包含在Vc;5：Rem ov e{（di，vi）|vi−vi07：返回Vc。种子点对应。受[12，22]中关于局部配准的一些想法的启发，我们采用重新加权的ICP [50]来精确对应种子点。模板表面上的点被不同地加权为它们到相应种子点的距离的需要遍历所有的点，这不仅导致对噪声的鲁棒性，而且还导致有效的优化。v0：wi=e−vi−v022σ2（i∈P），（7）• 它与一个直观的，似是而非的，但不确定的3D人脸密集对应想法：相应的-标志点的证据应坚实、准确，并有优先权，而平滑区域上的点应考虑与标志点的相对位置。我们在图中描绘。1通过方程的初步模板变形的一些结果。图5和图6使用几个初始化种子点（地标），与普通仿射对齐的种子点相比[23，2，51]。结果表明，该模型不仅外推稳定，而且对大变形更。4.2. 种子点种子点被定义为第二节中变形的相应控制点。4.1.在本节中，我们提出了两种算法，分别用于种子点的自适应增强和精确对应。其中wi是模板上每个点vi的权重P，σ是高斯函数的标准差。我们使用五个偏差递减的高斯函数来将模板与目标配准，如图所示。第2段（a）分段。大的σ表示权重和全局拟合，而小的σ更多地表示局部形状特征。配准过程以级联方式朝向更小的σ进行。图2（b）示出了通过用dif-1配准的种子点的最近点1对应其中最终实现了该种子点的4.3. 增强局部形状匹配我们建议通过增量变形来增强模板和目标面部之间的局部形状匹配（在第二节中）。4.1）基于对应的种子点注意，种子点对应不一定在目标表面上，而是取决于配准结果。109482图二.不同的高斯函数（a）和全局到局部配准过程（b）用于种子点（鼻尖处的（b）中的顶行和底行分别显示了加权模板和目标上的结果(in秒4.2），最终实现稠密对应。主要算法总结在算法2中，其中存在表示迭代次数的超参数nIter。理想的停止准则应根据配准误差来设定，但考虑到噪声数据和计算效率，本文将nIter=20图3示出了一个典型的例子，其中模板面被变形为cess是由{s，R，T}=arg mins∈R1， R∈SO（3），T∈R3Σpi∈Vs，qi∈Vs（sRpi+ T）−qi<$2，（八）目标的脸逐渐。我们还显示在一起的regis- tration错误，选定的种子点，和轮廓视图的变形过程。这个过程实际上具有层次结构：它首先拟合全局形状，然后继续增强局部形状匹配。请注意，这是一个类比的过程中，戴一张面具在一个人的脸上：表面的不匹配部分逐渐平滑。算法2提升局部形状匹配。输入：模板网格S=（V0，E0）和一些人工选取的界标Vs ∈V0;目标网格T=（V1，E1）;输出量：变形模板网格S;1：使用第节中重新称重的ICP，为S上的所有标志Vs建立T上的对应Vs4.2;2：通过等式变形S 3：对于i∈ {2，3，.，nIter} do4：通过算法1选择种子点Vc，并将种子点增加Vs←（Vs<$Vc）;5：针对增强的种子点建立T上的对应关系VconS使用r e加权的ICP（单位：秒）。4.2，设Vs←（Vs<$Vc）;6：通过等式变形S。图5和图6基于对应关系V_s惠V_s;7：结束8：返回S。实作详细数据。• 考虑到人脸尺度因个体而异，我们基于一些对应的标志点（种子点）通过缩放因子归一化模板人脸，在算法2的步骤3中将其馈送到对应过程之前，在两个面部之间进行交互。最优化的Pro-这可以通过替代估计来有效地解决的刚体运动{R，T}和比例因子s。• 考虑到原始目标数据的缺失部分，我们在种子点选择算法1：首先排除模板面上最近点位于目标网格边界上• 图4示出了分别用于不具有表达式和具有表达式的数据库的两个不同模板。除了模板差异之外，我们还使用测地线距离而不是Euclidean距离用于等式中的dij。 6、。Eq. 7、要处理好眼睛和嘴巴的分离。所有点对的测地线距离使用基于热流的快速方法计算[19]。• 种子点对应过程通过一些预先组织的数据结构[3，10]以及数据的修剪和下采样。首先通过与高斯偏差σ正相关的因子对模板网格进行下采样。 然后我们消除模板网格上的- s部分，其权重小于e-2，如图所示。 2（b）（顶部）。此外，我们在提升算法2的后面的迭代中跳过通过具有大σ的高斯权重的拟合，因为面部的全局结构已经很好地对准。5. 实验数据集。我们使用三个数据集，包括两个公开的评估所提出的方法。1)一个是来自大学的FRGC v2.0[48]数据库巴黎圣母院它包括在2003年秋季和春季收集的466名受试者的4007个10949图3.第三章。用所提方法进行稠密对应处理的一个例子：模板人脸在20迭代箭头表示所选择的种子点与大的区域配准误差相关联见图4。两个不同的模板，用于有表达式（b）和没有表达式（a）的数据库。初始化的标志标记为点，其中绿点需要手动对应BU-3DFE数据集。2004年与侧面视图相比，其中的点云具有相对较高许多现有的作品包括这个数据库，使跨文献定量比较2)另一个数据库是BU- 3DFE[61]，该数据库于2006年公开。它包含了100个受试者的2500个3D扫描，这些受试者在4个不同的层面上表现出不同的表情（中性、快乐、惊讶、恐惧、悲伤、厌恶和愤怒）。它也是三维人脸表情研究的基准数据库。原始数据的分辨率大约是每个面10000个3)此外，我们收集了一个新的数据库，其中包括数百个高分辨率的3D人脸与现代结构光设备。该采集系统融合了来自4个不同方向的扫描，分辨率约为每个面300，000个顶点以及像素纹理。该数据库中的受试者大多数是在良好控制的环境下的中性表达。参数设置。我们已经测试了不同的参数，并最终在我们所有的实验中设置nIter = 20，σ ={+∞，40，30，20，10}mm，ρ = 25mm。σ的设置是微不足道的。而ρ越大，选择的种子点越少，迭代次数越多，对此我们进行了权衡。计算时间。在Core-i5-6600k CPU（3.5GHZ，单线程）的机器上，对一个顶点数为19334的模板网格，该算法的MATLAB请注意，该算法中的几乎所有操作都是彼此独立的逐顶点因此，一个更有效的版本的并行实现可以开发。评估3D人脸密集对应的结果并不是一件容易的事情，因为文献中没有通用的地面真实规则。在本节中，我们从三个方面评估所提出的方法：特征对应，结构对应，以及在一些实际问题上的对应。5.1. 特征对应性我们在这里将“特征”定义为人类可以区分的面部最重要的特征，特别是眼睛，鼻子和嘴巴区域。为了评价它，进行了两个实验.1) 纹理转移。一些当前的作品[42，64]将一些对应面的纹理粘贴到模板面上以定性地评估结果。然后我们在不同的面之间转移纹理。图5示出了在我们的实施例10950图五.纹理转移的结果，不同的面部形状和纹理的组合。图六、FRGC v2.0上地标检测的一些示例我们的结果和手动标记的结果分别标记为红色和红色圆圈表示比手动注释更好的结果，而绿色圆圈表示不准确的检测。数据库2) 标志性的对应。我们比较我们的方法与一些现有的作品FRGC v2.0的地标检测。地面实况结果是Creusot等人提供的手动注释。[20]第20段。首先，我们在模板上手动标记一些地标，然后我们应用第二节中的对应算法。4.2.考虑到模板上人工标注的不准确性，我们进一步将该算法应用于指定地标周围的相邻点，并将其替换为具有最小误差的地标图6示出了一些实施例，表1示出了比较结果。检查图中的视觉结果。6小心地，我们观察到，由于局部特征的加权刚性配准，我们的方法与手动注释具有竞争力。与最近的作品相比，我们的方法也实现了最先进的性能。5.2. 结构对应结构对应的含义有两个方面：1)在狭义上我们认为局部网格结构在不同面上以类似的图案改变见图7。比较了我们的方法和NICP的相应结果之间的详细网格结构。对应点的2环邻居用彩色点标记，以便更好地查看。图8. 用我们的方法拟合的PCA模型的紧性与NICP和BFM（也是NICP）的紧性一致。这与“相干局部运动”的普遍概念是一致的; 2）从广义上讲，我们认为所有的面部数据作为一个组应该从重建的规范表示中获得一定的好处，我们也通过Davies等人使用的最小描述长度（MDL）原则[49]来看待它。[21]用于统计形状建模。节中4.1，我们讨论了形状变形的一个基本问题，我们的公式提供了一个很好的答案。 为了查看我们的公式的效果，我们在图中显示了一个相应的例子。7与NICP重建的一个一起[2]。检查网格结构的细节，我们观察到，我们的结果显示模板和目标网格之间的相似模式几乎无处不在。相比之下，NICP不能保证这样一个连贯的结果。在Procrustes比对后，我们进一步将PCA应用于我们数据库中的200个对应样本，遵循与3DMM相同的使用MDL原则评估数据的紧凑性：越少越好我们还对这些面部样本实施了NICP进行比较。图8描绘了通过改变主成分的数量而保留的能量百分比，以及来自公开可用的BFM模型的能量百分比[47]。这表明，我们的方法导致更紧凑的PCA基，因为解释99%能量的主成分的数量从59（63）减少到43。请注意，紧凑性是数据降维的一个重要属性。10951表1. FRGC v2.0数据集上4007张图像的标志定位误差（mm）的平均值和标准差（平均值/SD）的比较结果。最佳和第二结果分别以红色和蓝色显示。地标符号：Ex/En-外/内眼角，N-鼻梁鞍，Prn-鼻尖，Sn-鼻底，Ac-鼻角，Ch-嘴角，Ls/Li-上/下唇中点。地标ExEnNPRNSNACChLS李Segundo等人[五十二]-3.5/2.3-2.7/1.4-5.3/1.9---Creusot等人[20个]5.9/3.14.3/2.24.2/2.13.4/2.03.7/3.14.8/3.65.6/3.54.2/3.25.5/3.3Sukno等人[五十四]4.6/2.73.5/1.72.5/1.62.3/1.72.7/1.12.6/1.43.9/2.83.3/1.84.6/3.4Fan等人[22日]2.6/1.62.5/1.72.4/1.42.1/1.2--2.9/2.22.4/2.94.4/3.9Gilani等人[27日]2.5/1.92.4/1.22.5/1.52.2/1.83.4/1.13.0/2.42.5/1.82.4/3.13.5/3.7我们2.1/1.91.9/1.02.4/1.21.8/1.21.8/0.91.9/0.92.8/2.52.0/2.24.3/3.1改进16%/-19%21%/17%0%/14%14%/0%33%/18%27%/36%-12%/-39%17%/-22%-23%/6%见图10。一个大表达式的例子。见图9。有问题的数据示例。最上面一行显示了带有噪声的原始扫描（例如，条纹、尖峰和高斯）和缺失部分，最下面一行显示拟合结果。5.3. 实际问题该方法已成功地应用于具有大噪声和缺失部分的问题数据，以及具有大表达式的数据其中一个关键的原因是，我们设计了一个形状运动公式，这是稳定的外推和灵活的大变形。另一个原因在于我们的种子点对应策略：它分级地匹配局部片，并且避免搜索每个单独点的对应。拟合噪声和部分数据。图9示出了噪声和部分数据的一些相应结果我们可以看到，这个方法可以处理不同类型的有问题的数据的噪声和大的缺失区域。此外，将该方法推广到具有遮挡的数据并不困难，因为遮挡和缺失部分是类似的问题。适合表达。图10显示了BU-3DFE数据库中具有极端表情的人脸的拟合结果（具有详细的网格结构）。我们还将我们的算法应用于整个数据库，并建立了一个表达式PCA模型，如图所示11个国家。在这种情况下，我们的方法不是完全自动的它涉及嘴部区域周围四个标志的手动注释（由纹理引导），如图所示4（b），但仅用于第一次迭代。我们建议这一过程可以自动化，见图11。BU-3DFE数据库的表达-PCA模型的前三个组分的变化（± 2 SD）。现有的基于纹理信息的2D地标检测方法请注意，人类甚至不可能仅基于该数据库中的许多样本的形状来识别这些地标的正确位置。6. 结论本文提出了一种鲁棒的三维人脸稠密对应算法该算法将稠密的点到点对应建模为种子点引导的形变，通过逐步增加种子点来增强形状匹配，最终实现稠密的点到点对应。在多个数据集上进行的大量实验，从不同的角度验证了该算法的有效性.由于三维人脸在三维形状分析领域具有代表性，因此该算法可以10952引用[1] B. 艾伦湾Curless和Z. 我的天人类体形的空间：从距离扫描重建和参数化。ACM Transactions on Graphics，22（3）：587[2] B. Amberg，S. Romdhani和T.维特用于曲面配准的最优步长非刚性ICP算法。IEEE计算机视觉与模式识别会议论文集，第1-8页。IEEE，2007年。[3] J. L. 本 特 利 用 于 关 联 搜 索 的 多 维 二 叉 搜 索 树 。Communications of the ACM，18（9）：509[4] P. Besl 和N. D. 麦 凯 一 种 三 维 形状 配 准 方 法 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，14（2）：239[5] 诉Blanz和T.维特三维人脸合成的可变形模型第26届计算机图形和交互技术年会论文集，第187ACM，1999年。[6] 诉Blanz和T.维特基于三维形变模型拟合的人脸识别IEEE Transactions on Pattern Analysis and MachineIntelligence，25（9）：1063[7] T. Bolkart和S.乌勒三维人脸的分组多线性对应优化。在IEEE计算机视觉国际会议论文集，第3604-3612页。IEEE，2015年。[8] J·布斯 A. 鲁索斯 A. 波尼亚， D. 达纳韦，以及S. Zafeiriou.大规模三维变形模型。国际计算机视觉杂志，126（2-4）：233[9] J. Booth，A.Roussos，S.Zafeiriou，A.Ponniah和D.快走开。从10，000张面孔中学习的3D变形模型。在IEEE计算机视觉和模式识别会议论文集，第5543-5552页。IEEE，2016.[10] G.博格福斯分层倒角匹配：一种参数边缘匹配算法。IEEE Transactions on Pattern Analysis and MachineIntelligence，10（6）：849[11] A. M.布朗斯坦M. M. Bronstein和R.基梅尔三维人脸识别 。 International Journal of Computer Vision ， 64（1）：5[12] B. J. Brown和S.鲁辛凯维奇三维扫描的全局非刚性对准ACM Transactions on Graphics，26（3）：21，2007.[13] C. Cao，Y. Weng、黄毛菊S. Lin和K.舟用于实时面部动画的3d形状回归。ACM Transactions on Graph-ics，32（4）：41，2013.[14] X.曹，Z. Chen，中国山核桃A. Chen，X. Chen，S. Li和J. Yu.可变形模型指导下的S- parse光度学三维人脸重建。IEEE计算机视觉与模式识别会议论文集。IEEE，2018年。[15] Y. Chen和G.梅迪奥尼通过多个范围图像的配准的对象建模。Image and Vision Computing，10（3）：145[16] S. 成岛，智-地Marras，S.Zafeiriou和M.惊慌失措主动非刚 性 ICP 算 法 。 IEEE International Conference andWorkshops on Automatic Face and Gesture Recognition，第1卷，第1-8页。IEEE，2015年。[17] S.成岛，智-地Marras，S. Zafeiriou和M.惊慌失措统计非刚性icp算法及其在三维人脸对齐中的应用。图像和视觉计算，58：3[18] C. A. 科尔内亚努湾O. 西蒙，J。 F. Cohn 和S. E. 好的。面部表情识别的rgb、3d、热和多模式方法调查：历史、趋势和与情感相关的应用。IEEE Transactions onPattern Analysis and Machine Intelligence，38（8 ）：1548[19] K.克兰角Weischedel和M.沃德茨基热测地线：基于热流的距离计算新方法。ACM Transactions on Graphics，32（5）：152，2013。[20] C.克鲁索河Pears和J.奥斯汀3d网格上关键点检测和标记的 机 器 学 习 方 法 。 International Journal of ComputerVision，102（1-3）：146[21] R. H.戴 维 斯角 ， 澳 - 地 J. Twining ， T. F. 库 茨 ，J.C.Waterton和C. J·泰勒统计形状建模的最小描述长度方法IEEE医学成像学报，21（5）：525[22] Z.范，X. Hu，C. Chen和S.朋无界标三维人脸的稠密语义和拓扑对应。在欧洲计算机视觉会议上，第541558. Springer，2018.[23] J. Feldmar和N.阿亚奇自由曲面的刚性、仿射和局部仿射配准。International Journal of Computer Vision，18（2）：99[24] C. Ferrari，G. Lisanti，S. Berretti和A.德尔·宾博基于字典学习的三维形变形状模型。IEEE Transactions onMultimedia，19（12）：2666[25] T. Gerig，A. Morel-Forster角布鲁默湾Egger，M. 卢蒂S. Schoenborn和T. 韦特河可变形面模型--一个开放的框架。在IEEE自动面部和手势识别国际会议的会议记录中，第75-82页。IEEE，2018年。[26] S. Z. Gilani，A. Mian和P.伊斯特伍德用于生成特定人群可变形模型的深度、密集和精确的3d人脸对应。PatternRecognition，69：238[27] S. Z. Gilani，A. Mian、F. Shafait和我。里德密集的3D人脸 对应 。IEEE Transactions on Pattern Analysis andMachine Intelligence，40（7）：1584[28] S. Z. Gilani，F.Shafait和A.眠基于形状的大量三维人脸特征点自动检测。在IEEE计算机视觉和模式识别会议的Proceedings中，第4639-4648页。IEEE，2015年。[29] G. G.戈登基于深度和曲率特征的人脸识别。在IEEE计算机 视觉和 模式识 别会议 论文集，第 808-810页。IEEE，1992年。[30] C. M. Grewe和S.扎秋全自动和高度准确的密集对应的面部表面。欧洲计算机视觉会议，第552-568页施普林格，2016年。[31] X. Gu，S. Wang，J. Kim，Y. Zeng，Y. Wang，H.秦和D. 萨马拉斯用于三维形状分析的里奇流在IEEE计算机视觉国际会议论文集，第1-8页IEEE，2007年。10953[32] S.古普塔，M。K. Markey和A. C.波维克三维人脸识别 。 International Journal of Computer Vision ， 90（3）：331[33] X. Huang，S. Zhang， Y. Wang，中国山杨D. Metaxas和D.萨玛-拉斯。高分辨率面部表情跟踪的层次框架。在IEEE计算机视觉和模式识别研讨会上，第22IEEE，2004年。[34] B. Jian和B. C.维穆里基于高斯混合模型的点集配准。IEEE Transactions on Pattern Analysis and MachineIntelligence，33（8）：1633[35] H.利河，巴西-地W. Sumner和M. Pauly.深度扫描的非刚性配准的全局对应优化。Computer Graphics Forum，27（5）：1421[36] H. Li，T.Weise和M.Pauly. 基于示例的面部操纵。ACM Transactions on Graphics，29（4）：32，2010。[37] T. Li，T.Bolkart，M.J. Black，H.Li和J.罗梅罗从4d扫描中学习面部形状和表情的模型。ACM Transactions onGraphics，36（6）：194，2017。[38] Y. Lipman和T. 芬 克 豪斯河莫比乌斯申请参加表面通信。ACM Transactions on Graphics，28（3）：72，2009。[39] F. Liu，L.曾角，澳-地赵，和X。刘某 联合人脸建模与三维人脸重建。欧洲计算机视觉会议，第545-560页。施普林格，2016年。[40] B. Maiseli，Y. Gu和H.高.点集配准方法的最新发展和趋势。 视觉传播和图像表示杂志，46：95-106，2017。[41] I. Matthews，J.Xiao和S.贝克2d与 3D可变形人脸模型：代表性的权力，建设和实时拟合。International Journalof Computer Vision，75（1）：93[42] H. Mohammadzade和D.哈齐纳科斯迭代最近正规点法在三维人脸识别中的应用。IEEE Transactions on PatternAnalysis and Machine Intelligence，35（2）：381-397，2013。[43] A. Myronenko和X.歌点集配准：相干点漂移。IEEETransactionsonPatternAnalysisandMachineIntelligence，32（12）：2262[44] M. Ovsjanikov，M. Ben-Chen，J. Solomon，A. Butscher和L. Guibas功能图：形状之间映射的灵活表示。ACMTransactions on Graphics，31（4）：30，2012.[45] G. 平移X。Zhang，Y.Wang，Z.Hu，X.Zheng和Z.吴利用稀疏人脸变形模型建立三维人脸的点对应。IEEETransactions on Image Processing，22（11）：4170[46] A. Patel和W. A.史密斯3D形变人脸模型再探。在IEEE计算机视觉和模式识别集，第1327IEEE，2009年。[47] P. 佩桑河诺特湾Amberg，S.Romdhani和T.兽医。一种用于姿态和光照不变人脸识别的三维人脸模型在IEEE高级视频和基于信号的监视国际会议论文集，第296-301页。IEEE，2009年。[48] P. J. 菲利普斯山口J. Flynn，T.斯克鲁格斯湾W. Bowyer，J.张，K. Hoffman，J.Marques，J.Min和W.沃雷克人脸识别大挑战概述在IEEE计算机视觉和模式识别会议论文集，第1卷，第947-954页中。IEEE，2005年。[49] J. Rissanen通过最短的数据描述建模。《汽车材料》，14（5）：465[50] S. Rusinkiewicz和M.勒沃icp算法的有效变体。在IEEE3