非刚体形状匹配中基于相干点漂移的研究

1424非刚体形状匹配与配准中的相干点漂移研究范傲翔1、马佳一1、田欣1、梅晓光1、刘伟21武汉大学2腾讯数据平台{范敖祥，辛.田}@ whu.edu.cn，{jyma 2010，梅晓光}@ gmail.com，wl2223@columbia.edu摘要在本文中，我们探索了一种新的类型的外部方法，直接对齐两个几何形状与周围空间中的点到点的对应关系，通过恢复一个变形，它允许获得更连续和光滑的地图具体而言，经典的相干点漂移被重新审视，并已提出了推广首先，通过观察变形模型本质上是相对于欧几里德空间定义的，我们将核方法推广到非欧几里德域。这通常会导致处理形状的更好结果，这些形状被称为二维流形。其次，针对相干点漂移法易陷入局部最优解的问题，提出了一种广义概率模型。该模型不直接对相干点漂移目标进行优化，而是集中在一组最可信的点上，从而提高了配准系统的鲁棒性实验在多个公共数据集上进行，并与最先进的竞争对手进行比较，证明了我们的方法的优越性，由于我们在环境空间中的外部对齐目标，该方法既灵活又有效地提高了匹配精度1. 介绍非刚性形状匹配是计算机视觉和图形学中许多应用的核心，范围从统计形状分析、信息和样式传递到新形状的生成等[68]。与刚性对应物不同，非刚性形状匹配更加棘手，因为匹配不能由少量参数精确地建模结果，通过确定周围空间中的变形进行外部I.E.三维欧氏空间，被认为是一个非常困难的任务，大多数注意力已经给予内在的方法。组的内在方法是有利于匹配形状涉及复杂的运动，因为内在的，*通讯作者图1.我们的方法的示范。第一个和第二个形状是由MWP [34]产生的匹配对，其中结果通过颜色转移（白色中的不匹配点）呈现。给定不完美的结果，我们的方法通过稳健地估计从第一形状到第二形状的变换来进行，这导致第三变换形状。细化的匹配结果表现在第四形状中（与第一形状相比）。SiC特性或特征对于外部变化是不变的。特别是，一个突出的策略是使用Laplace- Beltrami算子[61]的本征分解来利用谱量，该算子在理论上对等距形状变形是不变的。 事实证明，该战略非常有效，以功能图框架[52]及其近年来的众多后续工作[46，56，58]为代表。本质上，这些方法是找到一个定义良好的特征空间来表示形状中的每个点，以便可以使用欧几里得度量来建立对应关系或映射。然而，在这一类别中存在一些基本问题。在特征空间中恢复的地图通常不具有连续性或光滑性等性质。此外，点的变换不可避免地意味着信息的丢失，这固有地妨碍了在精细尺度下的准确对准，特别是在诸如平坦区域的不太突出的区域中。相比之下，外部方法具有潜在的优势，以保持所需的属性的地图，并获得更准确的对齐，因为目标是基于周围空间。与内在方法相比，在这方面的工作相对较少。特别是，近年来提出了经典的相干点漂移（CPD）[51]及其扩展变体[4，31]，基于矢量场流的变形[15]和无发散场[19]然而，由于一些众所周知的主要障碍，它们的性能受到限制。首先1425需要高自由度的变形难以以有效的方式建模。此外，由于变形的复杂性，优化容易陷入局部最优我们的方法属于外在方法的范畴，虽然内在信息可以作为输入用于最佳性能。本文的方法是对经典CPD的一种重新审视和推广。这种推广主要包括两个方面，以解决CPD的弱点，使其无法应用于通用的形状匹配。第一个方面是关于变形模型。在CPD中，使用正则化函数框架，其中解决方案被建立为使用内核技巧。在本文中，我们进一步分析的方向和推广的原始框架的基础上，欧几里德空间的非欧区域。我们证明了核方法可以推广到具有非欧结构的形状，通过连接Laplace算子的概念到一个非欧算子，即。拉普拉斯-贝尔特拉米算子我们还表明，新的变形模型有一个更经济和直观的替代表达。第二个方面是关于CPD的目标优化的棘手性。我们观察到，这是由于大的搜索空间的问题。为了解决这个问题，我们借用了图像匹配社区的想法[26，44]。在图像匹配任务中，两个特征集的直接匹配是很难处理的，因此一种流行的方法是通过最近邻描述符匹配来找到最可信的对应关系，并从初始对应关系集合中找到几何模型。为了扩展的想法，形状匹配，我们概括的CPD的概率模型来处理这样一个限制性的集合，这也承认一个智能和高效的期望最大化（EM）的方法。我们的方法的示例性演示如图所示。1.一、概括起来，本文的主要贡献包括以下三个方面.首先，将CPD的正则化泛函框架推广到非欧域.其次，提出了CPD概率模型的推广，以处理任意离群污染的初始置信对应集。第三，通过在多个数据集上的大量实验验证和不同设置下的实验分析，我们证明了我们的方法的有效性。2. 相关工作度量空间方法在度量空间中，每对点都要定义并给出一个度量值，形状匹配中的度量空间方法试图尽可能地保持每对点之间的测地线距离度量。称为多维缩放[8，11]的过程将形状嵌入中间空间，其中形状可以被视为刚性的，并且可以使用ICP [6]等方法来执行匹配。ing.这个想法首先在[23]中提出，随后是一些作品，如[36，39，45，62]。虽然这个想法因其简单而吸引人，但错误可能是巨大的。一个更直接的想法是通过将一个形状直接嵌入到另一个形状中来避免中间简单空间。该公式首先在[9]中开发，其求解器建立在Gromov-Hausdorff距离框架[49]上。文[1]提出了一种谱分解方法，进一步降低了计算复杂度.从数学上讲，二次分配问题（QAP）与Gromov-Hausdorff距离[32]或其松弛形式Gromov-Wasserstein距离[48]提出的优化问题有很强的直接联系，如[47，57，66]所示本质上，许多方法通过将测地距离保持纳入二次目标并优化置换矩阵来采用QAP公式 [5，12，18，66]。功能图方法。函数映射的开创性工作最初在[52]中介绍。在该公式中，通过Laplace-Beltrami算子的谱分解，匹配问题可归结为一个小的函数映射矩阵上的线性优化问题，并可从中提取稠密对应。这种新的视角鼓励了大量的作品，包括部分形状匹配[41，42，58]，额外的注册，广义化[37，54，55]，方向保持算子[56]和替代函数空间表示[38，72]。最近，已经观察到从功能图到密集点对点对应的转换步骤也很困难并且容易出错[25，59]。有鉴于此，已经提出了一组方法来提高准确性并达到最新水平。这些方法包括谱域中的CPD [59]、乘积空间中的核密度估计[70]、粗到细的谱上采样[46]及其sinkhorn变体[53]等[25，34，56，73]。此外，深度神经网络也被研究用于功能映射[17，28，33，40，60，63]。外部方法。上述两个类别利用了形状的内在属性。与我们的工作更密切相关的是外在方法，它试图直接在欧几里得（环境）空间中对齐形状。由于外在形状建模的基本困难在早期，已经采用了许多流行的变形模型，包括再生核希尔伯特空间[51]，薄板样条[13]，PCA类型表示[43]，局部仿射模型[2]和尽可能刚性模型[35]。然而，这些模型对变形提出了强假设，并且不能处理在形状匹配中普遍存在的大的和不均匀的变形。时间相关模型更强大，允许更广泛的变形，这在[71]和最近在[19]中的无发散场形状匹配中被采用。然而，在这方面，1426XY∈∈X → Y∥ ∥∈∥ ∥∥ ∥·2T′′Li=1我我2这种方法的复杂性是禁止的。 值得注意的是，[15]中的矢量场流方法细化功能图，而不是在周围空间中对齐形状。最近，光滑壳方法[20]提供了一个分层框架，该框架结合了功能图和尽可能刚性的变形，以对齐内在-外在嵌入空间中的形状最近，基于变形的深度学习方法也在兴起[21，22，27]。3. 方法我们假设两种形状和这类流形可以看作是嵌入在R3中的二维黎曼流形。注意这里的在其他上下文中，嵌入也指从环境空间进行的特征变换下面的定理已经被证明，它使用格林函数的概念来说明这种关系定理1（格林设P是正则化算子，K是格林函数自伴算子P <$P的函数（其中P<$表示P的伴随算子）。然后K是一个Mercer核，最小化方程。（1）以P为算子。定理1表明，给定预定义的算子，可以相应地导出核函数，其（二）、有了理论背景，现在我们可以转向CPD的思想。在实践中，正则化项通常不指定算子，其允许以下形式：R3到一个高维嵌入空间，例如频谱嵌入的过程。通常，形状X和Y是∫（f）=|2r（<$ω <$2）d ω，|2r(∥ω∥2)dω,（三）离散化并使用三角形网格表示。 我们-将顶点分别记为点集XRN×3和YRM×3。形状匹配的目的是找到点到点映射T：，即。以找到离散设置中X和Y之间的（部分）置换矩阵3.1. 广义泛函变形3.1.1基于正则化理论的变形CPD的核心思想是在配准过程中对点的位移函数施加光滑约束。为了解决这个问题，在[51]中提出了一个变分公式，它起源于一个更广泛的框架，称为正则化网络[24]。基本上，它研究了一个经典的机器学习问题，以最小化经验风险泛函加上正则化项：其中fω（ω）表示f的傅里叶变换，r（ω2）是通常在ω2中增加以惩罚高频分量的函数。本质上，CPD采用高斯功能，即r（ω2）=eβ<$ω <$2，对位移函数进行正则化，从而引入高斯核来表示方程的解。（二）、3.1.2广义相干点漂移原始CPD利用正 则化框架来建 模光滑位移函 数 fL2（RD）。显然，这里的概念是建立在欧氏空间的基础上的，函数的光滑性也是由欧氏空间定义的。欧几里得空间这对它的应用范围造成了很大的限制，特别是当数据具有非欧几里德结构时，例如，自然的形状H[f]=1μlc（f（x），y）+λ<$Pf<$2，（1）在当前的形状分析文献中，形状是一致的，被认为是一个低维流形嵌入-其中，l是输入数据对（xi，yi）的数量，并且c（）是成本函数。实际上，P可以被看作是一个“提取”函数的某些部分进行正则化的算子为了详细讨论，推导出方程的解（1），我们指的是开创性的工作[24，30]。主要结论与机器学习中的内核技巧有关，即在相当一般的条件下，解可以写成以下形式：Σl在R3中定义并呈现为3D网格，并且大量利用形状的内在属性的研究已经被证明是非常成功的。因此，很自然地将CPD的思想推广到非欧几里德域。该推广是基于[64]中的几个观察和结论提出的。我们很快就会看到，欧几里得空间中的核技巧可以很容易地推广到非欧几里得域。第一个观察结果是，f（x）=i=1wi K（xi，x），（二）当量（3）可以等价地写成拉普拉斯算子-其中wiPf =w Kw，表示权重，K（·，·）表示特定的发电机作为∫研发|f（ω）|2r（ω2）dω=ωf，r（ω）fω，（4）最大核函数，w=[w1，···，w1]T表示权重向量，K表示核矩阵Kij=K（xi，xi）。一个重要的视角，使我们能够概括框架后是观察正则化算子P和核函数K之间的关系。[65]在其中，λ表示拉普拉斯算子，并且r（λ）是简单地通过将r应用于λ的谱而将r推广到算子的Σf，r（λi）f1427ML--我{}L一·∈Ln=12一m=1M我我我我我其中（λ i，λ i）是λ的本征系统。注1. Eq的重要性（4）是它将拉普拉斯算子与自伴算子PP联系起来，如等式（4）所示（三）、因此，通过定义r（r），我们可以借助定理1确定核函数的形式。现在，当我们研究一个形状，或者等价地研究一个嵌入在R3中的流形时，欧氏空间的拉普拉斯算子的概念 是 不 适 用 的 ， 但 是 存 在 一 个 对 应 的 算 子 ， 即Laplacian-Beltrami算子因此，我们可以定义正则化项，完全类似于方程。（四）、注意，由于输入形状是流形的一组离散样本，拉普拉斯-贝尔特拉米算子退化为矩阵，表示为。在Eq的精神。（5）我们可以定义Σ与所用的碱基数相同，并且与数据点的数目无关。备注2. Eq.的表达式（8）是一个简单且相当直观的结果，它已在以前的工作中用于建模变形[20]。我们的分析在理论上将其与正则化理论和核方法联系起来，并在CPD框架下提出了一种新的算法。3.2. 广义概率配准3.2.1Probably Registration Framework高斯混合模型（GMM）是用于配准任务的经典且流行的方法，其目标是同时学习点的排列以及对齐两个点集的变形T（·）关注-不r（L）= r（λi）<$i<$，（6）根据[51]中的约定，我们将Y中的点视为GMM质心，将X中的点视为数据点哪里 （λi，λi）构成的本征系统。下这个方程，核技巧可以很容易地推广到非欧域[64]。特别地，r（L）扮演相同由GMM生成。为了简单起见，相等的各向同性协方差-采用方差σ2为了解释离群值，额外的均匀分布1连续情况下P的作用，以及采用了因此，混合模型采用以下形式：离散情形恰好是r（L）的逆（伪逆如果不可逆），即， 离散格林p（x）=γ1+（1−γ）M1p（x|m),(10)在[14]中，其中p（xn|m）=1（2πσ2）D/2-xn−T（ym，θ）<$22σ2，θ表示K=r（L）−1= T。（七）函数r（）的不同定义将导致不同的正则化算子，并且等价地，不同的正则化算子将导致不同的正则化算子。控制变形的参数，γ表示考虑离群值的权重。采用i.i.d. 数据假设，最大似然-lihoodEstimate（MLQE）对象ive可以使用内核这完成了我们的推广，因为形式当量（10）作为p（X）=Nn=1 p（xn）。 为了避免分歧-的解决方案是由内核的形式，在COM-类似于Eq。（二）、另一种代表。与连续情形类似，核技巧的计算复杂度很高，因为KRN×N，其中N表示数据点的数目。这是对处理形状的主要限制，因为高分辨率形状可以是优化MLE目标的文化，一个智能EM算法，可以使用RithmEM的思想是E步和M步之间的迭代。E步骤是使用当前参数来计算混合组分的后验-xn−T（ym，θ）<$2e2σ2数万点。在这个意义上，内核技巧可能p（m|xn）=M.xn−T（yk，θ）<$e −2σ2+（2 πσ 2）D/2γM不如明确规定解决方案的形式，k=11−γ N（十一）利用傅立叶变换，即，的本征系统拉普拉斯-贝尔特拉米算子使用低频截断基的直观想法，我们可以将感兴趣的函数表示为M步是通过最小化完全负对数似然函数的期望来更新新参数，如果忽略独立项，则将其写为Σf=w=Uw，（8）Q（θ，σ2）=<$NΣMm=1 p（m|Xnxn−T（ym，θ）<$22σ2我我我+NpDlogσ2，（12）其中f是表示在采样点上评估的M上的函数的向量。U =[1，2，. -是的- 是的，k]是矩阵e2）nn14282我我我其中NpΣNn=1ΣMm=1 p（m|Xn）。K个截短的碱基。通过应用Eq.（6）现在变成n（f）=n r（λ）w2.（九）注意，为了便于变形的估计，正则化项通常是需要除了方程。（十二）、这可以通过指定变形的先验信息来嵌入GMM概率框架中，但本质上归结为最小化以下ob-t。实际上，我们总是可以使用截断基来表示f，那么表示f的变量的数量是射的Q′（θ，σ2）=Q（θ，σ2）+λ（θ），（13）=1429i=1L∈∈一T ∈INpDp（ci）=e其中θ（θ）是正则化项。现在有EQ。（13）作为目标，我们可以讨论如何更新参数，即：θ和σ2。根据我们在SEC的讨论。3.1.2、用位移函数初始对应集需要考虑的问题是噪声，更重要的是离群点（假对应）。接下来，我们提出了一个概率的框架来解决这个问题。假设我们得到了一组假定的对应关系，其中，每个ci=（xi，yi）。 以识别T（Y，W）=Y+v（Y）=Y+UW，（14）其中URM×k堆叠Laplacian-Beltrami 算子的截断k个基，WRk×D是要求解的权重矩阵正则化项采用以下形式：（W）=WTRW，（15）内点集I是S，我们的目标是从S恢复潜在的变形，即。T：RD→RD在我们的背景下，对于c i，xi=（yi）。对于内点，我们假设噪声是具有零均值和方差σ2的各向同性高斯。对于异常值，我们假设其分布为均匀1，a表示该区域的体积我们还使用γ作为权重来考虑离群值。因此，概率模型采用以下形式：其中R是对角矩阵，对角元素是Laplacian-Beltrami算子L的特征值的惩罚函数，即.Rii=r（λi）。 应用等式（十四）1−γ（2πσ2）D/2-xi−T（yi）<$212σ2+ γa.（十八）和等式（15）Eq.（13）我们可以得到一个解析解。通过求解以下线性方程组（UTd（P1）U+λσ2R）W=UTPX−UTd（P1）Y，（十六）其中P具有元素Pmn= p（m|xn），1表示所有1的列向量，d（·）表示变换第三条我们注意到Eq之间的相似性。（10）和Eq.（十八）、从本质上讲，我们的概率模型来处理初始对应关系，使一个更严格的假设的数据分布，即。混合 模 型 仅 包 含 两 个 分 量 ， 而 不 是 等 式 中 的 M+ 1（十）、假设数据分布在Eq.（18）我们QL从向量到对角矩阵此外，参数σ2也可以用简单的线性代数来解析推导现在可以将目标确定为p（S）=i=1p（ci），用MLE的精神。为了得到最优解，根据MLE目标，也可以使用EM算法。σ2=1NMp（m|X）x-T（y，θ）θ2=在这种情况下，我们也可以通过迭代E-NpDn=1m=1n n m一步和一个M步。计算后验概率的E步1（tr（XTd（PT1）X−2tr（（PXT）+tr（TTd（P1）T），混合组分的概率分布现在读取（十七）其中T=Y+UW。这完成了用于基于GMM的配准的整个EMpi=（1−γ）exi−T（yi）<$22σ22.（十九）（1 −γ）exi−T（yi）2σ2+γ（2πσ2）D/2一3.2.2广义概率模型上述用于配准的GMM框架的主要缺点是其高度非凸的物镜，更新新参数的M步骤通过最小化完全负对数似然函数的期望来进行，这使得它容易因错误的初始化而失败2件xi−T（yi，θ）<$2D2件第 为了解决这个问题，我们借用了图像的概念，匹配[26，44]。首先，我们创建一组初始对应-Q（θ，σ）=i=1pi2σ2+2logσ伊皮岛（二十）通过特征描述符的最接近匹配来估计特征描述符，然后从初始对应集合估计变换初始对应集包含最有信心的对应，并显着减少了搜索空间的注册。在形状匹配中，与图像匹配类似，特征描述符也得到了广泛的例如，SHOT [67]是一个经常使用的方法。在一般意义上因此，我们可以安全地假设初始对应已经给出，并转向下一步。−−1430′ 2 2λ类似地，可以包括正则化项，并且最终目的是Q（θ，σ）=Q（θ，σ）+2π（θ），（21）其中θ（θ）是正则化项。同样，我们可以使用Eq。（14）和Eq.（15）Eq.（21）。这导致变形参数矩阵W（UTd（p）U+λσ2R）W=UTd（p）X−UTd（p）Y，（22）其中p是后验概率分布的向量，即，pi=pi，且X∈Rl×D和Y∈Rl×D堆叠xi1431QCXYLY- -∈∈ X ∈ Y算法1广义相干点漂移输入：初始置信对应集S，具有点集X和具有点集Y的两个形状表示为3D网格，参数γ、λ和k。输出：点对点对应关系C。1：初始化γ，λ，T=0l×2，p=1;第二章： 通过等式初始化σ2（23）;3.计算Laplace-Beltrami算子在形状上的最小前k个本征值和本征函数，形成基矩阵U和正则化矩阵R;第四章： 而不收敛第五章：E-步骤：6：通过等式更新p（19）;第七章：M步：8：通过等式更新W。（22），T= Eq。（14），和σ2由方程。（23）;9：结束时10 ： 通 过 等 式 初 始 化 T（14）; 11 ：当Q不收敛时，做12：E步：13：通过等式更新P（11）;十四：M步：15：通过等式更新W（16），T= Eq。（14），和σ2由方程。（17）;16：结束while十七： 建立点对点对应关系通过最近X和T之间的匹配在我们的方法中，我们利用了[50]中提出的更精确的Figtree方法，其复杂度也是O（M+N）最初的信任通信。 注意，在文献中已经提出了基于描述符匹配来建立置信对应的过多方法。从某种意义上说，函数映射方法也可以被看作是这一类，它基于谱嵌入的匹配来输出对应关系。为了获得最佳性能，函数映射方法的输出是有利的，正如我们的实验中所使用的那样4. 实验结果4.1. 基准比较我们使用三个常用的基准数据集，即。FAUST[7]、TOSCA [10]和SCAPE [3]，以评价拟定的GCPD和其他竞争方法。浮士德。FAUST由10个人类受试者的10个姿势组成，不同人类受试者之间存在显著差异。代替标准网格，我们使用[56]中提供的版本，其中每个形状单独重新网格化。这使得它更具挑战性，也更现实，因为对于真实世界的扫描，表面的采样网格都有大约5k个顶点。在我们的评估中，我们使用了数据集中提供的300个匹配对，其中包括等距和非等距对。托斯卡 TOSCA由8种不同类别的76种形状组成，yi对应于ci2分别 使用简单带有顶点编号的几何图形（人和动物形状）从4K到50K。 高分辨率的形状使线性代数，σσ2=有封闭形式的解，tr（（YT）Td（p）（YT））、（二十三）D· tr（ d（p））这个数据集在计算上非常具有挑战性。在我们的评估中，我们随机生成200个等距匹配对。规模。SCAPE包含71个配准网格，不同姿势的人体 该网状物具有其中T=Y+UW，W Rk×3。这完成使用广义概率模型的变形估计的整个EM算法我们的方法的概要。我们的方法假设提供了一组置信的初始对应关系，因此我们使用广义概率模型来估计变形，随后我们使用原始的基于GMM的配准框架来细化估计。我们将我们的算法称为广义相干算法12500个顶点。该数据集是一个相对简单的数据集，其中网格是一致的，分辨率是中等的。在我们的评估中，我们还随机生成200个匹配对进行评估。评估指标。我们使用普林斯顿基准协议[36]来评估方法的匹配精度具体来说，给定地面实况匹配（x，y），其中X而y，计算出的匹配（x，y）的误差由y和y之间的测地距离给出。点漂移（GCPD）并在Alg. 1.一、以Y的直径表示：X（x）=dgeo（y，y）. 所有评价的面积（Y）3.3.实现细节计算复杂性。假设初始correspondences是给定的，最耗时的步骤是评估后验概率分布的过程，如方程。（11），直接计算需要O（MN）时间在CPD中使用快速高斯变换来缓解这个问题，其实现了O（M+N）的复杂度。通过指示最终匹配性能的累积分布曲线来概括对应关系。竞争对手和设置。竞争对手包括BIM [36] ， PMF [70] ， KernelMatching [69] ， BCICP[56]，[20][22][23][24][25][26][ 27][28][29]其中，我们使用[56]的 数 据 集 中 提 供 的 结 果 进 行 BIM ， BCICP 和KernelMatching。我们使用SHOT [67]匹配结果来初始化MWP，√1432我浮士德1托斯卡花葶0.80.90.80.90.80.60.40.20.70.60.50.40.30.20.70.60.50.40.30.200 0.02 0.04 0.06 0.08 0.1相对测地误差0.10 0.02 0.04 0.06 0.080.1相对测地误差0.10 0.02 0.04 0.06 0.080.1相对测地误差图2.在匹配精度方面，我们的GCPD和其他竞争方法在FAUST、TOSCA和SCAPE上的评估结果图3.使用颜色转移的定性演示。对于每组结果，第一个和最后一个形状是具有地面实况匹配的目标和源形状，第二个形状表示SmoothShells的结果，第三个形状表示GCPD的结果ZoomoutSinkhorn的。我们使用MWP的结果来初始化PMF，并使用它的单尺度版本。GCPD设置。在我们的评估中，我们使用MWP的结果来初始化我们的GCPD以获得最佳性能。具体来说，对于高分辨率的形状对，我们使用输出的MWP产生5000稀疏匹配样本。对于低分辨率形状对，我们直接使用MWP产生的所有对应作为初始化。请注意，下一节将分析不同的初始化策略。我们设置γ = 0。1，λ= 10，k= 500。我们根据经验选择r（λi）=λ1/2进行正则化。结果讨论。图2给出了匹配精度累积分布曲线的比较 结 果 。 图 3 中 给 出 了 一 些 定 性 示 例 ， 并 与SmoothShells进行了比较。我们还比较了SCAPE数据集上的每种方法的平均运行时间和表中TOSCA的一些代表性模型的运行时间。1.一、请注意，运行时包括所有预处理成本，例如SHOT匹配和本征函数计算。从结果中，我们可以观察到，最近提出的功能图变体，如BCICP，ZoomoutSinkhorn和MWP，显着优于以前的方法。其中，最新的MWP在匹配精度和效率方面都具有最好的性能。这验证了我们使用MWP进行初始化的选择。值得注意的是，PMF和我们的方法一样，也需要初始对应。然而，PMF未能改善MWP输入。在所有方法中，我们的GCPD和SmoothShells具有最好的性能，这是因为每种方法都恢复了匹配的变形。这两种方法都具有接近最佳的性能，而我们的方法明显更快，几乎是SCAPE数据集上SmoothShells的10倍。这就确立了我们的表1.GCPD和最新技术的运行时比较（以秒为单位）我们报告了SCAPE数据集上的平均运行时间，以及反映不同分辨率的TOSCA数据集模型的运行时间。SS：SmoothShells; ZS：ZoomoutSinkhorn。模型花葶狼半人马马猫大卫顶点12500434415768192482789452565SS [20]410.9149.8506.2709.9986.82035.5[53]第五十三话32.84.343.652.6104.1583.9MWP [34] 18.52.526.326.658.5404.1市警局29.46.881.886.1160.1813.2方法作为最佳执行者。备注4. 此外，亦采用了两种方法作比较。然而，我们只在SCAPE数据集上展示了它的结果。这是因为在TOSCA数据集上，由于需要计算测地线距离矩阵，因此所需的内存超过了我们的机器对高分辨率对的限制（64 GB）。同样在FAUST上，我们发现在每一对上，卷积几乎失败，这可能是由于形状的低分辨率。因此，尽管ESTA在SCAPE上显示出有希望的结果，但与我们的方法相比，它仍然有一些严重的局限性。4.2.进一步分析消融研究。我们在图4a中提供了对所提出的广义功能变形和鲁棒初始化策略的消融研究。实验是在FAUST上进行的，FAUST包含等距和非等距匹配对.设置说明：为了找到从Y到X的转换，CPD中使用的朴素初始化是直接（用Y自身初始化）与GMM（第二节）进行匹配。3.2.1）。拟议的BIMPMF公里BCICPSmoothShellsZoomoutSinkhornMWP市警局SmoothShellsZoomoutSinkhornMWP市警局SmoothShellsDIRZoomoutSinkhornMWP市警局%对应性%对应性%对应性1433浮士德1浮士德1SHREC 16部分对应10.80.80.80.60.60.60.40.40.40.20.20.200 0.02 0.04 0.06 0.08 0.1相对测地误差（一）00 0.02 0.04 0.06 0.08 0.1相对测地误差（b）第（1）款000.0050.010.0150.020.0250.03零点零三五相对测地误差（c）第（1）款图4.进一步分析结果。（a）消融研究w.r.t.广义函数变形和鲁棒初始化策略。(b)GCPD w.r.t.评价结果不同的初始化。实线：GCPD精确结果;虚线：不含GCPD的方法（c）部分形状匹配的GCPD、MWP和ZoomOut的评价结果实线：切割数据集;虚线：孔数据集。图5.定性示例显示了我们的GCPD如何优于MWP。对于每个组，左边两个形状表示MWP的匹配结果，右边两个形状表示GCPD的精确匹配结果请注意，这里不匹配的点被着色为白色。首先使用不同的概率模型（第二节）。3.2.2）与初始对应（MWP）一起获得T，然后将T而不是Y馈送到GMM中。CPD和GCPD只是指不同的功能变形框架。显然，所提出的初始化和广义功能变形的非刚性形状匹配是重要的。这也与CPD的共同观点一致，即没有良好的初始化，GMM框架很容易失败。选择权。我们的方法的一个重要方面是初始化的选择。我们已经证明了由MWP初始化的GCPD可以获得更好的性能，但初始化在多大程度上会影响匹配结果仍不清楚。下面我们对这一点进行实验分析。特别是，我们还使用ZoomoutSinkhorn和普通的SHOT匹配来为我们的GCPD提供初始对应。实验在FAUST上进行，结果如图4b所示。可以观察到，尽管GCPD在不同初始对应关系上提高了匹配精度，但是在不同初始化方法之间存在差距如果初始对应集更好，则可以期望更好的匹配结果。我们也提供了一些定性的结果，涉及等距和非等距对图。图5显示了MWP的初始匹配结果以及GCPD如何改进MWP。部分匹配。与其他方法（如SmoothShells）相比，我们的GCPD方法的一个突出优点是，图6.我们的GCPD和MWP使用颜色转移进行部分匹配的定性示例。对于每个组，第一列和最后一列是具有地面实况匹配的目标和源形状，第二列表示MWP的结果，第三列表示GCPD的结果。是它的灵活性。我们对输入形状做了最少的假设，只需要一组初始匹配。这个属性使我们的方法直接适用于部分匹配。为了证明这一点，我们采用SHREC 16部分对应基准[16]进行评估。该数据集由8种不同姿势的等距人类或动物形状组成，具有规则的“切口”和不规则的“孔”。我们通过将每个部分形状与相应的完整形状相匹配来测试我们的方法对于初始化，我们仍然使用MWP。定量结果如图4c所示，并与使用作者提供的定制部分匹配代码的MWP和ZoomOut [46]方法进行了定性结果见图。六、我们可以看到，我们的方法可以提高MWP的结果，即使在部分匹配设置。5. 结论在本文中，我们重新审视和推广的经典CPD方法的非刚性形状匹配。首先，变形模型已被推广到非欧几里德域，这使得该方法适用于涉及流形结构的形状其次，我们提出了一个广义的概率模型，可以处理离群污染的初始对应。这避免了在优化GMM配准目标中的局部最优问题在多个基准数据集上进行了大量的实验，证明了该方法的有效性。GCPD w/提议的初始化GCPD（带初始化）CPD，建议初始化CPD w/naive初始化MWPGCPD-MWPMWPGCPD-ZoomoutSinkhornZoomoutSinkhornGCPD-SHOT枪缩小剪切切割时的MWP切割时的GCPD孔缩小孔上的MWP孔上的GCPD%对应性%对应性%对应性1434引用[1] Yonathan Aflalo，Anastasia Dubrocket和Ron Kimmel。谱 广 义 多 维 标 度 。 International Journal of ComputerVision，118（3）：380-392，2016。2[2] Brian Amberg，Sami Romdhani，and Thomas Vetter.最优步长非刚性icp曲面配准算法。IEEE计算机视觉和模式识别会议论文集，第1-8页，2007年2[3] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。景观：人的形体完成与动画。在ACM SIGGRAPH中，第408-416页。2005. 6[4] Florian Bernard ， Luis Salamanca ， Johan Thunberg ，Alexan- der Tack ， Dennis Jentsch ， Hans Lamecker ，Stefan Zachow ， Frank Hertel ， Jorge Goncalves ， andPeter Gemmar.基于稀疏三维点云的形状感知表面重建医学图像分析，38：77-89，2017。1[5] Florian Bernard Christian Theobalt 和 Michael MoellerDs*：二次匹配问题的紧提升自由凸松弛。在IEEE计算机视觉和模式识别会议集，第4310- 4319页，2018年。2[6] Paul J Besl 和 Neil D McKay 。 三 维 形 状 配 准 方 法 在SensorFusionIV ： ControlParadigmsandDataStructures中，第586-606页2[7] Federica Bogo ， Javier Romero ， Matthew Loper ， andMichael J Black. Faust：3D网格配准的数据集和评估。IEEE计算机视觉和模式识别会议论文集，第3794- 3801页，2014年。6[8] Ingwer Borg和Patrick JF Groenen。现代多维标度：理论与应用. Springer Science Business Media，2005. 2[9] Alexander M Bronstein ， Michael M Bronstein 和 RonKimmel。广义多维尺度：等距不变部分表面匹配的框架。Proceedings of the National Academy of Sciences，103（5）：11682[10] Alexander M Bronstein ， Michael M Bronstein 和 RonKimmel 。非刚性形状的数值几何。Springer ScienceBusiness Media，2008. 6[11] Michael M Bronstein ， Alexander M Bronstein ， RonKimmel ， and Prosperd Yavneh. 多 网 格 多 维 缩 放 。Numerical Linear Algebra with Applications ， 13 （ 2-3）：1492[12] Qifeng Chen和Vladlen Koltun。鲁棒非刚性配准的凸优化。在IEEE计算机视觉国际会议论文集，第2039- 2047页，2015年。2[13] Haili Chui和Anand Rangarajan。一种新的非刚性配准点匹配算法。计算机视觉与图像理解，89（2-3）：114-141，2003年。2[14] 范聪及邱胜离散格林Journal of Combinatorial Theory，Series A，91（1-2）：191-214，2000. 4[15] EtienneCorman，MaksOvsjanikov和AntoninChambolle。通过向量场流进行连续匹配。在计算机图形论坛，第34卷，第129-139页。Wiley Online Library，2015. 第1、3条[16] Luca Cosmo ， Emanuele Rodola ， Jonathan Masci ，Andrea Torsello，and Michael M Bronstein.在杂乱中匹配可 变 形 物 体 。 在 Proceedings of the InternationalConference on 3D Vision，第1-10页，2016年。8[17] Nicolas Donati Abhishek Sharma和Maks Ovsjanikov深度几 何 功 能 映 射 ： 形 状 对 应 的 鲁 棒 特 征 学 习 。 在IEEE/CVF计算机视觉和模式识别会议论文集，第8592-8601页，2020年。2[18] Nadav Dym，Haggai Maron，and Yaron Lipman. Ds++：一个灵活的，可扩展的，可证明的紧松弛匹配问题。ACM Transactions on Graphics，2017。2[19] Marv i nEisen