深度方向感知功能地图解决形状匹配的问题

742深度方向感知功能地图：解决形状匹配尼古拉斯·多纳蒂LIX，E'cole Polytechniquenicolas. polytechnique.eduEtienneCormanCNRS，InriaEtienne. cnrs.frMaksOvsjanikovLIX，E'colePolytechniquemaks@lix.polytechnique.fr摘要用于非刚性形状匹配的最先进的全内在网络无法消除形状内部对称性之间的歧义。同时，功能图框架中的最新进展允许通过所谓的复杂功能图，使用用于切向量场转移的功能表示来强制方向保持。使用这种表示，我们提出了一种新的深度学习方法，在完全不受监督的环境中学习方向感知特征。我们的架构是建立在DiffusionNet上的，这使得我们的方法对离散化变化具有鲁棒性，同时添加了基于矢量场的损失，这可以在不使用（通常不稳定的）外部描述符的情况下促进我们的源代码可以在：https：//github.com/nicolasdonati/DUO-FM网站。1. 介绍非刚性形状对应的学习是3D形状分析中的一个关键问题，其应用范围从统计形状分析[6，36]到变形或纹理转移[4]。早期的方法集中于学习信息特征，使得对应的点具有相似的特征描述符，例如，[26]，或者将形状对应建模为语义分割问题。后一类别中的方法，例如，[28，31，37，51]旨在为表面上的每个点预测一些地面实况模板形状上的对应顶点id。不幸的是，这两种方法在单个点对应预测之间几乎没有一致性，同时可能对潜在的形状离散化敏感[43]。最近，技术集中在预测和对每对形状之间的整个地图谱方法，特别是函数映射表示[ 33 ]，极大地促进了这一点，函数映射表示[ 33 ]使用谱（拉普拉斯）特征基将映射编码为小矩阵。广泛的图1.我们的方法的目的是通过估计其梯度也对齐源和目标形状的描述符，在一个完全无监督的设置中产生方向保持基于监督损失[9，13，23]和非监督损失[22，40]的方法已经使用函数图表示提出所有这些方法的关键是学习特征函数，然后将其用于整体预测功能图。正如多个最近的工作所示，这减少了必要的训练数据量[13]，提供了强正则化促进平滑映射，使学习的特征对离散化的变化具有鲁棒性[43]，并简化了存在固定模板形状的要求。标量向量值描述子方位感知通信743虽然使用紧凑的功能映射表示引入了对平滑的近似等距对应的强烈偏向尽管功能图的这种定向不可知属性可能是有用的，例如，在对称性检测任务中，在大多数实际情况下，期望潜在的所寻找的不幸的是，在使用函数映射表示时，仅限于方向保持映射并不简单，并且使用该框架获得的映射可以容易地引入局部和全局对称翻转（即，在许多有机形状中存在左/右模糊性）。因此，现有的最先进的学习网络需要监督损失[13，23，43]或严格的预对准[42]为了消除对称性的歧义。在本文中，我们证明了这些限制可以通过使用最近提出的复函数映射表示[12]来克服，该表示基于切向量场（表示为复函数）而不是实值函数的对齐。为了实现这一点，我们提出了第一个架构，使用复杂的功能地图和学习的特定功能，对齐表面上的切线束。复杂结构的使用使得我们的方法完全具有方向意识，并有助于将允许的对应空间限制为仅全局方向保持映射，同时有助于正则化学习。我们引入了适应复杂功能图的损失，并证明了我们的网络可以以完全无监督的方式进行训练，而不依赖于严格的预对齐或地面实况对应。更广泛地说，通过我们的方法学习的向量值特征为非刚性形状分析任务提供了新颖且信息丰富的信号2. 相关作品非刚性形状匹配是一个非常丰富和成熟的研究领域。下面我们回顾与我们最密切相关的作品，重点是基于学习的，特别是无监督的技术。我们还将感兴趣的读者参考调查，包括[5，41]，以获得更深入的概述。功能图我们的方法建立在功能图表示的基础上，功能图表示最初在[33]中引入，然后在非常广泛的后续工作中扩展[8，17，19，32，38，46，49，50]等等。该框架的关键优势在于，它允许将映射表示为小尺寸矩阵并进行优化，实现强线性代数正则化，甚至可以适应部分设置[25，39]。使用这种表示的工作的一个重要步骤是用于估计潜在的功能图，并且必须先验地提供。早期的方法已经利用了公理描述符，例如热或波内核签名[2，47]，其中几次尝试旨在通过优化技术优化这些描述符的权重[9]。基于学习的方法学习形状对应也已经通过将其视为密集语义分割问题来完成，例如，[7，18，28，31，37，51]，其中许多，或通过模板对齐[21]。然而，这样的工作往往需要大量的训练数据，建立到模板的映射，并且在连接变化下可能无法泛化[43]。与我们的方法更密切相关的是将学习与功能图表示一起使用的方法，从而对图进行整体评估，并允许直接对任意形状对进行训练和测试。这是在FMNet [24]中首次引入的，它已经证明了，可以通过深度神经网络来细化给定的描述符函数，如SHOT [48]，以在给定一些地面真实对应关系的情况下最小化监督损失。这后来被扩展到使用[13]来使用基于点的特征提取器直接从形状的几何形状中提取用于功能图估计的描述符函数无监督谱学习更接近我们的是谱方法，它使用无监督学习，同时利用功能图表示。这首先是在FMNet之上完成的，通过用测地距离保留[22]或谱域中的理想结构属性[40]替换监督损失其他特性，如循环一致性[20]或热核的无监督对齐[3]，也已用于提高效率和准确性。这些方法是有吸引力的，因为它们是完全内在的，因此往往很好地概括了姿态变化。然而，这是一个存在内在对称性的问题，例如存在于人类形状中的那些对称性。为了解决这个问题，以前的功能图方法通常只细化给定的描述符，例如携带一些外部信息的SHOT[3，20，22，40]，但不幸的是，在连接性变化下可能非常不稳定。最近，最后，Deep Shells [16]使用3D坐标信息联合执行SHOT特征细化，以指导对应性，同时避免对称性模糊。不幸的是，尽管付出了巨大的努力，对称性模糊性仍然是非刚性形状匹配的无监督学习中的核心问题。这是特别有问题的，因为与[21]等外部方法相比，谱方法倾向于更好地推广到新的不可见姿势。正如我们在本文中所讨论的，对称歧义744×−→†∥×∥ −∥∥−→F1FF2我我联系我们FF这个问题是函数映射方法中固有的，因为所使用的损失是完全内在的，因此不能消除方向保持映射与方向反转映射的歧义。复杂函数图最近引入了一种用于几何处理的工具，称为复杂函数图[12]，其关注于切向量场而不是函数的对齐至关重要的是，复杂的功能图允许从允许的对应关系的空间中移除方向反转图。因此，如[12]中所示，这可以帮助更好地控制两个方向，并最终实现计算地图中的对称性。然而，[12]中的方法仍然使用公理描述符，并且在其管道中使用迭代方法因此，目前还不清楚如何将这种表示纳入学习框架，同时保持准确性和效率。贡献我们的主要贡献如下：1. 我们引入了一种新的方向感知无监督损失，使用最近提出的复函数映射表示[12]，利用切向量场的性质。2. 我们表明，计算复杂的功能图直接从梯度的学习估计功能，然后施加额外的损失，这些地图有助于规范目前不稳定的管道对称性混淆。3. 通过建立在最近的鲁棒特征提取主干[43]上，我们引入了一种完全无监督的方法，不使用外部描述符或坐标信息，同时对三角测量中的显著变化具有鲁棒性。3. 背景和动机3.1. 记法，背景动机给定一对非刚性形状M，N，表示为三角形网格，我们的主要目标是以无监督的方式估计映射φ：M→N在这项工作中，我们使用功能图框架，该框架最近产生了最先进的监督[13，23，43]和无监督[16，20，22，40]基于学习的非刚性形状对应方法。函数映射方法背后的关键思想是，任何对应关系都可以紧凑地表示具体地说，给定任何映射φ：MN，它可以首先被编码为二进制矩阵S.T.ΠMN（i，j）=1当且仅当φ（i）=j其中i和j分别是M和N上的顶点。相关联的函数映射CNM被给定为CMN=ΦMMNΦN其中，ΦM、ΦN是将前k个存储为列的矩阵，的Laplace-Beltrami算子的特征函数的形状M，N，而是Moore-Penrose伪逆。注意，CMN的大小为k k，k通常在20 - 100之间，并且通常是小于CMN的数量级。除了允许在简化的基础上表示任何地图之外，功能地图表示还允许通过利用CMN来重新覆盖底层地图MN。在这里和整篇文章中，我们采用了[34]中的符号，其中约化基中的对象用粗体表示在[33]中引入的用于映射恢复的基本流水线假设存在一些预期在未知映射下保留的描述符函数如果AN、AM是基ΦM和ΦN中的描述符的系数，则最优函数映射CMN被计算为：最小CNMANAM+αEreg（CNM）。（一）CNM这里，第一项促进描述符函数的保存，而第二项是促进结构属性的正则化器;例如，Ereg（CNM）=CNMN其中，ΣM，ΣN是拉普拉斯特征值的对角k k矩阵。最终的点到点映射Φ：M N可以通过ΦMCNM的行和ΦN的行之间的最近邻搜索来表示[35]。我们参考[34]，了解功能图表示及其扩展的概述。函数图表示CMN的紧凑性意味着等式中的优化问题。（1）简化为小规模最小二乘问题。另一方面，对应关系的质量与输入描述符函数的选择密切相关。 早期的方法依赖于手工制作的功能，例如Wave KernelSigna- ture [2]。然而，最近的方法专注于从数据中学习最佳特征，首先是在监督设置中[9，23]，最近使用无监督或弱监督深度学习，[16，20，22，40，42]。我们的方法直接受到后一类方法的启发 由所有现有的无监督或弱监督方法共享的一般方法是训练神经网络Θ，给定形状M，其可以在M上产生d个实值函数的集合，Θ（M）=fM，fM，.，fM，其中fM：MR.在训练时，网络0被呈现有一组成对的形状M、N，并且所提取的特征0（M）、0（N）被用于通过首先将特征投影到缩减的基并且然后求解等式（1）中的优化来 （1）（通常忽略正则化项Ereg）。然后通过最小化训练损失来优化网络参数Θ，训练损失惩罚估计函数的一些结构性质国家地图CNM。745FF}{→F- -→∈∈→∈∈--现有方法[16，20，22，40，42]之间的差异主要在于：a）特征提取器Θ的选择和b）用于学习的训练损失。我们的第一个观察结果是，绝大多数前无监督学习方法在存在具有内在自对称性的形状时具有根本的局限性。我们将我们的观察总结为以下定理：定理1. 给定一组形状 SI都包含一个定向反转等距自对称Ti：SiSi ， S. T.dSi （ xj ， xk ） =dSi （ Ti （ xj ） ， Ti（xk）），则由[3，20，22，40，42]中介绍的任何损失训练的一般神经网络Θ具有至少两个可能的解，这两个解都导致损失的全局最优值。证据 参见补充材料在这个定理中，我们称一个神经网络Θ是通用的，如果它能够产生一个关于形状的任意函数方向反转自对称是一种映射，它是一种内在的反映，例如人体形状的左右对称，dSi是S i上的测地线距离。这个定理的一个直接结果是，当在大多数现有工作中使用无监督损失训练网络时，在涉及对称形状的常见设置中，所使用的神经网络中必须存在至少两个可能的全局最优值。现有的方法主要试图通过限制神经网络的能力来克服这种固有的限制，并且不是从形状几何学而是从一些初始公理特征（如SHOT描述符）来训练它[48]。不幸的是，如过去所观察到的，例如，[37，43]，并且正如我们在广泛的实验中所确认的，这些描述符对三角形网格结构高度敏感。或者，一些方法[42]依赖于在3D空间中预先对齐形状（并强制执行一致的前向方向）或使用3D空间中的对应关系来指导学习[16]。这种方法虽然对于某些类别有用，但是对于任意的非刚性3D形状可能难以实施更根本地，现有方法不提供任何方式来控制计算的对应的取向保持实际上，即使给定预对准的形状，也不能保证所计算的特征将导致方向保持图。此外，在一些设置中（例如，对称性检测）定向反转映射实际上可能是期望的，并且现有的方法不提供直接控制来促进这种映射。最后，在功能地图框架内提出了几种解决内在定向问题的方法然而，它们中的大多数是基于描述符的[38，48]，这是不可靠的，并且形成非常弱的约束：地图不必保持方向，而是鼓励遵循（可能有噪声的）描述符。3.2. 复杂功能图在这项工作中，我们建议通过利用最近提出的复杂功能图表示来解决上述限制[12]。导致这种新工具的基本目标是，从仅给出局部信息的点对点映射恢复方位（全局信息）是具有挑战性的。因此，[12]中的构造依赖于与φ相关联的前推dφ：TM TN的全局分析，其局部性质与法向取向相关。根据定义，前推将p M处的切向量映射到φ（p）N处的切向量。dφ也称为φ的微分，是映射在点p的最佳线性逼近。一个复杂的功能地图Q：TM TN是一个重新-在这个意义上，它将M上的任何切向量场映射到N上的切向量场，只有一个约束：它必须是复线性：Q（zX）=zQ（X），zC，X TM。 形容词复数来自切向量场由复值函数表示的事实，如[45]。根据定义，前推包含了φ已经携带的逐点映射信息（N上的切平面对应于M上的切平面），因此C和Q不能独立。此外，Q还包含与法线方向相关的局部方向信息。如[12]所示，由于Q是复线性的，它只能表示方向保持映射。这些基本性质已在Thm. [ 12 ][13][14][15]3.5）。定理2.复 线性映射Q是前推映射当且仅当存在保向共形的自同构φ：M→N满足：<$X，<$C（f）<$TM=C（<$Q（X），<$f<$TN），（2）对所有X∈TM，f∈L2（N）.除了这种复线性之外，复函数映射（我们也称之为Q映射）的构造类似于上述标准函数映射。它们可以写在[ 45 ]中引入的联络Laplacian L的谱基ii∈（1，k）中。 在这些约化空间中，Q-映射是将基函数M中的系数变换为基函数N中的系数的小矩阵.利用Dirac函数的最近邻搜索从近似等距Q中提取点到点映射：NNN=NNsearch（div M<$M，div N<$NQ）.此外，一个pushforwadQ是等距的当且仅当它与联络Laplacian交换：QLM=LNQ。最后，如第二节所示。3.6[12]的一个必要条件是Q必须是正交的，即Q=I，其中，I表示复变换。这里，与功能映射不同，正交性不等同于面积保护。746FFF联系我们F∈×F联系我们特征提取（第4.1节）投影到谱基上（第4.2节）地图计算（第4.2节）损失估计（第4.3节）相反，DiffusionNet基于鲁棒扩散，因此在很大程度上独立于形状三角剖分的选择尽管学习扩散是完全内在的，但由于定向梯度块，网络知道形状方向，如[43]（第3.4节）所述。因此，我们的特征提取器可以产生方向感知的特征，我们稍后使用这些特征来估计保持方向的复杂功能图。总之，我们使用图2中的网络作为特征提取器，以确保我们独立于三角测量获得 在结果中，我们展示了形状与各向异性三角形暗示，图2.我们的无监督网络概述。我们使用DiffusionNet [43]提取源和目标描述符 DM和 DN，然后将描述符投影到Laplace-Beltrami特征基上，并将描述符梯度投影到连接Laplacian特征基上。这分别导致功能图块（第4.2.1节）和复杂功能图块（第4.2.2节）。这两种地图都有损失（第4.3节）。一个复杂的功能映射可以通过最小化一个简单的优化问题来估计（一）：QMN= arg min <$QXM−XN<$2+Ereg（Q），（3）Q学习管道的左右对称。所有方法都落入诱饵，除了我们的方法，这要归功于第4.3节中描述的方向感知无监督损失。4.2. 功能图块在[24]中首次引入的该块以可区分的方式根据由特征提取器估计的输出源和目标特征来估计功能图。4.2.1正则化功能图块将输入特征D投影到谱拉普拉斯-贝尔特拉米本征基ΦS上以得到谱特征AS=其中EregL.N.Q.2002 （Q）=wQ-邻位 Q+wQ-iso QLM−Φ†SDSwithSM，N. 函数映射CNM然后被4. 方法在本节中，我们将更详细地描述我们的网络。如第3节所述，深度功能映射管道可以分解为三个不同的构建块：特征提取器（第3节）。4.1）不可学习的函数导致：CNM= arg minCAN−AM2，CCNM=AMA<$N。（四）地图图层（第4.2）和损失（第二节）。4.3）。我们描述了我们对每个组件的设计选择，以及它们如何在下面的小节中允许方向感知的无监督学习。我们还在图2中提供了整个方法的图形表示。4.1.特征提取器我们网络的第一个主要组件是深度特征提取器。它 的结构是一个暹罗网络，提取源和目标形状的特征。我们使用[43]中介绍的3D表面特征提取器，其输出nM，nN顶点上的维度d的特征向量。我们用DM，DNRnM×dRnN×d表示学习的源和目标特征。DiffusionNet [43]的使用使我们的方法对形状三角测量的变化具有高度鲁棒性，这与之前依赖于SHOT描述符[48]的无监督方法不同。这些方法通常失败，如果训练和测试三角形-在这项工作中，我们使用正则化的方法，介绍了在[13]中，它以可微的方式结合了拉普拉斯交换能<$CNM<$N− <$MCNM<$2。4.2.2复杂功能图块复杂功能图估计类似于标准功能图。使用离散梯度算子G将输入特征D转换为向量场。我们在图1中可视化这些矢量场描述符（其中它们被旋转π/2以更好地看到奇点）。然后将这些向量值描述符投影到连接拉普拉斯 算子 的本 征基Ψ 这导 致复 杂的 光谱 特 征 向 量BS=SGSDS，其中SM，N，和GS形状S上的梯度算子。复函数映射QMN然后被估计为以下最小二乘问题的解：QMN= arg min <$QBM−BN <$2，这是不同的，如第5节所示。关于QFDiususionNet投影DMLaplace-Beltrami特征基无监督损失（内在）功能图块M⇥DiususionNetDN投影到联络拉普拉斯特征基无监督丢失（方向感知）N复杂功能图块747FFFF其封闭形式的解决方案简单地给出：损失函数。 总的来说，我们用两个损失来计算-QMN =BN B†M .（五）bine计算最终损失Lfinal：如第3.2节所述，如果特征本身产生保持方向的映射，则仅从特征梯度估计的复杂函数映射是前推的我们在下面的4.3.1节中详细说明了两个块之间的关系。具体来说，我们证明，虽然C和Q的估计独立，他们仍然满足方程的Thm。二、4.3. 损失根据估计的C，Q，我们建立了受SURFMNet启发的损失[40]。损失C。[40 ]第40话：估计的功能L_final（C，Q）=w_ortho_L_ortho（C）+w_Q_ortho_L_Q_ortho（Q）这些损失与拉普拉斯正则化器一起确保学习的描述符产生等距映射并且该映射是方向保持的。整个管道仍然既轻又不受监督。4.3.1两个功能图块必须注意的是，我们从未明确地使用定理2揭示的关于C和Q的方程。事实上，我们证明，因为这两个功能地图几乎是等距和估计从相同的功能，这种关系总是得到验证。函数映射C是正交的，导致第一个损失Lortho：定理3. 设M，N是两个流形，FM，FNLortho（C）=<$C<$C−I<$2（六）表面特征，使得功能图C估计从这些特征是等距的。设Q为复形此外，它还促进了C与Laplace-Beltrami算子M，N之间的交换性，导致第二损失Liso：使用第4.2.2节中描述的特征梯度计算的功能图。则映射（C，Q）满足等式（1）。（2），C是保向等距。Liso（C）=<$C<$N−<$MC<$2（七）证据 参见补充材料我们注意到，如果我们用[13]的拉普拉斯正则化子估计C，则这种等距损失是不必要的实际上，正则化器仅产生具有低等距损失的映射。因此，我们在实现中只使用Lortho这两个损失的关联通常足以估计本质等距映射。我们在这里提出要解决的基本问题是，这两个损失本身并不足以排除内在对称性。我们再次强调，许多以前的作品排除了这些对称性的基础上三角测量，使用ING SHOT特征提取器。然而，这些方法则偏向于训练三角测量。Q的损失。如[12]（第3.6节）中所示，如果复函数映射是正交矩阵，则仅对逐点映射进行编码（然后将保持方向）因此，复正交损耗LQ-ortho：在深谱方法已经隐含地作出这种假设的意义上，等距假设不是限制性的。此外，正如我们在下面证明的，我们的方法即使对于具有显著非等距的形状类别也是稳健的。4.4. 执行我们使用Pytorch 1.8实现了我们的方法（该版本需要在可区分的管道中包含复杂的张量），通过将DiffusionNet的开源实现[43]用于特征提取器，[13]用于具有拉普拉斯正则化器的功能图块。我们使用WKS描述符[2]作为网络的输入信号。我们使用这个描述符，因为它是：a）鲁棒的形状三角剖分的变化，并捕捉表面的内在几何形状。如下一节所示，这保证了网络学习相关的表面信息，LQ-邻位（Q）=<$Q<$Q−I<$2（八）而不是过拟合到网格三角剖分。b）与形状的嵌入无关。这使得我们的AP-此外，由于我们的目标是作为等距的地图，尽可能地，我们还可以使用复等距损失LQ-iso，评估与连接拉普拉斯算子的交换性的缺乏：完全旋转不变，并能够预测任意旋转形状之间的对应关系。实际上，[15，42]等方法依赖于预对齐的数据集来工作，这使得它们仅受到弱监督，而不是LQ-iso（Q）=QLM−LNQ2（九）完全无人监管我们的特征提取网络由4个扩散-我们观察到，这种等距损失也可以通过使用拉普拉斯正则化器计算Q来避免[13]。因此，我们在实现中只使用LQ-orthoNet块（标准DiffusionNet设置[43]），其中每个块将128维输入WKS特征转换为相同维度128的学习特征，以748××方法/数据F r/Sh rS r/Sh rSh r/Sh rBCICP [38]15.15.15.Zo [30]21.21.21.[16]第十六话27.24.24.WKS+DS [16]27.29.28.WKS+我们6.48.43.9表1. FAUST和SCAPE上所有主要基线的比较结果（100）重新网格化和各向异性。深度学习方法显示了在训练时间内输入的描述符输入上面一组中显示的方法是监督的，而下面的方法（用双线分隔）是公理化的或无监督的。请注意，我们的方法在没有后处理的情况下优于所有无监督基线，并且即使与有监督基线相比也具有相似或更好的性能。最后产生关于源和目标形状的128维描述符。如第4.1节所述，我们的网络以连体方式应用于两个输入形状，使用相同的权重来提取源和目标的特征。参数除了上述架构之外，我们的方法还有一些关键的超参数：a）两个谱基的大小：对于Laplace-Beltrami，我们使用kC=50，对于连接Laplacian，我们使用kQ=20b）函数映射块中的Laplacian正则化器λ=10−3，如原始论文中所推荐的c）损失超参数：如果集中在映射正交性上，则损失，我们通过设置w ortho = w Q-ortho =1来强制两个映射都是我们使用批量大小为1的网络训练5到30个epoch我们使用ADAM优化器的学习率为10- 3[14]。5. 结果在本节中，我们展示了我们的网络可以在标准数据集（如FAUST（Fr）[6]和SCAPE（Sr）[1]）以及非等距数据集（如SHREC在[38]之后，所有形状都重新网格化，以便表2. SHREC'19与不 同列车组 重新划 分网格 的比较结 果（100），包括SHREC'19自身重新划分网格。我们在这个更具挑战性的数据集上比较了无监督方法，并保持与表1相同的符号。我们看到，我们的方法给出了最好的对应关系，并且它们的质量相对于训练集相对稳定。它们不共享相同的连接性。此外，我们介绍了使用Mmg [10，11]生成的FAUST（表示为F a）和SCAPE（表示为S a）的各向异性重新网格化，以演示某些方法如何过拟合网格连通性以消除内在对称性之间的我们在补充材料中显示了我们的各向异性网格。在我们所有的表中，我们用F/S表示在数据集F上训练并在S上测试的方法。5.1. 定量结果基线我们比较我们的方法：• 公理化方法：BCICP [38]和ZoomOut [30]对于解决等距匹配非常有效还应该注意的是，这些公理化方法比我们的方法的测试通过慢，该方法不需要后处理。• 监 督 方 法 ： FMNet [24] （ 表 示 为 FMN ） 和GeoFmaps [13] （ 表 示 为 GFM ） ， 使 用DiffusionNet作为特征提取器。• 无 监 督 方 法 ： 无 监 督 FMNet [22] （ 表 示 为UFMN）和最先进的方法Deep Shells [16]（表示为DS）。对于最相关的基线，我们将我们使用WKS描述符的方法与原始网络（使用SHOT描述符训练）以及使用WKS作为输入进行训练时的变体进行比较。 因此我们 将使用SHOT训练的网络称为各向异性FAUST和SCAPE在这个实验中，我们在FAUST和SCAPE上训练网络，如[38]中所述，并在重新网格化和各向异性上测试它们我们在表1中报告了平均测地误差。从表1所示的结果中，我们可以看出：a）我们的方法对三角测量的变化是鲁棒的，三角测量的变化使得基于SHOT的方法在测试时失败（通常是因为它们将各向异性误认为是有意义的几何信息）。方法/数据Fr/FrF r/F aS r/S rS r/S a[24]第二十四话5.843.7.041.WKS+GFM [13]2.02.62.22.3BCICP [38]6.18.511.14.Zo [30]6.18.77.515.[22]第二十二话5.742.9.944.[16]第十六话1.712.2.510.WKS+DS [16]8.29.58.320.WKS+我们2.53.02.62.7交叉训练方法/数据S r/F rS r/F aF r/S rF r/S a[24]第二十四话14.43.11.44.WKS+GFM [16]9.98.43.83.9[22]第二十二话12.44.9.343.[16]第十六话2.715.5.716.WKS+DS [16]6.712.9.221.WKS+我们2.73.14.24.4749×方法/数据SMAL rBCICP [38]Zo [30]19.35.[16]第十六话25.WKS+DS [16]33.WKS+我们4.8表3. SMAL重新网格化数据集的比较结果（100）。该动物数据集表现出很强的非等距性，如图3中的定性结果所示，只有我们的方法证明是稳健的。Deep Shells [16]是最稳健的基于SHOT的方法，因为其特征提取器使用频谱滤波器，有助于滤除高频过拟合。然而，在各向异性数据集上，对应关系的质量b）如果以固有对称信号（这里为WKS [2]）作为输入呈现，则深壳无法学习准确的描述符，导致整体对应性差。c）我们的方法在无监督网络中给出了最好的结果。此外，对应关系的质量通常接近于最佳监督基线所实现的质量[13]。对于第二个实验，我们分别在重新网格化的FAUST、SCAPE和SHREC’19（表示为Fr、Sr和Sh r）上训练网络，在该实验中，我们从SHREC’19中移除形状40，我们在表2中显示，Deep Shells无法推广到此测试集，即使所有网格具有相似的顶点数和形状良好的网格。相比之下，我们的方法给出了显着更好的结果，因为它是一个纯粹的几何方法，专门利用表面的方向，而不是三角测量的细节，并产生良好的定向地图。SMAL重新网格化我们在SMAL形状上测试无监督方法[52]（再次重新网格化，以便每个网格上的连接性都不同，如[38]所示）。最初由49个形状组成的数据集被分成32个训练形状和17个测试形状。这个数据集构成了三个实验中最难的一个，因为它的形状通常是强烈非等距的。事实上，它们涉及不同物种的动物形状，这通常对现有（特别是光谱）方法构成重大挑战。该实验的结果报告于表3中。注意，我们的方法是唯一一个产生甚至合理的对应关系的方法，显著优于最接近的竞争对手。这突出了我们将精确的特征提取器与一系列有理有据的几何规则相结合所确保的显著的图3. SMAL数据集基线的定性结果。基线给出最错误预测的区域以红色突出显示。larizers，它允许我们的方法适应甚至非等距形状，并从有限的训练数据中学习。5.2. 定性结果我们还在图3中提供了我们的第三个实验的定性结果，将我们的方法与SMAL上的基线进行了比较。我们看到，我们的方法产生的地图非常接近地面的真相，即使在这个具有挑战性的例子与强大的非等距失真。同时，自动基线和学习基线都无法预测准确的对应关系。我们在补充材料中提供了另一种定性比较。6. 结论、局限性和今后的工作总之，我们引入了一种新的完全无监督的方法来有效地学习用于形状匹配的准确描述符。这些描述符通过我们的复杂功能图损失来保证，在所得图保持方向的意义上，这些描述符是方向感知的，使得流水线对由于形状固有对称性而引起的混叠具有鲁棒性。此外，使用DiffusionNet的特征提取器，使形状离散化的变化具有鲁棒性。我们的方法有几个局限性：损失，其目的是尽可能等距的功能地图是依赖于事实，即输入形状不是太非等距。因此，使用适合于非等距的光谱基将是有趣的，如在[27]中，我们将其留给未来的工作。我们的方法目前的另一个局限性是，它需要流形网格作为输入。然而，好的拉普拉斯算子可以建立在点云上[44]，并且检查我们的管道是否具有潜在的噪声点云作为输入是很有趣的。最后，我们相信在其他学习应用中进一步利用复杂的功能映射，同时促进一般的旋转不变和方向保持映射，这将是有趣的。致 谢 部 分 工 作 得 到 了 ERC 启 动 资 助 号 758800（EXPROTEA）和ANR AI主席AIGRETTE的支持。源地面实况我们深髋臼杯（带SHOT）深髋臼杯（w/WKS）缩小（w/WKS ini）BCICP（w/WKS ini）750引用[1] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。SCAPE：形状完成和动画的人。ACM Transactions onGraphics，24（3）：408-416，2005年7月。7[2] Mathieu Aubry，Ulrich Schlickewei，and Daniel Cremers.波核签名：形状分析的量子力学2011年IEEE国际计算机视觉研讨会（ICCV研讨会），第1626IEEE，2011年。二三六八[3] MehmetAygun，ZorahL aéhner，DanielCremers。使用热核的非监督稠密形状对应。2020年国际3D视觉会议（3DV），第573-582页。IEEE，2020年。二、四[4] 伊利亚·巴兰，丹尼尔·弗拉西奇，埃坦·格林斯彭和约万·波普。语义变形传递。 在CMSIG中GRAPH 2009论文，第1-6页。2009. 1[5] Silvia Biasotti ， Andrea Cerri ， A Bronstein ， and MBronstein.三维形状相似性评估的最新趋势、应用与展望。在Computer Graphics Forum，第35卷，第87-119页，2016中。2[6] Federica Bogo ， Javier Romero ， Matthew Loper ， andMichael J Black. Faust：3D网格配准的数据集和评估。IEEE计算机视觉和模式识别会议论文集，第3794- 3801页，2014年。1、7[7] Da videBoscaini ， JonathanMasci ， EmanueleRodola` ，andMichael Bronstein.用各向异性卷积神经网络学习形状对应关系。神经信息处理系统的进展，第3189-3197页，2016年。2[8] Oliver Burghard ， Alexander Dieckmann ，and ReinhardKlein.用格林函数嵌入形状以实现全局形状匹配。计算机图形，68：1-10，2017年。2[9] EtienneCorman，MaksOvsjanikov和AntoninChambolle。用于非刚性形状匹配的监督描述符学习欧洲计算机视觉会议，第283- 298页。Springer，2014.一、二、三[10] 查尔·莱斯·达波格尼、塞西尔·多布任斯基和帕斯卡尔·弗雷。三维自适应域网格重划、隐式域网格划分及在自由和 移 动 边 界 问 题 中 的 应 用 Journal of ComputationalPhysics，262：358-378，2014. 7[11] Ce'cileDobrzynski和PascalFr ey. 非定常模拟的各向异性德洛内网格适应第17届国际网格圆桌会议论文集，第177Springer，2008. 7[12] Nicolas Donati， Etienne Corman ， Simone Melzi ， andMaks Ovsjanikov.复函数映射：切丛之间的共形链接。计算机图形论坛，41（1）：317-334，2022。二三四六[13] Nicolas Donati Abhishek Sharma和Maks Ovsjanikov深度几 何 功 能 映 射 ： 形 状 对 应 的 鲁 棒 特 征 学 习 。 在IEEE/CVF计算机视觉和模式识别会议论文集，第8592-8601页，2020年。一二三五六七八[14] J. Ba D.P. Kingma Adam：一种随机优化方法。2015年，国际会议。7[15] M. Eisenberger ， D. 诺 沃 特 尼 湾 Kerchenbaum ，P.Labatut，N.Neverova，D.Cremers和A.维达尔迪神经形态：一次完成的非监督形状插值和对应。在IEEE计算机视觉和模式识别国际会议（CVPR），2021年。二、六[16] Marvi nEisenber ger， AysimTok er ， LauraLeal-Taixe' ，andDaniel Cremers.深壳：无监督形状对应与最佳运输。神经信息处理系统的进展，34，2020。二三四七八[17] Davide Eynard，Emanuele Rodola，Klaus Doghoff，andMichael M Bronstein.耦合功能图。在3D可视化（3DV）中，第399-407页。IEEE，2016. 2[18] Matthias Fey，Jan Eric Lenssen，Frank Weichert，Hein-richMüller. Splinecnn：使用连续b样条核的快速几何深度学习在IEEE计算机视觉和模式识别会议论文集，第869-877页，2018年。2[19] Anne Gehre ， M Bronstein ， Leif Kobbelt ， and JustinSolomon.交互式曲线约束功能图。在Computer GraphicsForum，第37卷，第1-12页中。Wiley Online Library，2018. 2[20] Dvir Ginzburg和Dan Raviv。循环功能映射：非等距可变形形状之间的自监督对应。在欧洲计算机视觉会议上，第36-52页。Springer，2020年。二、三、四[21] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。3d编码：通过深度变形的3d对应。在欧洲计算机视觉会议（ECCV）的会议记录中，第230-246页，2018年。2[22] Oshri Halimi ， Or Litany ， Emanuele Rodola ， Alex MBron-stein，and Ron Kimmel.密集形状对应的无监督学习。在IEEE/CVF计算