没有合适的资源?快使用搜索试试~ 我知道了~
Mahdi Saleh1*Shun-Cheng Wu1*Luca Cosmo2,3Nassir Navab1Benjamin Busam1Federico Tombari1,41Technische Universit¨at M¨unchen2 Ca’ Foscari University of Venice, Italy3 USI University of Lugano, Switzerland4Google117570Bending Graphs: 使用门控最优传输进行分层形状匹配0摘要0形状匹配是计算机图形学和计算机视觉界长期研究的问题。其目标是预测具有一定程度变形的网格之间的密集对应关系。现有的方法要么考虑采样点的局部描述,要么基于全局形状信息发现对应关系。在这项工作中,我们研究了一种分层学习设计,将局部补丁级别信息和全局形状级别结构结合在一起。这种灵活的表示方法可以实现对应关系预测,并为匹配阶段提供丰富的特征。最后,我们提出了一种新颖的最优传输求解器,通过在不确定节点上反复更新特征,学习全局一致的形状对应关系。我们在公开可用的数据集上的结果表明,在没有大量训练或改进的情况下,在严重变形的情况下具有稳健的性能。01. 引言0可变形表面已经被计算机图形学和计算机视觉界广泛研究。密集对应估计与重建和人体姿势估计等应用密切相关。在标准的表述中,我们希望找到一个函数f:G→H,其中f是从形状G到另一个形状H的映射。形状通常以三角网格的形式离散化,可以表示为由具有关联的3D坐标和边缘E的顶点V构成的图G=(V,E)。在找到可变形形状之间的对应关系的最成功的优化方法之一是功能地图框架[41]。两个形状之间的点对点对应关系可以表示为在形状上定义的功能基(即LaplaceBeltrami算子的特征函数)之间的线性映射。0* 作者对本文贡献相同 代码:https://github.com/mahdi-slh/BendingGraphs0局部图 形状图0图1.我们通过两个层次的层次结构处理可变形形状对,即局部图和形状图。这种层次结构提供了一种灵活和整体的形状表示,可以实现对应关系匹配,并为最优传输匹配阶段提供丰富的特征。0作为将功能地图框架与深度神经网络配对应用于可变形形状的首个工作,深度功能地图[32]提出了一种使用采样点上的SHOT[60]手工描述符作为输入来寻找对应关系的流程。尽管建立在点云特征的基础上,FMNet[32]在可变形形状上密集地找到对应关系。最近的研究[22,61]还使用了学习的点云特征[59]来描述局部区域。其他方法还建议将谱流形小波[26]或迭代谱上采样集成到功能地图中[37]。虽然这些方法研究了密集对应关系,但许多方法需要大量的初始关键点或对初始稀疏匹配敏感。Though meshes are commonly represented and stored asundirected lattice graphs, limited works explore graph deeplearning frameworks to extract features from meshes [21,39, 64].Litany et al.use graph convolutional auto-encoders for the task of shape completion and Zhou et al.use graphs for image-based deformable matching. Graphneural networks (GNNs) are successfully applied to pointclouds [31,54,58,68] across many tasks. This work presentsa graph-based descriptor designed for meshes, capturing lo-cal surface structures by constructing edges given a meshlattice graph. GNNs on meshes are a discretization of spec-tral convolutions on manifold representations [7] and there-fore constitute a powerful tool to capture local deforma-tions.Moreover, GNNs have proven to be a great framework toconstruct hierarchical representations [9, 12, 18, 66, 69, 72].During recent years GNNs have been used in many com-puter vision tasks, from scene graph generation [18] toholistic representation learning [76], enabling relationshipdefinition [29] and information exchange and propaga-tion [69,70]. Here we incorporate a high-level shape graphto represent and interconnect shape regions, as shown in fig-ure 1. Each shape region describes the surrounding geom-etry by the local graph. Using such hierarchical graphs, wecan process 3D meshes efficiently and learn a rich holisticshape representation, which is able to capture local detailsand capture neighbor geometry information.We address the problem of 3D deformable shape match-ing as an optimal transport problem. As a classic problem,optimal transport is gaining popularity in the fields of fea-ture matching and registration [43, 47, 55, 73], where dif-ferentiable Sinkhorn algorithm [42, 55, 73] performs wellwith learning-based feature matching [10]. The Sinkhornsolver favors putative correspondences by iteratively apply-ing softmax and does not work well in soft correspondenceproblems or when an exact matching is missing. The coarsedeformable setting with sampled graph seeds does not guar-antee putative hard matches. To deal with such an issue,we propose a new strategy using Gated Recurrent Units(GRUs) to propagate features using matching confidence inour shape graph leading to a more robust optimal transportsolution.In summary, our contributions are as follows:117580•我们提出了一种使用分层图表示的可变形网格的新表示,包括局部特征图和全局形状图。0•我们将自监督的局部描述和全局形状特征结合到端到端的可变形匹配流程中。0•我们提出了一种新颖的门控最优传输(GOT)模块,将基于注意力的特征传播融入Sinkhorn算法中。02. 相关工作0在本节中,我们将简要回顾与所提出的方法相关或在评估部分进行比较的3D特征描述、形状配准和稠密对应方法的相关工作。0点描述符能够生成稳健且描述性强的点描述符是许多3D计算机视觉任务的核心,特别是在不同对象之间需要找到对应点时。与2D图像特征不同,3D特征需要处理第三维度引入的额外模糊性。为了处理这种模糊性,一些方法依赖于局部参考框架,例如SHOT[60]、RoPS[23]和TriSi[24],其他一些方法依赖于成对点描述,例如PFH[53]和FPFH[52]。对于非刚性网格,通常使用谱描述符[3,8,13],因为它们对(近似)等距变形具有不变性。后来,提出了数据驱动的方法,将手工制作的特征压缩成紧凑但信息丰富的表示[27],或直接从点云中学习更强大的特征描述[15,48]。PointNet[48]是第一个直接使用点输出特征描述的方法,它使用置换不变汇聚来处理,但它无法捕捉几何细节并忽略邻居信息。PointNet++[49]被提出来解决这些问题,它使用多个PointNets层次地捕捉局部细节。3DMatch[74]和PerfectMatch[20]使用体素表示来使用3D卷积神经网络计算特征描述符,能够抓住体素之间的连接。然而,使用3D卷积会显著增加内存消耗,从而限制了这些方法的可用性。另一系列工作[5,54,59]利用点表示,并使用GNNs将表面和流形的信息结合起来。KPConv[59]使用一组核心点定义3D局部滤波器,允许高效灵活的点描述。Graphite[54]使用图神经网络描述局部补丁并预测点云配准的关键点。0形状配准旨在找到两个给定几何形状之间的变形。一个经典的解决方案是ICP[2],它通过迭代地估计变换矩阵来最小化给定形状的最近点之间的距离。有几种方法被提出来改进ICP的匹配性能,例如GoICP[71]。PointNetLK[1]利用学习的点特征[48]与Lucas-Kanade算法[34]结合解决配准问题。Deep ClosestPoint[67]在对应关系查找过程中引入了流行的注意力机制。117590来估计变换。其他方法利用额外的知识源增强对应预测,例如参数化人体[4,33,44,45]或动物[77-79]模型。0在对应问题中,目标是找到一个将输入形状的点与可能经历某种变形的第二个形状的点相关联的映射。大多数非刚性形状匹配方法[28,41,46,50]依赖于输入形状的内在属性。这些方法的一个常见缺点是对应关系定位不准确。此外,内在属性不知道输入形状中的等距变换,导致匹配错误。已经提出了几种方法来解决这些问题[19,37,65],但在更具挑战性的场景中,性能会下降[36]。与依赖公理描述符[40,50]的先前工作不同,最近的方法专注于学习一个最佳描述符,以获得更好的功能映射估计[14,16,25,32,35,51,56,61]。Marin等人[35]提出了一种两阶段方法,通过使用不变嵌入网络和探测函数网络来估计最佳线性变换。Trappolini等人[61]提出使用自动编码器架构和转换器网络[63]来估计两个输入点云之间的变换。Groueix等人[22]通过神经网络学习估计两个给定形状之间的变换。03. 弯曲图方法0在本节中,我们介绍了我们的方法。我们的方法概述如图2所示。作为两个形状网格之间的标准密集匹配流程,我们首先关注每个输入网格并独立处理它们。我们首先在第3.1节中解释了我们的局部图定义以及如何配置描述符。接下来,在第3.2节中,我们讨论了如何构建更高级别的形状图来表示形状结构。在第3.3节中,我们专注于匹配问题,介绍了一个GOT单元来预测对应关系。在本节的最后一部分3.4中,我们解释了训练和损失的制定。03.1. 局部图0每个输入形状都以网格的形式给出。一个网格 M 包含顶点V ∈ R^3,边 E,且 M = (V, E)形成一个规则的平铺。这个定义非常接近于无向图的定义,其中一个节点表示顶点。为了定义局部结构,我们关注采样的局部图 G i,i ∈ N。为了采样 N个图,我们首先在欧几里得空间中对网格顶点进行最远点采样(FPS)。我们围绕每个采样的顶点 v j ∈ V 形成图 Gi。为了构建图:0基于网格结构,我们使用局部Dijkstra算法定义边。我们从网格图中切割出一个子图,其中顶点在某个最短路径值 dcut 以下:0V i = { v j ∈ G | d(v i , v j) < d cut },(1)0其中 d(v i , v j) 定义了顶点 v i 和 v j之间的最短路径。每个节点通过其在局部参考框架中的坐标值与之关联,v j = (x j , y j , zj)。边连接到附近的顶点。作为KNN[5]的替代方案,我们考虑半径为 r的单位球,以在每个节点的位置坐标周围维护度量,并在它们的距离低于 r时将它们连接到其他节点。为了给边赋予一些权重,我们将一个标量值 e i,j ∈ R 赋予它,作为顶点之间的距离。0局部网格描述现在我们介绍我们的图神经网络(GNN)架构。我们构建由边和节点组成的图来表示局部网格。与仅定义一定数量点的经典和学习点云描述符(如[15, 54,60])不同,我们希望根据局部网格的结构来描述动态大小的图。节点和边的特征、连接被输入到GNN架构中,以估计在可变形变下的描述符。输出描述符应对排列、网格变化和应用的变形具有不变性。我们使用拓扑自适应图(TAG)[17]卷积算子,该算子结合了图内节点和边特征的传播。我们使用多层TAG函数,每层的跳数递增(K=1,2,3)。跳数定义了信息在图内传播的节点数,并通过消息传递提供多尺度特征提取[54]。每个图卷积模块都考虑了邻接矩阵 A ∈ Rn × n 及其对角度矩阵 D ∈ R n ×n,以在图上传播节点特征。与[17]中一样,我们通过以下方式传播特征来更新节点级别的信息 v'j:0v'j =0k =0 D − 1 / 2 A k D − 1 / 2 v j Θ k .(2)0在每个局部图中进行多尺度消息传递后,我们应用全局最大池化操作来提取局部特征描述符Di。然后将这些特征传递给多层感知机(MLP)并进行归一化,以将最终特征放在单位球上。局部特征 Di,i ∈ N被训练为三元组,以鼓励特征的更强鲁棒性,如3.4节中进一步解释的那样。03.2. 形状图0在本节中,我们描述了我们的高级形状图。形状图的目的是构建一个粗粒度的fi = MLPp (Di + MLPe (γ(vi))) .(4)Ci,k = f Ai , f Bk, ∀(i, k) ∈ A × B,(5)117600局部GNN0局部GNN0网格10网格2 位置编0Sinkhorn0优化0循环0图0传播0最终0匹配0局部图0采样 形状图0生成0损失匹配0局部图 形状图 门控最优传输0硬负样本0挖掘0图2.我们的流程包括3个阶段:1)(左)在网格对上采样局部图。使用负样本训练描述符。2)(中)构建形状图,其中包含具有空间连接边的局部GNN;位置也被编码到形状图中。3)(右)GOT学习器将Sinkhorn优化器集成到循环图传播单元中,并产生可靠的匹配。0形状图的表示有助于形状之间的特征传播。通过这种方式,我们可以将更多的全局特征融入节点描述符,并为对应匹配提供更好的基础。形状图S由N个节点组成,每个节点与一个局部描述符向量D i ∈ R d 和一个种子点v i ∈ R 3相关联,最初在3.1中使用FPS进行采样。此外,我们使用测地空间中的单位球定义边。将形状保持在单位球中,我们进一步定义形状半径r shape,以构建形状节点之间的边。与局部图类似,我们根据节点的测地距离添加边权重。图4显示了从MPI FAUST[4]数据集生成的样本形状图。在局部变形存在的情况下,图结构仍然保持相似。0位置编码为了聚合节点信息,我们需要将位置表示为高维嵌入。这个过程通常使用MLP的层来完成,类似于[48]。绝对输入位置v i应该被编码为大小为d的特征。为了捕捉细节并受到NeRF位置编码的启发[38],我们使用傅里叶特征映射[57]。我们将输入坐标映射到更高维的傅里叶空间,然后通过网络传递它们,使用以下公式计算:0γ ( v i ) = � . . . , cos(2 πσ j/m v i ) , sin(2 πσ j/m v i ) , . .. � T . (3)我们为每个位置元素提取m-1个对数线性间隔的频率。然后,我们将它们传递给一个浅层MLP网络(MLP e),以创建大小为d的嵌入。将嵌入的位置编码添加到D i中,然后通过另一个MLP网络(MLP p )获得节点特征f i。整个过程可以表示如下:03.3. 门控最优传输0为了找到两个3D网格之间的匹配,我们将任务定义为一个线性分配问题,试图最大化总得分:�0i,k C i,k P i,k 与分配P和得分矩阵C ∈ R M × N相对应。如[55]中所述,每个匹配的得分是它们描述符的简单内积计算得到的。0其中 �∙ , ∙�是内积,A和B表示源和目标。上述优化问题可以通过Sinkhorn算法高效地求解。该算法通过迭代地对exp( C)在行和列上进行归一化,估计二部联合概率。由于整个操作是可微分的,可以通过最小化P的负对数似然来端到端地训练整个过程。损失函数的制定将在3.4中解释。0门控特征传播虽然使用Sinkhorn解决最优传输问题提供了一种快速和直接的方法来解决二分匹配,但它侧重于在每个给定输入上找到精确匹配,而不考虑网格拓扑。网格上的两个相邻顶点在匹配过程后可能被分配到不同的区域。为了解决这个问题,我们提出利用Sinkhorn操作中的置信度来有效地沿着形状图将具有高置信度的特征传播到其附近的低置信度特征,我们称之为GOT。这样可以强制附近的点特征与目标区域上的附近位置匹配,如图3所示。在形状图上使用相似度得分估计的置信度值进行节点特征传播可以被视为条件随机场(CRFs)[30],这通常是流程中的最后优化步骤。先前的工作表明,使用循环神经网络(RNNs)[70,75]可以在训练时实现类似的过程。受此启发,我们将节点特征形式化为以连接性为形状图的均场近似。同样,我们使用均场进行近似推理。每次更新步骤中节点的特征可以表示为:LD = max�(10)117610Sinkhorn操作 Sinkhorn操作 循环0图传播0图3.我们的GOT模块由Sinkhorn迭代和形状图中的循环特征传播(中间部分)组成。通过促进更自信节点的特征传播,可以使更多信息流向弱节点,从而改善图匹配。0可以将其视为条件随机场(CRFs)[30],这通常是流程中的最后优化步骤。先前的工作表明,使用循环神经网络(RNNs)[70,75]可以在训练时实现类似的过程。受此启发,我们将节点特征形式化为以连接性为形状图的均场近似。同样,我们使用均场进行近似推理。每次更新步骤中节点的特征可以表示为:0hti = Q * hti-1, max l ∈ N(i)0wi = wlhti-1j, (6)0其中 hti 是节点 i 在时间 t 的隐藏状态,N(i) 是节点 i的所有邻居,Q 是一个RNN模型,我们使用了GRU[11]单元,wl 是节点 l 的权重。每个节点的初始隐藏状态h0i 初始化为fi。由于每个节点可能从其邻居那里接收多个特征,我们通过得分矩阵 C中估计的对数似然度来加权每个输入。每个节点的权重值是通过Sinkhorn分配中估计的,可以从得分矩阵 C 中获得:0wi = maxl(Ci,l), wl = maxi(Ci,l). (7)0在消息传递过程中,置信度值在对数空间中保持,因为我们发现这样可以获得更好的性能。使用形状图使我们能够控制在消息传递操作中要考虑的跳数邻居的数量。此外,整个GOT过程也可以迭代应用以加强最优传输解决方案。03.4. 损失函数0在本节中,我们描述了我们的训练策略和损失函数。如第3.1节中最初所述,我们以网格形式给出了形状对,并提出了一种映射方法。0将 V a 中的每个顶点映射到 V b中的一个顶点。为了实现高效和粗略的匹配,我们从每个形状中采样 N个点。为了使用三元组损失训练我们的描述符,我们还需要一个负样本。作为度量学习的常见做法,并为了增加特征的差异性,我们从形状 B中添加一个难负样本。为了挖掘负样本,我们使用Dijkstra算法在目标种子顶点附近绘制一个图。0本地描述符 通过姿势或变形变化的自我监督进行训练 [15,22,54]。可以使用对比学习或度量学习来训练估计的特征向量。我们确保特征对 D(Ga) 和 D(Gb),分别描述 G a 和 G b的局部图,在特征空间中是闭合的。在三元组设置中,我们还使用负的 D(Gn) 来描述负的图样本,如下所述:0N0i =1 dist (Ga,i, Gb,i) - dist (Ga,i, Gn,i) + α,0N0(8)其中dist (Ga,i, Gb,i) = || D (Ga,i) - D (Gb,i) ||2,α定义了一个小的边际以减少损失中的零值。0匹配根据我们在3.3节中描述的GOT模块,我们得到一个大小为N×N的成本矩阵,其中每个索引Ci,l定义了softmax置信度值。在训练过程中,我们有一个二分图距离矩阵M,其中每个Mi,l定义了从形状A的节点i到形状B的节点l的图中的最短路径。接近匹配被定义为二分图距离矩阵中的最小条目。我们的最终目标是在这些条目上具有最大的得分值。为了根据二分图距离矩阵在条目上软化地增加对数似然,我们定义了一个基于矩阵M的加权矩阵M'd,其中0M'i,l =0rd,如果Mi,l ≤ rd 0,否则(9)0其中M'i,l定义了矩阵M'd的一个元素。我们使用这个权重来在匹配损失中软化地引入一些距离。我们的损失是在M'的非零元素上最小化正确匹配的负对数似然。0Lm = -log vi,l ∙ M'i,l0正则化项A在B中对节点i的预测匹配是maxlvi,l。这是我们在前一节中定义的匹配损失的方式。为了进一步规范化预测,我们使用全局形状结构来确保形状的一致性。我们首先在预测位置上应用一个softpooling运算符。这样,我们可以在预测位置上具有可微分的117620损失计算的操作。我们首先计算0ˆsi = 10N0j Ci,j ∙ vj,j (11)0然后在原始形状V上使用Laplace算子∆(V) i,其中源位置vi∈ R3和预测的softpool位置ˆV为0∆(V) i =0J :(i,j) ∈ E | vj - vj |,(12)0其中E是形状图的边集。最后,我们提出了正则化损失如下:0LR =0i =1 ∆(ˆV) i - ∆(V) i (13)0我们的总损失是讨论的损失函数的总和:0Ltotal = γD ∙ LD + γM ∙ LM + γR ∙ LR (14)04. 实验04.1. 训练设置0在本节中,我们通过展示在可变形3D形状对应中使用的流行数据集上的两个主要评估来展示我们方法的性能。第一个实验是在人体形状注册任务上评估我们的网络(第4.3节),第二个实验是在动物形状注册任务上评估我们的网络(第4.4节)。我们还定性和定量地分析了提出的每个模块(第4.5节)。04.2. 实验设置0在第一个实验中,我们使用FAUST数据集[4],该数据集使用[35,61]中使用的相同的测试分割。该数据集包含100个具有每个顶点对应关系的人体形状,这使得我们能够评估我们方法的密集对应质量。对于训练,我们使用SURREAL数据集[62]生成500个样本,该数据集包含具有一组参数来控制模型变形和姿势的人体SMPL[33]模型。在第二个实验中,我们使用TOSCA提供的动物形状[6]。TOSCA数据集提供了几个不同姿势和类别的合成模型。对于测试,我们考虑每个类别的T姿势与同一类别中的所有其他姿势组成的所有配对。对于训练,我们使用SMAL[79]生成100个具有方差0.15的高斯分布的随机模型。在所有实验中,我们使用最远点采样(FPS)采样了200个局部图,如图4所示。注意,0图4. 来自MPI-FAUST[4]数据集的形状图样本。我们采样了200个局部图,并使用所示的形状图将局部图进行空间关联。图的边根据两两之间的欧氏距离进行加权(用灰度边颜色可视化)。在严重变形的情况下,图形仍然显示出一致的结构。0源网格和目标网格上的采样点可能不在同一位置。因此,在推理过程中我们没有确切的和假设的对应关系。因此,通过使用功能映射方法[41]来实现密集对应匹配。所有实验中的误差度量遵循[28],使用平均测地距离误差。对于消融研究,我们进一步报告了双射率(BR),它衡量了源和目标之间的一对一一致性的双射对应关系在总对应关系数量中的百分比。对于所有的实验,我们在Pytorch上实现了我们的方法,并使用ADAM优化器,在初始学习率为0.001的情况下,在30个epoch后降低到0.0001。04.3. 人体形状配准0我们将我们的方法与两种使用自动编码器架构的密集对应方法进行比较,即3DC [22]和SRT[61],一种使用学习的线性高维基础的功能映射方法,即LinInv[35],以及一种直接使用功能映射框架学习最优描述符的方法,即DGFM[16]。我们方法的密集对应结果是通过首先估计在FPS采样的200个补丁上的粗匹配,然后将这些对应关系作为相应的δ函数输入到功能映射算法中来生成的。结果如表2所示。可以看出,我们的方法在性能上超过了先前的方法。我们还报告了每种方法使用的参数数量。由于使用了轻量级的GNN模块和我们的分层设计,我们的方法只需要100k可训练参数,这相当于[16]中使用参数的0.7%和[35]中使用参数的7.1%。定性结果如图5所示。我们的方法可以在经历了显著变形的位置正确匹配补丁。117630(a) (b) (c) (d) (e) (f)0图5. 在少量SURREAL [62]样本上训练的MPI-FAUST [4]上进行密集形状匹配的结果。 (a)我们有一个目标形状,我们正在寻找对应关系。粗匹配 (b) 显示了与目标形状的鲁棒匹配的补丁。在 (c)中,我们可视化了预测的最终置信度值。这些图表表明在变形较小的区域中有更高的置信度。在 (d)中,通过将我们的粗匹配作为相应的δ函数传递给FM算法,我们可以看到我们的精细和密集的对应关系。最后,我们有了地面对应图 (e)和误差图 (f),它们突出了我们在不需要细化的情况下在不同主体之间的良好性能。04.4. 动物形状配准0为了展示我们的方法可以用于不同的形状,我们在TOSCA数据集上评估了我们的方法。对于这个评估,我们在SMAL的马类上训练了一个包含100个随机样本的模型,并在TOSCA的马、猫、半人马和大卫上进行了测试。结果如图6和表1所示。密集对应结果表明我们的方法也可以应用于其他形状。对于未见过的类别的匹配更具挑战性,因为这个类别在训练过程中是未见过的。由于我们的分层设计,模型可以推广到未见过的形状。04.5. 消融研究0为了证明每个提出的模块的功能和性能,我们设计了消融研究作为进一步的实验0粗匹配误差(�) 精细匹配误差(�)0马 0.2194 0.0231 猫 0.1856 0.0143半人马 0.2150 0.0193 大卫 0.32540.02130表1. TOSCA数据集[ 6]上的平均测地线误差。在我们的方法的补丁匹配之后,计算粗误差。通过将估计的对应关系输入到函数映射中,计算细误差。请注意,该模型仅在马类上进行训练,从未见过其他类别。0实验。表3包含了模块的比较结果,通过观察双射率(%)和平均测地线误差。(a)(b)(c)(d)117640图6.我们模型在TOSCA数据集上的密集匹配结果。我们的方法能够学习到适用于未见类别的稳健特征。a)目标形状。b)带有预测对应关系的源形状。c)地面实况对应关系。d)误差图。0方法 测地线误差 参数(百万)03DC [ 22 ] 0.0776 3.9 DGFM [ 16 ]0.0656 14.1 LinInv [ 35 ] 0.0942 1.4SRT [ 61 ] 0.0513 1.7 我们的方法0.0230 0.10表2. 我们在SURREAL [ 62 ]模型上训练了所有模型,并在MPI-FAUST合成数据集[4]上进行了测试。与以往的方法相反,我们只在可用数据集的5%上训练我们的模型。0误差归一化到形状区域。我们按照 4.3中的实验设置,使用100个SURREAL样本进行训练,并在20个MPI-FAUST样本上进行测试。消融实验#1显示使用VanillaOT进行匹配,并且仅使用局部描述(LG)不能提供可靠的对应关系。通过在消融实验#2中添加形状图(SG),我们观察到在测地线误差方面的性能提升。在这种情况下,对应关系包含一些双射匹配。在消融研究#3中添加GOT层会产生更多的双射对应关系,并改善最终误差。请注意,误差是在没有任何异常值去除的情况下计算的。接下来,在消融#4中,我们取消激活形状图,这会削弱我们的图特征。尽管如此,与#1相比,我们看到稍微更好的性能。这个消融实验证明了我们基于傅里叶的细粒度位置编码的有效性。0编码。实验#5说明了局部图和描述符的作用,并证明了具有全局整体知识的局部描述符会更丰富。消融实验#6显示了完整的流程。通过比较#3和#6,我们可以观察到更少的误差和更高的双射性,证明了正则化损失的有效性。0实验 LG SG GOT Reg BR error0#1仅局部描述,使用OT � 42.1 0.58 #2分层描述,使用OT �� 23.3 0.42 #3无图正则化 � � � 40.0 0.19 #4无形状图 � � � 21.10.43 #5无局部描述 � � � 47.0 0.16 #6完整流程 � � � � 49.6 0.130表3. 在SURREAL [ 62 ]上训练并在MPI-FAUST [ 4]上评估的消融研究。LG代表Local Graph单元的激活 3.1;SG代表Shape Graph模块的激活 3.2;GOT代表我们的循环图传播单元;Reg代表我们的正则化损失的激活。对于每个消融实验,我们提供双射对应关系的百分比(Bij.rate)和平均测地线误差。05. 限制和失败案例0为了学习和估计对应关系,我们假设一对具有相似密度的网格。当顶点数目不同时,我们需要将网格重建为预处理阶段。此外,在我们的训练和实验中,我们总是将网格归一化为单位球。尽管这在可变形配准中是常见做法,但我们没有提供一个尺度不变的表示。归一化的原因是在不同数据集上设置球查询操作的固定半径。最后,我们只使用我们的表示学习粗匹配,并依赖于进一步的非学习细化来提供密集匹配。06. 结论0在本文中,我们提出了BendingGraph,这是一个端到端的流程,用于以分层形式学习可变形的形状。分层图可以灵活高效地表示形状。通过使用Local和ShapeGraphs,我们以整体的方式学习对象表示,可以集成到匹配流程中。此外,我们研究了使用OptimalTransport进行密集匹配的问题。我们提出了使用门控循环网络的基于学习的OptimalTransport的解决方案。使用我们的表示,我们可以通过形状图传播和强化我们的特征。最后,我们通过提供稳健的结果,证明了我们的流程的有效设计,而无需大规模训练和计算。我们的表示和匹配框架可用于计算机视觉和图形学中的多个问题。117650参考文献0[1] Yasuhiro Aoki, Hunter Goforth, Rangaprasad Arun Srivat-san, and Simon Lucey.Pointnetlk:使用PointNet进行鲁棒高效的点云配准。在IEEE/CVF计算机视觉和模式识别会议论文集中,页码7163-7172,2019年。20[2] K Somani Arun, Thomas S Huang, and Steven D Blostein.两个3D点集的最小二乘拟合。IEEE模式分析与机器智能交易,页码698-700,1987年。20[3] Mathieu Aubry, Ulrich Schlickewei, and Daniel Cremers.波动核特征:一种量子力学的形状分析方法。在国际计算机视觉研讨会(ICCV研讨会)中,页码1626-1633。IEEE,2011年。20[4] Federica Bogo, Javier Romero, Matthew Loper, andMichael J Black.Faust:用于3D网格配准的数据集和评估。在IEEE计算机视觉和模式识别会议论文集中,页码3794-3801,2014年。3, 4, 6, 7, 80[5] Federica Bogo, Javier Romero, Gerard Pons-Moll, andMichael J Black.动态faust:注册运动中的人体。在IEEE计算机视觉和模式识别会议论文集中,页码6233-6242,2017年。2, 30[6] Alexander M Bronstein, Michael M Bronstein, and RonKimmel. 非刚性形状的数值几何。Springer Science & BusinessMedia,2008年。6, 70[7] Michael M Bronstein, Joan Bruna, Taco Cohen, and PetarVeliˇckovi´c.几何深度学习:网格、群组、图形、测地线和规范。arXiv预印本arXiv:2104.13478,2021年。20[8] Michael M Bronstein and Iasonas Kokkinos.尺度不变的热核特征用于非刚性形状识别。在2010年IEEE计算机学会计算机视觉和模式识别会议中,页码1704-1711。IEEE,2010年。20[9] C˘at˘alina Cangea, Petar Veliˇckovi´c, Nikola Jovanovi´c, ThomasKipf, and Pietro Li`o.向稀疏分层图分类器迈进。arXiv预印本arXiv:1811.01287,2018年。20[10] Lenaic Chizat, Pierre Roussillon, Flavien L´eger, Franc¸ois-Xavier Vialard, and Gabriel Peyr´e.使用Sinkhorn散度更快地估计Wasserstein距离。神经信息处理系统进展,第33卷,2020年。20[11] Kyunghyun Cho, Bart van Merri¨enboer, DzmitryBahdanau, and Yoshua Bengio.关于神经机器翻译的性质:编码器-解码器方法。在统计翻译的句法、语义和结构中,第103页,2014年。50[12] Luca Cosmo, Anees Kazi, Seyed-Ahmad Ahmadi, NassirNavab, and Michael Bronstein.用于疾病预测的潜在图学习。在国际医学图像计算和计算机辅助干预会议中,页码643-653。Springer,Cham,2020年。20[13] Luca Cosmo, Giorgia Minello, Michael Bronstein, Luca Rossi,and Andrea Torsello.
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功