没有合适的资源?快使用搜索试试~ 我知道了~
6231一种鲁棒局部谱描述子用于非刚性物体与形状不协调结构的王益群1,2,郭建伟1,2刘,严东明1,2刘,王凯3,张晓鹏1,21中国科学2中国科学3格勒诺布尔阿尔卑斯大学、法国国家科学研究院、格勒诺布尔国家物理研究所、GIPSA实验室摘要构造一个鲁棒的和有鉴别力的三维形状局部描述子是许多计算机视觉应用的关键组成部分。尽管现有的基于学习的方法可以在特定的基准中实现良好的性能,但是它们通常不能从具有不同类型和结构的形状(例如,空间分辨率、连通性和变换)。为了解决这个问题,我们提出了一个更具歧视性的局部描述符可变形的三维形状与不相容的结构。基于表面上的Laplace-Beltrami框架的谱嵌入,我们构造了一种新的局部谱特征,该特征对网格分辨率、三角剖分和变换的变化具有很高的弹性。然后将每个顶点周围的多尺度局部谱特征以紧凑的方式编码成称为顶点谱图像的几何图像。这样的顶点光谱图像可以有效地训练学习本地描述符,然后,我们提出了一个新的基准数据集的训练和评估,通过扩展广泛使用的FAUST数据集。我们利用重新网格化的方法来生成具有不同结构的修改后的形状。此外,我们彻底评估了所提出的方法,并进行了深入的比较,以证明我们的方法优于最近的国家的最先进的方法在这个基准。1. 介绍随着3D扫描设备和计算机视觉重建技术的进步,获得详细的3D形状变得容易。因此,3D形状分析(例如,形状匹配、分割、对应和检索)显著增加。曲面点局部描述符的设计是计算机视觉、计算机图形学和机器人等领域的一个基本问题* 通讯作者:jianwei. nlpr.ia.ac.cn,yandong-ming@gmail.com图1.在参考形状(6890个点)和具有高分辨率(12K个点)的不同形状以及其他不兼容结构之间的形状匹配结果。它是各种形状分析和几何处理应用程序的构建块。许多局部形状描述符,包括手工制作的形状特征[13]和基于深度学习的描述符[8],已被提出用于不同的场景。与通常受手动调整参数的表示能力限制的手工方法相比然而,当前用于描述符学习的流行数据集即使使用相同的采集技术,采集/重建的表面形状通常也具有因此,为这些形状构建鲁棒和信息丰富的局部描述符仍然具有挑战性。此外,现有的深度学习方法存在严重的局限性。首先,由于固定的网络架构,训练和测试通常需要输入形状上相同数量的顶点。其次,如果输入到网络中的特征对三角测量敏感,则无法保证学习的特征对三角测量具有鲁棒性。第三,模型需要规范化,6232训练前的规模然而,有时,两个模型被不正确地归一化,例如在部分匹配中。在这项研究中,我们提出了一个新的密集的局部描述符匹配非刚性形状与不兼容的结构。在我们的方法中,我们从理论上推导出一种新的局部谱特征,称为局部点签名(LPS)的Dirichlet能量。不同于传统的频谱描述符(例如,全局点签名(GPS),热核签名(HKS),和波核签名(WKS)),我们引入额外的顶点坐标信息来捕获独特的属性在一个局部补丁。然后将每个顶点周围的多尺度LPS特征压缩编码到顶点光谱图像的像素中,在其上可以直接应用经典的三元组神经网络以获得更具鉴别力的广泛的实验评估表明,所提出的方法优于最近国家的最先进的局部描述符。捐款. 本工作的主要贡献如下:• 我们提出了一种新的局部谱特征,该特征对网格分辨率、三角测量、尺度和旋转的变化具有很高的弹性。• 本文设计了一种新的几何图像表示形式--顶点谱图,它能以一种紧凑和节省内存的方式对局部谱特征进行编码。• 通过扩展著名的FAUST数据集,我们提供了一个新的基准数据集2. 相关工作我们从三个方面对局部描述符进行了简要的概述。基于空间域的方法。自旋图像(SI)[17]和3D形状上下文(3DSC)[11]通过将局部空间划分为不同的bin并计算计算落入每个bin中的点的数量以构造描述符。方向直方图签名(SHOT)[31]通过累积邻域空间中关键点和相邻点的正常角度来生成描述符与SHOT描述符不同,Mesh- HOG [37]描述符是基于网格上梯度方向的直方图。旋转投影统计(RoPS)[14]描述符通过将相邻点旋转投影到2D平面上并计算一组统计数据来生成。显然,这些传统的方法是基于空间域特征的,容易受到分辨率和形状变形的影响。最近,通过在表面上引入3D临界网,提出了双自旋图像(DSI)[36]描述符,其是鲁棒的抵抗非刚性变形。然而,该方法没有考虑不同分辨率之间的匹配。基于嵌入的方法。 人们提出了许多内禀描述子来处理等距变形。用于生成嵌入式描述符的最常见的方法是基于Laplace-Beltrami算子。Shape-DNA [28]将Laplace-Beltrami算子的谱视为描述符,因为谱是等距不变的并且与空间位置无关。G-PS [29]将谱和本征函数结合起来,得到顶点的全局描述符. HKS [30]、尺度不变HKS[9]、WKS [2]和最优谱描述子(OSD)[23]是基于扩散几何学提出的. Hu等人[15]在Laplace-Beltrami谱域中提取显著的几何特征然而,大多数这些嵌入方法是基于全局的内在特征,并没有足够的鲁棒性的局部细节描述。基于深度学习的方法。3D深度学习方法最近已被用于提取形状描述符。Wei等[34]生成的不变描述符,用于训练的深度图的大数据集。 Huang等人. [16]通过在多个尺度中训练多个渲染视图来提取局部描述符Zeng等人[38]使用3D体积卷积神经网络来生成用于鲁棒匹配RGB-D数据的局部描述符。紧凑几何特征(CGF)方法[18]映射-的高维直方图到一个低维的Eu-clidean空间生成描述符的非结构化点云。Wang等人[32]提出了一个使用本地地理信息系统来学习描述符的深度学习框架。此外,几何深度学习已经被开发用于直接在流形上训练。各向异性扩散描述符[6]通过使用全连接神经网络来构建方向敏感特征来学习。GCN- N [24],ACNN[5]和MoNet [26]通过定义空间域中的卷积运算在流形上有效地训练网络,并且它们主要适用于形状对应应用。FMNet [22]是另一个将深度学习引入功能图的框架。LSCNN [4]将加窗傅立叶变换推广到深入学习局部描述符,可以看作是流形上的Lim等人[21]通过在相邻顶点上使用螺旋算子,避免了在非结构曲面网格上学习对应关系的重复学习。然而,考虑到这些方法学习与形状结构相关的信息(例如,网格尺度和空间分辨率)的形状不同,它们的泛化能力是有缺陷的。我们专注于这些问题,并提出了一种新的方法来生成一个本地的光谱特征,是强大的不同的分辨率,三角测量,和transformations。6233双曲型α2aiik+cotβik2aiΣ。f(v)−f(v),能量是函数f在S上变化的度量[8]。E(f)=S|2dv = 0|2dv=∫Sf(v)f(v)dv(1)输入模型LPS特征 256-D描述符图2.描述符生成框架概述。给定一个输入形状(左),我们首先为网格的每个顶点计算一个16维的局部谱特征来构建特征模型,每个维度的标量值在中间的图像中进行颜色编码。对于一个感兴趣的点,我们然后生成顶点光谱图像的包装16维LPS在一个紧凑的方式。最后,我们将顶点光谱图像发送到convo-我们经常寻找尽可能光滑的函数f,这使得Dirichlet能量最小化。 如果我们得到一组正交基函数{φ i|i = 0,1,… k − 1}且基函数最小化Dirichlet能量,则解是S的前 k 个 本 征 函 数 [8] 。 在 本 研 究 中 , λ 是 Laplace-Beltrami算子λ f = −div(λ f),满足i= λ i φ i,i = 0,1,.,k − 1,(2)其中{λ i|i= 0,1,… k − 1}是递增顺序中最小的k个特征值。考虑到我们处理的数据涉及3D网格,离散情况非常重要,这意味着网格M上的函数f:V→R变得离散[25]。在网格上,vi上的diff值可以写为:神经网络来获得我们的描述符。3. 问题陈述和概述(v)=1IaIcotαij+ cotβij2ijj∈N(vi)给定在定义为(V,E)的光滑曲面上具有不规则采样的网格M,其中V ={vi|i = 1,…n}和E分别是顶点和边的集合。实函数X=(x1,x2,x3):顶点上的V→R3表示顶点坐标。我们的目标是得到一个判别局部描述符f(vi)∈Rd的任何给定的顶点vi。该方法将局部描述子的生成分为两个阶段,即局部谱特征的构造和局部描述子的学习。如图2.在第一阶段,我们提出了一个局部点的签名,为每个顶点在频域中,这是鲁棒的分辨率,三角剖分,规模和旋转。第二阶段用于描述符学习.受最近的深度学习方法[32]的启发,我们使用GI设计了一个局部顶点光谱图像来编码所提出的局部光谱特征。该方法利用设计的局部谱特征和顶点谱图像,可以利用所有顶点信息而不是仅利用采样顶点进行训练,其中ai是vi的Voronoi区域的面积。N(vi)表示vi的单环邻域顶点集。 α ij和β ij是三角形网格上与边{i , j} 相对的两个 角 。 图 3 显 示 了 顶 点 的 角 度 和Voronoi面积图3.离散Laplace-Beltrami算子中的角度和Voronoi面积的说明因此,ing.− cotαij+cotβijLIJ =如果i、j相邻如果i=j4. 局部谱特征克什蒂尔克0否则。本节介绍Laplace-Beltrami框架。然后提出了局部谱特征,并分析了该特征的若干性质.4.1. Laplace–Beltrami给定曲面上的光滑实函数f:S →R,其中S是连续曲面,以下Dirichlet en-最小化Dirichlet能量的正交基可以离散形式求解。LΦi= λ iΦi,i = 0,1,.,k-1(3)若Laplace-Beltrami矩阵是半正定的,则特征值λ i是非负的,且它们的最小值为0。这些特征值可以从小到大排序,多尺度顶点谱图像卷积神经网络6234DΣIJ我ΣEΣFσijλj(10)ΣΣ一ΣE.f=fALf=σλj,(8)i=1j =0IJ在信号处理界被解释为频率此外,L的对称性也为数值计算提供了方便.然而,L是不对称的,这可能导致数值计算中出现虚数.通过引入两个对称矩阵T和A,方程(3)可以重写为广义特征值问题,并且重写形式表示为E(F)=|F(v)|2dv =0|第一㈤段|2dv.(九)Si=1S方程(8)被变换成方程(9)的离散形式,并表示为TΦ= λAΦ,i= 0,1,...,k− 1,(4)DN−1我我我哪里~。˜ΣΣΣ2−cotαij+cotβij如果i、j相邻N−1Tij =2cotαik +cotβik2如果i=j= j=0 λj i=1 σ2。(十一)克什蒂尔克0否则这个广义函数的狄利克雷能量可以是D且A是对角矩阵,Aii=ai。利用ARPACK [20]中的Arnoldi方法,得到了离散Laplacian的特征向量为实,特征值为实且非负的结论。由不同频带能量λj σ2组成i=1这可以被认为是该带中表面的特征。因此,我们移除λ0的特征值为0。所提出的光谱特征可以表示如下:4.2. 本地点签名通过计算广义特征值问题中的特征向量Φi,发现Φi是关于A点积正交的.SF=.Σdλ1i=12σi1,λ2Σdi=12σi2,.λN−1Σdi=1Σ2σiN−1.(十二)Φi,Φj=ΦTAΦj(5)到目前为止 我们提出了光谱特征,表面上接下来,我们演示如何设计一个低-与傅立叶级数类似,定义在网格顶点上的函数可以展开如下:+∞f=σjφj,(6)j=0其中σj是表面上的频域系数。因此,我们知道曲面上的函数可以通过基函数变换为频率域在离散情况下,系数可以通过以下公式计算:σj=.f,Φj=fTAΦj.(七)我们现在介绍所提出的光谱特征的推导回想狄利克雷能量的公式,方程(1),它的离散形式f<$TALf<$A点积。使用具有刚性变换不变性质的顶点坐标来计算光谱特征。值得一提的是,我们可以通过使用不同的信息作为输入来设计其他功能。对于顶点vi,我们提取顶点周围的相邻三角形并构建局部面片网格。邻域选择使用一个测地圆盘,其半径是测地直径的一小部分(网格上最长的测地路径)。参数选择见补充资料。我们简单地提取一个局部网格的测地线磁盘。在得到局部网格后,构造了局部网格上的Laplace对于这个面片,我们有函数X=(x1,x2,x3):V→R3,在表示顶点坐标的顶点中。在等式(9)中,贴片P上的狄利克雷能量可以重写为:结合等式(3)和等式(6),函数的狄利克雷能量可以表示为:N−1E(X)=EP|2dv =|2dv =3∫i=1P|2dv.|2dv.(十三)日本语中文(简体)Jj=0其中N是顶点的数量。如果更广义的函数F=(f1,f2,.,f d):S → Rd在曲面上得到,S上的Dirichlet能量为D=6235然而,对于有边界的情况,我们不能假定方程(1)由于边界能而满足.我们采用Huet al. [15]第10段。通过将法线方向相反的同一曲面片附加到开边界片上,我们得到了一个体积为零的水密曲面。因此,自然满足等式(1)。因此,等式可以写成如下:6236I1I2E(X)=NΣ−1λjj=0Σ3i=12σij。(十四)我们选择了16个维度的特征,对应于最小的16个特征值不含0作为我们的局部谱特征,我们将它们定义为局部点签名(LP-S)。选择16的原因有两个。首先,大量信息集中在低频。因此,我们选择16维,以尽可能避免高频噪声的影响。其次,使用16维构造我们的顶点光谱图像是方便的。此外,可以解释鲁棒性的直观原因。在输入顶点坐标的情况下,能量表示尽管使用坐标信息但对三角测量和坐标独立性是鲁棒的表面的区域因此,我们在频域中扩展能量的描述符应该对这些不相容的形状结构不敏感。这一特性将在以后的实验中得到证实。此外,为了获得s尺度不变性,我们将每个能带乘以其本征值λj并计算能量的平方根原因和理论证明将在补充材料中说明所提出的特征的表达如下。‚‚ ‚. 3.第三章。3.第三章。 3...图4.从我们的数据集样本形状。左边的三个模型具有不同的分辨率(6890,8K和15K)和三角形。我们展示了具有不同缩放(中)和旋转(右)的模型。5. 数据集创建和描述符学习需要包含具有不兼容结构的3D形状的适当数据集来证明所提出的光谱特征的有效性。我们描述了如何生成erate这样的形状自动。然后,我们提出了一种新的顶点谱图像编码以前的LPS功能,它可以被馈送到现有的学习框架。第5.3节描述了我们的网络架构。5.1. 数据集FAUST数据集是解决形状匹配任务的具有挑战性且广泛使用的标准基准,并且它比其他数据集具有更丰富的细节和更准确的地面实况对应。我们的基准扩展了这个数据集,以生成具有不同分辨率、三角测量、缩放和旋转级别的形状。LPS=λ1,i=1σ2,λ2,i=1σ2,..,λ16, i=12i16中国(15)分辨率和三角测量。FAUST中的所有模型都具有相同的三角剖分和分辨率,具有6890个顶点。我们参考[10,33]了解有关重新网格化的详细信息,并使用不规则三角剖分生成多分辨率形状,4.3. 讨论几个谱特征,如GPS,HKS,和WKS已被提出用于以前的方法。这些方法避免了依赖于任何外部特征来获取网格上的全局本征特征,但局部描述能力不强。虽然内在特征在(近)等距变形下是不变的,但在处理非等距变形时仍然会遇到问题。在实践中,一些研究[22,26]通过使用非内在描述符(如SHOT)获得了更好的结果在我们的方法中,我们引入顶点坐标信息设计一个新的光谱特征,利用狄利克雷能量框架。因此,我们结合了内在和外在描述符的优点,以获得更具鉴别力的局部谱特征。此外,许多外在的(例如,SHOT)和内在(例如,形状DNA、HKS和WKS)特征对尺度变换敏感相比之下,我们提出的功能在理论上可以保证尺度不变性。我们的不变性质的证明在补充材料中提供确保每个形状包含用户指定的顶点。具体来说,为了保持所有形状的地面实况对应以进行准确评估,我们用“锁定”标志标记每个原始顶点然后,通过边分裂或边折叠随机增加或删除顶点,分别增加或减少网格分辨率,以满足用户指定的点的数量。然后,我们应用一个随机的边缘翻转平操作迭代,以获得一个不规则的三角形。可以应用几个顶点平滑操作来避免太多形状不好的三角形。这些操作将通过考虑Hausdorff距离来保持模型的细节特征。对于粗分辨率,我们使用[27]中具有5K顶点的模型,这些模型通过质心Voronoi细分(CVT)方法[35]独立重新网格化。为基准创建了六种分辨率,即5K,原始6890,8K,10K,12K和15K顶点。缩放和旋转。对于缩放,我们使用以下五个缩放因子之一随机缩放形状:0.2、0.5、1.0、2.0和4.0。对于旋转,我们通过随机旋转模型来生成旋转的形状。图4呈现σ6237从我们的数据集中挑选了几个例子。5.2. 顶点光谱图像几何图像(GI)[12]是将不规则几何形状转换为规则2D图像的好工具。Wang等人[32]生成了用于描述符学习的局部GI。在它们的方法中,顶点法线方向和主曲率被编码到GI的像素中。然而,这种方法需要大量的内存来存储多通道GI。例如,一幅尺寸为32×32的图像只需要存储顶点法线的一个元素。此外,在他们的方法中使用的低级特征对形状结构更敏感。为了提高存储效率,我们引入了一种新的局部GI表示,称为顶点谱图像来编码我们提出的LPS特征。图5示出了顶点光谱图像的示例,并且每个顶点光谱图像由16个较小的GI组成。为了构建这样的顶点光谱图像在点p周围,我们从p的局部片中定期采样64个点。值得注意的是,每个点配备有16维LPS特征。因此,我们可以获得16个大小为8×8的s-小GI,每个GI编码一个LPS特性的元素。我们的LPS功能是从本地补丁,而不是原始的顶点信息。因此,64个采样点足以描述局部细节,并且减少了数据量。然后,我们通过以行为主的顺序重新排列这些小GI,将它们打包成一个大的顶点谱图像(32×32),从而能够使用卷积运算来学习频带之间的信息。结果,具有对应于最小和最大本征值的特征的小GI被分别放置在顶点谱图像的左上角和右下角这种方法显著地减少了用于对顶点的几何信息进行编码的内存量此外,这种拼接操作仅适用于坐标无关的特征,例如我们的特征。如果特征是坐标相关的(例如,顶点法线方向),则由于排序问题,结果将受到旋转的影响考虑到我们的LPS是坐标无关的,这与模型的嵌入无关,模型旋转的情况可以解决。最后,我们在三个尺度上提取局部补丁,以构建多尺度顶点光谱图像与邻居测地半径为2。一,二。7和3。5 ρ0。ρ0计算为整个网格的测地线直径的1%此外,我们还生成了12顶点谱IM。年龄在每个点周围的训练,通过旋转小地理标志在30毫秒的间隔。5.3. 培训体系结构详细信息为了学习我们的描述符,我们采用了[32]中提出的三重神经网络,它由三个相同的控制器组成。123图5.围绕三个顶点的顶点光谱图像:(1)中指,(2)肚脐,(3)右膝。卷积网络(为简单起见,称为“ConvNet”)。对于每个ConvNet , 我 们 使 用 构 造 为 CONV 128 - 3x 3-/2 +CONV 256 - 3x 3-/2 + CONV 512 - 3x 3-/2 + FC 512+ FC 256 CONVx是指具有x维特征图输出的卷积层,其中3x 3是卷积核的大小,/2是步长为2的池化操作,FCx是指输出x维向量由于我们引入了所有点的顶点谱图像作为训练数据,所以输出特征我们的学习过程与[32]的学习过程之间的主要区别在于,锚正和锚负对不仅被选为关键点,而且被选为利用所提出的顶点谱图像编码的所有点。6. 实验结果我们进行了广泛的评估,以验证所提出的局部描述符的有效性。与其他相关的国家的最先进的方法进行了深入的比较,以证明我们的方法的优点。我们还表明,所提出的光谱特征可以用作涉及形状对应搜索的任务的替代本研究中的所有结果均使用Intel Core i7-7700处理器(4.2 GHz和16 GB RAM)获得。离线训练在NVIDIA GeForce GTX 1080Ti(11 GB内存)GPU上运行。评估指标。我们通过使用标准累积匹配特征(CMC)和普林斯顿协议(PP)[19]来评估描述符性能。CMC评估在描述符空间中的k个最近邻中找到正确匹配的概率。PP是一种流行的对应质量度量,其通过绘制最多与地面实况对应具有r -测地距离的最近邻匹配的百分比来测量对应质量。6.1. 描述符评估不变性的分辨率和三角测量。文献[29]和[15]提到在我们的配置中,我们知道它们影响等式(4)中的T和A为了证明我们提出的光谱特征是不变性的形状分辨率和三角测量,我们选择了四种形状,即,瘦男人,胖女人,胖男人,瘦女孩的实验。各种形状31262381.510.50-0.5-1-1.5-2PCA结果10.90.80.70.60.50.40.30.20.10OUR-LPSOUR-LPSOri-8000OUR-LPSOri-10000OUR-LPSOri-120000 0.1 0.2 0.310.90.80.70.60.50.40.30.20.1010.90.80.70.60.50.40.30.20.10-3-2-1 0 1 2 3 4测地半径0 20 40 60 80100匹配数0 0.1 0.2 0.3测地半径图6.分辨率和三角测量对拟议LPS功能。左:LPS特征的PCA结果。右:使用LPS特征的多分辨率形状匹配结果。图8.不同描述符在分辨率6890和8K之间进行密集匹配的性能左:CMC曲线。右:测地误差的稠密对应性。10.90.80.70.60.50.40.30.20.10LDGI我们OURS Ori-8KOURS Ori-10KOURS Ori-12KOURS Ori-15KOURS 5K(CVT)-10K OURS 10K-100K0 20 40 60 80100匹配数10.90.80.70.60.50.40.30.20.10LDGI我们OURS Ori-8K OURSOri-10K OURS Ori-12K OURS Ori-15KOURS 5K(CVT)-10K OURS 10K-100K0 0.1 0.20.3测地半径10.90.80.70.60.50.40.30.20.10CGF 32 Ori-12K HKS Ori-12K LDGI Ori-12K OSD Ori-12K OURS Ori-12K RoPS Ori-12K SHOT Ori-12K SI Ori-12KOri-12K0 20 40 60 80100匹配数10.90.80.70.60.50.40.30.20.10CGF 32 Ori-12KHKS Ori-12KLDGI Ori-12KOSD Ori-12KOURS Ori-12KRoPS Ori-12KSHOT Ori-12KSI Ori-12KOri-12K0 0.1 0.20.3测地半径图7.分辨率和三角测量对我们新的-学习描述符。左:CMC曲线。右:测地误差的对应有五种不同分辨率和三角测量的模型S.我们计算了每个特定模型的16维光谱特征。然后,计算特征的经典主成分分析(PCA)投影降维结果在图中可视化。6.属于同一类别的五个分辨率的特征聚集在一起,表明我们的光谱特征对空间分辨率和三角测量不敏感。该图的右侧还示出了使用我们未学习的LPS特征获得的实验结果表明,所设计的光谱特征具有分辨率和三角不变性接下来,我们展示了我们新学习的形状描述符的鉴别能力和鲁棒性,以建立多分辨率形状之间的密集匹配。因此,进行了一项具有挑战性的任务,据此,我们计算低分辨率和高分辨率形状的局部描述符,并将描述符用于形状匹配。深度神经网络仅使用6890个点的原始FAUST形状进行训练图7示出了匹配结果,其中“OURS”表示原始形状之间的形状匹配,并且“OURS Ori-8 K”表示原始形状与具有8 K点的高分辨率形状之间的形状匹配。我们的算法适用于不同的解决方案,特别是两个具有挑战性的测试图9.不同描述符在原始6890和12K分辨率之间密集匹配的性能。左:CMC曲线。右:测地误差的对应性。“5K(CVT)-10K”。在CVT模型的测试中,我们选择具有最近测地线距离的点作为地面真实对应。此外,考虑到我们在使用GI的局部描述符(LDGI)[32]的方法中使用相同的三元组网络,我们还显示了其匹配结果。该图表明,当对原始FAUST形状进行测试时,我们的方法优于LDGI当我们的方法在低分辨率下训练并在高分辨率下测试时,结果表明不存在显著的性能下降。我们通过将其与各种最先进的技术进行比较来进一步评估我们的方法的性能。许多最近的深度学习方法(如MoNet [26]和FM- Net [22])由于其固定的网络结构,只能在相同的分辨率下进行训练和测试。因此,这些方法不适合于在不同分辨率之间匹配任务在这个测试中,选择了三个学习的描述符(OSD [23],CGF32 [18]和LDGI [32])和四个手工制作的替代品(SI[17],SHOT [31],RoPS [14]和HKS [30])进行比较。所有这些方法都可以在不同的分辨率下进行形状匹配。图8. 9和9分别示出了具有8K和12K分辨率的原始形状之间的匹配结果。其他比较和分析见补充材料。所有学习的描述符都是在原始FAUST数据集上训练的,并应用于高分辨率。预-瘦的男人胖的女人胖的男人瘦的女孩CGF 32 Ori-8K HKS Ori-8K LDGI Ori-8K OSD Ori-8K OURS Ori-8K RoPS Ori-8K SHOT Ori-8K SI Ori-8KOri-8KCGF 32 Ori-8K HKS Ori-8K LDGI Ori-8K OSD Ori-8K OURS Ori-8K RoPS Ori-8K SHOT Ori-8K SI Ori-8KOri-8K命中率%正确对应%正确对应命中率命中率%正确对应%正确对应623910.90.80.70.610.90.80.70.610.90.80.70.610.90.80.70.60.50.50.50.50.40.40.40.40.30.30.30.30.20.20.20.20.10.10.10.100 20 40 60 80100匹配数00 0.1 0.2 0.3测地半径00 20 40 60 80100匹配数00 0.1 0.2 0.3测地半径图10.不同描述符在随机旋转模型上的性能左:CMC曲线。右:测地误差的对应性。图11.不同描述符在随机尺度模型上的性能。左:CMC曲线。右:测地误差的对应性。先前的方法难以处理不同的分辨率,而新学习的描述符表现出优异的性能。不变性的规模和旋转。缩放和旋转不变性在形状匹配中至关重要,因为3D表面具有许多独特的空间因素,例如平移、旋转和缩放。许多方法需要在处理之前对模型进行图10和11显示比较-10.90.80.70.60.50.40.30.20.10GCNN(SHOT)GCNN(OURS)OURS-CORR莫奈0 20 40 60 80100匹配数10.90.80.70.60.50.40.30.20.10GCNN(SHOT)GCNN(OURS)0 0.1 0.20.3测地半径在具有不同旋转的形状上获得的ison结果水垢如图所示,我们的方法显著优于最先进的方法。6.2.形状对应获得形状对应是与局部描述符的构造不同的任务。虽然计算局部描述符的相似性有助于识别对应点,但最近的基于学习的方法(如GCNN [24]和MoNet [26])通过将形状对应视为标记问题来展示更好的性能。为了证明我们提出的局部谱特征可用于计算形状对应,我们将其与GCNN [24]和MoNet [26]进行了比较。我们的方法是在两种配置进行测试。“GCNN(OURS)”此配置表明LPS可以用作任何现有本地功能的直接替代品。在“OURS-CORR”配置中图12示出了FAUST数据集上的形状对应的性能。这两种配置与现有的最先进的方法相比具有竞争力7. 结论提出了一种新的局部点签名算法,用于不相容形状结构的形状匹配。我们的实验表明,这种光谱特征是鲁棒的res-tally。图12.在原始FAUST数据集上执行形状对应。解和三角剖分,以及它对刚性变换(比例和旋转)的不变性,可以从理论上证明。我们从图像的二维傅里叶变换中得到启发,引入局部顶点光谱图像来编码局部区域的LPS特征信息。然后,使用顶点光谱图像的深度度量学习模型被应用于计算局部形状描述符。我们还提供了一个新的基准数据集进行评估,通过扩展著名的FAUST数据集。我们展示了我们的方法在形状匹配应用中的优势,这些应用具有在训练数据中没有看到的不兼容的形状结构。局限性和未来工作。考虑到必须计算每个局部顶点的特征分解,在整个模型上花费比完全特征分解更长的时间是合理的。然而,该过程可以容易地并行化。我们将在未来进一步提高效率。此外,我们将通过考虑Laplace-Beltrami运算符的不同计算来扩展我们的框架以处理广泛应用的点云数据致谢。本工作得到了北京市自然科学基金(L182059、4184102 ) 、 国 家 自 然 科 学 基 金 ( 61620106003 、61772523、61802406、61761003)、法国国家研究署(ANR-11-LABX-0025-01)和国家重点实验室开放项目 的 部 分 资 助 浙 江 & 大 学 计 算 机 辅 助 设 计 学 院(A1909)。CGF 32旋转HKS旋转LDGI旋转OSD旋转OURS旋转RoPS旋转SHOT旋转SI旋转OUR-LPS旋转CGF 32旋转HKS旋转LDGI旋转OSD旋转OURS旋转RoPS旋转SHOT旋转SI旋转OUR-LPS旋转CGF 32比例HKS比例LDGI比例OSD比例OURS比例RoPS比例SHOT比例SI比例OUR-LPS量表CGF 32比例HKS比例LDGI比例OSD比例OURS比例RoPS比例SHOT比例SI比例OUR-LPS量表%正确对应命中率命中率命中率%正确对应%正确对应6240引用[1] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。景 观 : 人 的 形 体 完 成 与 动 画 ACM Trans.( Proc.SIGGRAPH),24(3):408 -416,2005。[2] 马蒂厄·奥布里,乌尔里希·施利克韦,丹尼尔·克雷默-S. wave 内 核 签 名 : 形 状 分 析 的 量 子 力 学 方 法 。IEEEInternationalConferenceonComputerVisionWorkshops ( ICCV Workshops ) , 第 1626-1633 页 。IEEE,2011年。[3] Federica Bogo , Javier Romero , Matthew Loper , andMichael J Black. Faust:3D网格配准的数据集和评估。在IEEE计算机视觉和模式识别(CVPR)中,第3794-3801页[4] 放 大 图 片 作 者 : David Boscaini , Jonathan Masci ,SimoneMelzi , MichaelM.Bronstein , UmbertoCastellani,Pierre Vandergheynst.使用局部谱卷积网络学习可变形形状的类特定描述符。Computer GraphicsForum,34(5):13[5] Da videBoscaini , JonathanMasci , EmanueleRodola` ,andMichael Bronstein.用各向异性卷积神经网络学习形状对应关系。神经信息处理系统进展,第3189-3197页,2016年。[6] 见博斯卡尼乔纳森·马西EmanueleRodola`,Michael MBronstein,and Daniel Cremers.各向异性微分描述子。Computer Graphics Forum,35(2):431[7] Alexander M Bronstein , Michael M Bronstein 和 RonKimmel 。非刚性形状的数值几何。Springer ScienceBusiness Media,2008.[8] 迈克尔·M·布朗斯坦、琼·布鲁纳、扬·勒昆、阿瑟·S·兹拉姆和皮埃尔·范德海斯特。几何深度学习:超越了欧几 里 得 数 据 。 IEEE Signal Processing Magazine , 34(4):18[9] Michael M Bronstein和Iasonas Kokkinos。用于非刚性形状识别的尺度不变热核特征。在IEEE计算机视觉和模式识别(CVPR)中,第1704-1711页。IEEE,2010。[10] Marion Dunyach,David Vanderhaeghe,Loıc Barthe和Mario Botsch。实时网格变形的自适应网格重划。在欧洲图形。欧洲制图协会,2013年。[11] AndreaFrome ,DanielHuber,Ra viKolluri,ThomasBu?low和Jitendra Malik。使用区域点描述符识别距离数据中的对象。欧洲计算机视觉会议(ECCV),第224-237页。Springer,2004.[12] Xianfeng Gu,Steven J Gortler,and Hugues Hoppe. 地理-试试图像。ACM Trans. on Graphics,21(3):355[13] Yulan Guo,Mohammed Bennamoun,Ferdous Sohel,Min Lu,Jianwei Wan,and Ngai Ming Kwok.三维局部特征描述符之综合效能评估。Int. Journal of ComputerVision,116(1):66[14] Yulan Guo,Ferdous Sohel,Mohammed Bennamoun,Min Lu,and Jianwei Wan.用于三维局部表面描述和物体 识 别 的 旋 转 投 影 统 计 。 Int. Journal of ComputerVision,105(1):63 -86,2013。[15] 胡佳西和景华。用于形状匹配和检索的显著光谱几何特征。The Visual Computer,25(5- 7):667[16] 黄 海 滨 , Evangelos Kalogerakis , Siddhartha Chaud-huri,Duygu Ceylan,Vladimir G Kim和Ersin Yumer。从多视图卷积网络的部分对应中学习局部形状描述符。ACM Trans. on Graphics,37(1):6,2018.[17] A. E. Johnson和M.赫伯特在杂乱的3d场景中使用自旋图像 进 行 IEEE Trans. on Pattern Analysis and MachineIntelligence,21(5):433[18] Marc Khoury,Qian-Yi Zhou,以及Vladlen Koltun。学习紧凑的几何特征。在IEEE计算机视觉和模式识别(CVPR),第153-61页[19] 弗拉基米尔·G金,亚龙·李普曼,托马斯·丰库.混合内部贴图。ACM Trans. on Graphics,30(4):79:1[20] Richard B Lehoucq,Danny C Sorensen和Chao Yang。ARPACK用户指南:用隐式重新启动Arnoldi方法求解大规模特征值问题,第6卷。SIAM,1998年。[21] Isaak Lim,Alexander Dielen,Marcel Campen,and LeifKobbelt.非结构化三维网格上内在对应学习的一种简单方法。在欧洲计算机视觉研讨会(ECCV研讨会)上,第349
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- WebLogic集群配置与管理实战指南
- AIX5.3上安装Weblogic 9.2详细步骤
- 面向对象编程模拟试题详解与解析
- Flex+FMS2.0中文教程:开发流媒体应用的实践指南
- PID调节深入解析:从入门到精通
- 数字水印技术:保护版权的新防线
- 8位数码管显示24小时制数字电子钟程序设计
- Mhdd免费版详细使用教程:硬盘检测与坏道屏蔽
- 操作系统期末复习指南:进程、线程与系统调用详解
- Cognos8性能优化指南:软件参数与报表设计调优
- Cognos8开发入门:从Transformer到ReportStudio
- Cisco 6509交换机配置全面指南
- C#入门:XML基础教程与实例解析
- Matlab振动分析详解:从单自由度到6自由度模型
- Eclipse JDT中的ASTParser详解与核心类介绍
- Java程序员必备资源网站大全
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功