没有合适的资源?快使用搜索试试~ 我知道了~
表面卷积:一种用于处理基于简单观察的向量场的新算子及其在表面上的应用
10001表面CNNThomas W. 约翰霍普金斯大学tmitchel@jhu.edu弗拉基米尔·GKimAdobeResearchvokim@adobe.com约翰霍普金斯大学misha@cs.jhu.edu摘要我们提出了一种新的表面卷积算子作用于基于简单观察的向量场:代替相对于在给定点处定义的单个坐标参数化来组合相邻特征,我们使每个邻居描述该点在其自身坐标框架内的位置。该公式将固有空间卷积与散射操作中的并行传输相结合,同时不对滤波器本身施加约束,提供了与等距的作用互换的卷积的定义,具有增加的描述潜力,并且对噪声和其他干扰因素具有鲁棒性其结果是一个丰富的卷积概念,我们称之为场卷积,非常适合表面上的CNN场卷积是灵活的,直接并入表面学习框架,并且其高度区分的性质在整个学习管道中具有级联效应。使用简单的网络构建的残差场卷积块,我们实现了国家的最先进的结果,在基本的几何处理任务,如形状分类,分割,对应和稀疏匹配的标准基准。1. 介绍成像、视觉和图形中深度学习的出现与基于卷积神经网络(CNN)的用于分析和处理曲面的众多技术的发展相一致。在表面上复制CNN的成功的挑战是,经典的概念卷积和相关的欧氏空间不能简单地转置到弯曲域。与图像不同,表面上的点没有规范的方向,没有它,信息的空间传播的基本简单操作,如移动点积,不能以可重复的方式计算。几何深度学习是一个年轻的领域,许多成功的方法可以大致归类为两种新兴的范式,其特征在于卷积的特定方法:扩散传播和等效年p年q1年Q2年q3p年q1年Q2通过聚集的表面卷积通过散射的表面卷积图1.现有方法将基于分块的卷积运算符定义为聚集运算(左),其对局部坐标系中的噪声或中断敏感。场卷积是一种散射操作,并且在扰动下是鲁棒的,因为它不依赖于单个坐标系来聚合特征。变异传播扩散方法将卷积运算与热扩散紧密交织在一起,其中使用由各向异性热核或高斯表示的滤波器来传播标量特征[35,6,5,39,31,47]。相比之下,等变卷积分布用局部坐标系变换的向量或张量特征[41,55,46,7,9,61,62]。重要的是,几乎所有现有技术的方法都对描述性进行了过滤,以定义不依赖于局部坐标系的选择的卷积概念。高斯滤波器可以促进谱域中的有效评估,但是单独地是无差别的。对各向异性滤波的扩展通过扩展可以使用的滤波器的类别来减轻这些限制。然而,这需要在表面上定义一个帧字段等变的方法有可能提供表达的卷积概念的表面上,由于编码的几何信息中的切向量特征的运输。然而,响应的等方差几乎普遍通过对滤波器本身施加约束来实现[41,42,8,9,25,61],限制了描述性并需要复杂的架构来支持内核之间的代数关系。此外,这些机制将空间传播表述为收集操作,类似于欧几里得域上的相关性;特征基于其相对于在单个点处定义的坐标系的位置进行加权(图1,左)。10002使得它们对局部参数化中的不一致或中断敏感。本文提出了一种新的作用于向量场的卷积算子我们的方法使用一个简单的观察来定义点p处的卷积值:不是通过相对于在p处定义的坐标系参数化每个邻居qi来组合相邻特征,而是每个邻居qi在其自己的坐标系内参数化p(图1,右)。该公式将内在空间加权与并行传输相结合,同时不对滤波器本身进行约束,提供了卷积的定义,该定义与isome- tries的作用交换,此外,作为散射操作,它对噪声和其他干扰因素不太敏感,因为它不依赖于关于每个点的单个坐标系来聚合特征。其结果是一个丰富的卷积概念,我们称之为场卷积(FC),非常适合表面上的CNN。场卷积是灵活和直接的,可以并入表面学习框架。它们的高度区分性在整个学习管道中具有级联效应,使我们能够在包括形状分类、分割、对应和稀疏匹配在内的应用程序中的标准基准上获得最先进的结果。所有代码和评估都可在github.com/twmitchel/FieldConv上公开获得。2. 相关工作几何深度学习领域自五年前成立以来已经取得了长足的发展。在这里,我们只回顾与我们最密切相关的技术-那些专门为3D形状分析而设计的技术。一般来说,这些方法存在于外在和内在技术之间的频谱上,前者使用3D中的表面嵌入来执行信号处理,而后者仅使用黎曼结构。基于点的方法提供了一个纯粹的外在框架,通过点云表示将深度学习应用于3D形状。这些方法中的大多数可以追溯到他们的血统有影响力的点-Net [43]和PointNet++架构[44]以及最近的方法,如DGCNN [60],PCNN [3],KPCNN [54],TFN [55],QEC [64]和SPHNet [42],都试图解释。倾向于通过将连接信息,动态过滤器参数化,和刚性变换等方差的框架。卷积通常通过在局部3D邻域上应用径向各向同性滤波器并利用最大值或求和运算来聚合结果来表示。这种方法提供了一个简单的基础非常灵活和噪声鲁棒的网络,虽然在描述性的潜力为代价。更一般地,这些方法往往在存在非刚性等距变形的情况下挣扎,使得它们在非刚性等距变形中不太有效。类似可变形形状匹配的场景[11,19,47]。表征方法介于外在技术和内在技术之间。这些方法利用数据特别地,使用相对于显式图结构定义的滤波器执行卷积,作为边缘或顶点上的函数,通常仅具有直接的局部支持,例如周围的一个环或半边。一个特别值得注意的例子是MeshCNN [23],它特别利用了表面作为三角形网格的无处不在的表示来构建传播基于边缘的特征的相似性不变卷积算子。虽然与基于点的方法相比,这使得基于图的卷积能够更好地处理非刚性变形,但它也使它们对连接性的变化敏感。定义固有卷积的一种方法是在一个简单的域上参数化表面,例如球面[22],环面[34]或平面[50],其中可以应用标准CNN。然而,这样的参数化依赖于属,并经常表现出显着的失真。第二类方法是定义黎曼流形上的内卷积,并且通常可以根据两种新兴范式进行分类:扩散卷积和等变卷积。在前者中,卷积运算与表面上的热扩散密切相关,其中热(例如,高斯)核用于传播标量特征。虽然早期的扩散方法包括GCNN [35],ADD [5],ACNN[6]和MoNet [39]在局部补丁上执行卷积,但最近的最先进的网络ACSCNN [31]和DiffusionNet [32]在局部补丁上执行卷积。[47]表示频谱域中的卷积。尽管它们在各种情况下取得了成功,最显著的是在密集形状对应[19,11,31,47]中,但这些方法面临着一个棘手的问题:径向对称滤波器是单独无差别的,并且扩散框架不自然地适合于处理由使用更多描述性的各向异性核所引入的方向模糊性问题。为了进行补偿,这些方法除了采用各种脆弱的策略(例如沿着主曲率方向对齐内核[6,39])之外,还使用切向量特征[47]上的基本方向感知操作来补充卷积,或者通过汇集方向采样或通过指定最大激活方向[35,31]来丢弃信息。最近,已经为等变表面卷积引入了几种技术,例如MDGCNN [41],GCN [7,9]和HSN [61]。与扩散方法相比,等变卷积被专门设计使卷积独立于10003∈≡||∈--∈∈NΣ∈.Σ∥∥∥∥Σ。ΣΣΣ局部坐标系的选择,大多数现有的方法强烈地限制了可以使用的滤波器的类别[41,42,8,9,25,61]。PFCNN是一个例外[62]其还通过在多个内核方向上进行池化来丢弃信息。通常,这些参数化的限制性很强,以至于需要复杂的网络架构才能有效:即使是最先进的HSN[61]被公式化为具有各种池化操作的多流U-Net。此外,在从径向各向同性到各向异性滤波器的移动中,现有的等变机制普遍地将空间传播公式化为聚集操作,其中局部表面中的所有特征基于它们在单个坐标系中的位置而被虽然这种方法可能看起来很自然,因为它类似于欧几里德域上的相关性,但特征3. 方法概述场卷积与称为扩展卷积的操作密切相关,扩展卷积允许滤波器在欧几里德域或流形上移动时进行自适应变换[37]。在后一种情况下,它形成了最近提出的ECHO描述符[38]的基础,该描述符已被证明在整体描述性和对各种干扰因素的鲁棒性方面显著优于SHOT[56]和其他手工制作的描述符特别地,场卷积将表面上的扩展卷积与并行传输相结合,从而导致仅依赖于黎曼度量的向量场之间的映射。给定特征向量场X和滤波器f,场卷积的构造是直接的。对于场通道作为输入,将它们映射到标量ECHO描述符,然后通过MLP馈送以进行预测,基本上将问题转换为网络的最后一层中的图像分类之一4. 场卷积遵循Knoppel等人的方法。 [28]中,我们将切向量表示为复数。给定一个曲面M,在任意点p M,我们可以给切空间Tp M指定一个正交基e1,e2p。则T p M可以与C相关联,使得对于任何vTp M,我们有其中r=v,θ是v和e1之间的角度。设Γ(TM)是M上的向量场空间,我们将向量场X∈Γ(TM)在点p∈M上的赋值表示为X(p)≡ρpeip。(一)类似地,对于两个点p,q M,我们表示p关于q的对数,给出p在T q M中的“位置”,如下所示logqp≡rqpeiθqp。(二)我们用φpq表示沿从q到p的最短测地线的平行输运Ppq:TqM→TpM 所 引 起 的 角 度 变 化 , 使 得 对 于 任 何v∈TqM,Ppq(v)≡eiφpqv。(三)本文考虑复平面上平方可积函数空间中的滤子,定义了向量场X∈Γ(TM)与滤子的场卷积f∈L2(C)是Γ(TM)中的向量场,其中向前:在表面上的每个点p,周围邻域q,p中的X的值相对于由X(q)确定的帧中的p的位置被加权,被传输到p,并且被聚集。这种方法是不可知的. X*fΣ(p)=∫Mρq ei(q +φpq)f.rqpei(θqp−q)dq.(四)并且是鲁棒的,因为相对于多个坐标系的权重的分配使得其自然地对噪声和其它有害因素不敏感。最重要的是,过滤器上没有任何限制。场卷积有助于构建高度区分但简单的网络,而不需要池化,规范化或专门的架构。应用中的主要模块是场卷积ResNet(FCResNet)块,由两个连续的场卷积组 成 , 输 入 层 和 输 出 层 之 间 具 有 残 差 连 接 [24] 。FCResNet块是自包含的和灵活的,并且可以容易地并入等距不变表面学习机制中。此外,我们利用场卷积和最近提出的最先进的ECHO表面描述符之间的连接[38]构建一个新的最终层,专门用于标记具有等距不变表面网络的任务,我们称之为ECHO块。这个街区需要vec-第一项是切向量X(q)到Tp M,第二项是在logqp的坐标处的滤波器的评估,相对于框架X(q)/X(q),X(q)/X(q)表 示. 1在实践中,我们使用的过滤器在半径为ε,并将积分域限制在关于p的测地线ε-球上。最后,注意到等距保持面积,并与平行传输的作用和对数[16]相一致,因此如果Ψ:M→N是等距,则我们有dΨ X * f(p)=[dΨ(X)* f] Ψ(p)。(五)或者换句话说,场卷积与等距的作用可交换这一主张的详细证据可参见补充资料A。10004[1]虽然当ρ q = 0时坐标系是未定义的,但当滤波器的值乘以被积函数中的ρq时,积分仍然是定义良好的。10005N∈∈ N∈||不超过.ΣΣ∈∈∈ {⌊ ⌋ ⌈ ⌉}∈联系我们∈×个∈ ∈ N∈∈XX*fCX*f+C图2. FCResNet块。这里,C表示等式(8)中的复数ReLU。离散化在实践中,我们通过顶点为V的三角形网格来离散曲面M。对于每一个p V,我们将属于关于p的测地线ε-球的顶点集合pV联系起来。 在每个点处,实值滤波器fL2(C)在logp(p)C上被支持,并且被参数化为具有带限B的角频率的和。也就是说,对于任何z=re iθC与R则f在z处的求值表示为B由两个域卷积组成,每个域卷积后面是输入和输出流之间的非线性和残差连接(图2)。它们是完全独立的,并且将向量场特征映射到向量场特征,而不依赖于任何支持或互补卷积运算,这些卷积运算是其他等变方法中的常见固定装置[41,61]。因此,它们表示可以容易地在等距不变学习流水线中采用的灵活且描述性的层。ECHO块这项工作的第二个贡献是用于标签预测任务的ECHO块的概念,它利用了向量场和最近提出的ECHO表面描述符之间的连接[38]。给定标量信号和帧场,ECHO描述符提供了信号的固有的、等距不变的表征。f(z)=mΣ=−Bfm(r)·eimθ(6)关于滤波器的特征点的局部表面最大化对扩展卷积的响应。这个过滤器是其中f m(r)∈C是f的第m个傅里叶系数,受限于半径r,并且f−m(r)=f m(r),因为f是实值的。我们使用线性插值对函数f m(r)进行离散化,设置fm(r)=r(r)fm,其中r(r)RN是线性插值权重的向量(仅当irN/ε,rN/ε时,ri(r)为0),并且fmCN是向量离散半径处的傅立叶系数。然后,设w pR>0表示与顶点p V相关联的面积权重,在每个顶点处选择任意边来定义框架,并且设XC|V|是一个离散向量场,在顶点p ∈ V上的场卷积X * f的计算公式如下:X * f(p)=wq ρq ei(q +φpq)fm(rqp)eim(θqp−q)。q∈Np|M| ≤ B(七)对应于每个p的重量、角的输运变化、测地距离和对数的wq、φ pq、rqp和θ qp的值V和qP可以被预先计算以加速训练。类似于[61],我们应用旋转偏移ei β|M|以提供额外的学习自由度。5. 基于场卷积的场卷积是这项工作的主要贡献,因为它们为表面上的信息的空间传播提供了一个强大的和描述性的框架。本节的目标是介绍将场卷积合并到等距不变表面学习范例中的基本FCResNet块表面CNN框架中场卷积的原子单元是FCResNet块,它通过使特征点的相邻点从相邻帧看,由该点处的信号值加权的“投票”向量场可以用于计算每个点P,M处的ECHO描述符,使用每个向量的幅度和方向来定义P处的信号和变换场的值。ECHO块背后的思想是将特征向量场转换为逐点描述符,将向量场分类的任务转变为网络最后一层的图像分类任务之一这些模块包括两个步骤:1)场卷积层用于将输入特征通道映射到D个输出特征通道(其中D是描述符的期望数量)。然后,这些被用于逐点计算ECHO描述符,导致每个通道的H等距不变标量特征,其中H是用于表示ECHO描述符的样本的数量。2)D H值被线性化并被馈送到三层MLP。像场卷积一样,ECHO描述符的计算仅依赖于对数映射、并行传输和与每个顶点相关联的积分权重。不需要额外的预处理线性和非线性由于我们将正切向量特征表示为复数,因此我们以与实值特征相同的方式以乘以复矩阵的形式应用线性。然而,我们的线性不包括平移偏移量,以保持与等距作用的交换性。出于类似的原因,非线性仅应用于特征的径向分量,如[61]中所做的那样。即,给定特征向量场XC|V|我们应用具有学习偏移b的逐点ReLU,使得ReLU b. X(p)Σ = ReLU(ρ p+ b)eip。(八)10006∈{ }× N∈NFCNet:一个用于向量场的通用表面CNN在我们的实验中,我们使用了一个简单的,可推广的架构,我们称之为FCNet,它只是一系列FCResNet块。对于标记任务,我们将ECHO块附加到网络的末尾以进行预测。对于由三个或更多层组成的FCNet,我们在每两个FCResNet块之后添加额外的剩余连接,因为我们发现这显著加速了训练。在所有实验中,我们将点的原始3D位置作为输入并使用一个可学习的类似梯度的操作(补充B),将它们映射到向量场,然后将其馈送到网络。我们还可以使用固有的热核签名[51]作为输入,从而获得完全等距不变的管道。然而,如Sharpet al. [47],3D坐标在实践中工作良好,并且更容易计算。尽管这种基本的建设,我们表明,FC-网实现国家的最先进的结果,在各种基本的几何处理任务。6. 评价我们在对应于几何处理中的基本任务的四个基准上将我们的方法与领先的表面学习范例进行比较:分类、分割、对应和特征匹配。6.1. 执行我们的框架是使用PyTorch Geomet- ric [15]实现的。我们在所有实验中使用了第5节中讨论的相同的简单FCNet架构,根据任务复杂度改变FCResNet块的数量。对于大型数据集上的标签预测任务,我们将ECHO块附加到网络的末尾以进行预测。否则,我们使用输出特征向量的幅度作为输入,我们采用3D坐标,其被提升到初始梯度层中的16个切向量特征,随后是FCResNet流中的32或48我们使用ADAM优化器[27]以初始学习率为0的交叉熵损失。01,批量为1。我们随机旋转所有输入,以确保在形状的空间嵌入中没有我们的预处理机制与[61]相似,省略了支持其多尺度和池化操作所必需的操作。所有形状都被归一化为具有单位表面积,并且我们使用矢量热方法[49]来计算与每个顶点p V相对应的测地线ε-球pV,以及与每个边(p,q)相关联的对数和平行传输。pp. 面 积权重以标准的方式分配,使用顶点的单环面积的三分之一虽然我们在我们的实验中处理三角形网格的形状,我们注意到,夏普等人最近的工作。[48]这是一种高效的方法准确度FC(我方)99.2%[第47话]百分之九十八点九MeshWalker [29]97.1%HSN [61]百分之九十六点一MeshCNN [23]91.0%GWCNN [13]90.3%表1.SHREC'11数据集的分类准确性方法#特征准确度FC(我方)392.9%MeshWalker [29]NA92.7%MeshCNN [23]592.3%[第47话]1691.5%HSN [61]3百分之九十一点一SNGC [22]391.0%[第43话]3百分之九十点八表2.[34]的复合数据集上的分割精度计算的对数参数化和矢量运输的点云,我们的方法可以扩展到分析点云形状数据。6.2. 分类首先,我们使用具有两个FCResNet块的FCNet对SHREC '11数据集[ 32 ]中的网格进行分类过滤器支持半径为ε = 0的测地线邻域。2和参数化使用N=6径向样本与频带限制B=2。 由于对于小规模的任务,我们省略了最后一层中的ECHO块,而是在特征幅度上使用全局均值池来给出预测。与之前的作品[23,61,47]一样,我们对每个类的10个样本进行训练,并报告训练数据的三个随机采样的结果。我们的FCNet收敛速度很快,我们只训练了30个epoch结果示于表1中。由于数据集的广泛采用,我们只列出了实现90%或更高分类精度的方法的结果。我们简单的FCNet达到了最高的准确率,达到了100%的分类率的训练数据的三个随机采样的两个与HSN和DiffusionNet一样,他们也报告了高分类精度,与其他网络相比,我们的FCNet使用的参数相对较少,并且对网格连接和等距变形都不可知-我们的FCNet的卓越10007图3.我们将在分割任务中FCNet的ECHO块中计算的描述符可视化。左:来自复合数据集[34]的测试分裂的模型,由地面真实标签进行颜色编码。右:使用t-SNE的描述符的2D投影[57]。6.3. 分割接下来,我们使用[34]提出的数据集将我们的场卷积框架应用于人体分割的任务,该数据集由各种人体形状数据集[1,2,17,59,4]的组合在人类受试者,采集方法和连接性方面的模型集合的不同性质用于测试对各种滋扰因素的描述性和鲁棒性。我们使用具有四个连续FCResNet块(N=6,B=2,ε=0)的FCNet。2)之后是ECHO块,其被训练为预测网格上的每个点的身体部位注释。ECHO块计算D=32个描述符,其中H=33个样本(对应于每个测地半径三个样本),总共1056个标量特征通道。三层MLP首先将这些特征映射到256个通道,然后映射到124个通道,最后映射到期望数量的输出通道。由于每个模型的顶点数量很大,我们使用最远点采样将每个网格下采样到1024个顶点,[23,61]也使用了这种方法。我们的网络收敛速度很快,我们只训练了15个epoch,标签平滑正则化[53]因子为0。二、所有测试形状中正确分类的顶点的百分比形式的结果示于表2中。与分类实验中一样,我们只列出了在数据集上实现90%或更高分割精度的方法的结果再次,我们的基础网络实现了最先进的结果,以最少的输入特征数量胜过所有其他方法。相对于采用表面卷积的其他技术(如HSN [61]和DiffusionNet [47]方法),场卷积的改善尤其明显为了理解我们的网络所学习的特征,我们使用t-SNE[57,40]来可视化在图4.重新网格化的FAUST数据集[11]中模型上相应点的FCNet特征使用HSV比例绘制特征1007550250.05.1.15标准化测地线误差图5.使用场卷积(FC)、HSN和ACSCNN在重新网格化的FAUST数据集上针对给定测地误差的对应百分比测试数据集中所有模型的ECHO块,使用地面实况标签进行颜色编码(图3)。我们观察到一个独特的点的聚类,不仅对应于类似的标记区域,但也反映了网格上相邻区域之间的连通性。这表明我们的FCNet能够学习形状之间的内在相似性的至少一些度量,尽管以外在3D坐标作为输入开始6.4. 对应在这里,我们使用FCNet来查找相似形状之间的逐点在过去的五年中,FAUST数据集[4]已经成为评估通信任务中网络性能的事实上的标准,并且许多最近的方法已经在数据集上实现了近乎完美的准确性[14,9,31]。然而,数据集中的形状共享相同的连接性,并且存在一些问题,即这些方法是否主要学习了网格图结构,而不是形状本身的变形不变特征[47]。到FCHSNACSCNN对应性%10008.50.375.25.1250FCHSNACSCNN0.25.50.75 1召回图6. SHREC 2019等距和非等距形状对应数据集[12]以平均精确度-召回率曲线的形式。在这一点上,我们对数据集[11]的完全重新网格化版本执行评估,这是一个更好地代表现实世界应用的更具挑战性的任务。与之前的工作一样,我们在数据集中100个模型中的前80个模型上进行训练,并使用剩余的模型进行测试。我们训练FCNet来预测模板形状上的对应顶点 由于此任务所需的精度,我们使用了更深的网络,由八个FCResNet块(N=3,B=1,ε=0)组成。05)之后是具有124- 64 - 32 MLP的ECHO块(D=12,H=13)为了进行预测,我们在ECHO块之后添加两个线性层,首先将32个特征取为256个通道,然后取为模板形状上的顶点数,其中p=0。5之间的脱落层。在密集最终层之前的瓶颈处,我们的FCNet中的32个通道特征中的一些的可视化如图4所示。先前的方法通常使用高维SHOT [56]描述符作为该任务的输入,由于场卷积框架的表达性,我们认为这是不必要因此,我们使用原始3D坐标输入训练HSN和AC-SCNN [31]以进行比较- 两种最近的方法,它们在类似的分类任务中报告了最先进的结果。结果如图5所示,给出了作为归一化测地误差的函数的总对应性的百分比。我们的FCNet实现了最好的性能,其次是ACSCNN。最近的基于频谱的网络,ACSCNN和DiffusionNet[47],在对应相关的任务中显著优于可比的等变网络。这可能有两个原因:1)与在等变网络中使用的基于局部补丁的卷积算子相比,基于谱的卷积在拉普拉斯-贝尔特拉米基中被公式化,从而提供对逐点噪声或局部噪声不太敏感的形状的固有全局特性。图7.特征空间距离:对于右侧模型中的每个特征,我们按照特征距离对左侧模型中的特征进行排序然后将顶点从灰色着色为红色,显示在遇到相应特征之前必须遍历秩有序列表的深度标签错误; 2)通过在低频本征函数的基础上工作来基本上限制卷积的能力允许基于频谱的网络容易地缩放到高分辨率,而等变网络必须减少滤波器支持和参数的数量以处理相同的网格。这使得我们的FCNet的性能特别显着,因为它表明该网络能够克服密集对应任务中等变框架的相对限制,特别是由于场卷积作为散射操作的–6.5. 特征匹配最后,我们训练FCNet来计算来自SHREC 2019 Iso-metric和Non-Isometric Shape Correspondence数据集[12]的形状的逐点表面特征描述符。该数据集由50个网格构建从3D扫描的一个夹克人形雕像和一个裸露的和戴手套的铰接木手与76个预定义的网格对。我们认为这个数据集是非常具有挑战性的显着非等距变形和拓扑变化对之间;当真实世界扫描时,网格还包含噪声、变化的三角剖分、被遮挡的几何形状和各种其它干扰源。为了确保训练数据和测试数据中网格的均匀分布,我们根据扫描源(人形、手部和手套)精度10009手),并在每个类别中随机选择20%的配对我们在每对网格中的两个网格上随机采样2048个点,并使用地面实况对应来分配对应和非对应点。我们使用孪生网络在每个点学习紧凑的16维描述符[33,35,52],其中一对中的每个网格由相同的网络处理,并且孪生损失函数最小化,加权对应和非对应点之间的描述符距离。我们使用精确度-召回率曲线来评估测试对的性能,因为它们已被证明可以很好地表征特征描述性[26,36],并且是表面特征描述符文献[56,45,21,20,38]中的标准度量。我们的实验方案的详细解释可以在补充的C节中找到。我们训练由八个FCResNet块(N=6,B=1,ε=0)组成的FCNet。1)在下采样的2048个顶点网格对上,使用输出特征的幅度作为逐点描述符。HSN和ACSCNN分别在下采样和全分辨率网格上进行训练。我们报告了测试-训练分割的三次随机采样的平均结果(图6);为了确保公平的比较,我们使用所有方法的相同对应集计算所有测试对的平均精确度-召回率曲线。我们的FCNet实现了最佳性能的显着保证金,其次是HSN。这种差异很可能是由场卷积的描述性增加及其作为散射操作的鲁棒公式来解释的,与HSN使用的基于聚集的卷积操作相比,场卷积及其作为散射操作的鲁棒公式使得场卷积能够更好地表征平坦的无特征区域(图7,手掌)并且对表面的高频扰动不敏感(图7,小雕像夹克中的褶皱)。约束过滤器。我们认为,AC-SCNN相对于其他方法表现不佳,因为依赖于Laplace-Beltrami算子的(全局)谱分解的ACSCNN等方法虽然仍然没有提供出色的性能,但像FCNet和HSN这样的方法,使用具有本地支持的过滤器,往往更健壮。6.6. 性能场卷积是最有效的等效卷积运算之一,每个卷积运算需要很少的参数在RTX 2080 GPU和3. 8GHz CPU,我们最深的FCNet在密集对应任务中的全分辨率网格上以大约3分钟/历元的速度进行训练。场卷积每个卷积使用与HSN [61]相似数量的参数,并且占用内存的一半。HSN偏移对应于每个流和它们之间的连接,导致每个卷积的(N+1)S2个总参数,其中N是径向样本的数量,S是流的数量。类似地,我们学习每个非负频率的复杂径向轮廓和旋转偏移,直到带限频率的数量,每个卷积具有N(2B+1)+B+1个总参数。在分类和分割实验中,HSN报告使用N=6个径向样本和M=2个流的结果,导致每次卷积的总参数为28个。在相同的实验中,我们的FCNet实现了最先进的性能,每个卷积有33个总参数,因为我们使用带限B = 2的滤波器和相同数量的径向箱。然而,HSN存储两个流的特征,从而将空间复杂度增加两倍。更一般地说,我们看到我们使用复合数据集[34]进行分割任务的最先进结果特别值得注意的是,其他表现最好的方法,包括MeshCNN [23]和HSN,尽管涉及的标签数量很少(八个类),但使用其网络的最深版本来执行此任务我们的FCNet以更浅的架构超越了这些网络,并且仅在密集的对应和特征匹配任务中这表明,与大多数网络不同,FCNet(或其他基于场卷积的网络)实现良好性能所需的深度并不强烈依赖于数据集的大小,并且主要随任务复杂性而扩展。7. 结论我们提出了一种新的定义,表面卷积作用于向量场,结合不变的空间加权与平行运输的功能,在散射操作和灰,同时不对过滤器本身的约束。该公式是高度描述性的,对各种干扰因素不敏感,并且易于实现;有了它,我们构建了简单的网络,在基本的几何处理任务中实现了最先进的结果。虽然我们的方法的复杂性与现有的等变方法相当,但它具有与滤波器支持相同的更一般地,现有的成功的表面学习框架(包括我们的)被设计成仅处理等距或接近等距的形状变形,并且在存在真实形状数据中发现的各种复杂变形、几何遮挡和拓扑变化的在未来,我们计划扩展我们的框架,以处理更具挑战性的变形类,从共形自同构的不变性开始。10010引用[1] AdobeAdobemixamo3Dcharacters , 2016.www.mixamo.com. 六个[2] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Sebastian Thrun、Jim Rodgers和James Davis。Scape : 人 物 的 形 状 完 成 和 动 画 。 Transactions onGraphics,24(3):408-416,2005. 六个[3] Matan Atzmon,Haggai Maron,and Yaron Lipman.基于扩 展 算 子 的 点 卷 积 神 经 网 络 arXiv 预 印 本 arXiv :1803.10091,2018。二个[4] Federica Bogo , Javier Romero , Matthew Loper , andMichael J.黑色. FAUST:3D网格配准的数据集和评估。计算机视觉与模式识别。IEEE,2014。六个[5] Da videBoscaini , JonathanMasci , EmanueleRodola` ,andMichael Bronstein.用各向异性卷积神经网络学习形状对应关系。神经信息处理系统进展,第3189-3197页,2016年。一、二[6] 见博斯卡尼乔纳森·马西EmanueleRodola`,Michael MBronstein,and Daniel Cremers.各向异性扩散描述符。在 Computer Graphics Forum , 第 35 卷 , 第 431-441 页中。Wiley Online Library,2016. 一、二[7] Taco Cohen,Maurice Weiler,Berkay Kicanaoglu,andMax Welling.规范等变卷积网络和二十面体CNN。机器学习国际会议,第1321-1330页。PMLR,2019年。一、二[8] Taco Cohen,Maurice Weiler,Berkay Kicanaoglu,andMax Welling.规范等变卷积网络和二十面体CNN。在机器学习国际会议上,第97卷,第1321-1330页,2019年。一、二、三[9] Pim de Haan , Maurice Weiler , Taco Cohen 和 MaxWelling。Gauge等变网格CNN:几何图上的各向异性卷积。arXiv预印本arXiv:2003.05425,2020。一、二、三、六[10] 我 的 朋 友 德 夫 费 拉 尔 , XavierBresson 和PierreVandergheynst。具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统进展,第3844-3852页,2016年二个[11] Nicolas Donati Abhishek Sharma和Maks Ovsjanikov深度几何功能图:形状对应的鲁棒特征学习。在计算机视觉和模式识别中,第8592-8601页,2020年。二六七[12] R. M.戴克角Stride,Y. K. Lai,P. L. Rosin,M. Aubry,A.Boyarski,A. M.布朗斯坦M. M. Bronstein,D. 克雷默斯M. Fisher,T. Groueix,D. Guo,V.G.金河,巴西-地Kimmel,Z. L ne rK. Li,O. Lita ny,T. Remez,E. 罗多尔湾C. 罗素Y. 萨 希 利 奥格 卢 河 Slossbe r g , G. K. L.Tam , M.Vestne r,Z. Wu和J.Yang.与等距和非等距变形的形状对应 。 在 SilviaBiasotti 、 GuillaumeLavoue ' 和RemcoVeltkamp的编辑中,Euro gr aphicsWork-shopon 3DObject Retrieval。欧洲图形协会,2019年。七个[13] 作者:Daniel Ezuz,Justin Solomon,Vladimir G.Kim和Mirela Ben-Chen。GWCNN:用于深度形状分析的度量对齐层。Computer Graphics Forum,36(5):49-57,2017. 五个10011[14] Matthias Fey,Jan Eric Lenssen,Frank Weichert,Hein-richMüller. SplineCNN:使用连续B样条内核的快速几何深度学习在计算机视觉和模式识别,第869-877页二、六[15] Matthias Fey和Jan E.伦森使用PyTorch Geometric进行快速图形表示学习在ICLR关于图形和流形表示学习研讨会,2019。五个[16] Jean H Gallier 和 Jocelyn Quaintance 。 微 分 几 何 和 李群:计算透视,第12卷。Springer Nature,2020. 三个[17] Daniela Giorgi Silvia Biasotti和Laura Paraboschi。2007年形状检索竞赛:防水模型跟踪。SHREC竞争,8(7),2007。六个[18] Shunwang Gong, Lei Chen ,Michael Bronstein , andStefanos Zafeiriou.Spiralnet ++:一种快速高效的网格卷积算子。在计算机视觉和模式识别研讨会,2019年。二个[19] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。3d编码:通过深度变形的3d对应。欧洲计算机视觉会议。,第230-246页,2018。二个[20] Yulan Guo,Mohammed Bennamoun,Ferdous Sohel,Min Lu,Jianwei Wan,and Ngai Ming Kwok. 3D局部特征描述符的综合性能评估。国际计算机视觉杂志,116:66-89,2016。8[21] Yulan Guo,Ferdous Sohel,Mohammed Bennamoun,Min Lu,and Jianwei Wan.用于3D局部表面描述和对象识别的旋转投影统计。国际计算机视觉杂志,105:63-86,2013。八个[22] [和合]海音、宁录西各、希利本哈穆、哈该马龙、亚龙利普曼。通过一般覆盖的表面网络。在国际计算机视觉会议上,第632- 641页,2019年。二、五[23] Rana Hanocka、Amir Hertz、Noa Fish、Raja Giryes、Shachar Fleishman和Daniel Cohen-Or。MeshCNN:一个边缘网络。Transactions on Graphics,38(4):90,2019。二五六八[24] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在计算机视觉和模式识别中,第770-778页,2016年。三个[25] Wenchong He , Zhe Jiang , Chengming Zhang , andArpan Man Sainju. CurvaNet:Geometric Deep LearningBased on Directional Curvature for 3D Shape Analysis,第2214-2224页计算机协会,纽约,纽约,美国,2020年。第1、3条[26] Yan Ke和Rahul Sukthanka
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功