没有合适的资源?快使用搜索试试~ 我知道了~
图神经网络:图卷积运算符与径向基函数结合的新型架构及其应用
1图神经网络Shunwang Gong1张Mehdi Bahri1张Michael M.Stefanos Zafeiriou1,41伦敦帝国理工学院2Twitter3 USI Lugano4 FaceSoft.io{shunwang.gong16,m.bahri,m.bronstein,s.zafeiriou}@ imperial.ac.uk摘要图卷积运算符将深度学习的优势带到了以前被认为遥不可及的各种图和网格处理任务中。随着他们的持续成功,人们希望设计更强大的架构,通常是通过将现有的深度学习技术适应非欧几里德数据。在本文中,我们认为几何应该仍然是新兴的几何深度学习领域创新的主要驱动力。我们将图神经网络与广泛成功的计算机图形和数据近似模型联系起来:径向基函数(RBF)。我们推测,像RBF一样,图卷积层将受益于向强大的卷积内核添加简单函数我们引入仿射跳跃连接,一种新的构建块,通过将全连接层与任何图形卷积运算符相结合而形成。我们的实验证明了我们的技术的有效性,并表明改进的性能是比增加的参数数量的配备仿射跳跃连接的算子在我们评估的每一个任务上都明显优于其基本性能,即,形状重建、密集形状对应和图形分类。我们希望我们简单而有效的方法将作为一个坚实的基线,并有助于简化图神经网络的未来研究。1. 介绍图形式主义已经成为非欧几里德深度学习的通用语言,因为图为非常一般的交互系统提供了强大的抽象。与经典深度学习围绕卷积神经网络(CNN)及其通过利用局部相关性捕获网格上的模式并通过堆叠多个卷积层构建分层表示的能力 一样,图神经网络(GNN)的大部分工作都集中在图上卷积类局部算子的制定上。*作者贡献均等。+仿射分量固定RBF核(非线性残差)+的全连接学习内核:图卷积图1:本文在学习的图卷积内核和RBF插值之间进行的比较表明,使用加性仿射变换来增强图卷积运算符我们的仿射跳过连接提高了网络在计算机视觉和图形学中,将深度学习应用于3D形状的早期尝试是基于密集体素表示[42]或多个平面视图[48]。这些方法具有三个主要缺点,源于它们的外在性质:3D卷积滤波器的高计算成本,缺乏对刚性运动或非刚性变形的不变性,以及由于光栅化而导致的细节损失。表示3D形状的更有效的方法是将它们建模为表面(二维流形)。在计算机图形和几何处理中,一种流行的高效和精确的表面离散化类型是网格或单纯复形(参见,例如,[8,10,25,7,37,21,14]),其可以被认为是具有附加结构(面)的图几何深度学习[9]试图在考虑这些结构的网格上制定卷积的内在随着一系列有效的图和网格卷积运算器的出现,社区的注意力转向改进11415复多维信号11416我J2222j=11 1 11图形和网格处理,以匹配计算机视觉中使用的那些借鉴现有文献,可学习加权函数w。R. t. u,例如,高乌乌辛·克内尔斯w m(u)= exp−1(u−µm)T−1(u−µm) 学习-2K成功的技术,如剩余连接[22]和膨胀卷积[52]已经提出[38,39,51],平均值μm和协方差μm。卷积是其中一些对准确性有重大影响[29]。然而,我们认为,由于网格的特殊性及其非欧几里德性质,几何应该是基础x(k)=ΣMθmm=1Σj∈N(i)wm(uij)x(k−1)(一)几何深度学习的架构创新。其中x(k−1)和x(k)表示输入和输出特征我我在这项工作中,我们提供了一个新的视角,基于关联图的网格深度学习问题径向基函数(RBF)网络。受近似基本结果的启发,我们引入了图神经网络的几何原则连接,称为仿射跳跃连接,并受到薄板样条的启发。生成的块学习任何现有图卷积运算符和仿射函数的和,允许网络更有效地学习某些变换。通过大量的实验,我们发现在顶点i,θ是可学习滤波器的向量权重MoNet可以被视为高斯混合模型(GMM),也可以被视为图注意力(GAT)模型的更一般形式[45]。在样条卷积网络[18]中重新使用局部坐标,其表示平滑样条函数基础上另一种流行的基于注意力的算子是FeaStNet [46],它学习从顶点到滤波器权重的软映射,并已应用于判别模型[46]和生成模型[32]:我们的技术适用范围广,效果好。我们x(k)=b+1ΣMΣ qm(x(k−1),x(k−1))Wmx(k−1)验证仿射跳过连接提高形状i的性能重建、顶点分类和图形分类任务。在这样做的过程中,我们实现了一流的性能|N(i)|I jm=1j∈N(i)J(二)在所有三个基准上。我们还表明,性能的改善显着高于所提供的剩余连接,并验证连接提高表示能力超出了仅仅增加可训练参数。可视化仿射跳跃连接学习的内容进一步增强了我们的理论动机。符号在整个论文中,矩阵和向量是其中Wm是第m个可学习滤波器权重的矩阵filter,qm是学习到的邻居到滤波器权重的软分配,b是学习到的层的偏置1ChebNet [15]通过ex-使用切比雪夫多项式在图拉普拉斯算子的幂上扩展滤波器。在本文中,我们将n阶展开称为ChebNet-n.特别是一阶展开ChebNet-1读取用大写和粗体字母表示(例如,X和11(x)分别。I表示相容的单位矩阵X(k)=−D−2AD−2X(k−1)Θ1+X(k−1)Θ0(3)尺寸. X的第i列记为xi。了1 1实数的集合用R表示。图G=(V,E)由顶点V ={1,. - 是的- 是的 ,n}和边E <$V × V。图结构可以被编码在邻接矩阵A中,其中如果(i,j)∈ E,则aij = 1(在这种情况下,i和j被称为邻接t),否则aij = 0。广义相对矩阵D是具有元素dii= naij的对角矩阵。的顶点i的邻域,记为N(i)={j:(i,j)∈ E},是与i相邻的顶点集合。2. 相关工作图和网格卷积网格深度学习的第一项工作是将局部曲面片映射到预先计算的测地极坐标;卷积是通过将测地线片乘以可学习的滤波器来执行的[33,5]。这样的架构的主要优点是,它是内在的建设,使其不变性的等距网格变形,一个显着的优势时,处理可变形的形状。MoNet [35]广义其中L=−D−2AD−2,标准化对称图Laplacian,A是图邻接矩阵,D是度矩阵。在计算机图形应用中,ChebNet在网格重建和生成方面取得了一些成功[40]。然而,由于频谱滤波器系数是基相关的事实,频谱构造被限制到单个域。因此,我们不评估ChebNet在通信任务上的性能我们参考[28,16]来构建跨不同域的兼容正交基。图卷积网络(GCN)模型[27]通过考虑具有相关系数的一阶多项式,进一步简化了(3),得到:X(k)=L<$X(k−1)Θ,(4)其中L=D−AD−=I+D−AD−。 通过这种结构,GCN引入了自循环。GCN是也许最简单的图神经网络模型结合了逐点特征变换(右侧乘法通过Θ)和图形传播(左侧乘以Lθ)。使用局部伪坐标系的方法uij表示邻域N(i)和一族1。这里默认i ∈ N(i)。11417我出于这个原因,它通常是文献中流行的基线选择,但它从未成功应用于网格。最近,出现了基于简单一致的顶点邻域枚举的螺旋网[31]以螺旋顺序枚举顶点周围的邻居,并使用神经网络(MLP或LSTM)学习结果序列上的过滤器最近的SpiralNet++[20]机器学习和计算机视觉任务。在散乱数据插值的一般情况下,我们寻找一个函数f∈ {\displaystyle f ∈{\displaystyle f}},它的输出f∈ {\displaystyle f}(xi)在一组散乱数据点xi上,等于匹配观测值yi,即,则f(xi)=yi. 在存在噪声时,通常求解近似问题可能涉及正则化,即,Σ通过在具有相同拓扑的网格的数据集的常见情况下强制执行固定顺序以利用关于网格的先验信息来minFd(f∈(xi),yi)+λL(f∈),(6)我例如, [3、4、4.0]。SpiralNet++[20]运算符被写入其中,d测量模型f与目标的适当性x(k)=γ(k)||j∈S(i,M)(k−1)J其中γ(k)是MLP,||的其中,λ是正则化权重,并且L鼓励模型的一些特性为了那些不-串联,以及S(i,M)相邻的螺旋序列长度为i(即,核大小)M.最后,我们将最近提出的图同构网络(GIN)[50]与更新公式cussion,我们取d(x,y)=||x−y||.在计算机图形学中,表面重构和变形(例如,对于配准[13])可以被表述为插值问题。在本节中,我们绘制图con之间的连接,x(k)=γ(k)<$(1 +<$(k))· x(k−1)+<$x(k−1)。( 五)演化网络和插值的经典流行选择:径向基函数(RBF)。i i jj∈N(i)该 模 型 是 为 图 分 类 而 设 计 的 , 并 且 被 证 明 [50] 与Weisfeiler-Lehman图同构测试一样强大跳过连接和GNN高速公路网络[43,44]提供了具有数据依赖门控功能的快捷连接,这是第一个提供有效训练深度网络的方法的架构然而,高速公路网络并没有表现出改善的性能,由于事实上,在高速公路网络中的层作为非剩余功能时,门控捷径是“关闭”。与此同时,纯身份映射[22]使得非常深的神经网络的训练成为可能,并在许多具有挑战性的图像识别,定位和检测任务上实现了突破性的性能它们改善了梯度流并缓解了梯度消失问题。DenseNets [24]可以被视为[22]的泛化,并将所有层连接在一起。GNN中早期形式的跳过连接实际上早于深度学习爆炸,并且可以追溯到图神经网络(NN4G)模型[34],其中任何层的输入都是前一层的输出加上顶点特征的函数[49,第V.B节]。2在[29]中,作者提出了剩余连接和密集连接的直接图等价物,对其方法进行了广泛的研究,并显示了DGCNN架构[47]性能的重大改进。3. 标签:Radial Basis Interpolation本文的主要动机来自于数据插值领域。插值问题出现在许多[2]我们参考[29,2.1节]对后续方法的总结径向基函数RBF是以下形式的函数:x<$→ φ( ||x-ci|| ) , 与 ||. || a norm, and cisome pre-definedcenters. 通过构造,RBF的值仅取决于离中心的距离。虽然RBF函数在插值问题中,中心被选择为数据点(ci=xi),插值被定义为以每个xi为中心的径向基函数的加权和:ΣN(1)x = y(||x − xi||)的情况。(七)i=1插 值 假 设 相 等 , 因 此 问 题 归 结 为 求 解 线 性 系 统Φwi=bj ,其中Φj , i=φ(||xi−xj||)RBF核的 矩 阵(注意对角线是φ(0)φi)。核矩阵对由核测量的点之间的关系进行放松等式约束可能是必要的,在这种情况下,我们用额外的正则化在最小二乘意义上求解系统。我们将进一步发展这一点,介绍我们提出的仿射跳跃连接。RBF函数可以被看作是一种简单的单层神经网络,其RBF激活以每个点为中心(即,RBF网络[11,36])。与图神经网络的连接非常清楚:虽然RBF矩阵对关系进行编码并定义点周围的径向在网格的情况下,这种编码更加相关,因为距离的概念由周围空间(图是嵌入的)或直接在黎曼流形上提供。后者涉及具有测地距离的RBF [41]。X11418dx2在网格上使用的大多数GNN都属于消息传递框架[19]:x(k)=仿射可以证明[1]这等价于确保RBF权重位于多项式基的零空间中,也称为消失矩条件。然而,多项式出现有机时,RBF我γ(k).x(k−1),Qφ(k).Σ Σx(k−1),x(k−1),e(k−1),核心是推导出一个选定的粗糙度mea是最佳的,我j∈N(i)i jij(八)当然,通常用平方的积分表示微分算子D(以下一维):∫其中,Q表示一个可分解的置换-非变量函数。||2=||2=|2d x,(10)|2dx, (10)(例如,max或),φ是可微核函数,γ是MLP,并且x是和eij是与例如,D=D2 .换句话说,当内核试图顶点i和边(i,j)。这个等式定义了一个紧支撑的,可能是非线性的,围绕顶点的函数。对于MoNet等式(1),与RBF的连接是直接的。与RBF相反,现代GNN的滤波器不必是径向的。事实上,各向异性滤波器[5,6]已被证明比各向同性滤波器[33,40]表现得更好其他主要区别是:1. 过滤器是学习函数,而不是预定义的;这允许更好的归纳学习和任务特异性2. 过滤器适用于任何折点和边要素3. 一些运算符支持自循环,但diag(Φ)=φ(0)与特征xi无关我们注意到,(8)的紧支集是一个设计de-e。对于给定的正则化泛函是最优的。微分算子在网格上用有限差分近似表示是非常自然的。在这种情况下,我们用它对应的模板矩阵来标识D内插问题变成服从内插约束的(10可以证明[1],对于这样的问题,RBF核是平方微分算子的格林函数,并且对于m阶算子,因此,完全解空间是m-1阶多项式空间(算子的零空间)和RBF核基所张成的空间的直和3。薄板样条(TPS)一个重要的特例是曲面z(x),x= [x] RBF插值y]T那个∫ ∫2 2 2cision:早期的GNN建立在图形傅立叶变换上最小化弯曲能量f+2016年12月28日 星期二缺少紧凑支持的过滤器[23]。在RBF插值中,因此,有时需要全局支持,因为它是内插表面的最大光顺性的必要条件(即,最大平滑),但随着密集核矩阵增长并变得病态,也引起计算复杂性和数值挑战[1]。这激发了快速方法的发展,以适应本地支持的RBF [2]。在[23]中,作者认为紧支持的内核在图神经网络中对于计算效率是理想的,并促进学习局部模式。这对于网格尤其合理,因为网格的图形结构非常稀疏。此外,已知堆叠卷积层可以增加感受野,包括图神经网络[49]。因此,本地支持的过滤器的组合可以产生全局支持的映射。径向基函数和多项式径向基函数的常见做法是将低阶多项式项添加到插值函数中:ΣN(1)x = y(||x − xi||)+P(x)。(九)i=1||.||.解是众所周知的双调和样条或薄板样条,φ(r)=r2logr,R=||x−xi||用1次多项式(即,仿射函数)Σ(1)x = y(||x − xi||)+Ax + b。 (十一)我推广到更高的维度产生多调和样条。这些样条线可最大化曲面光顺。从(11) 同样清楚的是,多项式4. 几何原理连接在第3节中,我们强调了连续RBF和离散图卷积核之间的关键相似性和差异性。然后,我们揭示了如何将低阶多项式添加到RBF核中既有利于实现平坦函数的有效拟合,又与学习函数的正则化密切相关,并注意到多项式分量不依赖于空间关系。基于这些观察,我们推测,图卷积算子也可以从添加实际的动机是确保多项式映射-可以精确地表示某种阶的ping并且为了避免在近似平坦函数时的不希望的振荡e.G. 图像的仿射变换应该是精确的[3]这就是消失矩条件。[4]这个结果来自于将问题表述为再生核希尔伯特空间中的正则化。为了使本文的讨论简短,我们建议读者参考相关资源,如[1,第7节]。11419我总和ConvFC图2:我们的块学习一个图卷积和一个配备仿射变换的快捷方式的总和一个低阶多项式,以确保它们可以准确地表示平坦函数,并独立于其邻居学习顶点特征的函数我们引入一个简单的块来实现这两个目标。受等式(11)的启发,我们提出用仿射跳跃连接来扩充一般的图卷积算子,即,层间连接,其中仿射变换被实现为全连接层。块的输出是两条路径的和,如图2所示。我们的块被设计为允许全连接层学习当前特征图的仿射变换,并让卷积从顶点的邻居学习残差对于消息传递,我们获得:x(k)=5. 实验评价我们的实验旨在突出不同的属性时,仿射跳跃连接组合。我们提出了单独的实验,然后根据它们的整体得出结论所有实现细节(模型架构、优化器、损失等),有关数据集的详细信息(样本数量、训练/测试划分)见补充材料的附录A。5.1. 实验设计网格重建任务是使用自动编码器架构重建网格,与插值关系最大。为了验证所提出的方法,我们首先展示了基于注意力的模型MoNet和FeaStNet在不同M值的CoMA[40]上的形状重建性能。对于核大小为M的情况,我们比较了vanilla运算符(MoNet,FeaStNet)、具 有 残 差 跳 跃 连 接 的 块 ( Res-MoNet , Res-FeaStNet)、具有仿射跳跃连接的块(Aff-MoNet,Aff-FeaStNet ) 以 及 核 大 小 为 M+1 的 vanilla 运 算 符(MoNet+,FeaSt-Net+)5。我们评估了内核大小4、9和14。我们报告了平均欧几里得顶点误差及其标准差,以及中值欧几里得误差。SplineCNN的结果[17]我γ(k) .x(k−1),Σφ(k)(x(k−1),x(k−1),e(k−1))见补充材料的附录B。iQij∈N(i)ji,j(十二)网格对应实验设置为网格+A(k)x(k−1)+b(k)。全连接层可以被MLP替换以获得多项式连接,然而,我们认为多个层的堆叠通过组合创建了足够复杂的映射,而不需要每个块中更深的子网络:必须在表达性和模型复杂性之间找到平衡。此外,与TPS的类比似乎很好地激励了表面上定义的信号。作为标记,我们将基于具有仿射跳过连接的 算 子 Conv 的 块 称为Aff-Conv。在等式(9)、(11)和(12)中,多项式部分不取决于顶点这与PointNet [12]类似,所有点上的共享MLP,没有结构先验。在我们的块中,几何信息很容易在图中编码,而线性层独立地应用于所有顶点,从而间接地从其他点学习,而不管它们的接近程度。具有投影的残差块在[22,等式 (2)]作者介绍了具有作为线性层实现的投影的残差块的变型他们的动机是处理不同的输入和输出大小。我们承认剩余连接的贡献,并将证明我们的块为GNN提供了相同的好处,甚至更多。对应,即,注册作为分类制定我们在FAUST [3]数据集上比较了MoNet,FeaStNet和它们各 自的块。在这 个问题上, 我们故意不 包括SpiralNet++和ChebNet: FAUST的连通性是固定的,顶点已经对应。这些方法假定固定拓扑,因此具有不公平的优势。我们报告的百分比正确的对应关系作为测地误差的函数。与GCN的网格对应GCN [27]模型可以说是最流行的图卷积算子,由于其简单性,已被广泛应用于一般图的问题。然而,它的性能在网格上会迅速下降,这使得3D视觉中基于图形的原型方法的入门门槛更高。我们研究仿射跳跃连接是否可以提高GCN的性能,以及提高多少。我们选择3D形状对应任务,以便与本研究中已经包含的其他模型进行正如补充材料中所详述的,本实验中使用的网络相对较深,有三个卷积层。在[27,附录B]中,作者将剩余连接添加到比两层更深的GCN以减轻消失梯度。为了证明仿射跳跃联络具有几何意义,我们必须排除更好的概率的可能性5将核大小增加1,并添加仿射跳过连接,导致相同数量的权重矩阵。11420方法平均误差M=4中值#param平均误差M=9中值#paramM=14平均误差中位数#paramChebNet†0.659± 0.7830.39192.5k4.329± 3.5913.453154.9k4.348± 3.5873.469217.3kChebNet0.520± 0.6550.29492.5k0.438± 0.5620.244154.9k0.407± 0.5230.227217.3kRes-ChebNet0.531± 0.6680.29992.5k0.444± 0.5700.275154.9k0.412± 0.5300.229217.3kSpiralNet++†0.554± 0.6740.32092.5k0.430± 0.5420.239154.9k0.385± 0.4910.214217.3kSpiralNet++0.578± 0.7050.33392.5k0.426± 0.5380.238154.9k0.383± 0.4890.212217.3k关于SpiralNet++0.575± 0.7030.33192.5k0.432± 0.5410.243154.9k0.395± 0.4960.223217.3kFeaStNet0.599± 0.7300.34293.8k0.524± 0.6460.297157.9k0.488± 0.5990.279221.9kFeaStNet+0.587± 0.7230.333106.6k0.517± 0.6350.292170.7k0.477± 0.5940.268234.8kRes-FeaStNet0.565± 0.7010.31493.8k0.483± 0.6020.266157.9k0.441± 0.5540.279221.9kAff-FeaStNet0.543± 0.6760.303106.3k0.470± 0.5850.261170.4k0.431± 0.5430.237234.4k莫奈0.671± 0.7600.45092.7k0.528± 0.6040.354155.4k0.480± 0.5510.321218.1kMoNet+0.627± 0.6930.429105.2k0.528± 0.5870.366167.9k0.480± 0.5400.329230.6kRes-MoNet0.540± 0.6120.33592.7k0.426± 0.4790.271155.4k0.374± 0.4170.238218.1kAff-MoNet0.499± 0.5790.298105.2k0.406± 0.4550.251167.9k0.347± 0.3860.218230.5k表1:CoMA [40]数据集中的3D形状重建实验结果误差单位为毫米。所有的实验都是在相同的网络架构下进行的我们展示了每个算子对于不同内核大小的结果(即,权重矩阵的数量Aff-表示配备了所提出的仿射跳过连接的运算符,Res-表示具有标准剩余连接的运算符,并且†表示我们去除了中心顶点的单独权重。(a) 加法(MoNet,FeaStNet)(b)消融(ChebNet、SpiralNet++)图3:样本重建:添加仿射跳跃连接和消融中心顶点权重。这完全来自于改进的梯度流。在这项研究中,我们包括一个GCN块与香草剩余连接(Res-GCN),以隔离梯度流的改进几何改进。总的来说,我们比较了vanillaGCN、Res-GCN和我们的Aff-GCN.我们比较了MoNet,FeaStNet以及它们各自的残差和仿射跳过连接块在超像素MNIST上的图形分类[35,18]。[35]和[18]中使用的超像素MNIST数据集将MNIST图像表示为图形。每个图像使用75个顶点所有模型都使用25的内核大小。我们将GIN(使用2层MLP构建)包含在GIN-0(= 0)变体中,因为它的更新规则与我们的块相似,因为它的性能优越,如[50]中所观察到的。我们比较了GIN与GCN、Res-GCN和Aff-GCN。在这里,图的连通性不是固定的。我们报告的分类精度。消融:中心顶点的单独权重为了显示包含中心顶点是必要的,我们对ChebNet和SpiralNet++在CoMA上进行了形状重建的消融研究。从等式(3)中,我们看到零阶项XΘ0是顶点图4:通过将样本(顶部)传递通过构建在Aff-MoNet块上的训练自动编码器获得的示例重建面部。中间一行显示了由完整的自动编码器产生的重建。底行示出了仅在解码器中在推理时通过仿射跳过连接的结果连接学习样本共有的平滑组件-跨身份和表达,正如动机所预期的那样。功能. 我们将其从ChebNet-(M+1)的扩展中移除以获得ChebNet-M†:X(k)=L(M+1)X(k−1)ΘM+1+. - 是的- 是的 + LX(k−1)Θ1。 两种型号都有相同数量的权重矩阵,但ChebNet-M从顶点学习单独在0的顺序。 对于SpiralNet++,中心顶点是序列{vertex||neighbors}。我们旋转过滤器(即,将其沿螺旋向下移动一步)以在保持相同序列长度的同时移除中心顶点我们获得了SpiralNet++†。权重矩阵的数量为常数所有型号的内核大小为9。消融:自循环vs.我们还比较了有和没有自循环的FeaStNet(FeaStNet †),11421图5:FAUST人类数据集上的形状对应实验。GCN算子的三种变体的测地误差的逐顶点热图。测地线误差根据[26]测量。10095908580FeaStNetMoNetAff-FeaStNetAff-MoNet0 2 4 6 810测地误差[%直径](a) MoNet FeaStNet100908070605040302010GCNRes-GCNAff-GCN0 2 4 6 810测地误差[%直径](b) GCN图6:形状对应精度:x轴显示网格直径的测地线误差%,y轴显示位于正确顶点周围给定半径内的对应百分比所有实验都是用相同的架构运行的。Aff-GCN只比GCN多1%和匹配的积木。5.2. 结果和讨论基于收集的证据,我们得出结论,我们的仿射跳跃连接的具体性质。参数特异性改变内核的结果在表1中可以找到尺寸对形状的重构以及用于控制的参数的相应数目。将内核大小增加1(MoNet+,FeaStNet+)仅提供性能的微小增加,例如,对于M= 9和M= 14,MoNet和MoNet+具有相同的平均欧几里德误差,并且M = 9的MoNet的中值误差实际上增加了3。4%。相比之下,对于相同数量的附加参数,仿射跳跃连接总是大幅降低重构误差。特别是,MoNet的平均欧几里得误差减少了25。6%,M= 4,23。1%,M= 9。我们得出结论,我们的仿射跳跃连接具有特定的不同作用,并增强了网络的表示能力,而不仅仅是增加参数的数量我们的模块与MoNet实现了这项任务的最新性能仿射跳跃连接学习什么?在图4中,我们观察到所有形状所这一结果加强了我们表2:具有75个超像素的超像素MNIST数据集上的不同运算符和块的分类精度对于MoNet,我们使用从顶点位置计算的伪坐标来报告性能,或者仅从连通性(顶点度)来报告性能。类似于RBF插值中的多项式项:从所有数据点学习多项式函数的系数并在它们之间共享。在一个维度上,这可以被描述为学习曲线的趋势。我们的可视化与这种解释是一致的。顶点级表示我们报告了FeaStNet、MoNet和图6a中的块的网格对应精度作为测地误差的函数。我们观察到这两个运营商的一致性能改善。MoNet的性能差异非常显著:当测地误差为0时,精度从86. 61%到94。百分之六十九Aff-MoNet是解决这个问题的最新技术表现。我们得出结论仿射跳跃连接改进顶点级表示。Laplacian smoothing andcomparisontoresidualsWeshow the performance of GCN and its residual and affineblocks in Figure 6b. vanilla GCN的准确率仅为20%左右。我们可以假设这是由于GCN与拉普拉斯平滑的等价性[30] -模糊了相邻顶点的特征并失去了特异性-或者6排除在固定拓扑上学习的方法。正确对应性[%]正确对应性[%]方法Acc. (%)内核大小# ParamGIN-057.75-25kGCN31.21-15.9kRes-GCN42.32-15.9kAff-GCN58.96-22.1kFeaStNet11.35 25166kRes-FeaStNet58.09 25166kAff-FeaStNet59.5025172k伪坐标学位职位--莫奈53.10 96.57164kRes-MoNet53.75 96.82164kAff-MoNet72.00 97.1425170k11422方法平均误差中值#paramMFeaStNet0.524± 0.6460.297157.9k9Aff-FeaStNet0.470± 0.5850.261170.4k9FeaStNet†0.519± 0.6340.297157.9k9Aff-FeaStNet†0.463± 0.5770.256170.4k9acc.(%)#param.Macc.(%)#param.M93.141.91M1011.35166k2594.291.92M1059.50172k2593.721.91M1011.35166k2594.361.92M1060.07172k25(a) 形状重建:(b) 对应(c) 分类表3:消融:仿射跳跃连接vs.自循环我们展示了FeaStNet在有和没有自循环(用†表示)以及有和没有仿射跳过连接的情况下,关于CoMA上的形状重建,FAUST上的形状对应以及MNIST上的75个超像素分类任务的性能M表示内核大小(即,#权重矩阵)。对于对应性,测试精度是在测地误差为0时正确对应性预测的比率。消失梯度的问题。我们的区块的表现远远优于vanilla残差:Aff-GCN的分类率接近79%,而Res-GCN的分类率仅为61.27%。在视觉上(图5),Res-GCN提供了比GCN显著的改进,而Aff-GCN提供了另一个主要的升级。在表1和表2中可以看到类似的趋势。在[22]中,作者观察到vanilla残差和带有投影的残差连接之间的性能略有提高,他们将其归因于更多的参数。我们观察到的差异与这种边际改善不一致这表明,我们的方法不仅提供了解决消失梯度问题的残差的所有好处,而且在几何数据上实现了更多,并且改进不仅仅是由于更多的可训练参数或改进的梯度流。特别是,与仿射跳跃连接,方程。[30]的4变为σ(L<$H(l)Θ(l)+H(l)W(l)),其中L<$是增广对称拉普拉斯算子,W(l)是仿射跳跃联络的参数因此,Aff-GCN块不再等同于拉普拉斯平滑。我们对超像素MNIST的结果如表2所示。我们的仿射跳跃连接全面提高了分类率具有仿射跳跃连接的GCN比GIN-0的性能高出1个百分点以上,可训练参数减少了12%该结果表明,Aff-GCN在较小的模型下提供了有竞争力的性能,并且表明增强算子比GCN显著更具鉴别力。假设[50]的术语,FeaStNet采用平均聚合函数,这是一种已知的选择[50],可以显著限制GNN的区分能力,并且可以解释其非常低的准确性,尽管其参数数量很大(166k)。相比之下,Aff-FeaStNet与Aff-GCN竞争,并且优于GIN-0。由于GIN被设计为与WL测试一样强大,这些观察结果表明仿射跳跃连接提高了图卷积算子的区分能力因此,Aff-MoNet在基于坐标和基于度的伪坐标方面优于现有技术中心顶点的作用如表1的前六行所示,模型的性能随着中心顶点的权重而提高,特别是对于ChebNet。请注意,比较是在相同数量的参数下进行的。图-图3提供样品烧蚀和添加结果。这表明卷积运算符需要从中心顶点学习。我们发现,在FeaStNet中删除自循环实际上提高了vanilla和block运算符的性能表3显示了所有实验的结果。仿射跳跃连接一致地提高了模型的性能,而不管自循环。我们得出结论,图卷积运算符应该能够从邻域的中心顶点学习,而不依赖于它的邻居。在[50]中进行了类似的观察,其中中心顶点的独立参数被证明是图卷积算子所需的,以便与WL测试一样具有区分性。6. 结论通过将图神经网络与径向基函数理论相关联,我们引入了几何原理连接,这些连接都很容易实现,适用于广泛的卷积算子和图形或网格学习问题,并且非常有效。我们表明,我们的方法扩展了表面重建和配准,并可以显着提高性能的图分类与任意连接。我们的MoNet块实现了最先进的性能,并且更加强大 比序列(SpiralNet++)或基于谱的(ChebNet)算子更适合拓扑变化。我们进一步证明了我们的块改进了图神经网络的香草残差连接因此,我们相信我们的方法对更广泛的社区是未来的工作应该研究仿射跳跃连接是否对学习的卷积核的平滑性致谢获得了伦敦帝国理工学院的博士奖学金和高通创新 奖 学 金 的 支 持 , 并 感 谢 亚 马 逊 通 过 AWS CloudCredits for Research计划提供的支持。S.G.和M.M.B.获得了ERC Consolidator赠款No. 724228(LEMAN)。S.Z.部分由EPSRC Fellowship DEFORM :Large ScaleShape Analysis of Deformable Models of Humans(EP/S010203/1)和Amazon AWS Machine Learning ResearchAward资助。11423引用[1] KenAnjyo,JPL e w is和Fr e'd e'ricPighin。计算机图形学中 的 离 散 数 据 在 ACM SIGGRAPH 2014 Courses ,SIGGRAPH'14,第27:1- 27:69页,New York,NY,USA,2014中。ACM。4[2] R. K. Beatson,J. B. Cherrie和C. T.穆阿特径向基函数的快速拟合:基于预条件GMRES迭代的方法。《计算数学》,1999年。4[3] Federica Bogo , Javier Romero , Matthew Loper , andMichael J Black.FAUST:3D网格配准的数据集和评估。IEEE Conf.计算机视觉和模式识别(CVPR),皮斯卡塔韦,新泽西州,美国,2014年6月。美国电气与电子工程师协会。 三、五[4] Federica Bogo,Javier Romero,Gerard Pons-Moll,andMichael J. 黑 色 . 动 态 浮 士 德 : 登 记 人 体 运 动 。 在Proceedings -30 th IEEE Conference on Computer Visionand Pattern Recognition,CVPR2017,3[5] 见博斯卡尼,乔纳森·马斯奇,埃马努埃莱·罗多尔和迈克尔·布朗斯坦。用各向异性卷积神经网络学习形状对应关系。神经信息处理系统进展,第3197二、四[6] GiorgosBouritsas , SergiyBokhnyak , StylianosPloumpis , Michael Bronstein , and Stefanos Zafeiriou.Neural 3D Mor- phable Models : Spiral ConvolutionalNetworks for 3D Shape Representation Learning andGeneration.在IEEE国际计算机视觉会议(ICCV),2019年。4[7] Alexander M Bronstein,Michael M Bronstein,LeonidasJ Guibas,and Maks Ovsjanikov.形状谷歌:用于不变形状检 索的 几何单 词和表 达式 。ACM Transactions onGraphics(TOG),30(1):1-20,2011。1[8] 亚历山大M布朗斯坦,迈克尔M布朗斯坦,和罗恩金梅尔。广义多维标度:等距不变的部分表面匹配的框架。美国国家科学院院刊,103(5):11681[9] Michael M Bronstein,Joan Bruna,Yann Lecun,ArthurSzlam,and Pierre Vandergheynst.几何深度学习:超越欧几 里 得 数 据 。 IEEE Signal Processing Magazine , 34(4):18-42,2017。1[10] Michael M Bronstein和Iasonas Kokkinos。用于非刚性形状识别的尺度不变热核特征2010年IEEE计算机协会计算 机 视 觉 和 模 式 识 别 会 议 , 第 1704-1711 页 IEEE ,2010。1[11] 戴夫·布鲁姆黑德和大卫·劳。多变量函数插值与自适应网络。Complex Systems,2:3213[12] R. Qi Charles , Hao Su, Mo Kaichun, and Leonidas JGuibas.PointNet:用于3D分类和分割的点集深度学习。2017年
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功