各向异性切比雪夫谱CNNs实现形状对应

146580使用各向异性切比雪夫谱CNNs进行形状对应0Qinsong Li 1 , Shengjun Liu � 1 , Ling Hu � 2 , Xinru Liu 101. 工程建模与科学计算研究所，中南大学 2. 数学与计算科学学院，湖南第一师范大学 3.高性能制造复杂系统国家重点实验室，中南大学0摘要0在许多领域中，建立形状之间的对应关系是一个非常重要且活跃的研究课题。由于深度学习在几何数据上的强大能力，卷积神经网络（CNNs）已经取得了许多令人感兴趣的结果。在本文中，我们提出了一种新的形状对应架构，称为各向异性切比雪夫谱CNNs（ACSCNNs），基于一种新的流形卷积算子的扩展。扩展的卷积算子通过一组围绕每个点的定向核聚合信号的局部特征，可以更全面地捕捉内在的信号信息。与以前的CNNs中在空间域中使用固定的定向核不同，在我们的框架中，核是通过谱滤波学习的，基于多个各向异性拉普拉斯-贝尔特拉米算子的特征分解。为了降低计算复杂性，我们采用切比雪夫多项式基函数的显式展开来表示谱滤波器，其展开系数是可训练的。通过形状对应的基准实验，我们的架构被证明是高效的，并且即使使用常数函数作为输入，在几个数据集上都能提供优于现有技术的结果。01. 引言0在几何处理、计算机图形学和视觉中，建立形状之间的对应关系是一个基本问题，涉及到纹理映射、动画等各种应用。在过去的几年中，已经提出了许多形状对应的方法，主要包括基于最小畸变的方法[13, 49]、嵌入方法[30,22]、软对应[33, 45]和基于功能映射的方法[36, 39,32]。与上述手工方法相比，最近的方法利用深度学习在几何数据上的强大能力取得了很多有吸引力的结果。0� 通讯作者：shjliu.cg@gmail.com; 18246514@qq.com0深度学习方法似乎能够取得更加吸引人的成功。受卷积神经网络（CNN）在图像识别任务中的显著成功启发，一些方法已被提出来将卷积扩展到几何处理和图形学领域。过去几年深度学习方法取得的大部分成就都严重依赖于卷积神经网络中的卷积操作的特性。其中的首次尝试仍然将几何数据视为欧几里得结构，例如[38]使用CNN应用于从3D对象的多个视图中获得的范围图像，[51]使用基于视图的表示找到非刚性形状之间的对应关系，[52]提出了体积CNN来栅格化3D形状的体积表示。然而，这种欧几里得表示可能会丢失3D形状的重要信息，并且不是固有的，处理变形形状时会面临巨大的训练集和计算复杂性的缺点。因此，一组被统称为几何深度学习[11]的方法出现了，旨在为可以直接处理图和流形等非欧几里得输入数据的深度神经网络定义卷积操作。0几何深度学习中的现有工作可以广泛分为两个不同的子集：空间滤波和谱滤波。前者的空间滤波是根据点之间的局部位置关系在局部欧几里得邻域内进行卷积，例如使用极坐标或笛卡尔坐标表示[29, 34,19]。然而，构建这样的局部坐标有时可能非常耗时（例如，极坐标需要计算点对之间的测地距离）或严重依赖于形状表示。后者的谱滤波[12, 17,23]基于谱图理论[14]，通过在谱域中实现卷积，在图或流形上提供了一个明确定义的局部化算子[43]，类似于传统信号的傅里叶域滤波，在图上定义的信号的特征值被视为信号的频率。146590与空间滤波相比，谱滤波可以灵活地应用于各种形状表示，只要配备了拉普拉斯-贝尔特拉米算子（LBO）离散化，并且通常具有更高的计算效率。然而，在最近构建这种类型的CNN时，大部分工作都集中在基于图拉普拉斯的谱滤波器的设计上，例如谱CNN[12]，切比雪夫谱CNN（ChebyNet）[17]，简化切比雪夫网络[23]，CayleyNets[26]等。对于形状对应，这些方法似乎仍然无法高效地分析形状的整体结构信息，因为在学习过程中忽略了重要的方向信息。0主要贡献。在本文中，我们提出了一种新颖的流形CNN架构，称为各向异性切比雪夫谱CNN（ACSCNNs）。我们首先将一般的图卷积算子扩展到流形的各向异性版本，通过对多个各向异性拉普拉斯-贝尔特拉米算子（ALBO）[8]的特征值和特征函数进行滤波来实现，其中每个算子由法线在切平面上的一个旋转角度确定。这种机制也可以等效地看作是对流形上具有大量定向核的信号执行卷积算子，从而全面地结合了来自每个点周围多个方向的信号的局部信息。由于切比雪夫多项式基于形状局部化，而且由于它减轻了显式计算图傅里叶变换的成本，卷积计算不昂贵[17]，因此我们使用切比雪夫多项式来表示我们的谱滤波器，其中展开系数在形状对应任务下进行学习。0与我们最相关的两种流形深度学习方法相比，各向异性扩散描述符（ADD）[8]整合了由ALBO的特征分解提供的形状方向信息，以学习优化的任务相关谱描述符，而我们利用它们构建各向异性卷积算子，目标和学习架构完全不同。各向异性CNN（ACNN）[7]使用固定的各向异性热核作为空间加权函数构建卷积补丁，并且只使用ALBO的前几个特征函数（低频）。相反，我们的工作更高效和优越，因为我们的卷积核是可训练的，并且隐含地使用了所有特征函数。在几个具有挑战性的数据集上进行的广泛基准实验表明，即使使用常数函数作为输入，我们的架构在形状对应方面的性能优于最先进的结果。02. 相关工作02.1. 形状对应0形状对应是计算机图形学中研究较多的领域。相关算法可以广泛分为两类：手工设计方法和深度学习方法。我们在本小节中回顾前者，下一小节回顾后者。手工设计方法基于某种几何假设，并通过一些数值方案来追求。给定一对形状，建立它们之间的对应关系的传统解决方案涉及最小化失真准则，这可以粗略地分为两类：点描述符相似性[4, 41, 46,31]和成对关系[13, 15,47]。在前一种情况下，建模假设试图表征一类变形对某些几何量的作用，这些几何量通常被称为描述符。这些几何量通常编码了形状上某点附近的局部几何信息（点描述符），例如法线方向[42]、曲率[37]、热量[46]或波传播特性[4]。匹配是通过最近邻搜索获得的，或者在需要单射性时通过解线性分配问题获得。另一种几何量是点对之间的全局关系（成对描述符），包括测地线[18, 9, 50]、扩散[15, 10,49]等。使用成对描述符会导致一个二次分配问题。还有另一类工作尝试基于功能映射框架[36, 39, 35,32]建立对应关系，该框架最初由[36]提出。这些方法假设输入是一组对应的函数（从几何特征导出）。然后通过估计功能映射矩阵，可以在两个形状之间传递实际函数，这可以转换为点对点的映射。02.2. 几何深度学习0截至今天，最新的研究试图将对应问题形式化为一个学习问题[29, 34,19]，这些方法在可变形对应基准上具有最佳性能。更多相关工作参考调查[1]。这里我们只回顾与我们最相关的工作。流形上的深度学习。通过考虑热核签名[46]和波核签名[4]的一般形式，[28]引入了一个学习架构来构建优化的任务特定描述符，其中谱滤波器的系数表示为B样条基函数的线性组合。后来，[8]通过学习一组最佳定向谱滤波器，基于ALBO的特征分解[2,8]将这项工作推广为各向异性版本。此外，还有各种工作集中于∆Xf(x) = −divX(∇Xf(x))(1)∆Xφk(x) = λkφk(x)⟨f, φk⟩Xφk(x) =146600关于将CNN推广到流形上的方法。为了将定义在非欧几里得数据结构上的信号的局部信息纳入考虑，空间滤波方法试图直接在流形或空间域上构建补丁算子，然后通过最小化任务特定的代价函数来学习模板权重。[29]通过使用[24]提出的极坐标的局部测地系来提取“补丁”引入了测地线卷积神经网络（GCNN）。[6]通过使用图上的窗口傅里叶变换[44]从谱域构造卷积补丁，称为局部谱卷积神经网络（LSCNN）来推广GCNN。同一作者[7]进一步改进了这种方法，通过使用各向异性热核作为空间加权函数引入了各向异性卷积神经网络（ACNN），这允许根据输入网格的局部主曲率对齐提取的补丁。混合模型网络（MoNet）[34]统一了以前的方法，例如经典的欧几里得CNN，测地线CNN，ACNN，并引入了一种新类型的参数构造中的核函数。基于MoNet的框架，[19]定义了另一种连续核函数类型，其中包含B样条。图上的深度学习。文献[12]利用图上卷积定理的谱定义来定义卷积算子，其中图拉普拉斯算子的特征向量充当傅里叶基。作为扩展，[21]建议在谱域中使用样条插值进行平滑核。[23]提出了一个简化的ChebyNet[17]，只考虑一个邻域进行一个滤波应用。[26]提出了一种基于Caley变换的滤波器，作为Chebyshev逼近的替代方法。结合可训练的缩放参数，这将产生更稳定和灵活的谱滤波器。03. 基础0我们将形状建模为嵌入到 R 3中的连通光滑紧致二维流形（表面）X（可能带有边界）。将点 x ∈ X 的切平面表示为 T x X，T x X中的每个元素称为 x处的切向量。黎曼度量是切平面上的内积 �∙ , ∙� T x X: T x X ×T x X → R，它在 x 处平滑地依赖于x，并描述了流形在局部上与平面的差异。我们用 L 2 ( X )= � f : X → R，� 表示流形上的平方可积实函数的空间。0X f ( x ) 2 dx < ∞，其中 dx是上述黎曼度量引起的面积元素。这里 < f, g > X = �0X f ( x ) g ( x ) dx表示形状上的标准内积。我们知道，给定黎曼度量，形状 X的第二基本形式是一个 2 × 2 矩阵，其特征值 κ M 和 κ m被称为主曲率，它们的0相应的特征向量 V M ( x ) 和 V m ( x ) 构成切平面 T x X上的正交基。03.1. 流形上的信号处理0研究人员[48]发现Laplace-Beltrami算子（LBO）的特征值（或谱）和特征函数分别类似于频率和傅里叶基在欧几里得空间中的行为。然后，这一发现从信号处理的角度启动了几何处理和形状分析的研究。形状X上的Laplace-Beltrami算子（LBO）（或Laplacian）定义为0其中�Xf和divXf分别是f(x)∈L2(X)的内在梯度和散度。由于LBO是一个半正定算子，它具有实数特征分解0具有可数非负特征值0=λ0≤λ1≤...。特征函数φ0, φ1,...相对于标准内积是正交的，即�φi, φj�X=�0X φ i ( x ) φ j ( x ) dx  = δ ij且形成L2(X)的正交基。由于LBO的特征值和特征函数的谐波性质，内积ˆf(λk)=� f, φ k �X被称为流形傅里叶变换（系数），函数f∈L2(x)（或逆流形傅里叶变换）可以表示为0f(x)=�0k ≥ 0ˆf(λk)φk(x)。0类似于经典信号处理，上述变换使得可以制定基本操作，如滤波。信号f的频率滤波定义为ˆfout(λk)=ˆf(λk)ˆg(λk)，其中ˆg(λ)是核g(x)的谱滤波器。然后对ˆfout进行逆流形傅里叶变换，可以得到滤波后的信号fout。根据上述谱滤波方式，我们等价地定义流形上的卷积定理为(f�g)(x)=�0k ≥ 0 ˆf(λk)ˆg(λk)φk(x)。 (2)0公式（2）强制了在曲面域中的卷积等价于在流形谱域中的乘法。03.2. 各向异性Laplace-Beltrami算子0然而，上一节中的LBO是各向同性的，因为它对每个点周围的形状方向不敏感。在[48]的工作中，研究人员发现Laplace-Beltrami算子（LBO）的特征值（或频谱）和特征函数分别类似于欧几里得空间中的频率和傅里叶基。然后，这一发现从信号处理的角度启动了几何处理和形状分析的研究。形状X上的Laplace-Beltrami算子（LBO）（或Laplacian）定义为(a)(b)(c)(d)(e)α = 10, θ = 3π4 .∆Xf(x) = −divX(D(x)∇Xf(x)),Dα(x) =�11+α1�,(3)̸146610图1.以不同旋转角度θ为中心的各向异性核gαθ,x(y)。滤波器ˆg(λ)=T5(λ)是5阶Chebyshev多项式（公式（9））。相应的各向异性水平和旋转角度为(a) α=0,θ=0, (b)α=10,θ=0, (c) α=10,θ=π0通过改变表面上主曲率方向的扩散速度，Andreux[2]将各向异性LBO定义为0这里D(x)是作用在切平面上的内在梯度方向的热导率张量，可以用正交基V M(x)和Vm(x)表示。ALBO允许对位置和方向依赖的热流进行建模。具体来说，作者考虑了沿最大曲率方向的各向异性，即0其中参数α控制各向异性水平。[8]不仅仅沿着主曲率方向使用单个各向异性扩散核，还通过多个各向异性角度扩展了上述各向异性Laplacian [2]。他们将热导率张量定义为0Dαθ(x) = RθDα(x)RθT，0其中Rθ是绕表面法线旋转角度θ在切平面上的旋转。最后，ALBO由两个参数定义，如下所示0∆αθf(x) = -divX(RθDα(x)RθT�Xf(x)) (4)0如果我们考虑所有可能的旋转θ ∈ [0,2π]，并将主曲率方向设为参考θ =0，则ALBO将是内在的。因此，我们将在我们的框架中采用这个设置来分析变形的形状。在本文中，为了完全捕捉形状信息，我们使用公式（4）中的ALBO。在保持标准LBO的理想特性的同时，ALBO打开了在许多形状分析方法中有效替代普遍存在的拉普拉斯-贝尔特拉米算子的可能性。04. 方法0公式（2）表明，如果给定了理想的滤波器ˆg(λ)，则可以通过频谱域中的乘法来实现流形上的卷积。然而，流形上的传统卷积算子是基于LBO或图拉普拉斯算子的特征分解的，因此得到的核函数g(x)在表面上也是均匀扩散的，对内在形状方向信息不敏感。然而，这种信息在那些需要高质量形状几何描述的应用中起着非常重要的作用。为了克服这个不足，我们引入了基于ALBO的各向异性卷积算子。04.1. 各向异性卷积算子0给定各向异性水平α和旋转角θ ∈ [0,2π)，我们首先通过求解以下方程来计算相应ALBO的特征分解0∆αθφαθ,k(x) = λαθ,kφαθ,k(x)，k = 0, 1, ....0由于ALBO是半正定的，它具有非负的特征值λαθ,k ≥0和一组正交特征函数，即{φαθ,k}∞k=0，满足0�φαθ,i, φαθ,j�X 0当i =j否0当i ≠j时，等于0。0现在，我们类似地引入了公式（2）中的各向异性卷积算子。首先，我们从频谱域中的点x构建一个以点x为中心的定向局部核函数gαθ,x(y)。它是通过使用Kroneckerdelta函数δx与适当的滤波器ˆg(λ)进行卷积生成的（如何选择将在下一节中详细讨论），即0gαθ,x(y) =等于0k ≥ 0 时，g(λαθ,k)φαθ,k(x)φαθ,k(y)。(5)0为了更清楚地说明，我们在图1中展示了一系列以同一点x为中心但具有不同各向异性水平α和旋转角θ的核函数gαθ,x(y)。请注意，当α = 0，θ =0时，核函数是各向同性的。类似于经典卷积，我们的各向异性卷积算子定义为0(f � g)αθ(x) 等于0y ∈ X f(y)gαθ,x(y) dy，(6)0我们可以看到，核函数gαθ,x(y)作为加权函数，将信号f在点x的方向θ上的局部信息结合起来。(f ∗ g)(x) =� 2πˆg(λ) =146620实际上，我们进一步推导出其频谱方式来克服使用空间表示进行各向异性卷积（公式（6））通常计算开销很大的问题。将公式（5）代入（6），我们有0(f � g)αθ(x) 等于0y ∈ X f(y)gαθ,x(y) dy0=等于0y ∈ X f(y等于0k ≥ 0 时，g(λαθ,k)φαθ,k(x)φαθ,k(y)dy 等于0=等0k ≥ 0时，g(λαθ,k)φαθ,k(x)等于0y ∈ X f(y)φαθ,k(y) dy0=等0k ≥ 0时，ˆg(λαθ,k)ˆf(λαθ,k)φαθ,k(x)0(7)这里ˆ f ( λ αθ,k ) =  � f, φ αθ,k �X，称为各向异性傅里叶变换。这样的卷积算子结合了信号f沿着点x的方向θ的局部信息。因此，为了全面提取所有方向特征，我们最终定义了我们的各向异性卷积算子00 ( f  �  g ) αθ ( x ) dθ (8)0需要注意的是，在本工作中，我们只考虑各向异性级别α的单个值。多应用情况将是我们未来的工作。从公式（7）可以看出，滤波器ˆ g ( λ ) 的设计是卷积构造中的关键因素。04.2. 切比雪夫滤波器0与在[7]中使用固定各向异性热核相比，我们的工作旨在通过学习其参数化的滤波器ˆ g ( λ )来学习任务相关的核函数。在实际应用中，滤波器ˆ g ( λ )的选择对于它们在空间中的局部化以及学习复杂度非常重要。正如[12,17]中所述，这些问题可以通过使用多项式滤波器来解决。在我们的框架中，我们打算采用切比雪夫多项式来表示滤波器ˆ g ( λ)，因为它具有平滑和稳定的递推关系，可以避免显式地对ALBO进行特征分解，从而大大降低学习复杂度[20,17]。我们将在其离散化中详细讨论。给定阶数为s的切比雪夫多项式T s ( λ )，它可以通过稳定的递推关系计算得到0T s ( λ ) = 2 λT s − 1 ( λ )  −  T s − 2 ( λ ) , T 0  = 1 , T 1  =  λ. (9)0这些多项式形成了L 2 ([−1, 1], dλ/ √的正交基01  −  λ 2 )以及关于测度dλ/√的平方可积函数的希尔伯特空间01  −  λ2。0因此，我们的滤波器ˆ g ( λ ) 可以被参数化为截断展开式0S −0s =0 c s T s ( λ ) (10)0的阶数S。04.3. 离散化0理论上，我们的各向异性卷积算子可以构建在任何表面的离散表示上，只要它们具有准确的离散化ALBO。在本文中，我们专注于三角网格，其他表示方式可以类似地推导出来。给定一个三角网格M(V, E,F)，其中集合V包含N个顶点，E和F分别是边和三角形的集合，网格M上的函数f被表示为一个向量f ∈ RN。根据[8]，设定一个各向异性级别α和旋转角度θ，离散化的ALBO可以表示为一个稀疏矩阵L αθ = A − 1 B αθ ∈R N × N，其中质量矩阵A和刚度矩阵B αθ参考本文。然后，我们通过求解广义特征值问题来计算ALBO的特征分解0B αθ φ αθ,k  =  λ αθ,k A φ αθ,k。0由于特征向量{ φ αθ,k } N − 1 k=0是A-正交的，两个函数f和g的内积离散化为� f , g � A = fT Ag。记矩阵U αθ = ( φ αθ, 0 , φ αθ, 1 , ∙ ∙ ∙ , φ αθ,N −1 ) ∈ R N × N和Λ αθ = diag( λ αθ, 0 , λ αθ, 1 , ∙ ∙ ∙ , λαθ, N − 1 )，我们有L αθ = U αθ Λ αθ U T αθA，以及各向异性傅里叶系数向量ˆ f = U T αθ Af。现在，我们给出公式（7）中各向异性卷积定理的离散化0( f  �  g ) αθ  =  U αθ ˆ g (Λ αθ ) UT αθ A f。0如果使用多项式滤波器，我们可以避免在上述卷积算子中进行昂贵的特征分解，并得到0( f  �  g ) αθ  = ˆ g ( L αθ )f，0只涉及稀疏矩阵和向量的乘法。特别地，对于Chebshev多项式滤波器（公式（10）），我们首先要获得一个缩放的各向异性拉普拉斯矩阵˜ L αθ = 2 λ − 1 N − 1 L αθ −I（这里I是一个N×N的单位矩阵），其特征值位于区间[−1,1]。然后我们有0(f * g)αθ = ˆg(˜Lαθ)f =0s = 0 cαθ,sTs(˜Lαθ)f.0.30.40.50.60.70.80.9146630从递推关系式公式（9）中，我们知道T0(˜Lαθ)f =f，T1(˜Lαθ)f = ˜Lαθf，以及Ts(˜Lαθ)f = 2˜LαθTs-1(˜Lαθ)f-Ts-2(˜Lαθ)f。在选择适当的α值之后，我们使用L个等间距的旋转角度，即θ = θ1，θ2，∙∙∙，θL，其中θl = 2(l -1)π/L，l = 1，2，∙∙∙，L，然后沿每个角度计算卷积，即(f *g)αθ。最后，我们通过以下方式计算我们的各向异性卷积0f * g =0l = 1 (f * g)αθl=0L �0l = 10s = 0 cαθl,s Ts(˜Lαθl)f.(11)0在下一节中，我们将设计CNN架构来学习形状对应的滤波器系数集{cαθl,s}。05. 实现和结果0在我们的框架中，形状对应是指将给定形状的每个顶点标记为参考形状的相应顶点的任务。数据集。我们使用四个公共领域数据集：FAUST[5]、SCAPE[3]、SHREC'16拓扑[25]、SHREC'16部分（切割）[16]，以测试我们在形状对应上的性能。这些数据集包含了从人体到动物的大量3D形状，具有非刚性变形，其中一些部分经历了拓扑变化或缺失。所有形状之间的点对点对应关系都已提供。评估。我们采用普林斯顿基准协议[22]来评估对应质量，该协议显示了与参考形状上的地面真实对应的地理距离最多为r的匹配百分比。注意，我们将地面真实对应的对称点视为不正确的对应。01 2 4 8 16 32 参数值0准确性0SL0图2. 在FAUST数据集上使用不同参数值时的对应准确性（r =0）的演示。0设置。根据我们的各向异性卷积（公式（11）），我们应该确定一组适当的值0表1. 在FAUST数据集上的性能比较。0方法 优化 输入 准确性 准确性（r = 0）（r = 0.01）0GCNN [29] SHOT 66.61 % 74.98 % ACNN [7] FM[36] SHOT62.40 % 83.31 % MoNet [34] PMF[49] SHOT 88.20 % 92.35% SpiralNet [27] SHOT 93.06 % 96.32 % ACSCNN SHOT98.06 % 99.26 %0SplineCNN [19] 1 99.12 % 99.37 % ACSCNN 1 98.98 % 99.64% ACSCNN PMF[49] 1 99.56 % 99.87 %0参考GCNN-改进的ACNN-改进的MoNet-改进的SpiralNet SplineCNN ACSCNN0图3.在FAUST上的性能比较。顶部一行显示了每种方法的对应准确性。虚线显示了我们的方法在没有优化的情况下的结果。为了清晰起见，这些线的左上部分在右图中被放大显示。中间一行显示了对应错误的可视化，其中较热的颜色表示较大的错误。第三行显示了纹理和颜色转换的结果。0对于三个参数，例如，S（Chebyshev多项式的阶数），L（旋转角度的数量）和α（各向异性水平）。理论上，更高阶的Chebyshev多项式可以表示更复杂的滤波器，更多的旋转角度可以捕捉更多不同的方向信息，当α固定时。这两者都可以提高性能（图2），但同时也会增加时间消耗。我们需要在时间成本和性能之间进行权衡。在所有后续的实验中，我们经验性地设置旋转角度的数量L = 8，各向异性水平α =10，Chebyshev滤波器的阶数S =15，并使用对称归一化拉普拉斯矩阵。我们使用00.20.40.60.81146640图4. SCAPE上的性能比较。这里，红色实线和虚线分别显示了我们的ACSCNN使用SHOT和常数向量  1作为输入的结果。右侧是我们方法在这个数据集上的颜色转移（相应点以相同颜色显示）结果，最左边是参考形状0常数向量  1  ∈  R N × 1 和由SplineCNN[19]提供的网络架构作为我们的默认输入和架构。为了总体比较，在一些实验中，我们还考虑了作为输入的544维点描述符SHOT[42]，这是其他学习对应方法[29, 7, 34,27]广泛使用的，然后是由ACNN[7]提供的网络架构（比SplineCNN少一些卷积层）。结果。FAUST数据集由10个人的10个姿势（总共100个形状）组成，每个形状几乎有7K个顶点。对于这个数据集，我们使用前80个形状进行训练，剩下的20个形状进行测试，第一个形状作为参考。表1和图3详细列出了我们的ACSCNN和最新的最先进方法的性能统计，使用各自作者提供的架构。我们在不同情况下进行比较，包括是否使用细化和不同的输入。表1的上部分显示了每种方法使用SHOT作为输入的结果。显然，我们的方法即使没有进行细化，也优于所有竞争对手。在第二部分中，我们只使用一个非常简单的输入，常数向量  1来测试它们的性能。可以看出，即使使用这样粗糙的输入，我们的ACSCNN仍然达到了非常高的准确性。在图3中，我们进一步展示了它们在这个数据集上的定性和定量比较。结果清楚地证明了我们相对于其他方法的优越性。需要注意的是，SplineCNN在这个数据集上也取得了非常理想的性能，然而，由于它在伪坐标上的简化，对于接下来更具挑战性的数据集，对应准确性将会显著下降。SCAPE数据集包含了一个人的71个不同姿势的注册网格，每个网格大约有12.5K个顶点。随机选择70%的形状进行训练，剩下的进行测试，对应准确性显示在图4的左侧。由于SpiralNet不能直接应用于如此大的网格，我们将原始网格的顶点数量减半进行了简化。我们在这个实验中使用了我们方法的两种输入和架构设置，结果表明我们的方法在两种输入设置下都明显优于其他方法。此外，图4的右侧显示了我们方法在这个数据集上进行颜色转移的可视化结果。此外，为了测试我们方法的鲁棒性，我们还在SHREC'16拓扑数据集上建立了对应关系。这个具有挑战性的数据集包含了一个孩子的25个形状，大约有12K个顶点，除了大的拓扑快捷方式外，还经历了近等距变形。前16个形状用于训练，剩下的9个用于测试。在这个实验中，由于拓扑噪声，GCNN和SpiralNet都失败了。定量和可视化比较结果显示在图5中，我们的方法仍然取得了良好的结果，并且优于其他方法。此外，我们还在SHREC'16部分切割网格上测试了对应准确性，结果显示在图6中。总共使用了45个猫的形状，前30个形状用于训练，剩下的用于测试。对于这个数据集，我们还额外与SHREC'16部分对应竞赛的获胜者Partial functional Map[40]方法进行了比较。我们的架构仍然明显优于所有其他竞争对手。复杂度。在实践中，一些步骤可以预先计算每个形状一次，包括构建L各向异性拉普拉斯矩阵（N×N稀疏矩阵，O(N)非零元素），归一化和缩放00 0.02 0.04 0.06 0.08 0.1 测地误差0对应关系0SHREC'16拓扑（低分辨率）0ACNNMoNetSplineCNNACSCNN0(a) ACNN，62.8%0(b) MoNet，67.5%0(c) SplineCNN，66.9%0(d) ACSCNN，90.2%0图5.SHREC'16拓扑数据集上的性能比较。上部分显示了每种方法的对应准确性（GCNN和SpiralNet失败），下部分是它们的可视化比较，我们使用直线连接对应点对。数字是每种方法在 r = 0时的对应准确性，T姿势的形状是参考00.20.40.60.811466500 0.02 0.04 0.06 0.08 0.1 测地误差0对应关系0SHREC'16部分切割（猫）0PFMGCNNACNNMoNetSplineCNNACSCNN0图6.SHREC'16部分切割（猫）数据集上的性能比较。上部分显示了每种方法的对应准确性，下部分是我们方法的颜色转移结果，最左边是参考形状0对于这种方法，实际上可以预先计算一些步骤，包括构建L各向异性拉普拉斯矩阵（N×N稀疏矩阵，O(N)非零元素），对法向量进行归一化和缩放等，这些步骤对于每个形状只需要计算一次。0这些预计算步骤的计算对于每个拉普拉斯矩阵需要O(N^2)次操作。我们基于Chebyshev多项式的谱滤波避免了首先对拉普拉斯矩阵进行完全特征分解，这需要O(N^3)次操作。而采用Chebyshev多项式将谱滤波从稠密矩阵乘法减少为稀疏矩阵乘法。前者的计算复杂度为O(N^2)，后者只需要O(L× S × N) � O(N^2)。因为L和S是用户定义的常数，所以O(L× S × N) =O(N)成立，这导致了线性的计算复杂度。计时。所有实验都在一台配备Intel(R) Core i7-4790 CPU (3.6GHz)、16GRAM和Nvidia GeForce RTX 2080 Ti(11G)的PC上进行。以下是针对每个形状的FAUST数据集，N =6.9K个顶点的典型计时。每个形状的预计算需要4.8秒。训练(80个形状)每个时期需要27.78秒，测试(20个形状)需要3.80秒。因此，对于测试，预测每个形状的所有顶点标签只需要0.19秒。06. 结论0我们引入了一种新颖的卷积神经网络，称为各向异性Chebyshev谱CNN，基于各向异性卷积算子，这是我们提出的流形卷积算子的扩展。我们的各向异性卷积算子通过一组定向的补丁算子在频谱域上对多个不同方向的各向异性拉普拉斯算子的特征分解进行滤波，从而聚合局部特征。与以前的工作相比，这种各向异性卷积能够更全面地捕捉信号的内在局部信息，因为它考虑了方向。为了降低计算复杂性，我们采用Chebyshev多项式来表示滤波器，其中的系数是可训练的。通过广泛的形状对应基准实验，我们展示了我们的架构在几个数据集上能够改进最先进的结果。作为一个通用的卷积模型，我们计划将AC-SCNN用于解决许多其他形状分析任务，如形状分割和分类。我们将在发表后发布基于Pytorch的实现以复现我们的结果。0致谢0我们要感谢匿名审稿人对他们宝贵的评论。本工作得到了湖南省杰出青年科学基金(2019JJ20027)、国家自然科学基金(61572527,61602524)和湖南省研究生创新基金(CX20190092)的支持。146660参考文献0[1] Eman Ahmed, Alexandre Saint, Abd El Rahman Shabayek,Kseniya Cherenkova, Rig Das, Gleb Gusev, Djamila Aouada,and Bj¨orn Ottersten. 深度学习在不同的3D数据表示上的进展:一项调查.  arXiv预印本arXiv:1808.01462 , 1, 2018. [2] MathieuAndreux, Emanuele Rodola, Mathieu Aubry, and DanielCremers. 用于形状分析的各向异性Laplace-Beltrami算子.在欧洲计算机视觉会议上, 第299-312页. Springer, 2014. [3]Dragomir Anguelov, Praveen Srinivasan, Daphne Koller,Sebastian Thrun, Jim Rodgers, and James Davis. Scape:人形的形状补全和动画. 在ACM SIGGRAPH 2005论文集上,SIGGRAPH '05, 第408-416页, 美国纽约, 2005. 计算机协会. [4]Mathieu Aubry, Ulrich Schlickewei, and Daniel Cremers.波动核签名: 一种量子力学方法用于形状分析.在IEEE国际计算机视觉研讨会(ICCV研讨会)上, 第1626-1633页.IEEE, 2011. [5] Federica Bogo, Javier Romero, Matthew Loper,and Michael J. Black. Faust: 用于3D网格配准的数据集和评估.在IEEE计算机视觉和模式识别会议上, 第3794-3801页, 2014. [6] D.Boscaini, J. Masci, S. Melzi, M. M. Bronstein, U. Castellani, andP. Vandergheynst.使用局部谱卷积网络学习特定类别的可变形形状描述符.计算机图形学论坛, 34(5):13-23, 2015. [7] Davide Boscaini,Jonathan Masci, Emanuele Rodol`a, and Michael Bronstein.使用各向异性卷积神经网络学习形状对应关系.在神经信息处理系统进展中, 第3189-3197页, 2016. [8] D.Boscaini, J. Masci, E. Rodol`a, M. M. Bronstein, and D.Cremers. 各向异性扩散描述符. 计算机图形学论坛, 35(2):431-441,2016. [9] Alexander M Bronstein, Michael M Bronstein, andRon Kimmel. 广义多维尺度: 一种等度量不变的局部表面匹配框架.国家科学院学报, 103(5):1168-1172, 2006. [10] Alexander MBronstein, Michael M Bronstein, Ron Kimmel, MonaMahmoudi, and Guillermo Sapiro.具有扩散几何的Gromov-Hausdorff框架用于具有拓扑鲁棒性的非刚性形状匹配. 计算机视觉国际期刊, 89(2-3):266-286, 2010. [11]Michael M Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam,and Pierre Vandergheynst. 几何深度学习: 超越欧几里得数据.IEEE信号处理杂志, 34(4):18-42, 2017. [12] Joan Bruna,Wojciech Zaremba, Arthur Szlam, and Yann LeCun.图上的谱网络和局部连接网络. arXiv预印本arXiv:1312.6203 ,2013. [13] Qifeng Chen and Vladlen Koltun.通过凸优化实现鲁棒的非刚性配准. 在IEEE国际计算机视觉会议上,第2039-2047页, 2015.0[14] Fan RK Chung and Fan Chung Graham. 谱图论. 编号92.美国数学学会, 1997. [15] Ronald R Coifman, Stephane Lafon,Ann B Lee, Mauro Maggioni, Boaz Nadler, Frederick Warner,and Steven W Zucker.几何扩散作为数据的谐波分析和结构定义工具: 扩散映射.美国国家科学院会议论文集, 102(21):7426-7431, 2005. [16] LucaCosmo, Emanuele Rodol`a, Michael M Bronstein, AndreaTorsello, Daniel Cremers, and Y Sahillioglu. Shrec'16:可变形形状的部分匹配. 3DOR会议论文集, 2(9):12, 2016. [17]Micha¨el Defferrard, Xavier Bresson, and Pierre Vander-gheynst. 具有快速局部谱滤波的图卷积神经网络.在神经信息处理系统进展中, 页码3844-3852, 2016. [18] Asi Eladand Ron Kimmel. 用于曲面的弯曲不变签名.IEEE模式分析与机器智能交易, 25(10):1285-1295, 2003. [19]Matthias Fey, Jan Eric Lenssen, Frank Weichert, and HeinrichM¨uller. SplineCNN: 使用连续B样条核的快速几何深度学习.在IEEE计算机视觉与模式识别会议上, 页码869-877, 2018. [20