基于局部谱图卷积的点集特征学习

基于局部谱图卷积的点集特征学习Chu Wang，Babak Samari，Kaleem Siddiqi麦吉尔大学计算机科学学院和智能机器中心{chuwang，babak，siddiqi}@ cim.mcgill.ca抽象。点云上的特征学习已经显示出很大的希望，引入了有效和可推广的深度学习框架，如pointnet++。然而，到目前为止，点特征已经以独立和孤立的方式提取，忽略了相邻点的相对布局以及它们的特征。在本文中，我们提出了克服这一限制，通过使用局部图上的谱图卷积，结合一种新的图池化策略。在我们的方法中，图卷积是在从一个点的邻域构造的最近邻图上进行的，使得特征被联合学习。我们用递归聚类和池化策略替换标准的最大池化步骤，该策略被设计成从在其谱坐标中彼此接近的节点的集群通过对不同数据集的广泛实验，我们显示出一致的点集分类和分割的任务的明显优势。我们的实现可在https://github.com/fate3439/LocalSpecGCN上获得。关键词：点集特征，图卷积，光谱滤波，光谱坐标，聚类，深度学习。1介绍随着复杂现实世界场景的配准深度和外观图像的当前可用性，对用于经典计算机视觉问题（包括对象检测、分类和分割）的例如，在其最新的化身中，深度传感器现在可以在Apple iPhone X相机中找到对于这样的数据，直接与无组织的3D点云一起工作并且不需要诸如表面网格的中间表示是特别有吸引力的。来自这样的传感器的3D点云的处理仍然具有挑战性，因为感测到的深度点可能在空间密度上变化，可能由于遮挡或透视效应而不完整，并且可能遭受传感器噪声。由于需要处理非结构化3D点云，同时利用深度神经网络的功能，pointnet++框架已经显示出用于识别和分割任务的3D点云特征处理的前景[1]。 在这种方法中，网络结构被设计成直接与点云数据一起工作，而2C. Wang等人输入层1层2聚类交替合并聚类交替合并聚类交替合并采样光谱递归聚类卷积池采样&光谱递归聚类 卷积池分割插值规范转换分类全连接层标签图1：T_OP：从点云开始，最远点采样导致质心，从质心采样k个NN。然后，对于每个邻域，进行谱卷积，然后进行递归聚类池化。经过几层采样，光谱卷积和聚类池，我们执行分割或分类。B0TTOM：绿色虚线框详述了样本邻域的Fiedler向量上的递归光谱聚类池化的过程有关讨论，请参见第4节中的文本在规则网格上的传统CNN的精神下，以分层的方式聚合信息。为此，首先在输入点云上应用质心采样，随后进行半径搜索以形成点邻域。然后由多层感知器[2]处理点邻域，并通过池化操作提取所得点特征。通过对点云数据的分层多层学习，pointnet++框架在具有挑战性的基准测试中表现出令人印象深刻的分割和分类性能，同时将输入数据视为无组织的点云。在一个平行的发展中，Defferardet al.已经试图将CNN（传统上应用于规则域，诸如2D中的采样图像像素或3D中的体素）扩展到表示为图的不规则域[3]。他们的方法使用切比雪夫多项式来近似谱图滤波器。在这里，通过卷积运算处理初始图以产生特征，然后使用子采样和池化方法对特征进行Kipf和Welling[4]简化了Defferrard等人的高阶多项式逼近。并提出了一种谱图滤波器的一阶线性近似。上述谱方法在全图上操作，并且具有以下限制：在网络训练或测试之前，必须以离线方式预先计算图拉普拉斯算子和图粗化层级。当整个图很大时，这会增加显著的开销。在本文中，我们建议在pointnet++框架中利用谱图CNN的强大功能，同时采用不同的池化策略。这使我们能够解决目前点云深度学习方法的两个局限性：1）对于每个点样本，特征的学习是在孤立的采样中进行的事实。局部谱GCN3在局部邻域中的方式，以及2）在后面的层中的信息的聚合使用贪婪的赢者全取最大池化策略。相反，我们采用不同的池化模块，如图1中的示例所示。1.一、此外，与现有的谱图CNN方法[3，4]相比，我们的方法不需要预先计算。我们的局部光谱特征学习与递归聚类和池化相结合，提供了一种新的架构，从无组织的点云的点集特征抽象。我们的主要方法贡献如下：– 在点集特征学习中使用局部谱图卷积来并入每个点的邻域中的结构信息。– 本地频谱图卷积层的实现，不需要离线计算，并且可以端到端的方式进行训练。我们在运行时动态构建图形，并在运行中计算拉普拉斯算子和池层次结构。– 使用一种新的和有效的图池化策略，通过递归聚类的谱坐标聚集在图节点的功能。所提出的架构导致新的国家的最先进的对象识别和分割结果在不同的数据集，广泛的实验证明。2点集特征学习中的挑战在pointnet++框架[1]中特征学习的局限性在于，来自点的k个最近邻居（k-NN）的特征是以孤立的方式学习的让h表示深度网络中任意隐藏层的输出，通常是多层感知器。在pointnet++中，实现了k-NN其中h（xi），i∈1，2，…，K. 不幸的是，这个隐藏层函数没有对k-NN中的点之间的联合关系进行建模。联合学习来自k-NN中所有点的特征将捕获与点的几何布局相关的拓扑信息，以及与输入点样本本身相关的特征，例如，颜色、纹理或其他属性。在下面的部分中，我们将扩展诸如pointnet++框架之类的方法，通过使用局部图卷积来实现这一目标，但是在谱域中。pointnet++中的另一个限制是k-NN的集合激活函数是通过每个点的隐藏层输出的最大池化来实现的f（x1，x2，…x（k）= maxi ∈1，…Kh（xi）。（一）最大池不允许保存来自邻域内不相交的点集的信息，如图中示例中的蚂蚁的腿。1.一、为了解决这个限制，我们引入了一个递归谱聚类和池化模块，它为k-NN产生了一个改进的集合激活函数，如第（4）节所讨论的。本文中的组合点集特征提取操作可以概括为f（x1，x2，…xk）=（h1，h2，…，hk）、（2）4C. Wang等人MLP���（MLPMax池化1 ×Spec图形转换递归群集池1 ×共享×MLP××FourierXX~×Spec调制P=X~×特征过滤= PW反向Fouriery=××′×′图2：TOP：pointnet++的逐点MLP（左）和我们的谱图卷积（右）之间的比较。谱图卷积输出取决于邻域中的所有点，而在逐点MLP中，输出仅取决于点本身。B〇 ttom：谱图卷积层中的网络操作以及输入/输出维度。其中h_i是卷积输出h（x1，x2，… xk）在第i个点处评估，并且表示集合激活函数。图 2 提 供 了 pointnet++[1] 中 的 逐 点 MLP 与 我 们 的 谱 图 卷 积 之 间 的 比 较pointnet++以孤立的方式抽象点特征，而谱图卷积以联合的方式考虑局部邻域中的所有点，将相邻点的特征这是通过图形傅里叶变换和频谱调制步骤来实现的，其使用图形拉普拉斯算子的本征空间来混合邻域特征（参见图1B）。（3）第三章。 在下面的部分中，我们提供理论背景并讨论我们的谱图卷积内核的实现细节。3图卷积图中顶点上的卷积运算由下式描述：h=X*g，（3）其中X代表输入点集特征，g代表图卷积核。这相当于图谱域中的逐元素阿达玛乘积，如Defferrard等人所示。[3]Shumanet al. 【5】：h~=X~⊙g~。（四）这里，X~表示点集特征的图形傅里叶变换，g~表示点集特征的图形傅里叶变换。滤波器，并且h~用于滤波后的输出。为了获得原始（顶点）域中的滤波输出，需要逆傅里叶变换我们在下面详细说明图形傅里叶变换和频谱滤波步骤局部谱GCN5+3.1局部邻域的图形表示给定一组k个点x1，x2，… xk的局部邻域中，我们构造一个表示图Gk，其顶点V是点，其边EV×V带有权值a：E→R* 其表示特征空间中顶点之间的成对距离。这提供了一个k×k非负对称图邻接矩阵A，其中元素Aij=dist（xi，xi）。然后，我们根据该邻接矩阵计算图形频谱傅里叶变换3.2图傅立叶变换为了计算点特征X∈Rk×m的图形傅里叶变换，这是Gk的顶点上的图形信号，我们首先需要计算归一化的图形拉普拉斯，定义为L=I−D−1/2AD−1/2，（5）其中IΣ是单位矩阵，D∈Rk×k是元素为s的对角阶矩阵Dii=jAij。L是实对称半正定矩阵，且有一组完整的正交特征向量，包括图形傅立叶基U=[u0，u1，…uk−1] ∈ Rk×k。（六）特征值可用于构造对角矩阵Λ=diag（[λ〇，λ1，…λk−1]）∈Rk×k（7）它包含了图表的频率。则可以得出L=UΛUT。然后，X的图形傅里叶变换被定义为X〜=UTX，并且其逆定义为X=UX〜 。3.3光谱过滤卷积运算在傅立叶域中定义为x*g=U（（UTx）⊙（UTg）），（8）继Shuman等人之后其中⊙是逐元素Hadamard乘积，x是任意图形信号，g是空间滤波器。如果我们将y=x*g定义为图形卷积的输出，则由g滤波的图形信号X∈Rk×m可以写为y=g<$θ（L）X=g<$θ（UΛUT）X=Ug<$θ（Λ）X<$，（9）其中θ表示任意参数化。在下面的部分中，我们将描述我们的光谱过滤实现，该实现是作为现有pointnet++[1]框架之上的一个模块，使用TensorFlow。6C. Wang等人3.4光谱滤波的实现我们使用标准的非参数化傅立叶核来执行谱图卷积，其中g~θ（Λ）的条目都是可学习的。以m为输入特征维数，m′为输出维数，图信号X∈Rk×m与谱滤波器的卷积可以通过以下三个步骤实现1. 频 谱 调 制 ， 其 输 出 P=GXλ ， 其 中 对 角 矩 阵 G 是 未 参 数 化 的 核 gλθ（Λ）。G的k个对角元都是非参数化傅立叶核公式中的自由参数。2. 特征滤波，其将输入维度从m扩展到m’。的输出这一步是一个特征矩阵Q∈Rk×m′。条目qΣmk我是第i个输出要素第k个点，由qk给出，i=j=1pk，jwj，i. 这里p，k，j是P对应于在先前的实施例中定义的第k个点的第j个输入特征。step，并且Wj，i是第i个输入特征与第j个输出特征之间的滤波器系数该步骤可以由Q=PW表示，其中W是可学习滤波器参数的矩阵。步骤1和2中的过滤操作可以总结为Q=（GX~）W。（十）3. 逆傅里叶变换，其经由y=UQ在空间图形信号域中提供卷积输出。上述公式类似于[3]和[4]的公式，不同之处在于我们在运行时构建k-NN图，实时计算其拉普拉斯算子和池化层次结构，因此不需要离线预计算。我们进一步注意到，特征滤波器W以及频谱调制矩阵G的权重由给定图形卷积层中的所有不同局部邻域因此，与[3，4]不同，我们工作中的学习参数不依赖于底层图结构。图图2（底部）总结了上述光谱滤波过程。虽然可以使用[3]中更复杂的有效内核，但我们的目标是证明图CNN总体上获得的改进。由于在我们的非参数化谱核中的特征值分解（EVD）的开销不会显著影响运行时间，因为EVD是在局部k-NN图上计算的，其中k非常小。这种计算很容易通过GPU上的并行计算来处理，正如我们在5.3节中描述模型消融研究中的训练时间成本的实验所证明的那样。对于谱图卷积和聚类池化操作，我们的方法对于EVD计算中的特征向量符号的潜在模糊性也是鲁棒的，如https://arxiv.org/abs/1803.05827的本文的arXiv版本中所讨论的。4局部k-近邻图的池化第2节中讨论的集合激活函数，其目的是总结来自k-NN图的信息，本质上是图池化的一种形式，其中k个顶点的图通过特征池化抽象为单个顶点。我们提出了一种新的k-近邻图池算法，使用层次聚类和内簇池。我们局部谱GCN7K1λ1λ 2λ 3λ 1λ 2λ 3图图3：鸟（左）和人（右）模型的光谱坐标可视化λi，i∈ {0，1，…k−1}是图拉普拉斯算子的第i个特征值。方法的灵感来自[6]中的结果，其中展示了3D对象识别中跨多个视图的递归聚类池的好处。一般的策略是在学习过程中以一种仅在类似的抽象点特征集群内进行信息池化的方式，与最大池化的贪婪策略相反，最大池化通常应用于常规CNN和pointnet++中。这里的直觉是，多组不同的特征可以一起有助于手头的任务的显著属性，并且与集群池内相结合的这些集群的检测将提高性能。例如，对于对从人类头部采样的点集进行分类的任务，人们将希望以同时学习和捕获鼻子状、下巴状和耳朵状特征，并且不假设这些特征中只有一个对于该对象类别是有区别的。我们依次讨论每个步骤。4.1谱聚类我们建议根据一个本地的k-NN我们使用的谱坐标基于图拉普拉斯算子L的低频特征向量，其捕获粗略的形状属性，因为拉普拉斯算子本身在k-NN图中编码成对距离。如在[7][8]中所利用的，用于计算上的点对点对应。网格或特征描述，低频频谱坐标提供了一个区分频谱嵌入对象的局部几何形状（见图1）。1底部和图（3）第三章。对应于第二小特征值的特征向量，Fiedler向量[9]，被广泛用于谱聚类[10]。4.2集群、池化和递归遵循归一化切割聚类算法[10]，我们划分Fiedler向量以在局部k-NN中执行谱聚类。我们首先将Fiedler向量的条目按其数值的升序排序，然后在第一次迭代中将其均匀地切割成k1邻域中Fiedler向量条目落在同一部分中的点将被聚类在一起。这导致具有c=k的聚类大小的k1个聚类。在获得划分为k1个簇后，我们执行池化操作8C. Wang等人算法1递归聚类池INPUTS：pts←点特征（Rk×m），csize←簇大小，POOL ←池方法。OUTPUT：池化点特征（R1×m）。方法：RG_SORT（x）返回x的排序索引，R_E_A_RRANGE（x，y）根据给定索引y沿其第一维置换x，P_OOL（x）沿其第一维汇集x。程序CLUSTER（pts，csize，POOL）G←ADJMATRIX（pts）L←L拉普拉斯（G）[Λ，U] ←EVD（L）fiedlervector←U[：，1]inds ← ARG SORT（菲德勒向量）RE ARRANGE（pts，inds）RE SHAPE（pts，[：，csize]）returnPOOL（pts）手术MAIN（pts，csize）POOL←MAXPOOLwhileCOUNT（pts）>csizedopts←CLUSTER（pts，csize，POOL）ifPOOL==MAXPOOLthenPOOL←AVGPOOL其他POOL←MAXPOOL返回POOL（分）仅在每个集群内。这允许网络利用来自k-NN图中可能不相交的组件的分离上述步骤导致具有聚集点特征的粗化k1-NN图。然后以递归方式在粗化图上重复相同的过程，以针对每次迭代i获得k个聚类。我们在不同递归之间交替使用最大池化和平均池化，以进一步提高图池化算法的区分能力。当剩余的顶点数小于或等于规定的簇大小时，所提出的算法终止。然后，对所得到的图形信号应用常规的全步幅池化。我们在算法1中形式化上述步骤。在实践中，我们发现，使用k=2c2作为集群大小c和邻域k大小之间的关系给出了良好的结果，两次重复的集群池化和最终池化的大小为2。我们使用最大池作为交替池的第一阶段方案，并为我们在第5节中的所有实验修复了这些配置。 我们在TensorFlow中实现了递归集群池化模块，将其与频谱图卷积层完全集成，使整个网络具有端到端的可训练性。5实验5.1数据集我们根据目前最先进的方法评估我们的方法：– MNIST，它包含手写数字的图像，具有60k训练和10k测试样本。它已被用于对相关图CNN方法进行基准测试[3，11]以及pointnet++[1]。– ModelNet40[12]，包含40个类别的CAD模型，采样为点云。我们使用官方的分割，有9，843个训练样本和2，468个测试样本。局部谱GCN9– McGill Shape Benchmark[13]，其中包含来自19个类别的254个铰接对象模型和202个非铰接对象模型。我们将网格采样到点云中，并使用每个类别中前三分之二的示例进行训练，剩余的三分之一用于测试。– ShapeNet零件分割数据集[14]，包含来自16个类别的16，881个形状，每个模型中的点都标记为50种零件类型之一我们使用官方的训练/测试分割，遵循[2，14，15]，其中的挑战是为测试集中的每个点分配一个部件标签。– ScanNet室内场景数据集[16]，包含1513个扫描和重建的室内场景，注释包括语义体素标签。我们遵循[1，16]中的分割实验设置，并使用1201个场景进行训练，312个场景进行测试。5.2网络架构与培训我们提供了1024个输入点（1k）和2048个输入点（2k）的网络结构的细节。用于2k实验的网络结构被设计为“更宽”，以更好地适应增加的输入点密度。表1列出了pointnet++的所有变体和我们的光谱点卷积网络结构，我们将在稍后展示实验结果时参考3l-pointnet++在pointnet++ GitHub页面上的“pointnet 2 cls ssg.py”模型文件中定义。我们将4l-pointnet++中的核替换为谱图卷积核，以获得4l-spec-max模型。在4l-spec-max模型中用递归集群池化替换最大池化产生4l-spec-cp模型。训练过程中使用的网络结构和参数的详细信息在本文的arXiv版本中描述，网址为https://arxiv.org/abs/1803.05827。1k结构L1 L2 L3 L4内核池化C512 128 1个-3l-pointnet++k64 64 128-点MLPMaxM128 256 1024-C512 128 32 14l-pointnet++k32 32 8 32点MLPMaxM128 256 512 10242k结构L1 L2 L3 L4内核池化C1024 256 1个-3l-pointnet++k64 64 256-点MLPMaxM128 256 1024-C1024 256 64 14l-pointnet++k32 32 8 64点MLPMaxM128 256 512 1024表1：1k实验（顶部）和2k实验的网络架构（底部）。这里，对于每一层，C表示质心的数量，k表示k-NN的大小，并且m表示输出特征维度。10C. Wang等人5.3网络模型的消融研究我们首先评估我们的框架中的新组件的效果：1）在k-NN上的局部我们应用4层pointnet++结构作为基线方法，然后向每层添加光谱过滤器我们还包括使用[1]中使用的3层结构获得的结果。此外，我们考虑了这两种方法的可扩展性以及它们的训练时间，在不同的输入点的数量和包括额外的功能，如表面法线的条件下。这些结果列于表（2）中。ModelNet40加速1kAcc1k +N时间250ep加速2k +N时间250ep3l-pointnet++4l-pointnet++90.790.691.391.111h7.5h91.47 ±0.1191.19 ±0.1120h11h4l-spec-max4l-spec-cp91.291.591.691.88h12h91.83 ±0.0812h20h92.03 ±0.09ShapeNet分段mIOU 1k mIOU 1k +N 时间100ep mIOU 2k +N 时间100ep3l-pointnet++4l-spec-cp84.284.684.785.07.5h8h84.84 ±0.1014h14h85.37 ±0.09表2：关于ModelNet40（分类）和ShapeNet（分段）的模型消融研究tation）。Acc代表分类精度，1 k/2k是指所使用的点的数量“2k + N”列显示5次运行的平均结果。对于分割实验，mIOU代表联合上的平均交集。在这里，我们只比较了pointnet++和我们的最佳模型。训练时间是相对于在每个实验中使用的时期的数量。添加法线只会增加可忽略不计的训练时间，因此仅为1k实验提供一个运行时列。这些实验的网络结构描述于表1中。从表2中的模型消融研究可以明显看出，我们提出的模型将谱图卷积与递归聚类池结合在一起，在分类和分割任务上都比pointnet++有了显著的改进 我们做了以下观察：1）3l-pointnet++比4层版本性能更好。这可能是因为在4层版本中，邻域大小是3层版本中的邻域大小的一半。由于在pointnet++中，每个点的特征都是以孤立的方式学习的，因此使用更大的邻域具有优势。2)局部k-NN上的谱图卷积比逐点MLP执行得更好。4l-spec-max模型优于4l-pointnet++。这意味着由谱图卷积编码的拓扑信息改善了特征学习。3)递归聚类池化进一步提升了频谱图卷积层的性能。这表明，信息聚合后的光谱坐标增加了辨别能力的学习点的功能，有利于分类和分割。4)我们模型的运行时间与pointnet++相当。谱卷积和递归聚类池中的特征值分解局部谱GCN11从理论上讲，这可能是昂贵的，但由于我们使用当地的社区，影响并不严重。我们最好的模型4l-spec-cp与3l-pointnet++的训练时间大致相同，3l-pointnet++是pointnet++中最好的模型谱图卷积核与逐点MLP核一样快，这可以通过比较4l-spec-max和4l-pointnet++模型的运行时间来看出。我们现在使用第5.1节中描述的数据集，提供与目前最先进的分类和分割方法的比 较。 当与 pointnet++ 进行 比较时 ，除 非另有 说明， 否则 我们应 用3l-pointnet++模型，因为它在表2中的模型消融研究中给出了比4层版本更好的结果。5.4分类实验McGill形状基准的分类结果呈现在表3中，在所有情况下使用1024个xyz点作为输入。点集上的谱图卷积在平均实例级准确度和类别级准确度方面提供了一致的提升。递归集群池的使用使我们的模型又获得了0。与最大池化相比，总体实例级准确性提高了7%。由于k-NN可能包含不相交的点集，因此通过聚类谱坐标来递归聚集k-NN特征似乎增加了对铰接对象的区分实例级准确度（%）类别级准确度（%）模型内核池 Arti 非阿尔蒂 组合Arti 非Arti组合3l-pointnet++ point-MLPMax91.2595.3193.0691.3395.4493.274l-pointnet++ point-MLPMax92.5092.1992.3692.8392.7492.794l-spec-cp规格转换最大cp92.5093.7598.4498.4495.14 92.75九十五点八三九十三点三十98.4198.4195.43九十五点七四表3：麦吉尔形状基准分类结果。我们报告了整个数据库和子集的实例和类别级别的准确性（网络结构见表1方法域内核错误率（%）多层感知器[17]LeNet5[18]网络中的网络[19]全图像本地img补丁本地img补丁空间MLP空间转换1.600.800.47ChebNet[3]MoNet[11]全图本地图谱图转换空间图形转换0.860.813l-pointnet++[1]4l-spec-cp局部点局部k-近邻图空间点MLP谱图转换0.550.42表4：MNIST分类结果。为了获得我们复制的pointnet++结果在[1]中讨论的实验。12C. Wang等人MNIST数据集2D图像可以被视为网格图[3，11]或2D点云[1]。我们提供的MNIST数据集上使用我们提出的最佳模型，4l-spec-cp，从以前的模型消融研究的结果。 我们将我们的结果与图CNN [3，11]，点集[1]（我们的0. 使用pointnet++的55%错误率非常接近作者报告的错误率），并且在2D图像域上应用常规神经网络/CNN方法[17，18，19]。对于pointnet++和我们的方法，都提供了784个点作为网络的输入，我们使用1k实验网络，其中第一层采样512个质心（见表1）。表4中的结果表明，有利于输入域上的局部操作的方法通常会产生更好的性能，例如，MLP与LeNet，以及我 们的 方 法 与LeNet 。 ChebNet我 们的 方 法 给出 了 一 个 20%的 错误 率 降 低pointnet++，证明了在一个本地的k-NN图上的频谱卷积的优势，在孤立的学习过程中逐点MLP。此外，我们的性能超过了Network in Network模型[19]，这是一个强大的常规图像CNN模型。ModelNet40数据集我们在表5中展示了ModelNet40 3D形状识别结果，并将我们的方法与具有代表性的竞争方法进行了比较。 我们能够重现pointnet++的结果，以获得与作者在[1]中报告的非常相似的性能。我们报告了两组准确度结果。第一次1024方法域内核池化累积（%）累积+ N（%）子卷[20]体素网格3D转换3D-max89.2-MVCNN[21]2D视图二维转换 view-max90.1-PointNet[2]满分点MLP最大点89.2-3l-pointnet++[1]局部点点MLP最大点90.791.54l-spec-max局部k-近邻图图形转换 graph-max91.291.94l-spec-cp局部k-近邻图图形转换graph-cp91.592.1表5：ModelNet40结果。“Acc” stands for 1k experiments with only输 入 要 素 。 “Acc + N” stands for 2k experiments with “graph-cp” stands forrecursive clusterxyz点坐标用作输入，网络结构遵循表1中的1k配置。在第二个2048个xyz点连同它们的表面法线一起被用作输入，其中网络结构遵循表1中的2k配置。我们使用的谱图卷积和递归集群池提供了一个一致的改进pointnet++，并导致国家的最先进的水平的分类性能的ModelNet40基准。5.5分割实验点分割是对3D点集中的每个点进行标记的任务，并且比点集分类更具挑战性。我们在ShapeNet局部谱GCN13方法域内核ShapeNet-mIOU（%）ScanNet-Acc（%）Yi等人[14个]Dai等人[22]第二十二话PointNet[2]-体素网格全k-近邻图满分-3D转换图转换点-MLP81.4-84.783.7-73.0-73.9Pointnet++[1]4l-spec-cp局部点局部k-NN图点MLP图形转换84.984.085.484.8表6：细分结果。我们将我们的方法与最先进的ap-proaches ， 以 及 从 pointnet++ 的 结 果 ， 我 们 已 经 能 够 重 新 产 生 实 验 。 对 于ShapeNet，mIOU代表点上的平均交集，对于ScanNet，Acc代表体素标签预测精度。[14]和ScanNet [16]。然后，我们提供了每种情况下的实验设置的细节。Shapenet部件分割数据集根据[14]中的设置，我们评估我们的方法，假设每个形状的类别标签已经已知，并且我们在点上使用相同的mIoU（平均交集）测量2048个xyz点及其表面法线用作输入特征，并且网络结构遵循表1中的2k配置的网络结构。更具体地说，3l-pointnet++模型应用于pointnet++，4l-spec-cp应用于我们的方法。ScanNet数据集ScanNet是一个大规模的语义分割数据集，由室内场景的真实3D扫描构建而成，因此比ShapeNet中的合成3D模型更具挑战性。在[1][16]之后，我们在表6中的实验中移除RGB信息，并且我们使用语义体素标签预测准确度进行评估。 训练和测试过程遵循pointnet++[1]中的步骤。 8192个xyz点被用作输入特征，并且网络结构是表1中的2k配置的网络结构。 更具体地说，4l-pointnet++模型应用于pointnet++，4l-spec-cp应用于我们的方法。1在我们的方法中使用谱图卷积结合聚类池再次提供了对pointnet++的重要改进，在ShapeNet数据集上的部分分割和ScanNet数据集上的室内场景语义分割上实现了最我们提供了一个说明性的可视化的部分分割结果的选定模型图。4.第一章 在这些示例中，当与pointnet++相比时，我们的方法给出的结果更接近整体的真实情况，并且它更好地捕获了精细的局部结构，例如滑板的轴和桌子的脚。此外，具有聚类池的谱图卷积提供了局部几何变化的更忠实的表示。这使我们能够成功分割3D对象的连接部分，例如来自13l-pointnet++模型在这个大规模室内数据集上的性能较差。对于这两个网络，对于本文中报告的所有实验，应用单尺度分组（[1]中的SSG）进行公平比较。14C. Wang等人手提包滑板台灯飞机刀PN++我们GT图4：使用pointnet++（表6中的顶行，84.9%），我们的41-spec-cp模型（表6中的中间行，85.4%）和地面真值标签（底行）在ShapeNet上可视化分割结果我们的方法似乎可以更好地捕获精细的局部结构（参见文本的讨论）。手提包的主体，飞机尾翼的翅膀和刀的刀刃的手柄6结论在局部点邻域上使用谱图卷积，然后在导出的表示上使用递归聚类池，对于从无组织点集进行特征学习具有很大的希望。我们的方法能够从这些数据中捕获局部结构信息和几何线索，这在计算机视觉应用的特征抽象的深度学习方法方面取得了进展。凭借其强大的实验性能，可接受的运行时间，以及在处理各种数据集和任务的多功能性，我们的方法可以有相当大的实用价值，因为3D深度传感器开始变得越来越普遍。该方法在应用中不限于从相机导出的点集。它还可以应用于顶点具有更抽象解释的设置中，例如表示社交网络的图中的节点，其中局部特征属性可以发挥重要作用。致谢我们感谢Charles Ruizhongtai Qi，他不仅发布了我们自己的工作所基于的point- net++实现，而且还提供了许多关于如何使用它的有用提示我们还感谢加拿大自然科学和工程研究委员会的研究资助。局部谱GCN15引用1. Qi，C.R.，Yi，L.，Su，H.，Guibas，L.J.：Pointnet++：度量空间中点集的深度层次特征学习NIPS（2017）2. Qi，C.R.，Su，H.，Mo K Guibas，L.J.：Pointnet：用于3D分类和分割的点集深度学习。CVPR（2016）3. Defferrard，M.，Bresson，X.，Vandergheynst，P.：具有快速局部谱滤波的图上卷积神经网络。NIPS（2016）4. 基普夫T.N. Welling，M.：基于图卷积网络的半监督分类。ICLR（2017）5. 舒曼警探Narang，S.K.，Frossard，P.，Ortega，A.Vandergheynst，P.：图形信号处理的新兴领域：将高维数据分析扩展到网络和其他不规则域。IEEE Signal ProcessingMagazine30（3）（2013）836. Wang，C.，中国地质大学，佩利略，M.，Siddiqi，K.：用于多视图3D的支配集聚类和池化物体识别BMVC（2017）7. Lombaert，H.，格雷迪湖Cheriet，F.：Focusr：面向特征的对应使用光谱正则化-一种 精 确 表 面 匹 配 的 方 法 。 IEEE Transactions on Pattern Analysis and MachineIntelligence（2013）8. 布朗斯坦，上午，Bronstein，M.M.，Kimmel，R.：非刚性形状的数值几何。计算机科学中的数学03 The Dog（2008）9. Chung，F.R.：谱图论数学区域会议系列第92名。美国数学学会（一九九七年）10. 施，J.，Malik，J.：归一化切割和图像分割。IEEE模式分析与机器智能汇刊22（8）（2000）88811. 蒙特i，F.，Boscaini，D.Masci，J.，Rodola`，E.，Sv oboda，J.，布朗斯坦，M.M.：几何深度使用混合模型CNNS在图和流形上学习。CVPR（2017）12. 吴志，Song，S.，Khosla，A.余，F.，张，L.，唐，X.，Xiao，J.：3D shapenets：体积形状的深度表示。CVPR（2015）13. Siddiqi，K.，张杰，Macrini，D.，Shokoufandeh，A.，Bouix，S.，迪金森，S.：使用内侧表面检索关节连接的3d模型机器视觉与应用19（4）（2008）26114. Yi，L.，Kim，V.G.，Ceylan，D.，申岛Yan，M.，Su，H.，吕，A.，黄，Q，Sheffer，A.，吉巴斯湖等：三维形状集合中区域标注的可扩展活动框架ACMTransactions on Graphics（TOG）（2016）15. Yi，L.，Su，H.，郭，X.，Guibas，L.：同步规范：用于三维形状分割的同步谱cnn。CVPR（2017）16. Dai，A.，Chang，A.X.，Savva，M.，Halber，M.，Funkhouser，T.，Nießner，M.：ScanNet：丰富注释的室内场景三维重建。CVPR（2017）17. Simard，P.Y.，Steinkraus，D.，Platt，J.C.，等：卷积神经网络的最佳实践-应用于视觉文档分析。ICDAR（2003）18. LeCun，Y.，博图湖Bengio，Y.，Haffner，P.：基于梯度的学习应用于文档识别。IEEE86（11）（1998）227819. Lin，M.，陈昆，Yan，S.：网络中的网络。ICLR（2014）20. Qi，C.R.，Su，H.，Niessner，M.，Dai，A.，Yan，M.，Guibas，L.J.：用于三维数据对象分类的体积和多视图cnn。CVPR（2016）21. Su，H.，Maji，S.，Kalogerakis，E.，Learned-Miller，E.：用于3D形状识别的多视图卷积神经网络。ICCV（2015）22. Yi，L.，Su，H.，郭，X.，Guibas，L.：同步规范：用于三维形状分割的同步谱16C. Wang等人cnn。CVPR（2017）