基于持久同源性的图卷积网络用于3D对象细粒度三维形状分割

7098L基于持久同源性的图卷积网络细粒度三维形状分割澳门大学amilton. connect.um.edu.mo澳门大学cmvong@um.edu.mo摘要细粒度的3D分割是3D对象理解中的一项重要任务，特别是在诸如智能制造或3D对象的零件分析等应用中。然而，涉及此类问题的许多挑战尚待解决，例如i）解释位于3D对象的不同区域中的复杂结构;ii）捕获具有足够拓扑正确性的细粒度结构。当前的深度学习和图形机器学习方法无法解决这样的挑战，因此在细粒度3D分析中提供较差的性能。在这项工作中，拓扑数据分析方法与几何深度学习模型相结合，用于3D对象的细粒度分割任务。我们提出了一种新的神 经 网 络 模 型 ， 称 为 持 久 同 源 基 于 图 卷 积 网 络（PHGCN），它i）集成持久同源到图卷积网络，以捕获多尺度的结构信息，可以准确地表示复杂的结构的3D对象; ii）应用一种新的持久图丢失（PD），提供足够的拓扑正确性分割的细粒度结构。大量的细粒度的3D分割实验验证了所提出的PHGCN模型的有效性，并显示出显着的改进，改进了当前国家的最先进的方法。1. 介绍细粒度3D语义分割是对每个3D点输入的标记按详细级别进行语义分类的任务。在智能制造、自动化室内设计和家具布置、自主机器人操作、人机交互、三维服装分析等领域，三维形状的精细处理和分析是一项重要的任务分割细粒度3D对象涉及许多挑战，这是由于细粒度3D对象中的特定属性，诸如i）位于不同区域中的复杂结构，以及ii）位于不同区域中的复杂结构gions; ii）形状相关的拓扑结构（例如，物体的把手、门把手、设备线）。这些属性总是表现在细长的部分或多个小的连接组件中，这些组件在语义上对下游任务（如机器人操作）非常重要。充分解释这两个主要结构对于精确的3D细粒度语义分割任务是必不可少的。如果不能解决这些挑战，将大大降低语义理解3D细粒度对象的性能，并产生不连贯的分割输出，这对于智能制造和机器人操作至关重要。近年来，基于深度神经网络的方法[6，16，21]和几何学习方法[15，27，28]已经成为3D点云理解任务的主流方法，从一般的3D对象分类到对象和场景的语义分割。回顾这些方法，发现它们不是专门设计用于理解具有复杂结构或形状相关拓扑结构的细粒度3D对象的 任 务 。 [15 ， 27 ， 28] 中 的 方 法 应 用 图 神 经 网 络（GNN）或图卷积网络（GCN）模型来从3D点云中的几何结构提取特征。然而，这种方法仅捕获由边表示的成对关系，因为在GNN/GCN模型中构造的邻近图仅表示3D点云之间的成对关系。结果，存在于细粒度3D对象的复杂结构中的高维关系不能被精细地捕获。最近的工作PartNet模型[31]应用级联二进制标记来表示用于分层分割的自顶向下递归然而，二进制标记的表示能力受到层次深度的限制，因此遭受处理具有多个复杂结构的3D对象。事实上，复杂结构中存在的几何和拓扑信息是理解细粒度物体形状的基本线索。拓扑数据分析（TDA）[3]是从复杂数据中推断相关拓扑和几何特征7099LTDA采用一种称为复杂过滤的机制来构造输入点云的多尺度拓扑结构，提取点云复杂结构中存在的高维关系，如图所示。第1（a）段。然后，将TDA中的工具持久同源性应用于所得到的严格递增的子复合物的嵌套序列，其被称为过滤复合物，以计算多尺度拓扑特征，表示为持久性条形码和持久性图，如图所示。1（b）和（c）。结果持久图中的0-dim、1-dim和2-dim持久同调特征对应于点云中的连通分量、环和高维对应物（例如腔）。在这项工作中，我们选择TDA工具[10]提出了一种新的网络模型，称为基于持久同源的图卷积网络（PHGCN），它将持久同源特征融入GCN网络，以增强其捕获细粒度3D对象中复杂结构的多尺度拓扑特征的能力。为了进一步解决细粒度分割问题，我们发现细粒度对象中的形状相关拓扑结构，特别是连接部分（例如，手柄、电线、旋钮）总是表现为小尺寸对象或细连接组件，这使得相干分割困难，因为通常用于分割任务的交叉熵损失可能不足以反映拓扑错误，即使整体损失值较低。为了克服这样的问题，我们提出了一个持久性图损失（PD），它作为拓扑约束，以确保分割输出具有足够的拓扑正确性，以获得连贯的分割输出。据我们所知，我们的工作是第一个工作，它引入了持久的同源性，以解决细粒度的三维语义分割问题。我们工作的主要贡献总结如下：1. 利用GCN网络模型的持久性同调特征，该2. 一种新的持久性图损失被应用于加强预测中的拓扑正确性，以提供一致的细粒度分割输出。3. 所提出的工作证明了用计算拓扑方法扩展通用GNN/GCN结构在具有挑战性的3D对象部分分割基准上对细粒度语义分割进行了广泛的实验评估，这表明所提出的PHGCN模型达到了最先进的结果。2. 拓扑数据分析初探拓扑数据分析（TDA）[3]是一个新兴的领域，其目标是从复杂结构的数据中捕获相关的拓扑和在本节中，提供简要概述以突出TDA中的机制。有关TDA的详细信息，请参见开创性论文[11，33]。2.1. 单纯复形由于没有从数据点中提取拓扑信息的直接方法，单纯复形被构造为对采样点的基础形状的拓扑近似。单纯形复形可以看作是一个图的高维扩展，它包含了不同维数的单纯形的集合。k维单形的几何实现分别是顶点（k=0）、边（k=1）、三角形（k=2）、四面体（k=3）和高阶对应物（k4）2.2. 同调群为了计算分析单纯复形的拓扑特征，将同调群赋予单纯复形.同调群是描述单纯复形在不同维数上的拓扑特征的一类数学群。k维同调群的拓扑特征分别是连通分支（k=0）、圈（k=1）和腔（k=2）.2.3. 持久同源性和过滤持久性是一种关于当给定参数变化时形状如何变化的度量。持久同源性提供了一种跟踪拓扑特征在某些参数变化期间何时出现和消失的方法，例如每个数据点的比例。在该阶段中，生成简单复合物的嵌套序列，也称为过滤，如图1B所示。第1（a）段。该方法通过增加尺度参数来捕捉单纯复形的演化过程，可以看作是数据点的多尺度拓扑空间。因此，每个多尺度拓扑特征的生命周期被记录为持久性条形码，如图所示。第1段（b）分段。持久性条形码然后可以被转换成每个拓扑特征的出生时间和死亡时间，并且被表示为持久性图，如图1B所示。第1段（c）分段。结果，捕获数据点中加下划线的形状的多尺度拓扑信息。3. 相关作品在本节中，主要介绍两种相关技术：讨论了点云上的深度学习方法和持久同源方法。7100∈∈ΣD′L我∈∈我--我3.1. 点云基于深度神经网络的方法在2D图像语义分割任务中的成功[7，23，32]，促进了其用于3D点云输入的可行性[6，16，17，21，30]。然而，这样的方法在捕获点之间的连接方面缺乏足够的能力。基于图形的方法，如DGCNN [28]，ResGCN-28 [15]，通过将每个点指定为节点并通过测量点云的边缘来显式地从点云构建图形。尺寸特征f iR D。通过对球半径进行阈值化，在P i的球形邻域Ni内随机选择其K个相邻点即P ij=（rij，f ij）来构建P i的K -邻居图，其中r ij= r j−r i∈R3是相对位置，f ijRD′是增强的功能. D′是变换特征的维数。通过软注意力机制，加权和作为中心点Pi的聚集特征h′i∈RD′，点对之间的相关性。然而，这样的方法仅捕获点之间的成对关系，并且在捕获复杂的高阶关系方面受到影响。h′i=aijj∈Ni国际新闻报∈R（1）结构，这在细粒度对象中很普遍3.2. 机器学习持久同调是拓扑学中的一个基本方法用于提取拓扑特征的标准数据分析其中，注意力权重aij可以通过返回来学习。[29]如图所示 在更新步骤中，将聚集特征h′i馈送到多层感知器（MLP）中，然后跟随ReLU [19]激活函数以获得变换特征f out=ReLU（MLP（h′））∈不同空间分辨率的几何实现。所提取的拓扑特征给出了对数据的潜在形状的洞察，并且作为部署在机器学习流水线中的强大特征工作[1，2，14]。因此，TDA方法的有效性吸引了计算拓扑方法在各种应用中的广泛采用，包括动作识别[25]、医学成像[8，22]、形状匹配[20]和神经网络设计[4，9]。最近的一些工作[12，13]也探讨了持久性同调可微性的可行性。受这些有前途的工作的启发，提出了一种新的PHGCN集成持久的同源机制与图卷积网络捕捉多尺度结构信息的复杂结构的细粒度对象。4. 方法在本节中，我们提出的方法的细节细粒度的3D语义分割。 该方法由两个核心模块组成：1）基于持久同源的图卷积神经网络（PHGCN），通过拓扑持久（PH）和图卷积网络（GCN）的结合来捕获复杂结构中的多尺度结构信息; 2）持久图丢失（PD）用于优化分割细粒度结构，减少拓扑错误。 整个网络架构如图所示。二、以下各节将详细介绍每个拟议模块4.1. 广义图卷积网络遵循GACNet [27]和AD-Convnet [29]的网络设计，我们通过聚合步骤和更新来步在聚合步骤中，点云输入的每个点Pi由其3D位置ri∈R3和D表示。RC，作为GCN层的输出收集这类点特征f_out（i=1，...，M）构成输出特征图F，其中M是子采样点的数量，并且可以被视为输出特征图的空间大小。 为了符号的简单性，我们将最后一个GCN层的输出逐点特征映射表示为F LR M×C。上述程序的细节可参考[27]和[29]。4.2. 基于持久同调的图卷积网络（PHGCN）通过应用连续GCN层的计算，得到的局部特征图仅捕获局部邻域的特征，这不足以理解3D细粒度对象。在这项工作中，我们采用拓扑数据分析的工具来提取隐藏在三维细粒度对象的复杂结构中的基本信息持久同源性（PH）是一种拓扑数据分析的数学工具，它能够提取点云中下划线形状的可证明稳定的拓扑特征针对一般GCN模型不能捕捉三维细粒度对象的复杂结构的问题，通过引入PH模块对GCN模型进行扩展，提取复杂结构中的基本拓扑信息.在PH模块中描述了提取持久同源性特征的方法，如图所示。图3（b）：N个3D点的输入点云可以被认为是有限度量空间，表示为X N，过滤构造被应用于X N上以经由变化的尺度参数提取多尺度过滤的单纯复形的链，表示为Filt（X N）。 然后，将持久同源性应用于计算拓扑特征的演化和PE-保持拓扑特征的出现时间和消失时间之间的间隔，表示为出生时间，b和7101∈图1.计算持久性图的流水线（一）. 当改变尺度参数时，过滤的子复合体（深蓝色和橙色）的演变（b）.每个过滤的子复合物的相应持久性条形码，其保持同源类的寿命。对于2D平面情况的该示例，0-dim和1-dim同调类的拓扑特征分别被示出为红色条和蓝色条。(c)最终的持久性条形码被转换成持久性图。图2. PHGCN的整个网络架构死亡时间，d.这种周期通常用持续图（PD）来描述，持续图是二维平面上的点集，其中每个点（b，d）代表第k个持续状态类，它在时间b出现，在时间d消失（维数k= 0，1，2分别指连通的由此产生的PD反映了多尺度概括的拓扑信息，这是必不可少的复杂结构的解释。令PD=dgm（ Filt（XN））表示从先前过滤构造获得的结果持久性图。我们将PDk表示为k维同调特征的持久性图。对应物分别对应于连接部件（k=0）、循环（k= l）和腔（k=2）。我们认为复杂结构的基本拓扑信息主要存在于圈和腔中。因此在我们的方法中使用了1维和2维的同源特征。通过应用如图1中所示1，提取1维和2维持久图分别作为PD1和PD2由于持久性图本身是一个多集合而非线性向量，因此不适合作为一般机器学习流水线的输入。因此，PD1和PD2被进一步特征化为持久性图像[1]，表示为P11和P12，然后被平坦化为特征向量。为了结合一维和二维同调特征的强度，采用向量拼接得到特征向量作为拓扑描述器，记为pRP. P是特征尺寸拓扑描述符。 为了与局部特征图FL ∈ RM ×C相结合，拓扑描述子被M重复7102∈∈∈LCΣ2PDPDLL图3.PHGCN模块的流水线（a）GCN模块的数据处理流程（b）PH模块的数据处理流程次，得到拓扑特征图FPHR M ×P。然后将拓扑特征图FPH与局部特征图FL连接起来. 最后，为了学习更好的特性地图融合，一个可学习的1 ×1卷积滤波器应用于地面实况图GT的张力图）。mm=argminW1（ dgmL， dgmGT）M连接特征图以获得增强特征图FARM×C。从而对复杂结构中存在的拓扑信息进行自适应聚合=argminM（uΣ，v）∈m（二）u−v以增强逐点特征表示，以便更好地执行细粒度语义分割任务。由于特征图在由每个GCN层处理之后被下采样，因此增强的特征图FA由特征传播卷积（FPConv）模块[21]子插值以恢复点特征，如其中u∈dgmL，v∈dgmGT，Wasserstein分布-这里的距离使用每个之间的L∞范数距离 对对于图dgmL和dgmGT之间的每个可能的匹配m，点（u，v）m。一旦找到最佳匹配m*，则将PD计算为来自dgmL和dgmGT的每个匹配点对之间的平方距离。输入点云的原始比例，这是最终的逐点预测。整个网络模型PHGCN可以以端到端的方式进行训练。LPD =（u，v）∈m*u−v（三）注意，这里的Lc是根据每个部分计算的4.3. 持久性图丢失LPD通过洞察到获得细粒度结构的相干分割输出具有挑战性，我们进一步增强了具有拓扑正确性3D对象的特定类别的类。所有部件类别（c = 1，2，… N c）以获得最终的一个，Nc通过持久性图的实用性。 在这项工作中，相反LPD=ΣLc（四）只使用交叉熵损失，这在SE中被广泛使用在图像分割的基础上，提出了一种新的拓扑损失度量方法，该方法度量了预测似然和地面真实值标签的两个持续性图之间的拓扑误差。这种特殊的拓扑损失称为持久图（PD）损失，记为PD.PD损失PD应用1阶Wasserstein距离[26] W1来找到这两个持久性图之间的最佳匹配m*（可能性dgm L和持久性的持久性图）。c=1然后将LPD与交叉熵损失LCE进行积分，得到最终的优化目标函数LL=LCE+LPD（5）因此，在优化中附加拓扑约束以增强分割输出中的一致性和连通性，特别是对于具有形状依赖拓扑结构的细粒度对象。71034.4. 网络架构参考Pointnet++[21]的网络架构设计，我们提出的PHGCN模型采用编码器解码器风格[21，27，29]进行部分语义分割任务。编码器模块包含四个图卷积网络（GCN）层，被认为是提取器的本地功能。然后，提取的局部特征与从复杂结构中提取的拓扑特征融合，这些拓扑特征由持久同源性（PH）模块捕获。为了对由编码器下采样的特征进行上采样，由四个FPConv层组成的解码器模块被应用于将特征逐渐内插对于优化，每个部件类的预测似然和基础事实使用3D对象来计算PD损失LPD，然后将其与交叉熵损失LCE集成。5. 实验5.1. 基于ShapeNet零件数据集ShapeNet-Part [5]数据集是3D细粒度逐点分割的第一个完整基准。它包含来自16个类别的16，881个CAD形状实例，并在2，048个采样点上标注了零件标签。共有50种零件标签。每个类别都用两到五个部分标签进行注释。对于定量评估，我们遵循PointNet [6]的设置，选择14，007个形状实例作为训练集，其余2，874个作为准确性评估的验证集。每个实例的2，048个采样点的3D坐标被用作输入。定量和定性结果：表1中提供了针对ShapeNet-Part数据集评价的定量结果。在我们的评估中，部分式交集（IoU）被用作度量，并且针对每个对象类别和平均值（mIoU）给出。结果表明，建议的PHGCN提供了最好的结果与89.2%的部分明智的平均IoU，优于所有其他竞争力的方法。具体而言，PHGCN在具有复杂结构的细粒度对象（如灯、吉他）和具有薄部件的对象（如耳机、杯子、桌子和椅子）上取得了显著的效果，这表明PHGCN的持久同源机制在解释细粒度对象的复杂结构和形状相关拓扑结构方面发挥了作用。ShapeNet-Part数据集验证集上的定性分割结果如图所示。4（a），其中来自PHGCN模型的预测与地面实况部件标签注释非常一致，甚至ShapeNet-Part数据集包含复杂结构和薄部件中的许多形状。 为了给一个更好的直觉上提取的拓扑特征的有效性，我们进行定性比较，两个representa-动态几何深度学习方法（DGCNN，ResGCN- 28）。图如图4（b）所示，对于具有细粒度部分的对象（灯和马克杯），分割（DGCNN，ResGCN-28）遭受小分量上的断开连接和错误分类，而PHGCN提供具有足够拓扑正确性的相干分割。对于具有多尺度和复杂结构的对象（电机），分割（DGCNN，Res28GCN）表明，在PHGCN的输出足够准确作为地面实况的同时，车轮附近的手柄和部件被错误分割。5.2. PartNet数据集在一个更大更复杂的称为PartNet [18]数据集的基准上进一步评估了所提出的PHGCN模型。PartNet [18]数据集包含26，671个形状实例，并分为573，585个具有细粒度零件注释的零件实例。它涵盖了24个对象类别。在这些类别中，有一些类别具有复杂的结构，如灯，水龙头，椅子。此外，一些类别，如门、冰箱、耳机，包含薄的和语义上重要的部分，例如。耳机线、门把手或冰箱把手。PartNet数据集的所有这些属性为准确分割带来了巨大挑战。对于定量评估，我们遵循PartNet [18]的设置，将数据集分别以70%，10%，20%的比例分为训练集，验证集和测试集。每个输入实例是从每个CAD模型采样的10，000个点为了验证我们所提出的方法对细粒度对象分割的有效性，选择PartNet（17个类别）的精细级别（级别-3）进行评估。定 量 和 定 性 结 果 ： 在表 2 中 ，PHGCN 的 结果 与PartNet数据集上的几种最先进方法进行了比较。比较结果表明，所提出的PHGCN模型优于所有现有的最先进的方法，例如Point-Net ++ [21]，PointCNN [16]，ResGCN [15]，ADConvnet [29]，如每个类别的部分IoU和所有类别的平均IoU所报告的特别地，PHGCN相对于图深度学习方法（例如DGCNN和ResGCN-28方法）提供了超过10%的相对改进。据观察，具有复杂结构的细粒度对象，连同这个结果，对象与薄零件，如耳机，门和冰箱，建议PHGCN实现显着的精度增益相比，与其他国家的最先进的方法。这是分割细粒度3D对象的意义和最重要的一点，即，对于薄零件，现有技术的方法可能无法获得更高的精度，而通过应用持久同源性方法，所提出的PHGCN捕获这些7104LL方法Miou空气平面袋帽车椅子耳朵电话吉他刀灯笔记本电机马克杯手枪火箭滑冰板表PointNet [6]83岁7 83岁478岁782岁574岁989岁。6七十三。091. 5八十五9八十8九十五3六十五2九十三081. 2五十七9七十二8八十6[21]第二十一话八十五182岁479岁。087岁7七十七。3九十8七十一891. 0八十五983岁7九十五3七十一694 181. 3五十八7七十六。482岁6SPLATNet [24]八十五483岁284. 389岁。1八十3九十775. 592. 187岁183岁9九十六。375. 6九十五883岁8六十四075.581. 8[16]第十六话86岁。184. 1 86岁。486岁。080.8九十679岁。792.388.485.3九十六。177.2九十五384.2六十四280.083岁0[27]第二十七话85.084.083.486.777.890.674.791.287.582.895.766.394.981.163.574.582.6ResGCN-28 [5]85.585.383.586.678.190.975.191.586.883.195.968.195.280.963.874.883.1PartNet [31]87.487.886.789.780.591.975.791.885.983.697.074.697.383.664.678.485.8ADConvnet [29]87.087.486岁。489.5八十191.478岁991. 586岁。282岁996.9七十六。997.184. 064.379岁。685.4PHGCN89.288.986.690.281.592.880.293.188.287.897.579.298.685.864.780.987.8表1.ShapeNet-Part数据集上的语义分割比较指标是部分IoU（%）。图4. (a)ShapeNet-Part [5]验证集上PHGCN的定性结果。(b)与基线方法的定性比较（DGCNN，ResGCN-28）。错误的分割以虚线圈出。因此，PHGCN能够更有效地加工薄零件，从而提供了PHGCN提供更高精度的原因。5.3. 消融分析在ShapeNet-Part和PartNet数据集上进行消融分析，以验证所提出的PHGCN模型的有效性。消融结果见表3。(1). 将PHGCN模块更换为通用GCN模块。PHGCN的持续同源机制使模型能够以多尺度方式从复杂结构中提取拓扑信息。为了比较，一般GCN层仅捕获局部邻域中的成对结构中的信息。结果，性能大大降低。(2). 仅使用CE。的PD损失函数提供足够的拓扑结构的正确性，在细粒度结构的相干分割。通过从Eq. （5）、7105L由于不相干的分段输出而降低了性能表3比较了所有消融变体的部分mIoU评分。结论是：i）最重要的成分来自PHGCN模块，因为多尺度结构信息在细粒度对象中是必不可少ii）PD的作用显示了性能中的下一个重要因素，特别是对于具有薄部件的细粒物体从该消融研究中，表明所提出的模块和损失函数（其构成完整的PHGCN模型）实现了最先进的准确性。5.4. 持久图为了降低计算成本，同时保留所提出的模型的性能，我们采用阿尔法复杂的过滤，而不是耗时的过滤，如Vietoris-撕裂或切赫复杂的过滤。运行时间为COM-7106L方法Miou床瓶椅子 时钟菜垫圈显示门耳朵电话水龙头刀灯微波-发电机存储表垃圾可以花瓶PointNet [6]三十五6十三岁429岁5二十七岁828岁4四十八9七十六。5三十4三十三岁。4四十七6三十二9十八岁9三十七2三十三岁。5三十八岁。029岁0三十四844. 4[21]第二十一话四十二5三十341岁439岁241岁650块1八十7三十二6三十八岁。452岁4三十四1二十五3四十八5三十六4四十5三十三岁。9四十六岁。7四十九8[16]第十六话四十六岁。541岁941岁8四十三9三十六3五十八782岁5三十七8四十八9六十岁。5三十四120块1五十八2四十二949.421岁3五十三1五十八9美国有线电视新闻网[28]44.636.148.940.734.455.980.430.845.151.542.922.650.933.646.934.250.653.4ResGCN-28 [5]四十五1三十五949.341岁1三十三岁。8五十六281. 031岁1四十五852岁844. 5 23岁151岁8三十四9四十七2三十三岁。650块8五十四2ADConvnet [29]四十七0四十二141岁744. 2 三十五9五十八482岁938.1四十八5五十八9三十三岁。319号。8五十八4四十三4四十九2三十四252岁9五十七5PHGCN49.843.0四十八745.941.959.384.2三十七550.262.946.126.259.144.2四十九135.254.3 59.5表2.PartNet数据集中细粒度对象（级别=3）的语义分割比较[18]。指标是部分IoU（%）。图5.PartNet [18]测试集上PHGCN的定性结果（三）、（1）+（2）（四）、完整的PHGCN型号89.249.8 基于完整PHGCN模型的所有消融变体的局部mIoU评分。选择ShapeNet-Part和PartNet数据集进行评估。为ShapeNet-Part实例计算PD的平均时间为0.25秒（使用Intel i7 CPU），这在我们的场景中足够合适。6. 结论在这项工作中，提出了一种新的基于点云的神经网络模型PHGCN，它集成了计算拓扑方法来解决细粒度3D对象的语义分割中的几个挑战。PHGCN将持久同源机制应用到图卷积网络中，以处理具有多尺度复杂结构的输入。并应用PD损失函数来增强预测的拓扑正确性Miou（ShapeNet-Part）（PartNet）（一）.使用通用GCN模块85.246.3（二）、仅使用LCE86.383.447.044.27107vide相干细粒度分割输出。通过这两个改进，对于细粒度对象（特别是具有复杂结构的对象，如水龙头、灯、椅子和具有薄部件的对象，如耳机、门和冰箱）的分割结果在准确性上有了显著的提高。PHGCN的性能在两个具有挑战性的基准点的准确性方面进行了验证。从实验中，PHGCN优于几个国家的最先进的点 云 为 基 础 的 分 割 方 法 。 实 验 结 果 也 验 证 了PHGCN的贡献：i）基于持久同源性的GCN是从3D对象捕获多尺度结构信息的有效机制; ii）对于细粒度结构具有足够的拓扑正确性的更准确和连贯的语义分割; iii）比现有技术的几何深度学习方法（ 例 如 ， 在 PartNet 数 据 集 评 估 上 ， DGCNN 和ResGCN-28方法的相对改进超过10%）。谢谢。该项目由澳门特别行政区科学技术发展基金资助（文件编号0112/2020/A和004/2019/AFJ）。7108引用[1] 亨利·亚当斯、泰根·爱默生、迈克尔·柯比、雷切尔·内维尔、克里斯·彼得森、帕特里克·希普曼、索菲娅·切普什塔诺娃、埃里克·汉森、弗朗西斯·莫塔和洛里·齐格梅尔。持久性图像：持久同调的稳定向量表示。机器学习研究杂志，2017年18日。三、四[2] 彼得·布贝尼克。使用持久性景观进行统计拓扑数据分析。J.马赫学习. Res. ，16（1）：77-102，2015. 3[3] 贡 纳 · 卡 尔 森 拓 扑 和 数 据 。 Bulletin of the Ameri-canMathematical Society，46（2）：255-308，2009. 一、二[4] GunnarCarlsson和RickardBr uéelGabrielsson。深度学习的拓扑方法在拓扑数据分析，第119-146页Springer，2020年。3[5] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。六、七[6] R. Q. Charles ， H. 苏 ， M 。 Kachun 和 L.J. GuibasPointnet：用于3D分类和分割的点集深度学习2017年IEEE计算机视觉和模式识别会议（CVPR），第77-85页，2017年7月。一、三、六、七、八[7] L. Chen，G.帕潘德里欧岛科基诺斯角Murphy和A. L.尤尔。Deeplab：使用深度卷积网、无环卷积和全连接的crfs进行语义图像分割。IEEE Transactions on PatternAnalysis and Machine Intelligence，40（4）：834-848，2018。3[8] 放大图片作者：James Clough，Nicholas Byrne，IlkayOksuz，Veronika A.放大图片作者：Julia A. Schnabel和Andrew King。拓扑损失函数用于使用持久同源性的基于深度学习的图像IEEE Transactions on Pattern Analysisand Machine Intelligence，2020。3[9] Ciprian A Corneanu ， Sergio Escalera ， and Aleix MMartinez. 在 没 有 测 试 集 的 情 况 下 计 算 测 试 误 差 在IEEE/CVF计算机视觉和模式识别会议论文集，第2677-2685页，2020年3[10] 赫伯特·埃德尔斯布伦纳和约翰·哈勒。计算拓扑学导论。 美国数学学会2010. 2[11] Herbert Edelsbrunner ， David Letscher ， and AfraZomoro-dian.拓扑持久性和简化。在Proceedings第41届计算机科学基础年度研讨会上，第454-463页。IEEE，2000年。2[12] Ri c kardB ruüelGabrielsson ， Bradl e yJ. Nelson ，AnjanDwaraknath，and Primoz Skraba.用于机器学习的拓 扑 层 。 在 Silvia Chiappa 和 Roberto Calandra 编 辑 的Proceedings of the Twenty Third International Conferenceon Artificial Intelligence and Statistics ， Proceedings ofMachine Learning Research 第 108 卷 ， 第 1553PMLR ，2020年8月26日至28日。3[13] 克里斯托弗·霍费尔、弗洛里安·格拉夫、巴斯蒂安·里克、马克·尼-埃瑟默和罗兰·科维特。 图过滤学习。国际机器学习会议，第4314-4323页。PMLR，2020年。3[14] Christoph Hofer，Roland Kwitt，Marc Niethammer，andAn- dreas Uhl.使用拓扑签名的深度学习在重症盖永诉卢克斯堡S。Bengio，H.瓦拉赫河Fergus，S.Vishwanathan和R. Garnett，编者，《神经信息处理系统进展》，第30卷。Curran Asso- ciates，Inc.，2017. 3[15] Guohao Li，Matthias Muller，Ali Thabet，and BernardGhanem. Deepgcns：gcns能和cnns一样深吗？在IEEE计算机视觉国际会议的论文集，第9267-9276页，2019年。一、三、六、七、八[16] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：x变换点上的卷积神经信息处理系统进展，第820-830页，2018年。一、三、六、七、八[17] Yongcheng Liu，Bin Fan，Gaofeng Meng，Jiwen Lu，Shiming Xiang，and Chunhong Pan.Densepoint：学习密集 的 上 下 文 表 示 ， 以 实 现 高 效 的 点 云 处 理 。 在IEEE/CVF计算机视觉国际会议论文集，第5239-5248页，2019年。3[18] Kaichun Mo ， Shilin Zhu ， Angel X Chang ， Li Yi ，Subarna Tripathi ， Leonidas J Guibas ， and Hao Su.Partnet：一个用于细粒度和层次化部件级3D对象理解的大规模基准测试。在IEEE计算机视觉和模式识别会议论文集，第909-918页六、八[19] Vinod Nair和Geoffrey E Hinton。修正线性单元改进受限玻尔兹曼机。第27届机器学习国际会议（ICML- 10），第807-814页，2010年。3[20] Adrien Poulenard，Primoz Skraba和Maks Ovsjanikov。连续形状匹配的拓扑函数优化。在计算机图形论坛中，第13-25页。Wi- ley在线图书馆，2018年。3[21] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统，第5099-5108页，2017年。一、三、五、六、七、八[22] Bastian Rieck，Tristan Yates，Christian Bock，KarstenBorg-wardt，Guy Wolf，Nick Turk-Browne和Smit Krish-naswamy。使用立方持续性揭示时变功能磁共振成像数据的拓扑结构。神经信息处理系统的进展，第5998-6008页，2020年。3[23] Evan Shelhamer Jonathan Long和Trevor Darrell用于语义分 段 的 全 卷 积 网 络 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，39（4）：640-651，2017。3[24] Hang Su ， Varun Jampani ， Deqing Sun ， SubhransuMaji，Evangelos Kalogerakis，Ming-Hsuan Yang，andJan Kautz. Splatnet：用于点云处理的稀疏网格网络。在IEEE计算机视觉和模式识别会议论文集，第2530-2539页7[25] Vinay Venkataraman、Karthikeyan Natesan Ramamurthy和Pavan Turaga。动作识别吸引子的持久同源性。在2016年IEEE图像处理国际会议（ICIP）上，第4150-4154页。IEEE，2016. 3[26] Ce'dricVillani. 最佳运输：新旧，卷338。Springer ScienceBusiness Media，2008. 57109[27] Lei Wang ， Yuchun Huang ， Yaolin Hou ， ShenmanZhang和Jie Shan。点云语义分割的图形注意力卷积在IEEE计算机视觉和模式识别会议论文集，第10296一、三、六、七[28] Wang Yue，Yongbin Sun，Ziwei Liu，Sanjay E.作者声明：Michael M. Bronstein和Justin M.所罗门点云学习的动态图cnn。ACM Transactions on Graphics（TOG），2019年。一、三、八[29] 黄志聪和王志文用于关键道路对象和分布式上下文的高效室 外3d 点云 语义 分割 。在 欧洲 计算 机视 觉会 议（ECCV）中，第499Springer International Publishing，2020. 三六七八[30] 吴文轩，齐忠昂，李福新。Pointconv：3D点云上的深度卷积网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第9621-9630页，2019年。3[31] Fenggen Yu，Kun Liu，Yan Zhang，Chenyang Zhu，and Kai Xu. Partnet：用于细粒度和分层形状分割的递归零件分解网络。在IEEE计算机视觉和模式识别会议的论文集，第9491-9500页，2019年。1、7[32] Zhong Zilong，Zhong Qiu Lin，Rene Bidart，XiaodanHu，Ibrahim Ben Daya，Zhifeng Li，Wei-Shi Zheng，Jonathan Li，and Alexander Wong.用于语义分割的挤压和注意力网络。IEEE/CVF计算机视觉和模式识别会议（CVPR），2020年6月。3[33] Afra Zomorodian和Gunnar Carlsson。计算持久