基于图结构学习的三维点云过分割

1基于图结构深度度量学习的点云过分割Loic Landrieu1，Mohamed Boussaha2Univ. Paris-Est，IGN-ENSG，LaSTIG，1EARDEL，2ACTE，圣芒代，法国loic. ign.fr，mohamed. ign.fr摘要我们提出了一个新的监督学习框架过度分割成超点的三维点云。我们将这个问题转换为学习3D点的局部几何和辐射的深度嵌入，使得对象的边界嵌入计算使用一个轻量级的神经网络操作的点的局部邻域。最后，我们将点云过分割表示为关于学习的嵌入的图划分问题。这 种 新 方 法 使 我 们 能 够 在 密 集 的 室 内 数 据 集（S3DIS）和稀疏的室外数据集（vKITTI）上设置一个新的最先进的点云过度分割我们的最佳解决方案需要比以前在S3DIS上发布的方法少五倍的超级点才能达到类似的性能。此外，我们表明，我们的框架可以用来改善基于超点的语义分割算法，设置一个新的国家的最先进的这项任务，以及。1. 介绍将点云分割成称为超点的点集-超像素的3D等效物-作为其分析的预处理步骤的兴趣已经得到了广泛的证明[27，39，35，7，50]。然而，这些无监督的方法依赖于这样的假设，即几何和/或辐射均匀的片段也是语义均匀的。这一假设应该受到质疑，特别是因为任何进一步分析的质量本文的目标是建立一个有监督的框架，用于将三维点云过分割成语义上纯的超点，以促进其语义分割。尽管基于超像素的方法和深度学习在计算机视觉中已经存在了很长时间，但卷积神经网络直到最近才被用于超像素过分割。值得注意的是，[32]引入了一个模拟过分割度量的损失函数，这与基于图的聚类方法兼容。[24] 提出了SLIC超像素算法的完全可微版本[1]，允许空间聚类方法的端到端训练。这两种方法都显示出有希望的结果，显示依赖于手工制作的描述符的方法显着改进在本文中，我们建立在这些想法，虽然在3D设置。我们建议将点云过度分割公式化为由输入3D点云上定义的邻接图结构化的深度度量学习问题。我们引入了图形结构的对比度损失，这是一个损失函数，它学习将3D点均匀地嵌入对象中，并在它们的界面上具有高对比度。这种损失可以通过使用我们的跨分区加权策略来适应不可微的过分割任务。点的嵌入本身是由点的局部几何形状和辐射测量通过一个轻量级模型计算的，该模型受到PointNet [ 36 ]的最后，以[17]的方式，将超点定义为邻接图中学习的嵌入的此外，我们定义我们的点云过分割的最终目标是通过提供语义上纯的超点来辅助语义分割我们表明，我们的方法可以与[27]的超点图方法相结合，以显着改进分区步骤，从而改进所得到的语义分割。本文的贡献如下：• 我们提出了第一个三维点云过分割的监督框架• 我们引入了图结构的对比损失，它可以与我们的跨分区加权策略相结合，产生点嵌入，物体边界的高对比度• 我们引入了局部点嵌入器，这是一种受[36]启发的轻量级架构，以紧凑的方式嵌入3D点的局部几何和辐射• 我们显着提高了两个著名的和非常不同的数据集的点云过分割的最新技术水平;74407441(a)输入点云（b）学习嵌入（c）过分割（d）真实对象图1：我们的框架在一个难以分割的场景中的插图，白色墙壁上有一块白板：给出彩色点云作为输入（a），为每个点计算嵌入（b），这允许聚类技术计算过分割（c），其紧密地跟随地面实况（d）。在本文的所有图中，嵌入被投影到三维空间中以允许颜色可视化。• 当与超点图语义分割方法相结合时，我们的方法也改进了2. 相关工作超像素/超体素：有大量关于图像过分割为超像素的[44]和视频到supervoxels [51]。这些方法可分为两组：基于图形的，利用像素的连接性[11，16，31]，基于聚类的，使用像素的相对位置[1，46，52，28]。最近，深度学习方法已成功用于开发监督超像素过分割方法，无论是基于图[32]还是基于聚类[24]。3D点云的过度分割：上述方法在图像上表现良好，但依赖于像素的规则结构3D点云作为具有不规则分布的无序点集，需要特别关注。[4]提出了基于2D局部变化图的方法[11]到3D过分割的三种扩展，并研究了用于构建图、边权重和子图合并的不同策略。[43]介绍了一种图形结构的方法，该方法利用LiDAR传感器的结构来移除与边界点相对应的边缘[34]提出了一种基于k-means算法和八叉树的基于聚类的方法然而，该方法仍然对聚类器的初始化敏感[12]使用RGBD图像的视觉显着性来初始化聚类。[30]提出了一种不需要这种初始化的聚类方法，因此对LiDAR点云的不规则密度不太敏感。同样地，[17]引入了一个免初始化的分割模型，该模型被公式化为图结构优化问题。所有这些方法都依赖于手工制作的几何和/或比色特征。3D点云的深度学习：[36]中的工作开创了将深度学习用于3D点云处理的先河。 然而，这种用法迄今为止只用于用于语义分割[29，45，9，41，38，37，53，49]，对象检测[56]或重建[15]。尽最大据我们所知，还没有开发出利用基于深度学习的嵌入来生成超级点的监督3D点过度分割技术。度量学习：度量学习旨在学习具有与给定任务对应的属性的数据点之间的相似性函数[25]。在实践中，嵌入函数将每个数据点与适应给定目标的特征向量相关联。这些目标可以与分类[13，40]或聚类[42，19]以及许多其他应用相关（参见[2]以获得有用的分类法）。在深度学习的背景下，这可以通过使用精心选择的损失来实现，例如对比损失[8，5];三重损失[20]或其一些变体[48]。值得注意的是，最近已经使用度量学习来提高3D点语义分割任务的学习特征的质量[10]。然而，我们的任务是不同的，在这个意义上，我们的嵌入是通过一个图分区问题，而不是分类过分割。3. 方法我们的目标是产生一个高质量的三维点云过分割，使它可以反过来使用基于超点的语义分割算法。这将转化为以下三个属性：（P1）对象纯度：超点不能重叠在对象上，特别是当它们的语义不同时;（P2）边界回忆：超点之间的界面必须与对象之间的边界重合（P3）规则性：叠加点的形状和轮廓必须简单。我们的方法可以分为两个步骤：在第3.1节中，我们介绍了局部云嵌入器，这是一个简单的神经网络，它将每个点与一个紧凑的嵌入相关联，该嵌入捕获了其局部几何和辐射测量。在第3.2节中，我们描述了如何使用基于图或基于聚类的过分割算法从该嵌入计算点云过分割。7442k×3k×314R3126zPTNXiMLP2MLP1L2maxpool我我我我PiP˜i皮皮图2：空间转换网络的架构。它将一个点顶点r计算点云的半径（1），顶点z提取点位置的垂直坐标绕z轴的旋转矩阵（4）。在这一点上，在随后的附图中，集合特征（相应地点特征）由虚线（相应地实线）表示。线上方的数字表示通道的大小。Xiei图3：局部点嵌入器（LPE）（7）的架构，其计算对局部辐射测量和归一化几何进行编码的嵌入集特征Xi和点特征Xi L2块将输出标准化为防止在训练阶段崩溃，并使他们彼此之间的距离正常化。为此，我们引入了本地点嵌入器（LPE），这是一个 受 PointNet 启 发 的 轻 量 级 网 络 [36] 。 然 而 ， 与PointNet不同的是，LPE并不试图从整个输入点云中提取信息，而是纯粹基于本地信息对每个点进行编码。在这里，我们描述了我们网络的不同单元。空间变换：该单元获取目标点Pi及其局部k邻域Pi的位置，如图2所示。它规范化周围的邻居位置等于1（3）。然后，使用小型PointNet网络PTN（4）计算的2×2旋转矩阵围绕z轴旋转该邻域。 提倡的[23] 这些步骤旨在标准化每个点的邻域云这有助于下一个网络了解位置分布。沿着标准化的邻域位置Pi，该单元还输出几何描述高度p（z）、曲率半径以及其原始方向（通过旋转矩阵的4个值：[x，x，x，y ，y，y，x，y，y]）的点特征p∈ i（5）。通过跟踪归一化操作，即使点的位置已经被归一化和旋转，嵌入也可以与原始邻域的半径、高度和原始方向保持协变。单位球（6）。在本文中，我们将强调集合特征之间的区别，集合特征是无序的描述符（一）（二）（三）rad= std（Pi）=PTN（Pi）P′=（Pi−pi）/radPi={p×|p∈P′}（4）pi=[p（z），rad，]（5）(such作为与点的相邻点相关的信息），以及表征特定点的点特征。集合特征将始终大写，而点特征将使用大写。让我们考虑一个点云C，其中每个点i由其位置pi∈R3和d维无线电度量信息 ri∈Rd定义（如果可用，这可以是颜色，或者是LiDAR扫描的强度，或者如果没有则忽略可用）。每个点i与集合特征Pi和Ri相关联，集合特征Pi和Ri分别由输入云中的其k个最近邻居Ni的位置和半径组成：|j∈Ni}，Ri={rj|j∈Ni}。F或易于记法，应用于集合特征的X应理解为适用于其所有元素：f（X）={f（x）|x ∈ X}。3.1. 局部点嵌入我们的目标是将每个点关联到一个紧凑的m维嵌入ei，以表征其点特征（位置，颜色等）。以及它附近的几何形状和辐射度。嵌入被限制在m单位球面Sm内，如[47]所建议的，以本地点嵌入器：LPE网络，代表在图3中，从两个输入：点特征Xi和集合特征Xi。与PointNet [36]一样，集合特征首先由多层感知器（表示为MLP 1）独立处理，该感知器由以下顺序的一系列层组成：线性，激活（ReLu [33]），归一化（批处理[22]），等等。然后将得到的集合特征最大池化为点特征，该点特征与输入点特征连接。得到的向量通过另一个多层感知器MLP2（7）进行处理，最后在单位球面上进行归一化。通过共享LPE（8）为C的每个点i计算嵌入ei输入集合特征Xi被设置为邻居的变换后的位置i的级联P_i和它们的辐射信息R_i，而输入点特征xi由邻域几何点特征pi和点i的辐射度ri组成。L2（·）=·/·（6）LPE（Xi，Xi）=L2（ MLP2（[max（ MLP1（Xi）），Xi]））（7）7443ei=LPE（[Pi，Ri]，[pi，ri]）（8）7444M+σ3.2. 基于图的点云过分割3.2.1广义最小划分问题一旦计算了嵌入，我们就定义了关于从点云C导出的邻接图G=（C，E）的超点。注意，E可以通过在同一对象内的点（分别为从不同的相邻对象点）。本着原始对比损失的精神[8]，我们的损失鼓励由内部边连接的顶点的嵌入相似，同时奖励由内部边连接的不同嵌入：从用于LPE的邻居的结构。然而，我们发现，捕获云的邻接结构所需的邻域要比描述局部结构所需的邻域小得多1（e）=|E|Σφ（eiΣ-ej）+µi、j（ei -ej）n，点的cal邻域如[17]所述，我们定义（i，j）∈Eintra（i，j）∈Einter作为嵌入e∈SC的分段常数逼近在G中的常数连通分支的超点。该近似是以下优化问题的解f_f其中φ（resp. 函数的最小值（或最大值）为0，且μi，j∈REintera权重在边间。使这种损失最小化的点嵌入函数在对象，并在其界面处形成鲜明对比结论f= arg min ΣΣfi−eiwi，j[fi]fj]，（9）因此，（9）的分段常数近似的分量这一损失f∈RC×mi∈C（i，j）∈E[2019 - 04-27][2019- 04] 19 - 04][2019- 04]其中w∈RE是边为了鼓励网络沿着高。h对比度区域，我们将边缘权重定义为wi，j=λexp−12，其中参数λ，σ∈R+。问题（9），称为广义最小划分（GMP），由[26]引入，既不是连续的，可微的，也不是凸的，因此全局最小值不能实际检索。然而，100-cut pursuit算法[26]允许快速近似解。轮廓惩罚自动实现（P3），以合理地对问题进行参数化. 注意到最优化变量f可以在RC×m中取值，而每个嵌入ei都被约束在m-球面上. 这是由于效率问题而对我们的方法的限制它可以导致一些次优的近似解。怎么-图（或子图）中的点，而不仅仅是锚点和相关的正/负示例。通过这种方式，它完全绕过了示例选择的问题。事实上，正例和反例是由Eintra和Einter的邻接结构集直接给出的。它不同于[10]，因为它不尝试学习语义信息，而是计算图上的信号，使得其常数近似尊重某些属性，而不关注语义。事实上，不同类别的对象可以共享相同的嵌入，只要它们从不相邻，例如室内场景的地板和天花板。我们选择φ，促进对象内homo的函数，通用性 作为φ（x）为（δ2/δ2+ 1 −1）我们在数值实验中表明，嵌入导致令人满意的划分。3.2.2图结构对比损失如前所述，语义纯度属性（P1）是超点的第一个性质.曾经可以想象用一个度量来估计解决方案的语义纯度（9）作为损失函数。然而，GMP是一个非连续非凸优化问题，并且计算其中δ= 0。3（如图4所示）。这意味着，第一项 是 E内 边 缘 上 的（伪）Huber图-总变化[21，6]，促进了同一对象内嵌入的平滑均匀性。−2 −1 1 2图4：在图结构对比损失中使用的函数φ（蓝色）和φ（红色）图上的连通分量本质上是非连通的。可微的这使得直接针对分区的属性进行优化非常困难，如果不是不可能的话。相反，我们注意到，如果边界召回属性（P2）被实现（即，超点和对象共享相同的边界），则（P1）枚举。因此，我们提出了一种替代损失称为图结构对比损失，基于正确检测对象之间的边界。为此，我们定义Eintra（resp. E_inter）内边缘的集合（分别 边间）作为G的边的集合，当n（x）= max（1− nxn，0）时，n的第二部分与截断图全变差[55]相反，边缘间。它惩罚对象之间边界上的类似嵌入。意识到我们的嵌入被限制在单位球面上，我们将这个函数的阈值设置为大于1的差异（对应于60度角）。换句话说，x（x）鼓励由边间连接的顶点采用欧氏距离为1的嵌入，但不会推动更大的差异。注意，在ob中的任何嵌入都是恒定的2 φ（x）和φ（x）1 .一、510的情况。5X7445如果相邻对象之间的差值至少为1，则损失为0。四色定理[14]告诉我们，只要嵌入的维数至少为3，它总是可能的。然而，由于嵌入是由LPE计算的，因此我们的方法无法恢复不存在可识别的几何或辐射配置的边界。3.2.3跨分区加权µi，j的选择对图结构对比损失的效率起着至关重要的作用。虽然（P2）确实意味着（P1），但前者的小错误可能对后者产生严重后果的确，一个缺失的边缘可以错误地融合覆盖不同对象的两个大的叠加点。因此，我们需要将诱导粒子[32]介绍了实现这一想法的分割感知亲和性损失（SEAL）。 他们建议将内部边缘加权为1，将内部边缘加权为μi，j=1+|S|−|S\OS|对于i和j在同一超点S内，其中OS，majority-object（多数对象），即S属于。虽然[32]拥有令人印象深刻的超像素过分割结果，但我们无法在我们的框架内扩展这一成功。我们认为这源于三个原因：（i）一个超点的所有边界边的权重都是相同的，而不管它们对界面的纯度和大小的影响;（ii）一旦一个超点不再与一个对象的边界重叠，它的权重就急剧下降到1，使得损失非常不稳定;（iii）[32]使用不同的基于图的聚类[31]。为了克服这些限制，我们引入了跨分区加权策略.我们首先计算交叉分割图G=（C，E），定义为邻接超点间交叉划分图分区S和对象分区O。 换句话说，C是图G的连通分支的集合，当移除对象之间或叠加点之间的所有边缘，并且超边缘（即， set of edges）（U，V）∈ E是C中U和V之间E的inter-edges的集合：C={O} |O ∈ O，S ∈ S}E={{（i，j）∈（U×V）<$Einte r}|U，V∈C}。我们将以下权重μU，V与每个超边（U，V）和µi，j到每条边：超点多数对象侵入接口µLW，LD=µRW， RD=图5：由门（D）和墙（W）组成的场景上的跨分区加权策略的图示。两个叠加点L（左）和R（右）与门重叠超边（LW，LD）（分别为（RW，RD））表示左（分别）的部分之间的邻近性。右）覆盖墙壁的超级点和覆盖门的部分由于侵入点比（RW，RD）少并且界面比（RW，RD）长，构成（LW，LD）的边的权重较小。如果超边（U，V）的边作为边界被遗漏，则超点U和V将被合并。 由于U和V（2）如果一个人有不同的目标，那么这个目标的实现至少需要一个（|U|、|V|）顶点侵入，即 不属于合并后的超级对象的多数对象，权重还除以构成U和V之间的界面的边的数量，以便在构成界面的边的数量上均匀地分配惩罚。这可以防止长边界在损失中被过度表示。参见图5以获得图示。3.3. 基于聚类的过分割我们还实现了方法的推广，[24] 到3D设置。这种方法的主要优点是，损失可以直接实现（P1）通过交叉熵的平均语义类内的超点。然而，这种方法仍然受到其对超点初始化的敏感性，以及它不能使超点的大小适应此外，当它绕过（P3）时，会产生轮廓复杂的超点.3.4. 实现细节我们使用了一个修改版本的100-切割追踪算法1[26]，有两个主要区别：• 为了防止在高对比度的区域中产生许多小的超级点，我们合并组件greed-µU，V1000万元人民币（|U|、|V|）=| （U，V）|对于（U，V）∈ E对于在（9）中定义的目标能量，只要它们小于给定的阈值;μi，j=μU，V对于所有（i，j）∈（U，V）其中μ是模型的参数。这样的权重同时考虑到边缘对界面的纯度和形状的影响。的确，• 我们对[ 26 ]中的前向步骤（8）进行了启发式改进，使得正则化强度以因子（0. 7）沿着迭代。1https://github.com/loicland/cut-pursuit7446除其他除其他| E|(a) S3DIS场景，包含58个对象。超级点数：SSP 442，VCCS 436，Lin 423。输入云地面实况对象LPE嵌入SSP（我们的）VCCS [34] Lin in [30](b) vKITTI场景，包含233个对象。超级点数：SSP 420，VCCS 422，Lin 425。图6：我们的框架的过度分割的说明，以及竞争算法。这有助于提高所检索的较低最优值的质量，从而提高过分割为了限制超点的大小，我们将点的嵌入连接到它们以评估超点粘附到对象边界而不跨越对象边界的能力（（P2），（P3））。在文献中，这些测量是关于边界像素[34]或点[30]定义的。然而，我们认为，参数α空间 以[1]的方式这决定发生在点之间，而不是点云的点因此，我们定义Epred为预测的transi的集合。超级点可以达到的最大大小。在我们所有的实验中，我们将嵌入的维数设为4。我们为LPE选择了一个轻量级的架构，参数少于15000个。附录中详细介绍了每个数据集的确切网络配置除其他，即E中连接两点的边的子集在两个不同的超点上。这些度量通常相对于容差给出，即，一个预测的过渡必须发生在一个实际对象的边界的距离，后者被认为是检索。 我们设置了这个4. 数值实验到1条边的距离，这导致我们定义E（1）该组扩展到E中所有直接相邻边的边间：4.1. 数据集我们在两个不同的数据集上评估我们的方法（一）除其他={（i，j）∈ E |{i，k}或{j，k} ∈ Einter}。天性第一个是S3DIS [3]，由办公室环境中房间的密集室内扫描组成。第二个是vKITTI [9]，一个城市场景的户外数据集，这允许我们针对一组预测的过渡Epred定义具有1个边缘容差的边界召回率和精度：ics稀疏LiDAR采集。请注意，只有S3DIS具有| Epred ∩ E(1)|| Epred ∩ E(1)|单个对象注释。我们认为，BR=内部内部 ，BP =interinter.vKITTI是语义la的连接组件| Einter|pred除其他邻接图G中的bels。对于vKITTI，我们考虑我们的算法的性能，有和没有颜色信息。这两个数据集都是大规模的（S3DIS接近6亿个点， vKITTI接近1500万个点）。我们使用体素的规则网格对它们进行子采样（S3DIS为3cm宽，vKITTI为5cm宽在每个体素中，我们平均所包含的点的位置和颜色这使我们能够减少计算时间和内存负载。4.2. 点云过度分割评估指标： 有许多标准的衡量标准由于我们的点云过度分割框架的最终目标是为语义分割提供有用的超点，因此我们定义了Oracle总体准确度（OOA）。为了评估对象纯度（P1），该指标表征了与每个超分辨率相关的标记的准确性，分割S的点S及其多数地面实况标签。形式上，设l∈KC是一组类K内每个点的语义标签，我们将点云分割S的OOA定义为：loracle（S）= mode {li|i ∈ S}它评估点云过分割的质量关于性质（P1）、（P2）和（P3）。特别地，使用1OOA=| C|ΣΣΣS∈Si∈S li=lOracleE7447Σ（S），7448BRBP98 30802596702094601592300400500600700800900 一千#superpoints(a) S3DIS的OOA50300400500600700800900 一千#superpoints(b) S3DIS的BR10300400500600700800900 一千#superpoints(c) S3DIS的BP6098 90508096 4094300400500600700800900 一千#superpoints(d) vKITTI的OOA7060300400500600700800900 一千#superpoints(e) BR for vKITTI3020300400500600700800900 一千#superpoints(f) vKITTI的BP图7：不同算法在6倍S3DIS数据集（a，b，c）和6倍vKITTI数据集（d，e，f）上的性能。该方法的结果注释有一个 **，以前没有报道过。由于SSP-集群和VCCS的性能太低，因此出于易读性的考虑，未针对vKITTI进行表示。其中[x=y]函数在x=y时等于1，否则等于0。注意，OOA与ASA密切相关[31]，但考虑超像素内所有点的大多数标签，从这个意义上说，它是一个更严格的上限，使用S.该指标也比其他方法（如[17]或我们的基于聚类的方法）的欠分割误差[28]更公平，因为它们不尝试直接检索对象，而是检索具有同质性的C语义标注竞争算法：当使用LPE来学习点嵌入，然后使用第3.2.2节中描述的基于图的方法导出超点时，我们用SSP（受监督的超点）表示我们的方法，而当使用第3.3节中定义的基于聚类的方法时，我们用SSP-聚类表示。我们首先通过将我们的结果与[17]的结果进行比较来评估学习嵌入的好处，这里称为Geom-Graph。这种方法也通过解决广义最小划分问题来计算超点，但是用手工制作的几何特征代替了我们学习的嵌入。我们在图7中说明了由我们的方法和两种最先进的算法产生的过分割：VCCS [34]和Lin在[ 30 ]中的工作。我们观察到，我们的方法显著优于其他方法在所有指标上。特别是，我们重新标记，SSP只需要在350个超级点，以达到性能与VCCS超过1800超级点的S3DIS。此外，边界的质量在我们的超级点范围内是无与伦比的。vKITTI的改进不太显著，这可能是由于在这种稀疏采集上构建邻接图的困难。在没有颜色信息的情况下，性能进一步降低，因为一些过渡不能纯粹从几何形状预测。Geom-Graph在精度上表现良好，但在边界上表现不佳。这是预期的，因为手工制作的几何特征不能检测某些边界，例如相邻的墙壁。SSP-集群执行形式比林等人的无监督的基于集群的方法，但仍然遭受集群方法的典型局限性，如对初始化的敏感性。在计算速度方面，嵌入可以在GPU上非常高效地并行计算，在1080Ti GPU上每秒可以执行超过300解决（9）中的图划分问题仍然是瓶颈，它每秒可以处理大约100，000个点4.3. 语义分割在表1和表2中，我们展示了我们的点云过度分割框架如何成功地用于SSP（Ours）SSP-群集（Ours）[17]第十七话VCCS [34]林在[30]OOAOOABRBP7449基于超点的语义分割技术方法OA mAcc mIoU[27]2（SPG）。我们用性能最好的方法SSP取代了无监督的超点计算。我们使用标准分类指标评估所得到的语义分割：总体准确度（OA）、平均每类准确度（mAcc）和平均每类交-交-并（mIOU）。我们观察到SPG的性能显著提高，在两个数据集上都击败了并发方法。特别是，我们观察到我们的方法允许更好地检索小对象（参见附录中的详细IoU），这转化为更好的每类方法，尽管整体准确性不一定比最新的最先进的算法更好。4.4. 消融研究在表3中，我们提供了一项消融研究，以实证证明我们的一些设计选择。为了使事情更清晰，我们在S3DIS数据集的第一个交叉验证折叠上，与我们的方法相比，在500个超级点（线性插值）处呈现了3个性能指标的增加/减少。特别地，我们提出了Prop权重，一种替代版本，其中跨分区加权被替换为帧间/帧内边缘的简单反比加权。可以预见的是，这种方法给出的结果较少，因为边缘没有根据它们在分区中的影响进行加权。然而，由于内边缘的权重成比例地更高，因此提高了边界精度。我们实现了[32]的分割感知亲和度损失的权重以及方法SEAL权重，结果与Prop权重相当。在+TV-TV中，我们将损失中的函数φ和φ分别替换为|和−|·|，所以我们的损失更接近于 |, so that our loss iscloser to the pairwise[10]使用的亲和力损失（但仍由图结构化）。然而，这种方法去除这个限制会导致嵌入在0附近崩溃。我们还尝试分层堆叠LPE，使用或不使用与[18]中使用的结构相当的残留结构来增加其感受野（更多细节见附录）。最好的结果是用两层实现的：2-Layers和2-Resistance然而，我们观察到，当与类似数量的参数的LPE相比，增益是微不足道的，如果不是零。我们的结论是，嵌入点，以检测边界，一个小的感受野浅架构是足够的。5. 结论本文提出了第一个有监督的三维点云过分割框架。使用简单的点2https://github.com/loicland/superpoint-graph6重交叉验证[9]第36话78.566.247.6Engelmann等人[9]81.166.449.7[37]第三十七话81.067.154.5Engelmann等人[10]84.067.858.3SPG [27]85.573.062.1[29]第二十九话88.175.665.4SSP + SPG（我们的） 87.978.368.4折叠部5[10]第36话-49.041.1Engelmann等人[10]84.261.852.2[29]第二十九话85.963.957.3SPG [27]86.466.558.0PCCN [49]-67.058.3SSP + SPG（我们的） 87.968.261.7表1：S3DIS数据集上语义分割任务的不同方法的性能顶部表格用于6折交叉验证，底部表格仅用于第五方法OA MACCMiouPointNet [36]79.747.034.4Engelmann等人[10]79.757.635.6Engelmann等人[9]80.649.736.23P-RNN [54]87.854.141.6SSP + SPG（我们的） 84.367.352.0表2：在vKITTI数据集上进行语义分割任务的不同方法的性能，方法#参数OOA BR BP最好13,81696.273.322.1道具砝码13,816-2.6-12.2 +10.4密封砝码13,816-1.3-11.3+3.82层14,688-0.1-0.7-0.32-弹性体14,688+0.0-0.2-0.7表3：我们的一些设计选择对S3DIS的影响最好的是带有交叉划分权重的SSP嵌入网络和一个新的图形结构的损失函数，我们能够实现显着的改进相比，国家的最先进的点云过分割。当与基于超点的语义分割方法相结合时，我们的方法也设置了一个新的最先进的语义分割。视频插图可在https://youtu.be/bKxU03tjLJ4上访问。源代码将提供给社区以及经过训练的网络，更新到超级点图存储库2。未来的工作将集中在改进广义最小最小划分问题的求解方法，以更好地处理球有界变量，并提高其计算性能。7450引用[1] R. Achanta、A.Shaji，K.史密斯，A.Lucchi，P. Fua，S. Süsstrunk等人切片超像素与最先进的超像素方法的比较。IEEE Transactions on Pattern Analysis and MachineIntelligence，34（11），2012。一、二、六[2] E. 阿尔雅尔布河谷Golkov，Y.Siddiqui和D.克莱姆斯使用 深度学习：分类学和新方法。arXiv预印本arXiv：1801.07648，2018。2[3] I.阿尔梅尼岛Sener，A. R. Zamir，H.江岛，澳-地K. 布里拉基斯M. Fischer和S. Savarese大规模室内空间的三维语义解析。在2016年美国内华达州拉斯维加斯的CVPR上，2016年6月27日至30日，2016年。6[4] Y. Ben-Shabat，T.Avraham，M.Lindenbaum和A.费舍尔基于图的三维点云过分割方法计算机视觉和图像理解，2018年。2[5] 布罗姆利岛Guyon，Y. LeCun，E. Säckinger和R. Shah.使用“连体”时间延迟神经网络的签名验证。神经信息处理系统进展，1994年。2[6] 沙博尼耶湖Blanc-Féraud，G. Aubert和M.太棒了。计算成像中的确定性边缘保持正则化。IEEE Transactions onImage Processing，6（2），1997. 4[7] J. Chen和B.尘稀疏扫描范围数据的建筑建模。国际计算机视觉杂志，78（2-3），2008年。1[8] S.乔普拉河Hadsell和Y.乐存。学习相似性度量有区别地，与应用到人脸验证。在CVPR，第1卷。IEEE，2005年。二、四[9] F. Engelmann，T. Kontogianni，A. Hermans和B. Leibe探索空间情境以进行点云的三维语意分割。在ICCV研讨会，2017年。二、六、八[10] F. Engelmann，T.Kontogianni，J.Schult，和B.Leibe 知道你的邻居在做什么：点云的三维语义分割。在GMDL研讨会，ECCV，2018。二四八[11] P. F. Felzenszwalb和D. P. Huttenlocher。高效的基于图的图像分割。International Journal of Computer Vision，59（2），2004. 2[12] G. Gao，M.Lauri，J.Zhang和S.Frintrop 用于超体素分割的显著性引导的自适应播种。在IEEE/RSJ智能机器人与系统国际会议上IROS，2017年。2[13] J. Goldberger，G. E. Hinton，S. T. Roweis和R. R.萨拉赫季诺夫邻域成分分析神经信息处理系统的进展，2005年。2[14] G.贡蒂尔四色定理的形式证明。医疗辅助队通告，55（11），2008年。5[15] T. Groueix，M. 费希尔 金湾，澳-地 C. 罗素和M.奥布莉3D表面生成的纸机方法。在CVPR中。IEEE，2017年。2[16] M. Grundmann，V. Kwatra，M.汉和我A.艾萨高效的基于层次图的视频分割。CVPR，2010。2[17] S. Guinard和L.兰德里欧从3d激光雷达点云中对城市场景进行弱监督分割辅助分类ISPRS工作坊，2017年。一、二、四、七7451[18] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在CVPR，2016年。8[19] J. R. Hershey，Z. Chen，J. Le Roux，and S.渡边深度集群：用于分割和分离的判别嵌入。在声学，语音和信号处理（ICASSP），2016 IEEE。IEEE，2016. 2[20] E. Hoffer和N.艾伦使用三重网络的深度度量学习。基于相似性的模式识别国际研讨会。施普林格，2015年。二、四[21] P. J. Huber等人稳健回归：渐近性、逼近与蒙特卡洛。统计年鉴，1（5），1973年。4[22] S. Ioffe和C.赛格迪批次标准化：通过减少内部协变量偏移来加速深度网络训练。ICML，2015。3[23] M. Jaderberg，K. Simonyan、A. Zisserman等人空间Transformer网络。神经信息处理系统进展，2015。3[24] V. Jampani，D.孙，M。Liu，M. Yang和J.考茨超像素采样网络。在ECCV，2018。一、二、五[25] B. Kulis等人度量学习：一个调查。机器学习的基础和趋势，5（4），2013。2[26] L. Landrieu和G.奥博辛斯基停止追击：一般权图上分段 常 数 函 数 的 快 速 学 习 算 法 。 SIAM Journal onImaging Sciences，10（4），2017。四、五[27] L. Landrieu和M.西蒙诺夫斯基基于超点图的大规模点云语义分割在CVPR中。IEEE，2018年。 1、8[28] A. Levinshtein ， A. Stere ， K. N. Kutulakos ， D. J.Fleet，S. J. Dickinson和K.西迪奇Turbopixels：使用几何 流 的 快 速 超 像 素 IEEE Transactions on PatternAnalysis and Machine Intelligence，31（12），2009。二、七[29] Y. 利河，巴西-地布，M。Sun和B.尘美国有线电视新闻网。arXiv预印本arXiv：1801.07791，2018。二、八[30] Y.林角，澳-地Wang，中国山杨D.翟，W. Li和J. Li.三维点云超体素分割的边界保持ISPRS Journal ofPhotogrammetry and Remote Sens- ing，143，2018。二六七[31] M.- Y. Liu，O. Tuzel，S. Ramalingam和R.切拉帕熵率超像素分割。在CVPR中。IEEE，2011年。二、五、七[32] W.- C. T. M.- Y. Liu ，V.J.D. S. Shao-Yi，C. M.- H.Yang和J.考茨学习具有分割感知亲和度损失的超像素在CVPR中。IEEE，2018年。一、二、五、八[33] V. Nair和G. E.辛顿校正线性单元改进了受限玻尔兹曼机。ICML，2010年。3[34] J. Papon，A.阿布拉莫夫M.Schoeler和F.沃格特体素云连通性分割-点云的超体素。CVPR，2013。二六七[35] S. Pu，G. Vosselman等人地面激光扫描建筑物特征的自动提取。国际摄影测量、遥感和空间信息科学文献，36（5），2006年。1[36] C. R. Qi，H. Su，K. Mo和L.吉巴斯Pointnet：对点集进行深度学习，用于3D分类和分割。CVPR，IEEE，1（2），2017年。一二三八7452[37] C. R.齐湖，加-地Yi，H. Su和L.吉巴斯PointNet++：度量空间中点集的深度层次特征学习。在NIPS，2017年。二、八[38] G. Riegler，A. O. Ulusoy和A.盖革OctNet：以高分辨率学习深度3D表示。在CVPR，2017年。2[39] R. B. Rusu，Z. C. Marton，N. Blodow，M. Dolha，以及M.比兹面向家庭环境的基于三维点云的对象地图。Robotics and Autonomous Systems，56（11），2008。1[40] R. Salakhutdinov和G.辛顿保持类邻域