2D图像空间中点云分割的学习

1在二维图像空间中分割三维点云的学习叶成吕欣明黄子明张伍斯特理工学院{ylyu，xhuang，zzhang15}@wpi.edu摘要与3D点云中的局部模式由定制卷积运算器捕获的文献相比，在本文中，我们研究了如何有效地将此类点云投影到2D图像空间中的问题为此，我们的动机是图形绘制和重组为一个整数规划问题，学习拓扑保持图到网格映射为每个单独的点云。为了在实际中加快计算速度，我们进一步提出了一种新的分层近似算法。借助Delaunay三角剖分从点云构建图形和用于分割的多尺度U-Net，我们分别在ShapeNet和PartNet上展示了代码可在https://github.com/Zhang-VISLab获得。1. 介绍最近，点云处理已经吸引了越来越多的关注[45，44，17，46，10，61，34，25，57，29，66，30、73、72、33、71、18、39、27、38、60、28、53、47、70]。 作为作为存储几何特征的基本数据结构，点云将从物理世界扫描的点的3D位置保存为无序列表。相比之下，图像在2D网格上具有规则的图案，在局部邻域中具有组织良好的这种局部规律性有利于快速2D卷积，从而产生设计良好的卷积神经网络（CNN），如FCN [35]，GoogleNet [54]和ResNet [16]，可以有效地从像素中提取局部特征到语义，具有最先进的性能，适用于不同的应用。动机事实上，用于点云分类和分割的PointNet1[45一般来说，PointNet将每个3D这部分工作是作者在三菱电机研究实验室实习时完成的。[1]为了简化解释，我们假设PointNet中没有偏差项图1：ShapeNet上最先进的零件分割性能比较，其中IoU表示交集大于并集。使用多层感知器（MLP）将（x，y，z）点映射到更高维的特征空间中，并将来自云的所有特征全局地汇集为云签名以供进一步使用。作为等效的CNN实现，可以构建具有所有3D点作为图中的像素的（x，y，z）图像。随机顺序和（0，0，0）用于图像的其余部分，并将1×1卷积核顺序应用于图像，然后是全局最大池运算符。不同于传统的RGB图像，这里是（x，y，z）图像定义了新的2D图像空间，其中x，y，z作为通道。在[37，36，41，64，65]中探索了LiDAR点的相同图像表示。与CNN不同，PointNet缺乏提取局部特征的能力，这可能会限制其性能。这一观察启发我们研究文献中是否令人惊讶的是，正如我们在表1中总结的那样，我们只能找到几个，这表明目前这种用于点云分割的集成方法...1225512256可能被严重低估。显然，开发这种综合方法的关键挑战是：如何有效地将3D点云投影到2D图像空间中，以便我们可以利用传统2D CNN中的局部模式提取进行点云语义分割？Approach. 上面的问题并不简单。一个坏的投影函数很容易导致点云中结构信息的丢失，例如图像空间中这种结构损失是致命的，因为它可能引入如此多的噪声，使得原始云中的局部模式完全改变，导致即使使用2D常规CNN也因此，良好的点到图像投影函数是弥合点云输入和2D CNN之间差距的关键在系统级，我们的集成方法如下：步骤1. 从点云构建图形。步骤2. 使用图形绘制将图形投影到图像中。步骤3. 使用U-Net分割点。我们的动机是图形绘制中的图形可视化技术，这是数学和计算机科学的一个领域，其目标是在平面上呈现具有某些特定属性的图形的节点和边[7，49，21，11]。特别是Kamada-Kawai（KK）算法[21]是最广泛使用的无向图可视化技术之一。通常，KK算法定义了一个目标函数，该目标函数测量每个图布局的能量w.r.t.一些图形距离，并搜索给出合理良好的2D可视化的（局部）最小值。 注意，KK算法在连续的2D空间中工作，而不是2D网格（即，离散空间）。因此，直观地说，我们提出了一个整数规划（IP）来执行KK算法来学习2D网格上的投影，从而导致NP完全问题[63]。考虑到KK算法的计算复杂度至少为O（n2）[24]，其中图中的节点数为n（例如，云中的数千个点），即使我们通过舍入来放松IP，计算为了加速我们方法中的计算，我们遵循[12，40，19]中的分层策略，并进一步提出了一种新的具有复杂性的分层近似L+1时间复杂度O（n） ），粗略地说，其中L表示数字在层次结构中的级别事实上，这样一个等级制度该方案还可以帮助我们减少使用Delaunay三角剖分从点云[9]对于3D点，最坏情况复杂度为O（n2）[1]。一旦我们学习了点云的图形到网格投影，我们相应地通过用3D点和零填充它来生成（x，y，z）图像我们进一步将这些图像表示馈送到多尺度U-Net [48]进行分割。性能预览。为了证明我们的方法是如何工作的，我们总结了32个最先进的性能在图1中的基准数据集ShapeNet [69]上，并在相同的训练/测试协议下与这些结果进行比较。显然，我们的结果明显优于所有其他利润率高的公司。在PartNet上也有类似的观察[71请参阅我们的实验部分了解更多详情。捐款. 总之，我们在本文中的主要贡献如下：• 据我们所知，我们是第一个在学习2D图像表示的背景下探索3D点云分割的图形绘制算法• 因此，我们提出了一种新的分层近似算法，该算法考虑了将点云映射到图像表示的计算以及保留每个云中的点之间的本地信息。• 我们在ShapeNet和PartNet上展示了最先进的性能，文献中的三维点云分割，使用我们的图形绘制算法与Delaunay三角网和多尺度U-网的集成方法。2. 相关工作表1总结了一些现有的工作。特别是3D点云的表示。体素是受欢迎的选择，因为它们可以 从 高 效 的 CNN 中 受 益 PointGrid [27] ， O-CNN[60]，VV-Net [39]和InterpConv[38]在体积网格中采样点云并应用3D CNN。其他一些作品在特定的2D域中表示点云，并执行定制的网络运营商[53，47，70]。然而，这些工作有困难的采样从非均匀分布的点云，并导致一个严重的问题，点碰撞。基于图的方法[56，20，67，43，31，62，50，32，59，26]通过将所有点采样为图顶点，从点云构建图以进行网络处理。然而，他们经常在分配图顶点之间的边的也有一些作品[45，44，17，46，10，61，34，25，57，29，66，30，73，72，33，71]直接使用点作为网络输入。虽然他们不需要考虑采样和点之间的FoldingNet [68]引入了2D网格作为潜在空间，而不是输出空间，以捕获点云的几何形状。在光检测和测距（LiDAR）点处理的文献中有一些作品利用从LiDAR点生成的深度图像[52]或（x，y，z）图像[37，36，41，64，65在表1中，我们也总结了这些工作，尽管它们不是为点云分割而开发的。In contrast, we propose an efficient hierarchical approx-imate algorithm with Delaunay triangulation to map each122572D表1：最先进的点分割方法总结。方法原始数据数据到输入的映射网络输入网络架构我们点云图形绘制（x，y，z）-图像多尺度U网Lyu等人 [37]第三十七届LiDAR框架球面映射（x，y，z，φ，θ，ρ，i）-图像2D CNNChipNet [36]LiDAR框架球面映射（x，y，z，φ，θ，ρ，i）-图像2D CNNLoDNN [6]LiDAR框架2D栅格采样统计-图像2D CNN[41]第四十一话LiDAR框架球面映射（r，x，y，z，i）-图像2D CNN[64]第六十四话LiDAR框架球面映射（x，y，z，i）-图像2D CNN[65]第六十五话LiDAR框架球面映射（x，y，z，i）-图像2D CNNPointNet [45]点云-点MLP[44]第四十四话点云-点MT-PNetPCNN [17]点云-点逐点转换[46]第四十六话点云FPS点MLPSRN [10]点云FPS点SRNSGPN [61]点云FPS点MLPRS-CNN [34]点云球查询点RS转换[25]第二十五话点云球查询点A-CNNKPConv [57]点云球查询点KPConv[29]第二十九话点云KNN点SOM[66]第六十六话点云KNN点PointConv[30]第三十话点云KNN点X-转换[第73话]点云KNN点AFAShellNet [72]点云KNN点ShellNetDensePoint [33]点云随机的样品点PConv.PartNet [71]点云潜在树点MLPKd-Net [23]点云kd树点ConvNetsMAP-VAE [15]点云潜在树点GRURGCNN [56]点云完全图图图形转换[20]第二十话点云FPS图点边网SpiderCNN [67]点云KNN图SpiderConv[43]第四十三话点云KNN图Point Atrous Conv.GANN [31]点云KNN图图注意力[62]第六十二话点云KNN图边缘转换Kc-Net [50]点云KNN图MLPHDGCN [32]点云KNN图MLPGAC-Net [59]点云随机的样品图图注意力SPGraph [26]点云Voronoi 图图GRURS-Net [18]点云3D栅格采样体素RNNVV-Net [39]点云3D栅格采样体素VAE[27]第二十七话点云3D栅格采样体素3D CNNInterpConv [38]点云三维网格插值体素InterpConvO-CNN [60]点云八叉体素MLP[28]第二十八话点云球形3D网格体素球面转换SPLATNet [53]点云点阵插值晶格双侧转化[47]第四十七话点云球面映射球体SPH.分形转换SyncSpecCNN [70]点云3D栅格采样光谱SpecTN点云到2D图像空间。网络架构。网络操作是分层学习局部上下文和对点云执行语义分割的关键。基于网格的方法通常在网格表示上应用规则的2D或3D CNN。基于图的方法通常在图表示上应用定制的卷积。对于基于点的方法，MLP是最广泛使用的网络。对于其他一些基于点的方法，定制的卷积运算器也被设计为支持它们自己的网络架构。递归神经网络（RNN）在一些工作中被用来处理不固定大小的点输入。更多参考资料请参见表1相比之下，我们将经典的U-网应用于点云分割的图像表示。在我们随后的消融研究中，我们还测试了几种替代的2D CNN架构，所有这些架构都获得了与文献相当的结果图形绘制。 根据图表的目的-2D布局。Fruchterman-Reingold（FR）[12]、FM3 [40]和Force-Forgelas 2 [19]通过引入分层方案和优化迭代函数，加快了大规模图的力导向布局计算。请注意，图形绘制可以被认为是网络嵌入的一个子学科[14，8，5]，其目标是在一些度量空间中找到网络节点的低维表示，以便尽可能多地保留给定的相似性（或距离）函数。总之，图形绘制侧重于图形的2D/3D可视化，而网络嵌入强调低维图形表示的学习。本文提出了一种基于KK算法的层次化图形绘制算法，该算法采用FR方法作为布局初始化，然后采用一种新的离散化方法实现网格布局。3. 我们的方法：系统概述3.1. 基于点云在 文献 中 ，通 常 通过 连 接每 个 点 的K个 最 近邻（KNN）来从点云生成图。然而，这样的KNN方法受到选择合适的K。当K太小时，这些点旨在形成小的子图（即，簇），而不保证子图之间的连通性。当K太大时，点密集连接，导致局部特征提取中的噪声更多。相比之下，在这项工作中，我们采用Delaunary三角剖分[9]，一种在计算几何中广泛使用的三角剖分方法，根据点的位置创建图形。三角剖分图有三个优点：（1）保证图中所有节点的连通性;(2)所有本地节点直接连接;（3）图连接的总数相对较少。在我们的实验中，我们发现，Delaunary三角剖分给我们稍微好一点的分割性能比最好的一个使用KNN（K=20）的边缘约为0.7%。最坏情况下的Delau计算复杂性，nay三角剖分是O（nn ×n）[1]其中d是特征维数，n·n表示 天 花 板 运 算 。 因 此 在 3D 空 间 中 ， 复 杂 度 为 O（n2），d=3。在我们的实验中，我们发现它在2048个点上的运行时间大约是平均0.1s（CPU：Intel Xeon E5-2687W@3.1GHz）3.2. 图形绘制：从图形到图像设G=（V，E）是具有顶点集的无向图存在两类图形绘制算法，V和一个边集E <$V × V。sij≥1，ij是图形-梗概.N-planar graph [49]专注于呈现图在平面上具有最少的边交点，而不管隐含的拓扑特征。另一方面，力导向的方法，如KK算法，专注于最小化图节点邻接前后的差异理论距离，如两个顶点之间的最短路径vi，vj∈ V在编码图拓扑的图现在我们要学习一个函数f：V →Z2，将图顶点集映射到一组2D整数坐标在网格上，以便图形拓扑可以保留为12258图2：我们的多尺度U-Net架构的图示。给定度量d：R2× R2→ R和损失Δ R：R×R→R，因此，我们寻求f使目标minfi j∈（d（f（v i），f（v j）），s ij）最小化.设xi= f（vi）∈ Z2为重新参数化，可将此问题改写为整数规划（IP）问题minX Z2i/=j<$ （ d （ xi ， xj ） ， sij ） ， 其 中setX={xi}表示图形的2D网格布局，即，2D网格上的所有顶点坐标。为了简单起见，我们将上面的d和d分别设置为最小平方这就引出了以下学习目标：图3：点云的分层近似图解。每种颜色代表一个簇，其中所有点共享相同的颜色。点云很可能在其图像表示中被保留为局部块。 这对于2D CNN的工作至关重要，因为这样的小卷积核（例如，3 ×3）可用于局部特征提取。为了在图像中捕获这些局部模式，多尺度卷积经常用于网络中，例如GoogLeNet中的inception模块[55]。U-Net [48]被提出用于生物医学图像分割，其变体被广泛用于不同的图像分割任务。如示于图2，在本 文 中 ， 我 们 提 出 了 一 个 多 尺 度 的 U-Net ， 它 将Inception模块与U-Net集成在一起，其中FC代表全连接层，应用ReLU激活在每个Inception模块和FC层之后，softmax激活在最后一个Conv1 ×1层之后应用。Σ1阿克斯Σ2- x单标度与多 -minX Z22I jij− 1斯伊季，s.t. xi/=xj，xji/=j。（一）规模我们只考虑两种尺寸的2D卷积-表2：使用不同U-Net的ShapeNet性能比较。U-Net中的刻度1x1 3x3盗梦空间事实上，KK算法与Eq. 1，但在R2中具有不同的可行解空间，导致相对更快的解，这些解稍后用作我们算法中的初始化（参见Alg. 2）。一旦确定了网格上一个点的位置，我们将其3D特征以及标签（如果可用）与位置相关联，最终得到（x，y，z）图像表示和具有相同图像大小的标签掩码，用于网络训练。求解核，即， 1 × 1因为在我们的实验中我们发现更大尺寸的核不会带来显著的改进，但会带来更重的计算负担。我们还在表2中比较了使用单尺度与多尺度的性能。正如我们所看到的，具有初始模块的多尺度U型网络的性能明显优于其他单尺度U型网络。一般来说，IP问题是NP完全的[63]，因此找到精确的解决方案是具有挑战性的。由于其效率[3]，松弛和舍入是用于求解IP的广泛使用的启发式算法，其中舍入应用于来自松弛问题的解作为IP问题的解然而，考虑到KK的计算复杂度U-Netvs.CNN. 我们还将U-Net与表 3 中 的 其 他CNN 架 构 进 行了比较。一个基地-表3：ShapeNet上使用不同CNN的实例mIoU比较。CNNsConv1x1 Conv3x3 SegNet [2] U-NetmIoU（%）81.678.186.988.8算法至少是 O（ n2）[24]，其中图中 的节点数 为n（即，对于我们的情况，云中有数千个点），即使我们放松，IP的四舍五入。经验上我们发现KK算法在2048点上的平 均 运 行 时 间 约 为 38 s （ CPU ： Intel Xeon E5-2687W@3.1GHz），这是相当长的。为了加快计算在实践中，我们提出了一种新的分层解决方案，在SEC。4.第一章3.3. 基于多尺度U网的点分割当量1强制我们的点云图像表示是紧凑的，这表明，线是一个自动编码器-解码器网络与图中类似的architec-ture。2，但没有多尺度和跳跃连接。我们分别用1×1和3×3内核测试它，如表3所示。第二个基线是SegNet[2]，一个更复杂的自动编码器-解码器。我们的U-Net再次发挥作用最棒的通过比较表3和表2，我们可以看到U-Net中的跳过连接确实有助于提高性能。请注意，我们的简单基线已经可以实现与文献相当的性能。上述所有比较均基于相同协议下更多细节请参考实例mIoU（%）83.1 82.5 88.812259KK算法1用于聚类输入：点云P={p}，聚类数K，参数α，距离度量s，聚类中心计算函数c输出：平衡点聚类HH←KMeans（P，K）;当H∈ H时，|h*|> α |P|做最小化从点云构造。这个问题的解决方案是，理想情况下，所有集群都应该具有相等的大小n，即，平衡一些算法，如归一化割[51]，是为了学习平衡聚类而开发的，但是，具有很高的复杂性。快速算法h′∈argminK.|P|Σs（c（h），c（h））;不幸的是，像KMeans这样的算法并不提供这样的自然界的平衡端h：|H|

下载后可阅读完整内容，剩余1页未读，立即下载