精益点网络：改善点处理网络的内存消耗、推理时间和准确性的新模块组合

9503500450（毫秒）400时间推断e350300250PN++convPN数据集复杂度500450mResXMREs400PN++3503002502个2.. 55深度LPN33.03.第三章。53.5内存消耗（Gb）四点零五五点零五。. 55 66.066..55 77.077.. 55四四四。. 55深入了解精益点网络Eric-TuanLe 1IasonasKokkinos 1，2Niloy J.Mitra1，31伦敦大学学院2Ariel AI3 Adobe Research摘要在这项工作中，我们引入了精益点网络（LPN），通过依赖三个新颖的点处理模块来训练更深入、更准确的点处理网络，这些模块可以改善内存消耗、推理时间和准确性：用于点集的卷积型块，其以存储器高效的方式混合邻域信息;交叉块，其跨低分辨率和高分辨率处理分支有效地共享信息;以及多分辨率点云处理块，用于更快地扩散信息。通过组合这些模块，我们设计了更广泛和更深入的基于点的架构。通过使用我们的通用模块作为多个架构（PointNet++，DGCNN，SpiderNet，PointCNN）块的直接替代品，我们报告了多个公开可用的分割任务的代码和预训练模型可在geometry.cs.ucl.ac.uk/projects/2020/deepleanpn/上公开获取。Net++ [25]通过考虑局部点补丁，基于欧几里得距离对邻域内的信息进行分组，然后将PointNet应用于各个组。这种设计选择需要在相邻点之间显式地复制本地存储器信息，并且随着网络的深入，可能会损害性能内存消耗（Gb）++33..44++33.. 00++33..001. 介绍几何处理已经开始从将深度学习应用于图形和3D形状分析中获益[25，33，6，DeepConvPN++11。.00++11..1184.6 2435.2++22..663]，提供保证点云处理的理想属性的网络，例如置换不变性和无量化表示[28，31，32]。尽管有这些进步，大多数点处理架构的存储器要求仍然阻碍了类似于计算机视觉中的中断。直接处理3D数据的非结构化表示（即，不驻留在空间网格上），对于几何处理，需要重新发明基本图像处理块的功能，例如卷积操作、信息交换路径和多分辨率数据流。从拉格朗日的角度来看，为了避免量化或多视图方法，开创性的PointNet架构[24]演示了如何直接处理点云数据集，首先将单个点提升到更高维的特征（通过共享的MLP），然后执行置换不变的局部池化。要点-ShaSphaepeNNetePatr-tPartScScanNeNt 数据集复杂度Ground Truth PN++水龙头上的深度LPN分割图1.精益点网络（LPNs）可以实现更高的点云分割精度，同时 以 更 低 的 内 存 和 推 理 时 间 运 行 。 (Top) 与 PointNet++（PN++）基线相比，本工作中引入的LPN变体的内存占用和推理速度（中）复杂性增加的三个分割基准的准确性提高。在最复杂的PartNet数据集上，我们的深度网络比浅层PointNet++基线高出3。4%，收益率为9. 7%的相对涨幅。（底部）通过Point- Net++和Deep LPN进行零件分割。深LPNLPNPN++推断时间（ms）与基线相比的性能（IoU）性能IoU9504特别地，点网络块的存储器和计算需求（例如，PointNet++和许多后续架构）会影响训练速度，更重要的是，会影响推理时间。这种点网络的主要瓶颈之一是它们的内存密集型特性，如第2节所述。3.1.具体来说，PointNet++架构及其变体复制点邻域信息，让每个节点携带关于其所有邻域的特征向量信息这导致显著的存储器开销，并且限制了可以计算的层、特征和特征组合的数量在这项工作中，我们增强了这样的点处理网络，复制本地邻域信息，通过引入一组模块，提高内存占用和准确性，而不影响推理速度。我们将由此产生的架构称为Lean Point Networks，以突出其轻量级内存预算。我们在减少内存预算的基础上，进一步研究点网络。正如在图像域中反复看到的那样[12，14，39]，我们证明了深入也会提高点网络的预测精度。我们从第二节开始。3.2通过将点云处理网络中使用的分组操作替换为低存储器的替代方案，该替代方案是卷积的有效图像处理实现由此产生的然后我们转向SEC。3.3通过以下三种技术改进点网络中跨层和跨尺度的信息流：用于多尺度网络的多分辨率变体，其仍然递送多尺度上下文，但是以减少的存储器和计算成本、剩余链路、以及跨网络分支广播多尺度信息的新的交叉链路块。通过组合这些块，我们能够成功地训练更深的点网络，使我们能够利用更大的数据集。节中4我们在ShapeNet-Part、ScanNet和PartNet分割基准上验证了我们的方法，报告了PointNet++基线的系统改进如图1，当这些贡献结合在一起时，在提高性能的同时，成倍地减少了内存消耗，使我们能够在第二阶段训练越来越广泛和深入的网络。在最复杂的数据集PartNet上，我们的深度架构实现了IoU的9.7%相对增长，同时减少了57%的内存占用和47%的推理时间。在PointNet++基线上消除了我们的设计选择后，4.3我们转向确认我们的块的通用性质。我们扩大实验三个额外的网络，（i）DGCNN [33]，（ii）Spider-CNN [35]和（iii）PointCNN [21]，并报告了内存效率和性能的系统改进。2. 相关工作在点云中学习。基于学习的方法最近在几何数据分析的背景下引起了极大的关注，提出了几种专门用于处理点云数据的方法，包括PointNet [24]和几种扩展，如PointNet++ [25]和Dynamic Graph CNN [33]用于形状分割和分类，PCPNet [10]用于法线和曲率估计，P2P-Net [36]和PU-Net [38]用于跨域点云变换。或者，基于内核的方法[2，13，22，30]也已经提出了令人印象深刻的性能结果。虽然已经提出了PointNet的许多替代方案 [27 ， 20 ， 21 ， 13 ， 40]以 实 现 更 高 的 性 能 ， 但PointNet及其扩展PointNet++的简单性和有效性使其在许多其他任务中流行[37]。以PointNet++为出发点，我们的工作促进了计算机视觉中开发的网络设计技术向点云处理的转移。特别是，相对于原始AlexNet网络[18]，通过优化过滤操作的规模[41，26]，计算块的结构[29，34]以及网络的宽度和深度[12，39]，已经获得了显着的准确性改进然而，实验更大空间的网络架构的催化剂是内存消耗的减少-这促使我们设计点处理网络的精益替代品。值得注意的是，[42]引入了一种新的算子来提高点云网络的效率，但只专注于通过调整感受野来提高[19]研究了残差/密集连接和扩张卷积如何有助于减轻深度图卷积网络中观察到的消失梯度，但没有解决理论限制，[13]使用Monte Carlo估计器来估计局部卷积核。相比之下，我们的工作明确地解决了记忆问题，目标是训练更深/更宽的网络，并表明在强基线上有明显的改进。高效记忆网络标准反向传播实现的内存复杂度随着网络深度线性增长，在存储器中存储在前向过程中计算的所有中间激活，因为它们是后向过程中的梯度计算所需要的有几种方法通过权衡速度和内存来绕过这个问题。检查点技术[5，9]使用锚点来释放中间计算结果，并在向后传递中重新计算它们。这在训练过程中慢了1.5倍，因为一个人有效地执行两个9505Nk′向前传球而不是一次。更重要的是，对于链式结构的图，例如，递归网络[9]，但对于一般的有向无环图，如U-网，或多尺度网络，如PointNet++，就不那么容易了人们需要手动识别图形组件，这使得实验各种不同的架构变得很麻烦。可逆残差网络（RevNets）[8]将计算块限制为残差网络的特定可逆这在训练过程中也慢了1.5倍，但完全消除了对锚点的需求不幸的是，目前还不清楚什么是可逆块的点云对应物。我们提出了通用块，以减少内存足迹的启发，从多分辨率处理和有效实现的卷积运算在计算机视觉。正如我们在SEC中所展示的那样。4.3，我们的块可以用作 通 用 点 处 理 架 构 （ PointNet++ ， DGCNN ，SpiderNet，PointCNN）中的插入式替代品，无需任何额外的网络设计工作。3. 方法我们首先简要介绍PointNet++网络，它作为一个示例点网络基线。然后，我们介绍我们的模块，并解释他们如何减少内存足迹和改善信息流。3.1. PointNet和PointNet++架构PointNet++ [25] 是一种通过分组操作增强基本PointNet架构如图如图4（a）所示，分组是通过“邻域查找”来实现的，其中每个点Pi查找其k个最近的邻居并将它们堆叠以得到点集，比如Pi。如果每个点都有一个D维特征向量，这个过程的结果是一个十维特征向量。排序T= [vv[.，第1页]. . .v[.，K]]的大小为N ×D×（K+1）。在PointNet模块中，该矩阵的每个向量都是由多层感知器单独处理，′补充了一个函数MLP：RD→RD，而在稍后的点上，对每个点的K个邻居的最大池化操作提供了一个苗条的N×D矩阵。当训练网络时，每一层都构造并在内存中保留一个类似T的矩阵，以便在反向传递中使用它来更新MLP参数，并将gra-taste发送到前面的层。 虽然PointNet++的这种设计被证明非常有效，但它有两个主要缺点：首先，由于明确地携带每个点的k-最近邻信息，网络层是存储器密集型的;其次，依赖于PointNet，它还延迟全局信息的传输，直到最后的最大池化阶段，在最大池化阶段，解耦的MLP的结果被组合。PointNet++的许多后续变体从类似的记忆和信息流的限制。正如我们现在所描述的，这些缺点通过我们的卷积类型点处理层得到了缓解。3.2. convPN：卷积类型PointNet层我 们 提 出 了 一 种 新 的 卷 积 类 型 的 PointNet 层（convPN），它的灵感来自卷积的有效实现。标准卷积操作分为两步：(i)邻域曝光和（ii）矩阵乘法。我们的convPN块遵循类似的步骤，如图所示2，但将处理不同邻居的权矩阵块绑在一起，以保证置换不变性。更详细地说，标准2D图像卷积相当于在执行K×K滤波时在存储器中形成K2张量，然后将卷积实现为ma。矩阵乘法这相当于使用通用矩阵-矩阵乘法（GEMM）实现卷积的im 2col操作[15]。在点云中，最近邻信息为我们提供了K×K邻域的对应部分.基于这一观察，我们建议使用以下策略：在用于深度学习的图像卷积的存储器高效实现中使用：只要前向传递计算其输出，我们就从层中释放存储器，而不是将矩阵保持在存储器中。在后向传递中，我们根据前一层的输出动态地重建矩阵我们执行所需的梯度计算，然后返回GPU内存资源。如图3.通过将PointNet++的MLP替换为一系列SLP-Pooling模块，进一步提高了效率。这使我们能够进一步减少内存消耗，仅通过池化功能节省层激活，同时增加邻居共享信息的频率。如补充材料中所详述的，我们的卷积型架构的仔细实现平均缩短了向前传递和向后传递所花费的时间，分别为41%和68%，同时导致内存消耗的大幅减少。对于具有L层的网络，基线PointNet++层的内存消耗增长为L×（N×D×K），而在我们的情况下，内存消耗 增 长 为 L× （ N×D ） + （ N×D×K ） ， 其 中 L×（N×D）项占存储层激活所需的内存，而第二项N×D×K是单个邻域卷积层的作为L变大，这导致K倍的下降，如图所示. 5.这种减少打开了学习更深层次网络的可能性，因为现在的记忆需求在深度上增长得更慢。在较小的、依赖于数据集的波动 情 况 下 ， 我 们 卷 积 型 架 构 的 内 存 占 用 平 均 比PointNet++基线低67%，而层数则95062D卷积点卷积对应图像特征图像邻域特征Im2Col堆叠二维卷积权重矩阵共享SLP点云特征点云邻域特征堆叠点云邻域要素SLP权重矩阵图2.2D卷积与其点云对应物之间的类比在这两种情况下，该层以两个步骤操作：（i）邻域曝光和（ii）矩阵乘法。2D图像卷积相当于在执行K×K滤波时在内存中形成K2张量，然后将卷积实现为矩阵乘法。MLPPoinNet++模块convPN模块lookup-SLP-Pooling lookup-SLP-Pooling lookup-SLP-Pooling图3.PointNet++模块与convPN模块的比较convPN模块通过一系列SLP池化模块来替换MLP及其池化层，这具有两个好处：（i）存储器节省，因为仅通过池化特征来保存层激活;以及（ii）更好的信息流，因为它增加了邻居共享信息的频率。内存开销为2.7%。3.3. 改善信息流现在我们转向通过点网络进行有效信息传播的方法。正如计算机视觉中反复显示的那样，这可能会在训练过程中严重影响网络的行为。我们的实验表明，这也是点处理的情况。(a) 多分辨率与多尺度处理。形状特征可以从局部的细粒度信息和全局的语义级上下文中受益;它们的融合可以很容易地提高结果特征的区分能力。为此，我们建议在原始点的下采样版本中提取固定大小cloud.在原始点云的坐标中，这相当于增加了有效的分组区域，但现在它在三个测试数据集上，我们观察到内存占用平均减少了58%。有关两种处理类型之间的差异的说明，请参阅补充资料(b) 剩余链接。我们使用标准的残差网络架构[12]，这有助于可靠地训练深度网络。残差网络改变网络作为我们在SEC的结果。4 show，这使我们能够训练更深层次的网络。分组KNNSLPSLPSLP池kNNSLP池kNNSLP池kNNSLP池950716141210（GB）Mem.864变化的高分辨率变化的中分辨率1614记忆预算121086个PN++42个LPN881100中分辨率1122Nb. 层114411661188PNPNPNKNNkNNSLP池UkNNSLP池池SLPKNND网络层（a）PointNet++（PN++）（b）mRes（c）mResX(d)convPN（e）convPN层的堆栈图4.（a）中的标准PN++层相当于基于k最近邻（kNN）的查找和PointNet元素的组合在（b）中，我们建议使用多个单层感知器（SLP）将并行PointNet++块组合在多分辨率架构中（D和U代表下采样和上采样操作），并在（c）中允许信息通过交叉链接元素（“xLink”）跨不同分辨率的分支流动。在（d）中，我们提出通过一旦计算就从存储器中移除kNN元素来将查找-SLP-池化级联转变为低存储器对应物;我们还引入了剩余链接，改进了梯度流。在（e）中，我们将（d）中的绿色盒子堆叠起来，以深入发展并构建我们的深层架构。交联图6. 交叉链接模块，用于跨分辨率进行连接。Nb层图5.ShapeNet-Part上PointNet++和LPN（卷积块计数器）的内存消耗随层数增加而变化对于中分辨率和高分辨率，将LPN的层数增加一倍只会导致内存分别增加+2.3%和+16.8%，而PointNet++的内存分别增加+72%和+125%（c）交叉链接。此外，我们使用交叉分辨率链接来更好地在网络中传播信息。我们从多网格网络[16]，多分辨率树网络[7]，Hy- percolumns [11]中得到启发;并允许驻留在不同分辨率分支中的层彼此通信，从而交换低、中、高分辨率信息。在整个网络处理过程中融合多分辨率信息，而不是在每个块的末尾融合多分辨率信息。交叉链接跨分辨率广播信息，如图所示。6.注意，与[7]不同，MLP将一个分支的输出转换为正确的输出维度，以便它可以与另一个分支的输出组合。每个决议分支可以专注于自己的代表，MLP将负责在它们之间进行翻译。特别是考虑高分辨率分支将其输出传送到中分辨率分支的情况，分辨率分支，我们在查找-SLP-池化块级联的输出处具有N×DH个特征向量，其需要被传送到中分辨率分支的N/2 ×DM个 我们首先对点进行下采样，KNN池KNN池池UDSLPKNNSLPSLPkNNSLPSLP池kNNSLPxLinkSLP 池kNNSLPSLP池UDDU+++XLink记忆（GB）convPNconvPNconvPNconvPN9508从N到N/2个点，然后使用MLP将向量转换为目标维度。相反，当从低维到高维时，我们首先转换-形成正确维度的点，然后对它们进行上采样。我们已经试验了连接和求和多分辨率特征，并观察到求和在训练速度和测试性能方面都表现得更好。4. 评价我们首先定义我们的任务和指标，然后转向验证我们对模型准确性的两个主要贡献，即通过改进SEC中的4.1，并通过内存高效处理在第二节更深入4.2.然后，我们转向验证我们的模块的优点时，与一个广泛的国家的最先进的架构在秒。4.3，最后提供了一个彻底的消融的影响，我们的贡献方面的补充准确性，即参数大小，内存，和效率在秒。4.4数据集和评价措施。我们的模块可以很容易地应用于任何点云相关的任务，如分类，但是，我们在这里重点评估我们的模块上的点云分割任务的三个不同的，因为这是一项更具挑战性的任务。这些数据集包括3DCAD模型或真实世界的扫描。我们根据（i）训练样本的数量，（ii）样本的同质性和（iii）分割任务的粒度来量化每个数据集的复杂性。请注意，在更大和更多样化的数据集上训练的网络不太容易过度拟合-因此，我们可以从更复杂的数据集中得出更有信息量的结论我们通过增加复杂性对数据集进行排序：ShapeNet-Part [4]，ScanNet [6]和PartNet [23]用于细粒度分割。就其大小（24，506个样本）和粒度（251个标记部件）而言，PartNet是最复杂的数据集。为了进行公平的比较（内存，速度，准确性），我们在Pytorch中重新实现了所有模型，并连续比较了vanilla网络架构和我们的内存高效版本。我们报告的网络性能使用其最后保存的检查点（即，当训练收敛时），而不是使用在测试集上产生最佳性能的检查点的常见（但明显有缺陷）实践。这两个因素可能导致与最初报告的性能存在微小差异。我 们 使 用 两 种 不 同 的 指 标 来 报 告 交 集 对 并 集（IoU）：（i）平均交集对并集（mIoU）和（ii）部分交集对并集（pIoU）。详情请参阅补充资料。4.1. 改善信息流动我们在Shapenet-Part、ScanNet和PartNet数据集表1.与PointNet++基准相比，我们的模块性能。 随着数据集复杂性的增长，我们的模块的影响变得最为突出。在PartNet上，我们的Deep LPN网络将pIoU比PointNet++提高了9.7%，比其浅层对应网络提高了+2.1%。ShapeNet-Part(13，998样本）ScanNet（1 201个样本）PartNet(17，119样本）mIoU（%）Vox Acc. （%）pIoU（%）pIoU（%）PN++84.60（+0.0%）80.5（+0.0%）24（+0.0%）35.2（+0.0%）MREs85.47（+1.0%）79.4（-1.4%）37.2（+5.7%）mResX85.42（+1.0%）79.5（-1.2%）37.5（+6.5%）LPN85.65（+1.2%）83.2（+3.4%）二十七人（上升百分之十二点五）37.8（+7.4%）深LPN85.66（+1.3%）八十二点二（升百分之二点一）二十七（升百分之十二点五）38.6（+9.7%）（见表1）。我们的精益和深度架构可以轻松部署在大型和复杂的数据集上。因此，对于Part-Net，我们选择在17个类别的分割任务上一次性训练完整的数据集，而不是像[23]中那样为每个类别训练单独的网络。我们的架构大大提高了PointNet++基线的内存效率，同时还提高了更复杂数据集的性能（见图1）。1）。事实上，随着数据复杂性的增长，有效的信息流对网络性能的影响更大。在PartNet上，我们的架构和PointNet++之间的差异变得非常大：与PointNet++相比，我们的多分辨率（mRes）网络将相对性能提高了+5.7%，而使用交叉链接（mResX）时，该增益达到+6.5%。当数据集复杂度增加时，我们的卷积型网络（LPN）通过更有效地混合邻居之间的信息而优于其他架构（ScanNet上为+3.4%，PartNet上为+7.4%4.2. 通过深入提高精度节中介绍的内存节省。3.2提供了设计更深网络的机会。天真地增加网络深度会损害性能[12]。相反，我们使用剩余连接来提高深度网络的收敛性。该体系结构，在补充材料中详细介绍，包括在编码部分的层数增加一倍。虽然对效率的影响非常小（与浅LPN相比，平均推理时间增加了6.3%，内存消耗最多增加了3.6%），但性能得到了改善（见表1）。在PartNet上，该利润率在浅LPN上达到+2.1%，在普通PointNet++上达到+9.7%。请注意，作为深度的函数，增长率很低，如图所示。5.如图7，具有更深的网络提高了部分之 间 边 界 处 的 分 割 质 量 。 相 比 之 下 ， 单 纯 地 将PointNet++中的编码层数量从9增加到15只会导致性能IoU从84.60%增加到84.66%。在表2中，我们与Deep GCN [19]进行了比较，9509表2.我们的deepConPN网络与Deep GCN（ResGCN-28）和基于6重验证过程的S3 DIS相关方法相比的性能在每个类上观察到的性能差异可以通过网络对点卷积的不同方法来解释。我们的深度网络明显优于PointNet++基线，mIoU的传播率为+6.8%。与Deep GCN相比，我们实现了类似的性能，同时依赖于较弱的基线（PointNet++对DGCNN）方法OAMiou天花板地板壁束柱窗口门表椅子沙发书柜板杂波MS+CU79.247.888.695.867.336.924.948.652.351.945.110.636.824.737.5G+RCU81.149.790.392.167.944.724.252.351.258.147.46.939.030.041.93DRNN+CF86.956.392.993.873.142.525.947.659.260.466.724.857.036.751.6DGCNN84.156.1-------------ResGCN-2885.960.093.195.378.233.937.456.168.264.961.034.651.551.154.4PointNet78.547.688.088.769.342.423.147.551.654.142.09.638.229.435.2PointNet++-53.290.291.773.142.721.249.742.362.759.019.645.848.245.6深LPN85.760.091.095.676.150.325.955.156.866.374.325.854.052.355.3实际值点Nct ++ Dccp LPN实际值点Nct ++Dccp LPNBCD图7.PointNet++和Deep LPN网络的分割预测与地面实况的比较虽然PointNet++很难准确检测不同部分之间的边界，但我们在这些边界区域执行了更精细的分割通过遵循相同的6重评估过程，对S3DIS数据集[1]我们获得了与Deep GCN相似的性能，同时依赖于我们的通用内存高效网络块，同时基于与Deep GCN相比较弱的基线（即，DGCNN）。此外，由于Deep GCN不是为了解决点网络中的效率问题而设计的，因此我们的网络在所有方面都取得了胜利，并成功地降低了内存（超过74%）和速度（推理和向后速度分别为-48%和-89%）。正如我们在下一节中所展示的，这些块具有适用于许多其他点处理网络的优势。4.3. 对更多架构进行我们已经介绍了基于两个关键思想的点处理网络的构建模块，（i）记忆效率卷积和（ii）改进的信息流。我们的模块使它能够非常有效地捕获、处理和区分点邻域中的信息在邻里之间传播信息是大多数网络（如果不是全部的话）共享的主要行为。我们在其他基于点的学习设置的上下文中验证了所提出的模块化块的通用性我们的每个宏块都可以堆叠在一起，通过复制绿框（参见图4）扩展到更深的我们在最近的三种方法中测试了我们的框架这些网络涉及一组不同的点卷积方法;这些实验使我们能够评估我们的模块块的通用性质，以及它们作为现有层的插入式替代品的价值这三个网络都大量使用内存，这是深度的瓶颈我们将模块直接植入到原始网络中，在需要时，从初始架构中进行我们根据两个指标报告每个网络与我们的精益网络的性能：（i）内存占用和（ii）表3中的准确度。我们的精益同行不断提高准确性（从+0.4%到+8.0%）和内存消耗（从-19%到-69%）。因此，我们的模块化块可以应用于各种最先进的网络，并显着改善其内存消耗，同时对性能产生积极影响。4.4. 消融研究在本节中，我们报告了我们广泛的实验，以评估我们的网络架构中每个块的重要性。我们的精益结构允许我们通过增加其复杂性来调整网络架构，通过（i）增加额外的连接或（ii）增加深度。我们沿着四个轴分析我们的网络：（i）性能（IoU或准确性）（表1），（ii）内存占用，（iii）推理时间和（iv）向后时间。我们关于网络效率的主要实验结果如表4所示，并消除了我们提出的点处理网络设计选择的影响。内存高效卷积：如门9510表3.我们的块在三种不同架构（DGCNN，PointCNN和SpiderCNN）上的性能使用两种不同的指标在三个数据集上进行测试：（i）以Gb为单位的存储器消耗，以及（ii）以%（mIoU为单位的性能，用于ShapeNet-Part，Vox. ScanNet的Acc.和PartNet的pIoU）。我们的精益同行显着提高性能（高达+8.0%）和内存消耗（高达-69%）。DGCNNPointCNNSCNNShapeNet-PScanNetPartNetShapeNet-PScanNetPartNetShapeNet-PScanNetPartNet记忆香草 2.62（+0%） 7.03（+0%） 9.50（+0%）4.54（+0%）5.18（+0%）6.83（+0%） 1.09（+0%） 4.33（+0%）5.21（+0%）精益0.81（-69%）3.99（-43%）5.77（-39%）1.98（-56%）3.93（-24%）5.55（-19%）0.79（-28%）3.25（-25%）3.33（-36%）Perf.香草82.59（+0.0%）74.5（+0.0%）20.5（+0.0%）83.60（+0.0%）77.2（+0.0%）25.0（+0.0%）79.86（+0.0%）72.9（+0.0%）17.9（+0.0%）精益83.32（+0.9%）75.0（+0.7%）21.9（+6.8%）84.45（+1.0%）80.1（+3.8%）27.0（+8.0%）81.61（+2.2%）73.2（+0.4%）18.4（+2.8%）表4.在Nvidia GTX 2080Ti GPU上，使用8个样本的批量大小测量我们的网络架构的效率。我们所有的精益架构都可以在GPUwrt上节省大量内存PointNet++基线从mRes的58%下降到LPN的67%后一种卷积类型的架构在所有方面都取得了胜利，大大减少了推理时间（-41%）和反向传递的长度（-68%）。从这个架构出发，深入的边际成本极低：与LPN相比，网络编码部分的层数增加一倍，平均推理时间增加6.3%，内存消耗最多仅增加3.6%。绝对值请参见补充说明。参数（M）内存占用（Gb）推断时间（ms）向后通过长度（ms）ShapeNet-Part ScanNetPartNet ShapeNet-Part ScanNet PartNet ShapeNet-Part ScanNet PartNet ShapeNet-Part ScanNet PartNetPointNet+++0.0%+0.0%+0.0%+0.0%+0.0%+0.0%+0.0%+0.0%+0.0%+0.0%+0.0%+0.0%MREs-17.0%-17.6%-16.6%-69.3%-56.5%-47.6%+14.8%+59.2%-19.4%-68.8%-53.8%-63.2%mResX-10.6%-10.7%-10.1%-65.0%-53.2%-46.3%+28.2%+60.9%-12.5%-29.5%+0.0%-25.4%LPN+13.8%+13.4%+12.6%-75.7%-66.6%-57.9%-45.6%-30.3%-47.9%-82.7%-42.3%-78.9%深LPN+54.3%+54.0% +50.8%-79.1%-65.4%-57.0%-40.4%-25.6%-46.5%-78.6%-11.5%-72.4%秒3.2，我们最精简的架构相当于将每个PointNet单元约束为由单层网络组成，并通过从内存中删除中间激活将其操作转换为内存高效块。为了得到类似大小的网络，多个这样的单元被堆叠以达到与原始网络相同的层数。我们的卷积型网络在性能和效率方面都取得了胜利。事实上，与PointNet++相比，ScanNet上的IoU增加了3.4%，PartNet上的IoU增加了7.4%关于其效率，内存占用平均减少了67%，同时减少了推理时间（-41%）和向后传递的长度这些速度上的改进可以看作是在扁平张量上处理大多数计算的结果，因此与PointNet++基线相比，大大降低了复杂性。多分辨率：在网络的同一阶段处理不同的分辨率已被证明在浅层网络中表现良好。事实上，混合不同分辨率的信息有助于在网络早期捕获复杂的特征。我们采用这种方法来设计我们的mRes架构。从PointNet++架构切换到多分辨率设置可使ShapeNet-Part上的IoU增加1.0%，使PartNet上的IoU增加5.7%更重要的是，性能的提高带来了更高的效率。虽然由于额外的下采样和上采样操作，推理时间更长（平均长18%），但该架构更精简，内存占用减少了58%。训练是更快的，虽然由于62%的速度快回传球。交叉链接：不同分辨率的信息流分别处理，可以看作是复杂的。为了利用这种协同作用，网络提供了连接邻域分辨率的附加链接。我们对这些交叉分辨率链接的影响进行了实验，在价格上对内存效率的影响很小（+8%wrt。mRes）和速度（推理时间wrt. mRes），在最复杂的数据集PartNet上的性能可以提高0.8%。5. 结论我们已经为点处理网络引入了新的通用构建块，与当前最先进的点处理网络相比，这些构建块具有良好的存储、计算和优化特性。基于PointNet++，我们的精益架构LPN在所有方面都取得了胜利，内存效率（-67% wrt.PointNet++）和速度（推理时间和反向传递长度 分 别 为 -41% 和 -68% ） 。 Its deep counterpart has amarginal cost in terms of efficiency and achieves the bestIoU on PartNet (+9.7% over PointNet++).这些通用模块在所有额外测试的架构上表现出类似的性能，从而显著精简网络（高达-69%）并增加IoU（高达+8.0%）。根据我们的实验，我们预计将这些组件添加到深度几何处理社区的武器中将允许研究人员通过利用更大形状数据集的出现来训练下一代点处理网络[23，17]。9511引用[1] 放大图片创作者：Iro Armeni，Ozan Sener，Amir R.Zamir，Helen Jiang，Ioannis Brilakis，Martin Fischer，and Silvio Savarese.大规模室内空间的三维语义解析。在2016年IEEE计算机视觉和模式识别[2] Matan Atzmon，Haggai Maron，and Yaron Lipman.基于扩展算子的点卷积神经网络。ACM事务处理图表，37（4）：71：1[3] Angel Chang，Angela Dai，Thomas Funkhouser，MaciejHal-ber ， MatthiasNieZuüner ， ManolisSavva ，ShuranSong，AndyZeng，and Yinda Zhang. Matterport3d：室内环境中rgb-d数据的学习。2017年9月[4] 天使XChang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimo Li ， SilvioSavarese ， Mano-lis Savva ， Shuran Song ， Hao Su ，Jianxiong Xiao，Li Yi，and Fisher Yu.ShapeNet：一个信息 丰 富 的 3D 模 型 库 。 技 术 报 告 arXiv ： 1512.03012[cs.GR]，斯坦福大学-普林斯顿大学-芝加哥丰田技术研究所，2015年。[5] Tianqi Chen ， Bing Xu ， Chiyuan Zhang ， and CarlosGuestrin. 训 练 具 有 次 线 性 内 存 开 销 的 深 度 网 络 。CoRR，abs/1604.06174，2016。[6] 戴安琪，天使X. Chang，Manolis Savva，Maciej Hal-ber ， Thomas Funkhouser ， and Matthias Nießner.Scannet：室内场景的丰富注释3D重建。在Proc.计算机视觉和模式识别（CVPR），IEEE，2017。[7] Matheus Gadelha，Rui Wang，and Subhransu Maji.三维点云处理的多分辨率树网络。在欧洲计算机视觉会议（ECCV）的论文集，第103-118页[8] 艾丹Gomez，Mengye Ren，Raquel Urtasun，and RogerB.格罗斯可逆剩余网络：不存储激活的反向传播。CoRR，abs/1707.04585，2017。[9] 奥德鲁纳斯·格鲁斯利斯，雷米·穆诺斯，伊沃·丹尼赫尔卡，马克·兰托和亚历克斯·格雷夫斯.通过时间的内存高效反向传播。In D.D. 李，M。Sugiyama，U.诉卢森堡I. Guyon 和 R. Garnett ， 编 辑 ， Advances in NeuralInformation Processing Systems 29 ， 第 4125-4133 页 。Curran Associates，Inc. 2016年。[10] Paul Guerrero、Yanir Kleiman、Maks Ovsjanikov和NiloyJ.米特拉PCPNet：从原始点云学习局部形状属性。CGF，37（2）：75[11] 巴布罗，巴哈尔·哈里哈兰，还有罗斯·B，阿贝·拉伊兹。吉尔·希克和吉坦德拉·马利克。用于对象分割和细粒度定位的超列CoRR，abs/1411.5752，2014年。[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。2016年。[13] P. Hermosilla、T. Ritschel，P-P Vazquez，A. Vinacua，以及T.罗平斯基用于非均匀采样点云上学习的蒙特卡罗卷积 。 ACM Transactions on Graphics （ Proceedings ofSIGGRAPH Asia 2018），37（6），2018。[14] Gao Huang，Zhuang Liu，and Kilian Q.温伯格密集连接的卷积网络。CoRR，abs/1608.06993，2016。[15] 贾阳青大规模学习语义图像表示。博士论文，加州大学伯克利分校，美国，2014年。[16] Tsung-Wei Ke