高分辨率点云的级联基元拟合网络

7457−−CPFN：高分辨率点云的级联基元拟合网络Eric-Tuan Lê1孙敏赫2杜古锡兰3Radomir Mech3 Tamy Boubekeur3 Niloy J. Mitra1，31伦敦大学学院2KAIST3 Adobe Research摘要将人造物体表示为基本图元的集合在计算机视觉和逆向工程中具有悠久的历史。在高分辨率点云扫描的情况下，挑战是能够检测大图元以及解释详细部分的图元。虽然经典的RANSAC方法需要情况特定的参数调整，但是现有技术的网络受到诸如PointNet++ [27]的其骨干模块的存储器消耗的限制，并且因此无法检测精细尺度基元。本文提出了一种级联基元拟合网络（CPFN），它依赖于一个自适应补丁采样网络来组装全局和局部基元检测网络的检测结果。作为一个关键的推动者，我们提出了一个合并的配方，动态聚合的原始全球和本地规模。我们的评估表明，CPFN提高了国家的最先进的SPFN性能的13 -14%的高分辨率点云数据集，特别是提高了20 - 22%的细尺度图元的检测。我们的代码可在https://github.com/erictuanle/CPFN1. 介绍用一组紧凑的原子基元表示3D形状是一个成熟的想法，已经发展了几十年[2，23]。虽然该思想主要用于机器感知，以解析对象的方式，但大多数人造对象确实被建模为几何图元的组合。在CAD中，诸如构造性实体几何（CSG）[18]或构建简单图元的二叉树的建模技术已经是常规实践。因此，对于人造对象的扫描数据，将它们转换成反映它们如何被建模的形式不仅对于感知而且对于在下游应用中实现编辑能力然而，将图元精确地拟合到输入扫描的问题比粗略地解析和抽象形状更具挑战性。对于这样的模型拟合问题，RANSAC [7]是最优解。*这项工作是部分完成时，E。Lê interned和M. Sung在AdobeResearch工作。SPFNCPFN图1. SPFN [20]和我们的CPFN之间的并排比较。我们的级联网络旨在准确检测和拟合高分辨率点云中的小图元。计算机视觉中事实上的标准技术。Schnabel等的算法。[31]或Liet al.[21]，其迭代地运行RANSAC以找到拟合基元，已经在诸如CGAL [24]的流行几何处理库中实现，并且应用于解决具有许多真实扫描数据的基元拟合问题然而，这样的无监督的方法的问题的组合复杂性的性质遭受。从优化的角度来看，不同的初始配置可能潜在地导致类似的小拟合误差，尽管迭代启发式算法不能考虑所有可能的配置。此外，由于输入中的噪声，不期望的基元集合甚至可以导致较小的拟合误差。虽然基于RANSAC的方法利用一些阈值参数在一定程度上处理噪声，但是输入特定的参数调谐需要大量的手动工作。为了应对这一挑战，Liet al.[20]最近提出了一种称为SPFN的监督框架，该框架从大量CAD数据中学习每次3D扫描的图元的最佳他们的网络采用PointNet++[27]作为输入点云的编码器，并预测每个点的信息，包括从点到图元、图元类型和表面法线的关联，而不是直接回归图元参数随后的dif- ferentiable模块通过解析公式计算最小化拟合误差7458- -虽然SPFN [20]证明了成功的结果，但在处理高分辨率数据方面仍然存在挑战。即使是负担得起的3D扫描仪现在也能够以高分辨率捕获局部几何细节（例如，具有100k+点的点集）。然而，在神经网络中有效地处理高分辨率3D数据引起了消费者GPU的存储器限制问题即使使用简单的点云处理架构（如PointNet [26]），10k点的数量级也是训练的极限，而扫描可能包括100k到1M数量级的点。对输入点云进行下采样会导致精细尺度细节的信息丢失，因此无法拟合小图元（参见图1，例如SPFN在典型高分辨率扫描上丢失特征的结果）。在这项工作中，我们提出了一种新的框架，命名为Cascaded原始拟合网络（CPFN），这是特别开发，以捕捉局部细节扫描和适合小图元。我们的框架级联了两个拟合网络：一个用于处理整个输入点云，另一个用于处理输入的局部片。它们都是SPFN [20]，但分别使用全局/局部输入数据进行训练。我们的设计将问题分解为三个步骤：首先，在小细节区域自适应地采样面片，在细节区域适当地回归基元;以及合并全局和局部原语以得到多尺度输出。该框架包括一个补丁选择网络训练，以检测具有小的基元的区域，使得本地补丁馈送到本地拟合网络可以在测试时间在这些区域中进行采样。我们的关键思想是在合并算法，聚合每点输出的两个网络，并产生最终的拟合图元。合并过程被公式化为二进制程序，尽管我们根据经验发现匈牙利算法[17]在大多数情况下可以获得接近最优的解决方案在实验中，我们证明了我们的级联网络优于一个单一的SPFN训练与降采样点云拟合-丁基元在所有尺度的性能提升百分之十三十四较小的原语的改善达到20 - 22%。我们还表明，局部拟合网络的拟合性能可以得到改善时，它采取了整个输入点云的全局上下文信息，从全球试衣网总而言之，我们的主要贡献如下。我们提出了CPFN，一个基元拟合框架杠杆老化两个级联的网络，以自适应地检测小和大的基元。我们的合并算法集成的每点信息预测的两个网络有效地产生最终的拟合图元。我们的实验表明，局部拟合网络的性能受益于馈送由全局拟合网络学习的上下文信息。2. 相关工作我们回顾了以前的工作利用神经网络在原始拟合以及最近的工作处理高分辨率点云使用神经网络。我们建议读者参考最近的调查[15]，以讨论经典方法，特别是基于RANSAC的方法。神经几何基元拟合。基于神经网络的方法已被广泛研究，在decomposing 3D形状成各种类型的图元。 到我们的知识，Tulsiani等人。[37]和Zouet al. [39]是第一个提出神经分解的人。他们提出了将长方体拟合到输入3D形状的网络，该输入3D形状表示为体素或深度图。随后的工作扩展了这一想法。例如，Sunet al. [35]创建了预测长方体的分层结构的体系结构; Smirnov等人[34]提出了一种新的基于距离场的损失函数和拟合的圆角长方体;而Lin等人[22]介绍了一种基于强化学习的方法，依次拟合连接的梯形框，以便最终输出成为脚手架网格。后续工作还集中在拟合不同类型的基元。 作为长方体的推广，Paschalidou [25]使用超二次曲面作为几何图元; Gadelha等人[8]探索了在学习人造形状的生成模型的背景下使用球体网格;而Chen等人.[5]和Denget al. [6]同时提出将输入形状表示为递归划分空间的平面的凸集。Genova等人[10，9]使用隐式表示，即高斯，探索局部性。然而，在这些作品中使用的基本类型具有有限的可表达性，因此这些作品主要集中于用粗略拟合来抽象输入形状。一些值得注意的工作考虑了拟合中的多个基本体Sharma等人[32]和Kaniaet al. [16]介绍了从具有各种类型的基元的原始几何结构预测CSG结构的网络。然而，拟合的精度是有限的，因为在低分辨率的体素网格中，损失被定义为占位符。Li etal. [20]提出了SPFN，这是一种用于更精确地拟合多个图元的框架，包括平面，球体，圆柱体和圆锥体。Sharma等人进一步扩展了该理论。[33]以适应B样条补丁以及。虽然显示 出 令 人 印 象 深 刻 的 结 果 ， 但 两 种 方 法 都 采 用PointNet++ [27]，一种现成的架构，用于编码输入点云，因此受到点云大小的限制（例如，8K点的顺序）。我们的方法在一个新的级联框架中扩展了SPFN，该框架可以将各种尺度的图元拟合到高分辨率点云（例如，128K点）。高分辨率点云的神经网络。最近的工作集中在处理高分辨率3D数据作为神经网络的输入，特别是处理···7459≪LLLLL图2.图为CPFN。CPFN包括两个SPFN [20]：一个用于整个对象，另一个用于局部补丁。上下文信息从全局SPFN（第3.1节）馈送到局部SPFN（第3.2节）。面片选择网络（第3.4节）将下采样点云作为输入，并确定在测试时应在何处对局部面片进行采样。来自两个SPFN的每点预测在合并步骤中被整合（第3.3节）。大规模室内/室外扫描以及检测和/或分割对象。在体素表示方面，OctNet [29]和SparseConvNet [11]是引入有效架构以避免在空空间中计算的示例。特别是，SparseConvNet在3D室内场景分割中表现出最好的性能，如Han等人所证明的。[12 ]第10段。其他人引入了内部vox-elize输入点云的网络，以利用3D卷积[28，4]。虽然这些架构在场景分割中表现良好作为体素化的替代方案，Tatarchenkoet al.[36]提出通过将局部区域中的点投影到切平面来利用2D卷积。然而，该架构对表面法线估计中的误差敏感关于神经点云处理的其他先前工作提出了聚类点并生成对象候选，例如分割[19，3，14]或级联分层下采样和上采样模块作为用于语义分割的编码器-解码器架构[13，38]。这些方法都不能直接应用于我们的问题，因为我们需要联合解决语义和实例分割。我们的方法直接在点的水平和合奏拟合结果从粗全球点云以及高分辨率的局部补丁在一个新的合并步骤，以解决联合分割问题。3. 方法在本节中，我们将描述级联原始拟合网络。给定一个有N个点的输入点云（在我们的实验中N是128k），我们的网络在两个级别上运行，即全局和局部。我们利用全局基元拟合网络SPFN [20]，其在输入点云的下采样版本上训练（即，由于PointNet++等点云处理骨干模块的内存占用量很大，因此需要在大小为n的点云上进行训练，其中n为N虽然可以在推理时在原始点云上测试经训练的网络，但是由于网络的复杂性，它可能会错过表示精细尺度细节的小图元。它们在训练期间的下采样过程中丢失。因此，我们训练了一个附加版本的SPFN，它在高分辨率点云的局部补丁上运行（第3.2节）。给定补丁的局部预测和点云其余部分的全局预测，我们方法的核心是一个新的合并步骤（第3.3节），它合并了所有的预测。为了确保利用本地网络的能力来学习小基元的预测，在训练阶段，我们利用智能策略从包含这些基元的点云区域中选择训练块。在推理时，我们利用补丁选择网络（第3.4节），预测可能包含小图元的区域，因此应该用本地网络进行处理。在下文中，我们首先提供SPFN架构的简短总结，并详细讨论我们的方法的不同阶段，如图2所示。3.1. 监督原始拟合网络[20]SPFN [20]，监督基元拟合网络，是一种端到端网络，用于检测输入3D点云的基元集（具体而言SPFN首先预测三个每点性质;段标记W、法线N和基元类型T。给定这样的预测，以可微分的方式估计实际的原始参数地面实况每点原始关联和原始拟合误差被用作强监督。具体而言，损失由多项组成：（i）分段损失seg，（ii）正常损失 范 数，（iii）原始类型损失 类 型，（iv）剩余损失res，即，（v）考虑平面的法线或圆柱体或圆锥体的轴线的轴线损耗轴L=L seg +L norm +L type +L res + L axis。（一）当计算损失时，首先使用Hungar匹配算法将预测的图元映射到地面实况图元，以找到使匹配图元上的交集大于并集最大化的图元对。计算每个点和每个基元的损失输入点云培训神经网络非神经模块全局SPFN（第3.1节）原始参数估计本地SPFN（第3.2节）贴片选择网络（ 第 3.4节）下采样贴片采样原语合并（第3.3节）7460locloc我联系我们loc甲乙丙BIJ--我我我Σ。Σ。Σ∈∈S∈{}根据这些信件。我们建议读者参考原始论文[20]以了解详细信息。我们的管道利用SPFN框架，因为它是在全球分支机构。此外，我们还训练了一个本地版本的SPFN，该版本对从高分辨率点云中采样的本地补丁进行操作。我们提供额外的上下文我们表示全局SPFN的预测结果，该全局SPFN以类似的矩阵表示Wglob预测总共K个glob片段。然后，我们将来自由局部SPFN和全局分割矩阵处理的M个信息到本地SPFN，以提高W=ΣW12loc. . .WMW球Σ。（三）我们将在3.2节讨论的局部预测。3.2. 本地SPFN我们的管道的关键组件之一是本地SPFN模块，其目的是预测输入点云的细尺度区域中的小图元。给定在输入点云上采样的块，局部SPFN预测相同的每点特征，即段标记Wp、正常Np和基元类型Tp作为全局SPFN。虽然我们保持原来的SPFN固定的架构，我们提供额外的全球上下文信息作为输入。具体地，给定表示对象o的点云，我们首先使用全局SPFN提取整个点云的潜在向量l〇类似地，对于每个补丁i，我们提取补丁特征Ig，我们使用全局SPFN针对补丁的种子点获得该补丁特征Ig。我们将从全局SPFN获得的对象和补丁特征连接到潜在合并步骤的目标是计算输入中的最终基元集合与单独预测的分割之间的一对多关系。 假设在最终分解中总共有Km个基元，这种关系可以写成二进制矩阵C0，1Km×（M·Kloc+Kglob）。最佳分配之间的个别前，口述分割和最终图元集需要满足某些约束。具体地，每个片段应被映射到恰好一个最终基元：CT1Km=1M·Kloc+Kglob。 我们进一步强调，从同一个局部补丁（或全局SPFN）预测的两个片段不应该合并，假设网络将避免过度分割：CA ≤ 1 Km×（M +1），其中A ∈[0，1]（M·Klo c+Kglo b）×（M+1）是一个矩阵，表示片段和补丁（或全局SPFN）之间的关联。Fi-最后，我们倾向于分配两个预测的分段Si和Sj由本地SPFN编码器生成的补丁1的代码：我l′=[li，lo， lg]. 我们利用1’作为到本地SPFN解码器的输入。我们的实验表明，提供额外的上下文信息提高了本地SPFN的性能，如第4.4节中所讨论的。3.3. 区段合并给定局部块，局部SPFN预测块中每个点的分割标签，其中每个片段对应于图元。我们的下一步骤是将这样的局部每片预测与全局SPFN的预测高分辨率点云的原始从片i和j到相同的最终基元，即，如果它们具有大量的重叠，则将它们合并，所述重叠被测量为属于两个段的点的数量 由于I = WTW将段之间的交点表示为每个点的联合概率之和，因此我们通过最大化i，jIi jCTC来找到C =tr ICTC，这意味着我们最大化分配给同一最终图元的片段之间的交集。最后，最终分配任务被公式化为以下二元二次规划问题：C*= argmax tr. ICTCΣC当每个局部SPFN预测Kloc 分段S.T.CT1K=1M·K loc+K球（四）项，我们用概率矩阵Wi表示第i个补丁的[0，1]N×Kloc，其在整个N个输入点上定义：CA≤1Km×（M +1）。而寻找最佳的CTC（指示两个段是否合并的矩阵）也变成二元半定规划问题。它通常需要大量的时间来解决二元二次方程我一，一我二、一I.我一、二我二，二.我1，Kloci2，Kloc.中文（简体）或半定规划。根据经验，我们发现基于匈牙利算法[17]的简单启发式可以W loc =..皮皮.. . .pi提供足够好的结果，同时显著快在I中，我们找到对应于对的元素N，1N，2N、K位置并将CTC中的相应索引标记为1，即，相应的p i=P（P ai），a1，.. N，b1，..，K_loc，表示点a属于段b的概率。注意，不属于该块的点具有零概率。一对片段被合并。然后，我们将I中违反约束的所有其他元素归零，从而去除任何冲突的片段对。重复这两个步骤，直到没有分段可以进一步合并。Wpppp. . .p. . .pM7461·Σ||−--·一旦我们恢复C*，我们通过计算W C*T∧获得输入点云中的各个点与最终基元之间的最终关联，其中X∧是X的列方向l1-归一化。输出矩阵可以被认为包括从每个点到最终图元的关联分数，并且因此可以为每个点挑选具有最高分数的图元每个点的原始类型也是通过对包括该点的补丁的概率求和并选择具有最高数量的类型来决定的此外，为了优化对应的图元参数，我们需要每点法线，我们将其估计为单独的基于块的估计的平均值（我们记得，点可能潜在地属于多个块，从而导致多个类型和法线估计）。3.4. 贴片选择网络如前所述，我们的方法使用全局SPFN模块来检测大图元，同时依赖于局部SPFN来捕获在输入点云的下采样版本中可能丢失的小图元。为了保证局部SPFN的能力集中在小的原始区域，我们提出了一个补丁选择策略的训练和测试时间。由于在训练时，我们可以访问地面实况基元，因此我们简单地对属于小基元的局部块进行采样，如图3中的热图所示。我们认为一个基元是小的，如果它有少于η N个点，0<η1（我们用范围[1%，5%]的η值进行实验）。我们在任何这样的小图元上随机采样查询点，并使用每个查询点的n-最近邻搜索生成n个在测试时，可能包含小基元的区域是未知的。一种简单的策略是随机抽取局部补丁，由局部SPFN处理（见第4节）。相反，我们设计了一个补丁选择网络，预测输入点云上的热图来预测这些区域。使用二进制交叉熵损失来训练网络：nLcross=−（yilog（pi）+（1−yi）log（1−pi）），（5）i=1其中yi是指示点i是否属于小图元的二进制值，并且pi是估计的概率。与全局SPFN类似，我们在下采样点云上训练补丁选择网络然而，我们仍然在低分辨率点云上测试网络，低分辨率点云是对查询点进行采样的分辨率。在测试时，我们将预测的热图二进制化，并生成一个可能属于小图元的点池我们从这个池中随机采样查询点，并生成一个本地补丁。重复这个过程，直到每个池中的点被至少一个补丁覆盖。注意，局部片可能潜在地具有重叠。GT段η=1%η=2%η=3%η=4%η=5%图3.GT热图。增加阈值η会扩大小基元的集合，以从其采样面片，如红色所示。4. 实验4.1. 数据集我们评估了我们提出的方法对美国国家标准协会（ANSI）[1] TraceParts [30]提供的机械部件的CAD模型SPFN [20]以8k和128k点的两种分辨率提供预处理的点云。在我们的实验中，如果没有另外说明，我们使用已经提供的这些高分辨率点云，即，N=128k。该数据集由504个类别组成，我们使用与[20]中介绍的相同的训练/测试分割，分别为每个类别提供13 831/3366个模型。类似于数据的低分辨率版本，高分辨率点云以合并共享相同参数的相邻图元并丢弃面积小于0的极小图元的方式进行预处理。整个物体的5%。(Note低分辨率版本丢弃了具有小于2%面积的图元，因此比高分辨率版本丢失了更多的小图元将点云归一化到单位球面，并且还沿着地面真实法线方向用均匀噪声[5e-3，5e-3]给定对象中的最大基元数因此，我们设置Kglob=28。我们网络的输入是噪声点云随机噪声，用P表示。数据集还提供了在每个地面实况原始表面（由Sk表示）上采样的512个我们的预测类似于SPFN的残差。为了训练我们的全局SPFN，我们使用最远点采样（FPS）对高分辨率点云进行下采样以具有n=8k个点。这确保了我们还获得了在高分辨率数据中保留但在低分辨率版本中丢弃的非常小的基元上的点为了训练我们的局部SPFN，我们基于地面真实基元分解对位于包含小基元（具有小于η Ν个点）的区域中的块进行采样。具体地，我们首先在低分辨率点云中选择属于任何小图元的点池。然后，从高分辨率图像中提取n个点的7462联系我们GT热图η=5%预 测 热图η=5%GT基元RANSAC[31]SPFN [20]CPFN -5%图4. RANSAC、普通SPFN和CPFN网络的原始拟合结果。 RANSAC和SPFN直接在全局对象在小基元上失败我们的CPFN流水线估计对应于不同尺度的小基元的热图，并在从这些区域采样的局部补丁上学习更好的基元分解，从而提高小基元的检测预测的热图显示为Jet颜色图从蓝色到绿色再到红色。有关更多结果，请参见补充资料。点云使用n-最近的邻居通过随机抽样查询点从我们的池。当池中的所有点都被面片覆盖时，采样过程停止。然后，每个面片以原点为中心并缩放到单位球体。修改每点法线和基本体参数以考虑这些变换。我们设置Kloc=21，这是在单个贴片上观察到的基元的最大数量。4.2. 评估指标我们使用[20]中报告的相同的七个评估指标：（i）分割平均交集超过并集（mIoU），以%为单位，（ii）平均原始类型准确度，以%为单位，（iii）平均点法向差，以度为单位，（iv）平均点法向差。正轴差（度），◦，（v）平均值/标准值。{Sk}残差，（vi）{Sk}覆盖率，以%计，和（vii）P覆盖率，以%计。(i)、（ii）和（iv），然后对每个点云进行平均。如前所述，地面实况和预测图元之间的对应关系是用匈牙利匹配算法计算的在这些度量中，我们独立于它们的尺度对每个基元进行相同的(iii)为每个点计算，然后为点云中的所有点求平均。(v)使用在所分配的地面实况基元表面上预采样的512个点来评估每个预测的基元Sk(vi)为每个图元计算与预测图元表面的距离相比更近的预采样点的比例。然后针对每个点云对（v）和（vi）两者进行平均。(vii)报告与任何预测图元曲面的距离小于ε距离的点P的比例。最后，我们报告测试集中所有点云上所有这些指标的平均值4.3. 结果与全球SPFN比较。作为基线，我们首先展示了仅使用我们方法的全局分支时的情况。在测试时，由于点网++的内存限制被解除，我们评估的性能的全球SPFN的高分辨率点云。 如表1中所示，原始SPFN（行2）实现66的mIoU。原始测试集1上的29%。如表2中的数字和图4中的视觉所示，性能高度依赖于基元的大小，并且当仅考虑小基元时具体地，对于具有小于1%的比例的引物，即，的基元包含少于η·N个点，η≤1%，mIoU降至44. 百分之二十五 类似地，对于1%彡η彡2%，mIoU为55。百分之五十三。CPFN。我们训练本地，补丁监督的原始拟合网络（本地SPFN）与地面真实小图元上采样的补丁和测试补丁确定我们的补丁选择网络。在训练过程中，我们考虑5个不同的尺度，η1%，2%，3%，4%，5%，以识别小的基元，从而训练我们的本地SPFN的5个在表1中，我们报告了完整流水线的精度，即，CPFN，使用每个本地SPFN版本SPFN（行3-7）。我们在表3中进一步报告了补丁级别的每个本地SPFN版本的准确性。如定量数字所示，我们提高了原始SPFN的精度，几乎所有的1请注意，我们使用的数据集的高分辨率版本也包括更多的小图元。因此，这里报告的数字与[20]中的数字不同。7463我表1. 我们的CPFN、其他基线方法和消融病例之间的定量比较。11、10和1g分别指示来自局部SPFN的块特征、来自全局SPFN的对象特征、来自全局SPFN的块特征（参见第3.2节），并且GP和PN代表全局SPFN和块选择网络（第3.4节）。如果不使用PN，则随机采样块以覆盖整个对象。.ID方法隔离区（平均值）IoU）（%）↑原始类型（%）↑点正常（）↓原始轴（◦）↓{Sk}残差平均值±标准↓{Sk}覆盖率（%）↑P覆盖率（%）↑= 0。01= 0。02= 0。01= 0。021RANSAC [31]55.0159.1411.163.240.073± 0.0390.020± 0.0100.026± 0.0130.034± 0.0170.033± 0.0170.032± 0.0160.030± 0.01561.8867.6678.9386.642SPFN [20]66.2989.5010.591.2572.9482.3188.6994.573CPFN（η=1%）70.1193.499.371.3772.5880.8887.6093.764CPFN（η=2%）75.8595.557.791.1772.9479.5887.3692.695CPFN（η=3%）78.4596.226.871.3975.4681.2388.8493.116CPFN（η=4%）79.0996.376.631.4876.6382.1889.1993.417CPFN（η=5%）79.6496.456.481.4476.6482.5488.7393.1214CPFN，带GT Heatmap80.9496.746.831.450.028± 0.01479.4584.9490.6394.55表2. CPFN、SPFN和RANSAC在检测具有不同尺度的基元时的准确度，以mIoU（%）表示。GP和PN代表全局SPFN和贴片选择网络（第3.4节）。每个尺度桶包含大致相同数量的基元。规模1% 1% 2% 4% 12% 12%RANSAC [31]34.68 40.38 56.78 70.63 69.50SPFN [20]44.25 55.53 70.12 74.29CPFN（η=1%）56.21 61.93 71.91CPFN（η=2%）63.50 73.31 78.06 79.31CPFN（η=3%）64.89 76.19 82.85 81.62 83.54CPFN（η=4%）65.23 76.37 83.71 82.85CPFN（η=5%）65.74 77.31 84.19GSPN消融研究（CPFN，η=5%）52.3866.8164.3679.2488.24✓✓✓60.1065.7475.3277.3182.7184.1983.8383.5585.3883.95指标. 具体来说，我们在mIoU方面实现了显着改善（+13。35%）、打字准确率（+6. 95%），点正常精度（减少差值-38。81%）和{Sk}覆盖率（在ε = 0时为+3.70%）。01）。我们注意到，我们的选择网络所选择的补丁不仅包含小的图元，但也有一部分较大的图元。因此，CPFN有一个积极的影响，对小和较大的图元，特别是提高预测的法线在高曲率区域之间的图元。此外，通过改进对较小图元的分割（图4），CPFN实现了mIoU性能的大幅提升，因为度量与图元的大小无关。相应地，小的基元在P覆盖的计算中具有较低的权重，从而限制了该度量的改进增益。增加要用于对局部SPFN的训练块进行采样的基元的规模如表1和表2所示，具有以下的CPFNLi8✓9✓10✓11✓12✓13✓LoLg我✓✓✓✓✓✓✓✓GS PN✓ ✓ 77.70✓ ✓ 78.30✓ ✓ 77.9574.13✓78.44✓79.6495.1295.9695.5591.9795.4796.456.686.616.655.155.286.48消融研究（CPFN，η=5%）3.071.702.511.851.671.440.053± 0.0290.033± 0.0160.052± 0.0260.063± 0.022✓0.052± 0.0260.030± 0.01564.5574.4364.7271.0950.6276.6470.6080.9270.9275.7362.3682.5485.2187.9986.0087.1574.4288.7390.5392.5591.3791.6183.6593.127464≤≤≤η=5%局部SPFN通常优于其他版本。然而，如我们在消融中所讨论的，在不考虑任何阈值η的情况下在所有补片上训练局部SPFN导致较低的准确度。我们的补丁选择策略确保本地SPFN的能力被用来提高小图元的检测，SPFN的主要瓶颈与RANSAC的比较我们比较我们的方法与常用的基于RANSAC的原始拟合方法。具体而言，我们使用CGAL [24]提供的高效RANSAC [31]实现。除了最大点到表面的距离之外，我们使用默认参数，我们选择的值等于到噪声水平的两倍2·ν= 0。01.如表1 中所 示， 与SPFN 和CPFN两者 相比 ，RANSAC（行1）在所有度量上表现不佳。由于噪声导致分割准确度低至55，因此特别容易出现欠分割或过分割（见图4 ）。01%mIoU。由于在primitive类型的歧义，它也有一个低的类型预测精度为59。百分之十四表2示出，类似于SPFN，RANSAC的性能对于较小的基元显著下降（34.68%和40。η1%和1%时为38%η2%）。分割性能对基元轴的预测有直接影响剩余损失和保险。点云分辨率的影响。为了评估我们的方法在不同分辨率下的性能，我们使用两种额外的分辨率16k和64k进行了实验，如表4所示。SPFN和我们的CPFN的结果之间的比较表明，更高的分辨率受益于我们的两级预测架构。7465联系我们我我----−表3. 用从具有不同尺度η 1%、2%、3%、4%、5%的基元采样的块训练的局部SPFN的性能，在块级测试。方法隔离区（平均值）IoU）（%）↑原始类型（%）↑点正常（）↓原始轴（◦）↓{Sk}残差平均值±标准↓{Sk}覆盖率（%）↑P覆盖率（%）↑= 0。01= 0。02= 0。01= 0。02局部SPFN（η=1%）74.3993.126.921.870.097± 0.0630.079± 0.0520.087± 0.0570.086± 0.0580.089± 0.05956.9665.2687.7093.20局部SPFN（η=2%）80.9195.776.121.3764.8772.0690.6594.54局部SPFN（η=3%）81.5396.236.061.3363.5070.4890.9094.78局部SPFN（η=4%）81.4296.326.011.3563.7270.7090.9994.87局部SPFN（η=5%）81.6096.076.041.2962.7769.8690.5394.58表4. SPFN [20]和CPFN与不同分辨率点云的定量比较。Res.16k64k128k方法SPFNCPFNSPFNCPFNSPFNCPFN平均IoU（%）65.8674.7766.2578.2966.3079.64概括。为了评估CPFN的泛化能力，我们测试了它在从不同数据集获取的形状上的表现。如图5所示，虽然局部补丁的使用提高了CPFN的泛化能力，但由于形状变得与训练期间看到的形状显著不同，因此性能下降。图5. ABC数据集的泛化测试结果。从上到下，输入、SPFN[20]结果和CPFN结果（在红框区域）。这两个网络都是用TraceParts数据集训练的。4.4. 消融研究我们激励不同的设计选择，我们的方法与详细的消融研究。我们首先评估使用额外的上下文信息作为输入到我们当地的SPFN的效果。具体地，我们提供均由全局SPFN提取的对象级全局特征Io和补丁级局部特征Ig两者，作为从局部SPFNIi提取的局部特征的附加输入（参见第3.2节）。如表1中所示，全局特征的使用对分块分割准确度具有积极影响（±0.05）。60%mIoU，见第9行）。更重要的是，全局特征有助于减少预测依赖于全局上下文（诸如图元轴（44））的图元参数的误差。63%改善）。这进一步反映为Sk残差提高了37。74%，以及Sk覆盖率的提升（+9。在ε = 0时为88%。01）。来自全局SPFNlg的局部特征具有类似的积极影响（见第10行）。 当这两种功能组合使用时，我们看到了更显著的改进：增加了+1。94%的细分mIoU，增加了+1。类型预测准确率为33%，降低了- -53。09%，提高了+12。在ε = 0时，{Sk}覆盖率为09%。01.我们还测试了我们的CPFN，而没有在合并过程中使用全局SPFN预测（第11行）。为了覆盖整个形状，我们在没有补丁选择网络的情况下训练我们的局部SPFN（第3.4节），但在整个输入点云上随机采样补丁。与我们的完整CPFN管道（η=5%）相比，整体mIoU下降了5。51%的人选择了这条替代管道。我们进一步评估CPFN，而不使用补丁选择网络（即，由局部SPFN处理所有采样的片），但是在合并步骤中仍然使用全局SPFN（行12）。与完整CPFN基线相比，分段mIoU略微降低（1. 09%）。最后，我们还评估了由补丁选择网络引入的可能误差的影响（行14）。通过在测试时提供的地面实况补丁选择，我们仅看到边际改进（+1的改进）。30%），这表明我们的方法对补丁选择错误不是非常敏感。5. 结论我们提出了CPFN，一个级联的基元拟合网络，其重点是拟合基元到通过扫描获得的高分辨率点云。我们的方法包括一个级联的全局拟合网络，该网络对输入点云的下采样版本进行操作，以及局部拟合网络，其处理所述高分辨率点云上的局部块。我们提出了一种新的合并配方，合奏全球和本地的预测，优于国家的最先进的拟合结果，特别是在区域的细尺度细节。在未来的工作中，我们希望为所有补丁选择、基于补丁的预测和合并步骤开发一个完全端到端的可训练管道。鸣谢。ANSI机械组件CAD模型最初由TraceParts提供，并由Li等人策划。[20 ]第20段。M. Sung感谢韩国政府（MSIT）资助的国家研究基金会（NRF）资助（2021R1F1A1045604）的支持。7466引用[1] 美国国家标准协会（ANSI）。5[2] 托马斯·O宾福德计算机视觉IEEE系统与控制会议，1971年。1[3] J. 陈湾，澳-地莱伊角宋，H.Ying、黄粉虫D.Z. Chen和J.吴点云上三维目标检测的层次图网络。在CVPR，2020年。3[4] S. Chen，S.Niu，T.Lan和B.刘某Pct：通过图形初始网络进行大规模3D在ICIP，2019年。3[5] Z. Chen，中国山核桃A. Tagliasacchi和H.张某BSP-Net：通过二进制空间划分生成紧凑的网格。在CVPR，2020年。2[6] B. Deng，K.热那亚Yazdani，S.布阿齐兹湾Hinton和A.塔利亚萨奇 CvxNet：可学习的凸分解。在CVPR，2020年。2[7] Martin A. Fischler和Robert C.波尔斯随机样本一致性：模型拟合的范例，应用于图像分析和自动制图。ACM通讯，1981年。1[8] Matheus Gadelha 、 Giorgio Gori 、 Duygu Ceylan 、Radomir Mech 、 Nathan Carr 、 Tamy Boubekeur 、 RuiWang和Subhransu Maji。学习形状手柄的生成模型。在CVPR，2020年。2[9] K.热那亚湾Cole，A. Sud，南方拟步行虫A. Sarna和T.放克豪瑟三维形状的局部深度隐式函数。在CVPR，2020年。2[10] K. 热那亚湾Cole，D.Vlasic，A.Sarna，W.Freeman和T.放克豪瑟学习形状模板与结构化的隐函数。在ICCV，2020年。2[11] 本杰明·格雷厄姆、马丁·恩格尔克和劳伦斯·范德马滕。使用子流形稀疏卷积网络进行3D语义分割。在CVPR，2018年。3[12] L. 汉，T.郑湖，澳-地Xu和L.房. 占用Seg：占用感知3D实例分割。在CVPR，2020年。3[13] Q.胡湾，加-地扬湖，澳-地Xie，S. Rosa，Y. Guo，Z.Wang，N. Trigoni和A.马卡姆RandLA-Net：大规模点云的高效语义分割在CVPR，2020年。3[14] L. Jiang， H. Zhao，S. Shi，S. Liu，C. W. Fu和J. Jia. 点-组：用于3d实例分割的双设定点分组。在CVPR，2020年。3[15] Adrien Kaiser 、 Jose Alonso Ybanez Zepeda 和 TamyBoubekeur。捕获的3D数据的简单几何图元检测方法的调查。计算机图形论坛，2018年。2[16] KacperKania，MaciejZi e ba，andTomaszKajdan o wicz.UCSG-NetarXiv：2006.09102。2[17] H. W. 库恩指派问题的匈牙利方法海军研究后勤季刊，1955年。二、四[18] David H. Laidlaw，W. Benjamin Trumbore和John F.休斯多面体物体的构造性立体几何在SIGGRAPH，1986中。1[19] L. Landrieu和M.西蒙诺夫斯基基于超点图的大规模点云语义分割。在CVPR，2018年。3[20] Lingxiao Li，Minhyuk Sung，Anastasia Dubrocket，LiY