稠密点云补全的递归前向网络

12508RFNet：用于稠密点云补全的递归前向网络黄天心1邹浩1崔金浩1杨雪萌1王萌萌1赵祥瑞1张江宁1袁毅3徐一凡3刘勇1，2 *1浙江大学2浙江大学湖州学院3网易伏羲AI实验室摘要点云补全是三维视觉中一个有趣且具有挑战性的任务，旨在从稀疏和不完整的点云恢复完整的形状。现有的基于学习的方法往往需要巨大的计算代价才能获得良好的性能，这限制了它们的实际应用。在本文中，我们提出了一种新的回流前向网络（RFNet），它由三个模块组成：递归特征提取（RFE）、前向稠密完备化（FDC）和原始形状保护（RSP）。RFE针对不同的递归级别从不完整的点云中提取多个全局特征，并且FDC在粗到细的流水线中生成点云RSP从原始的不完整模型中引入细节，以改进完工结果。此外，我们提出了一个采样倒角距离，以更好地捕捉模型的形状和一个新的平衡扩展约束，以限制扩展距离从粗到细。在ShapeNet和KITTI上的实验表明，该网络具有更低的内存开销和更快的收敛速度，达到了最先进的水平1. 介绍随着LiDAR、深度相机等实时三维传感器的快速发展作为比2D图像更好地描述场景的表示，3D点云已广泛用于诸如SLAM [1]和对象检测[6，18，22]的应用中。然而，从传感器获取的点云往往是不完整的，稀疏的，由于分辨率和遮挡的限制因此，从不完整的输入中恢复完整和高分辨率的模型一直是一项重要且具有挑战性的任务，称为点云完成。自PCN[32]的工作以来，已经在3D点云完成工作上探索了许多基于深度学习的研究。其中一些是基于3D网格和3D* 指通讯作者图1. U-Net（左）和我们的框架（右）的比较。矩形表示网络中的操作，而相同的颜色表示相同的参数。我们的框架循环地将粗略的完成结果和不完整的输入发送到下一级，而参数在某些层中共享。卷积神经网络（CNN），如GRNet [28]。其他的是建立 在PointNet [19]和 PointNet++[20]的 结 构 上 ，例 如TopNet [24]和SANet [27]。这些网络需要高维的全局特征或多个局部特征来从输入中获取足够的形状信息。它们中的大多数都有大量的参数，并遭受巨大的内存成本，以达到良好的性能。为了解决这些问题，我们提出了一种新的性能良好的经常向前点云计算框架，设计轻量级模块和参数共享操作，以减少参数和内存成本。此外，大多数上述工作没有注意到细节的不完整的点云，这将导致失真的输出。大的失真将导致无意义的完成结果。在这种情况下，我们将不完整模型的原始形状与不同分辨率的输出合并，以防止我们的完成结果出现大的扭曲。在 本 文 中 ， 我 们 提 出 了 一 种 新 的 方 法 命 名 为RFNet。如图1，它被组织在一个“前向”框架中，不同于像U-Net [21]这样的“后向”框架，它已经被证明在分割[17，3]和点云完成[27]方面工作良好。然而，U-Net搜索和聚集不同分辨率的局部特征的计算代价很高，特别是对于密集的点云。在我们的框架中，操作被组织在多个循环层次中，这些层次可以被划分12509分为三个模块：递归特征提取（RFE）、前向密集完成（FDC）和原始形状保护（RSP）。在RFE中，我们不提取高维的全局特征或局部特征来完成，而是在不同的递归层中杠杆化多个短的全局特征我们引入FDC来生成不同分辨率的完整点云。FDC通过创建初始模型并以比大多数以前的方法更大的提升比将其提升到高分辨率来生成结果因此，我们的网络需要更少的提升级别来生成密集的点云。RFE和FDC中的一些层是参数共享的，以进一步减小模型大小。我们提出的RSP保留原来的不完整的模型的细节。来自FDC的点被驱动朝向RSP中的原始点云中的它们的最近邻居。驾驶距离可以通过可学习的参数来控制。通过这种方式，我们可以保留更多的原始模型的信息为了更好地捕捉形状并提高结果的一致性，我们在随机划分的密集点云子集中应用倒角距离，称为采样倒角距离。此外，我们提高了在FDC的发电连续性约束扩展距离与他们的估计期望平衡这些捐款可归纳如下：1. 我们提出了一种新的点云完成网络的基础上一个新的经常性的前向框架。这种结构不仅提高了完成结果，而且大大降低了存储器2. 我们提出了一个原始形状保护模块，以可学习的方式保存原始形状;3. 为了更好地捕捉模型之间的形状差异，提出了采样倒角距离，并提出了一种新的平衡扩展约束，以限制从粗到细的扩展距离;4. 在ShapeNet和KITTI上的实验表明，我们的网络在3D完成任务上优于现有的方法。2. 相关工作点云学习。早期的作品[5，9，14]通常基于3D点云的体素表示应用3D CNN。然而，不能直接采集3D体积将点云转换为3D体素是昂贵的，这也会导致由于忽略原始数据的一些细节而引起的量化误差。So Qi等人首先介绍一个基于点的点云学习网络，名为Point-Net [19]。它处理点云与多层感知器（MLP）和聚合功能与对称函数（例如。最大池化）。PointNet++[20]通过在采样点周围的球查询获取的局部区域中循环应用PointNet来捕获局部特征。基于PointNet和Point-2的研究已经取得了很多成果。Net++等的点云分析[11，13，4，23]，重新构造[10，25，29]或上采样[31，15]。点云完成。PCN [32]是第一个基于点的点云完成模型。它在一个两阶段的过程中产生一个完整的模型，首先通过一个完全连接的网络产生一个粗略的结果，并将其细化到一个更高的分辨率与基于折叠的网络。PFNet[12]通过使用提出的点金字塔解码器（PPD）生成缺失部分来完成模型，这很有趣，但可能难以生成具有未知点数的缺失区域TopNet[24]探索了分层有根树结构作为解码器，以在完成任务中生成任意分组的点。SANet[27]采用常用的U-Net结构，具有跳过连接和自注意模块来完成缺失的功能。它在稀疏点的数据集上表现良好。级联细化网络（CANet）[26]增加了一个级联细化模块，通过多次提升以较小的上采样率实现从粗到精的变换。CANet在ShapeNet [2]上的性能优于PCN和TopNet，但它需要形状先验来完成模型。Mor- phing and sampling network（MSN）[16]通过最小密度采样将不完整的模型与输出组合在一起，从而提高了完整性。它还提出了一个近似的地球移动距离训练网络。GRNet[28]和NSFA[33]实现了完全不同的想法。GRNet将不完备模型转换为三维网格表示，并采用三维CNN进行特征学习和模型完备。NSFA将点云完成视为上采样。采用PU-Net[31]中的分层特征学习架构来提取局部特征。不同分辨率的局部特征用于构造保留或缺失部分的点。3. 方法我们的RFNet旨在以更少的参数和更低的成本将不完整的点云完成请参照图2、结构组织在多个经常性层次。来自前一级的输出模型与不完整模型连接，并作为“新的不完整模型”馈送到后一RFE提取特征以在不同的循环级别中完成。FDC基于输出特征创建不同分辨率的模型。随后，通过RSP将来自不完整模型的形状细节添加到模型中最后一个递归级的输出被作为最终输出。3.1. 递归特征提取递归特征提取模块（RFE）涉及编码细胞和恢复细胞。编码单元提取用于完成的输出特征和用于下一递归级别中的编码单元的状态特征恢复像元通过进一步聚合信息来恢复输出要素12510图2. RFNet的结构。它分为三个经常性级别，也可分为三个单元：RFE、FDC、RSP。来自前一级的输出与不完整模型连接，并作为“新的不完整模型”馈送到后一级图3. 编码单元和恢复单元的结构。并返回FDC的最终特征编码单元和恢复单元的结构如图所示。3.第三章。编码单元格。我们设计了编码单元从输入点中提取一个初始特征，在不同的层次之间共享参数，以减少参数。状态特征的提取和采用，以帮助编码细胞集中在不同区域的输入点云自适应。恢复细胞。由于原始模型中信息的缺乏，由编码单元直接提取的特征不足以完成在此条件下，采用Re-cover Cells对不完整模型中的信息进行进一步聚合，以完成编码Cells提取的特征。在恢复单元中，来自编码单元的输入特征再次与输入点级联并馈送到MLP以获得恢复的特征。3.2. 正演密集完井包括初始化单元和解码单元的前向密集完成模块（FDC）基于来自RFE的特征生成完成的点云。初始化单元格在第一级生成初始模型，而解码单元格将模型提升到更高的分辨率。图4. 初始化单元格的结构。生成点和采样点构成输出。初始化单元格。我们设计了初始化单元格来创建完成结果的基本结构我们将初始化单元的输出命名为因为更详细的高分辨率模型就像树木一样从他们身上生长出来。通过全连接网络或FoldingNet[30]直接生成种子是常用的操作。它是灵活的，但极大地受限于网络的有效性，难以构建复杂和非流形的形状，这些形状不能通过弯曲2D平面来构建。为了获得更准确的种子，我们引入了原始的不完整的模型的轮廓，通过添加采样点从不完整的模型。如图所示。4、一半种子点通过预测偏移量的采样点获取，另一半种子点直接通过虽然网络的输出是有限的，但由于采样点受到不完全模型的限制，因此它是重要的完全连接的网络输出具有令人满意的性能，生成不完整模型未覆盖的缺失部分。解码单元。解码单元被设计为学习从较低分辨率到K倍大的参数共享变换，如图所示5，这是通过预测每个点从最后一级的K个偏移来实现的因此，我们需要状态特征来记录当前解码的状态和级别125112SCD12CD12P=e−σP0（idx）+（1−e−σ）P，（3）NSi∈D，Si∈DCell. 采用编码和恢复单元提取的输入特征引入原始点云信息。K参数分离的MLP用于预测输出状态特征，而全连接网络用于预测输出点的偏移。3.3. 原始形状保护原始形状保护模块（RSP）由合并层和细化单元组成合并层将原始不完整模型的细节引入到FDC的完整输出中，而细化单元进一步调整图7. 优化单元格的结构。基于输入特征调整输入点和状态特征。将输入点、状态特征和输入特征联系在一起，并组合成包含当前层中所有信息的全局特征，该全局特征将指导点和状态特征的3.4. 损失函数基本多电平损耗。为了加速收敛，我们合并不同输出的损失在一起，以获得基本的多级损失。有两种常用的损失函数来测量两个点云之间的差异：倒角距离（CD）和地球移动器距离（EMD）[7]。其基本形式如下：L（S，S）=1（1Σminx− y合并结果以提高完成性能。合并层。合并图层用于防止完成的结果与CD1 2二个|S1|x∈S1y∈S22（四）原始的不完整模型。 它将提供信息-+1Σminx−y），从原始模型到不同层次的输出。在合并图层中，不完整模型附近的点将|x∈S2|x∈S2y∈S1被驱赶到它们最近的邻居在不完整的L（S，S）=min1Σx−φ（x），（5）点云。通过这种方式，网络输出将与来自不完整模型的细节合并。的操作EMD1 2φ：S1→S2|S1|2x∈S1合并层可描述如下：其中S1和S2是两个点集。CD主要作用于模型的轮廓，这可能导致不均匀dis= minx∈P0，y∈Pidx= arg minx−yx−y结果.我们提出了采样倒角距离（SCD），以提高均匀性。可以描述如下：x∈P0，y∈Pdisdis1Σi iL（S，S）=L（S，S），（6）其中σ是可训练参数。它学习获取最佳半径以将点与原始模型中的最近邻居合并。P0是不完全点集，P是FDC的结果. P是Mer geLayer r的输出。合并层的可视化如图所示。六、优化单元格。我们在合并层后面添加一个细化单元来微调点的位置，如图所示7.第一次会议。第11 章二、二而D1=RD（S1，N），D2=RD（S2，N）。RD（S，N）表示将点集S随机划分成N个等距集. l被定义为具有低分辨率的循环级别的数量，而h是具有超过10000点的高分辨率的循环级别的数量。在我们的工作中，我们应用经验模态分解的低复发水平的输出作为基本的多级损失。由于EMD在密集点云上的高计算成本，我们使用SCD和CD来获得高分辨率输图5.解码单元的结构表示逐元素乘法。输入点和状态要素提升到K倍更大的MLP。N12512出。最后，基本多级损耗可以描述如下：L hLBM=ΣLEMDi+Σ（LSCDj+ LCDj）。（七）图6.合并层的可视化i=1j=L125132∈→ΣΣˆ-输入FC折叠PCNTopNetMSNGRNetCANetNSFA我们的GT-图8. 与ShapeNet上最先进的方法进行定性比较。有没有新的类别模型的CANet的结果，因为没有已知的形状先验特征。平衡扩展约束。平衡扩展约束用于防止由解码单元预测的点远离中心。它将确保解码单元生成连续的局部形状，而不是3D空间中的离散点。然而，直接约束到中心的距离太不明确，因为只有当生成的点与对应的中心重合时梯度才为零。这将不可避免地影响网络。在此，我们提出了均衡扩张的概念--Sion约束，其可以描述如下：迭代合并范围约束可以公式化为LMR=ξ δ2。（十一）整体损失。在平衡扩展约束和针对每个经常性水平的合并范围约束的情况下，总体损失是所提及的损失的加权和，如下所示：n−1nL=w1LBM+w2LBECi+w3LMRj，（12）i=1j=1其中，n被定义为递归级别的数量，w，wLEC一个为|S|xSΣ，f：SSx−f−1（x）1个2个和W3是不同约束的权重E（L）≈1Σminx−y，（9）||ˆ4. 实验ECS0x∈S02y∈S04.1. 数据集和实施详细信息ShapeNet。用于完成的ShapeNet [2]包含30974LBEC=ReLU（LEC−E（LEC）），（10）其中，S和S（是解码单元的输入和输出，相对于V，S（）和S（）是它们的基础真值。我们认为，膨胀距离与膨胀系数有关两个不同分辨率模型之间的比较。我们通过等式9估计扩展距离的期望值，同时将其用作平衡扩展约束的附加项。通过这种方式，当扩展距离足够小时，梯度可以为零，消除了对网络的干扰。附加项的影响可以通过进行调整。合并范围约束。 合并范围约束用于限制合并层的搜索半径。ξ是由退火策略引导的它将随着迭代次数的增加而逐渐减少。这样，合并范围小，在迭代开始时更关注生成结果，合并范围大，在迭代后期从原始不完整模型中引入更多信息。小说类已知类别12514模型从8个类别，这是由PCN [32]。 的地面实况模型包含16384个均匀采样点在网格模型的表面通过将2.5D深度图像反向投影到3D中来生成部分点云为了公平比较，我们使用与PCN相同的拆分[32]。 凯蒂为了进一步测试我们的网络，我们在KITTI的真实世界扫描上对其进行了评估[8]。 汽车与来自每帧的地面实况对象边界框一起被获取。的测试集包括标记为汽车的2401个部分点云。指标. 在我们的工作中，我们采用第3.4节中提到的倒角距离（CD）作为完成性能的全局度量。然而，模型可能会发生很大的变化，并在完成过程中丢失不完整的模型的细节，同时保持一个小的全局误差。一个例子如图所示。9.第九条。严重失真的Fold-ingNet结果的CD度量甚至比我们的网络更小，而其保真度误差（FD）[32]比我们的大6倍多。针对这一问题，我们使用FD作为失真的补充评估。它被定义为平均值12515方法FC[32]折叠[32]PCN[32]TopNet[24]MSN[16]CANet[26]GRNet[28] 国家体育协会[33]我们度量CD FDCD FDCD FDCD FDCD FDCD FDCD FDCD FDCD FD飞机5.69 5.495.96 六角六角5.505.145.85 七点九七5.603.22 4.79两块八毛6.44三块七 5.22三点三七4.911.98内阁11.02 9.2710.83 8.8910.63 7.28十点七八十二点四四11.90 6.42 9.97四点八九十点三九六点五五10.51 4.94九点九八三点四九车8.77十点十分9.27十一点四十二8.69九点四七8.84十点七十六分10.706.198.317.209.45七点七七9.00七点四二8.666.96椅子10.98 9.8611.24 10.4310.99 7.9910.80 13.5010.60 4.96 9.49四点零六分9.41五点半9.334.119.142.83灯11.13 10.3912.17 11.9811.33 8.7511.15 13.9410.70 3.65 8.94四点一五7.964.508.263.577.16三点零二分沙发11.75 8.89十一点六三九点二五11.67 7.27十一点四一十二点三二11.80 6.0410.693.8310.504.9010.74 4.1710.45 2.95表9.32 九点六四9.45十点十六分8.59八点零五分8.79十二点十五分8.71五点三八七点八一四点零五8.445.887.783.997.452.86容器9.72 8.53十点零二分十点零二分9.667.449.17十点六三9.484.57 8.05三点六三8.04三点九三7.663.447.282.75平均9.79 九点零二分10.07 9.859.63七点六七9.60十一点七一9.96五点零五分8.514.338.835.328.55四点三八8.13三点三十五表1.ShapeNet的已知类别与最先进的方法的定量比较，指标乘以103。粗体和下划线的值分别是最佳值和次佳值。数据分为两部分：包含与训练数据相同的8个已知类别模型的数据，以及包含与训练数据不同的8个新类别模型的数据。对已知类别进行的定量结果示于表1中，而对新类别进行的定量结果示于表3中。我们的网络在已知和新类别模型上都取得了最佳性能。虽然CANet在已知的ShapeNet类别上也表现良好，但它需要表2.缺失部件与CD乘以103的比较。图9. CD和FD的比较乘以103。从输入中的每个点到输出中的最近邻点的距离，可以如下所示：FD（S，S）=1Σminx− y。（十三）1个2个来自每个类别的预训练网络的平均形状先验特征，这有点困难，因为模型的类别在完成之前并不总是已知的。此外，我们的网络在FD上改进了很多，这意味着我们的RFNet可以在完成过程中产生更少的扭曲，并且比其他方法更好地保留原始形状。然而，我们的方法实际上引入了更多的信息，从不完整的模型比大多数其他方法。为了更好地评价模型的完备性，我们将不完备模型中的点的最近邻从完备模型中移除，以比较缺失部分的性能。 结果示于表2中。 我们可以看到，我们的方法仍然具有最好的性能，以完成缺失的部分。为了直观地比较完井结果，我们从测试数据中选取了几个模型进行定性比较。如图8、FC、Folding、PCN和Top- Net创建了良好的全局形状，同时从不完整的模型中丢失了大部分细节。MSN、GRNet和CANet可以|x ∈S1|x∈S 12y∈S2在一定程度上保留了细节，而他们仍然遭受明显的扭曲。 虽然NSFA可以保留更多由于KITTI没有完整的地面真值模型，因此使用FD和最小匹配距离（MMD）来评估完成性能。MMD被定义为输出和来自ShapeNet的汽车点云之间的CD，其在CD方面最接近输出点云。这衡量了输出与典型汽车的相似程度4.2. 竣工成果ShapeNet上的实验。我们定性和定量地比较了我们方法FC折叠PCN TopNet MSN CanetGRNETNSFA 我们飞机5.756.085.467.335.594.716.425.215.01内阁11.1010.9410.4913.2011.949.9310.3410.49 10.00车8.708.228.5010.4510.768.319.568.948.72椅子10.9811.2410.9910.8010.609.389.389.329.31灯11.7712.6611.4914.1710.738.867.778.067.34沙发11.9411.5911.5813.6911.89 10.6510.6210.92 10.63表9.659.648.5911.438.717.878.447.747.53容器9.849.839.6411.198.487.958.057.667.46平均 10.0010.199.5911.929.978.468.828.548.2512516的RFNet在ShapeNet上与几个国家的最先进的点云完成方法。测试与其他方法相比，其局部特征聚合操作大大增加了计算量。此外，它可能会错误地将一些不连续的区域视为细节，并且难以完成大而集中的缺失部分的模型。我们的RFNet可以保留具有更少失真和更清晰纹理的细节，这也能够降低计算成本，如第2节所示。四点六分。KITTI的实验我们用KITTI的真实世界扫描的汽车类别来评估我们的网络。在本节中，我们的网络仅在ShapeNet上训练了大约0.8M次迭代（10个epoch），而没有对其他算法进行任何微调。12517方法FC [32个]折叠[32]PCN [32个]TopNet[24]MSN [16个]GRNET[28日]NSFA [33]第三十三届我们度量CDFDCDFDCDFDCDFDCDFDCDFDCDFDCDFD类似的总线9.827.8710.588.149.466.419.319.9311.60 5.40 11.50 4.929.243.868.982.42床21.23 13.54 19.08 13.32 21.63 10.63 20.38 15.37 24.10 6.27 22.42 5.97 17.30 4.84 19.20 4.35书架15.12 10.53 14.88 10.39 14.798.5214.12 12.69 16.20 6.45 14.91 6.22 12.63 4.78 12.91 3.79板凳10.818.8810.559.4311.027.5810.16 11.08 10.80 5.00 11.47 5.389.763.829.792.84平均14.20 10.20 13.80 10.32 14.208.2813.40 12.27 15.67 5.78 15.08 5.62 12.23 4.33 12.72 3.35相异的吉他9.929.269.069.3010.408.619.8810.11 10.40 2.408.884.048.723.307.591.89电机14.56 11.97 15.56 14.49 14.75 11.48 14.30 14.52 15.50 4.39 11.83 4.51 10.56 3.80 10.88 4.99滑板12.007.7711.917.4912.046.569.269.6311.70 4.00 11.30 3.738.682.888.661.48手枪14.97 13.86 13.13 12.96 14.23 10.70 12.86 15.42 14.20 2.87 13.27 3.55 11.03 3.549.742.90平均12.90 10.72 12.40 11.06 12.909.3411.50 12.42 13.95 3.42 11.32 6.799.753.389.222.82表3.ShapeNet新类别与最先进方法的定量比较，指标乘以103。图10.KITTI汽车类别的定性比较我们的工作可以更好地捕捉和恢复汽车的基本形状比别人。实现特征尺寸的最大值。如图11中，我们将RFE中的编码单元格和恢复单元格选择的关键点可视化。由编码像元选择的点逐渐移动到缺失部分表4.KITTI车型的定量比较数据集。定量和定性结果示于表4和图4中。10个。我们的RFNet的平均MMD是最小的，这意味着我们的方法具有最好的性能，捕捉汽车的基本形状，并类似于典型的汽车。然而，GRNet得到一个小的FD和一个大的MMD，这意味着GRNet做了太多的重建，而不是完成输入模型。为了在FD和MMD之间做出权衡，我们将它们加在一起以做出总体评估。我们的网络在FD上获得了相当的结果，但在MMD和整体评估上表现最好4.3. 网络在RFE中学到了什么？在编码单元或重新覆盖单元中使用的最大池化操作实际上是选择关键点，其图11. RFE中的编码单元格和恢复单元格捕获的关键点。黑点表示选定的关键点。方法FC折叠PCNTopNet GRNET我们FD0.0331 0.0361 0.0308 0.0335 0.0192 0.0258MMD0.0148 0.0146 0.0158 0.0151 0.0374 0.0146FD+MMD 0.0479 0.0507 0.0466 0.0486 0.0557 0.040412518随着递归级别的增加，这证明了我们的网络能够自适应地提取特征来完成丢失的部分此外，重新覆盖单元选择的关键点围绕编码单元生成的关键它指示恢复单元学习基于编码单元的输出从输入聚合4.4. 从FDC在FDC中，初始化单元通过全连接网络输出和细化采样点的组合来生成初始稀疏模型。我们可视化的输出模型中的点的分布，从这两个部分，分别增长。如图所示在图12中，从采样种子生长的点形成原始不完整部分的轮廓。此外，从全连接网络输出中生长的点填补了模型的缺失部分。这两个部分结合起来构成最终输出。图12. 从种子中生长出来的点。上分支和下分支分别表示从生成的种子和采样的种子生长的点。125193025201510闭塞率12108642闭塞率4.7.消融研究在本节中，我们评估了网络中不同模块的效果，包括RFE中的编码单元和恢复单元、RSP中的合并层和细化单元、建议的采样倒角距离（SCD）和平衡扩展约束（BEC）。实验是在ShapeNet的已知类别模型上进行的，通过去除模块和重新训练网络。 我们使用CD和FD来评估完成结果，如表6所示。 全网络与所有模块- ules工程最好的。去除任何组件都会降低性能，这表明每个组件都有贡献。RSP中的合并层和细化单元对减少完成误差贡献最大虽然其他模式-图13.非遮挡点云的定量比较根据不同的闭塞比。方法推理培训要求时间（ms）内存（MB） 批处理迭代（M）内存（GB）PCN6.68973320.311TopNet5.09732320.2311MSN20.1614171600.238x11GRNET5.921719321.092x11Canet9.22973320.2711NSFA104.8097380.6711我们9.00710320.2311表5.模型效率比较。时间和内存成本是在Nvidia 2080 ti GPU与2.9Ghz i5-9400 CPU上评估的。4.5. 闭塞的稳健性在实际应用中，点缺失是一个常见的问题，它会给数据带来额外的噪声，并对计算结果造成损害为了进一步研究我们的方法的鲁棒性，我们通过按照PCN [32]和CANet [26]中的程序用% p遮挡输入来进行实验，如图所示。十三岁我们的方法在CD和FD中表现最好，这证实了我们的网络比以前的方法对遮挡更4.6. 网络效率在本节中，我们对内存成本、时间成本和培训要求进行了比较。如表5所示，我们的网络也具有相当的时间成本和最低的内存成本。虽然GRNet速度更快，但它需要的内存比我们的大两倍多。此外，我们的工作对培训的要求相对较低。表5中还报告了几个完井网络的培训要求比较。请注意，我们的网络只需要11 GB来训练。它将只需要大约0. 08 M次迭代就能收敛到比以前的网络更好的结果0.23 M次迭代到最佳结果在1天内，这比其他方法快得多。规则的帮助相对较小，它们可以改善最终性能并加速收敛。ENCSCD BEC Rec Ref MerCDFDCD*C-----9.35 6.86 9.69CC----9.27 6.58 9.81CC--CC8.44 3.58 8.94CCC---9.26 6.59 9.72CCCC--8.96 6.44 9.45CCCCC-8.80 6.34 9.29CCCCCC8.13 3.35 8.46表6.消融研究的定量比较Enc、SCD、BEC、Rec、Ref和Mer分别表示编码单元、采样Cham- fer距离、平衡扩展约束、恢复单元、细化单元和合并层CD* 表示在约0.08M次迭代时测量的CD，以比较收敛效率。5. 结论在本文中，我们提出了一种新的点云完成网络命名为RFNet，这是组织在多个重流层。来自前一级的输出模型将与不完整模型连接并作为“新的不完整模型”馈送到后一级。RFNet由三个模块组成：RFE，FDC和RSP。RFE提取多个全局特征以不同分辨率完成，FDC生成由粗到细的完整点云。RSP用于从原始不完整模型向输出引入细节。此外，我们还提出了采样倒角距离和平衡扩展约束，以更好地捕捉形状差异，提高多层结构的补全性能。在ShapeNet和KITTI上的详尽实验表明，我们的RFNet可以以比以前的方法更低的成本实现最先进的性能。承认我们感谢所有作者、审稿人和主席的出色贡献。这项工作得到了国家科学基金会61836015的支持。FC折叠PCNTOPNetMSNCANetGRNetNSFA我们倒角距离保真度误差12520引用[1] 塞萨尔·卡德纳、卢卡·卡隆、亨利·卡里略、亚西尔·拉蒂夫、大卫·斯卡拉穆扎、何塞·内拉、伊恩·里德和约翰·J·伦纳德。同时定位和绘图的过去、现在和未来：走向强健感知时代。IEEE Transactions on robotics，32（6）：1309[2] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。[3] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence，40（4）：834[4] Yilun Chen，Shu Liu，Xiaoyong Shen，and Jiaya Jia.快点r-cnn.在IEEE计算机视觉国际会议论文集，第9775-9784页[5] Angela Dai ， Charles Ruzhongtai Qi ， and MatthiasNießner.使用3d编码器预测器cnns和形状合成的形状完成。在IEEE计算机视觉和模式识别会议论文集，第5868- 5877页[6] N Dinesh Reddy，Minh Vo，and Srinivasa G Narasimhan.Carfusion：结合点跟踪和部件检测，用于车辆的动态3D重建在IEEE计算机视觉和模式识别会议论文集，第1906-1915页[7] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在IEEE计算机视觉和模式识别会议论文集，第605-613页[8] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：Kitti数据集。The InternationalJournal of Robotics Research ，32（11）：1231[9] Xiaoguang Han ， Zhen Li ， Haibin Huang ， EvangelosKalogerakis，and Yizhou Yu.使用深度神经网络进行全局结构和局部几何推断的高分辨率形状完成。在IEEE国际计算机视觉会议，第85[10] Zhizhong Han ， Xiyang Wang ， Yu-Shen Liu ， andMatthias Zwicker.多角度点云阀：通过联合自重构和一半对一半预测从多个角度对3D点云进行无监督特征学习。在2019年IEEE/CVF计算机视觉国际会议（ICCV）上，第10441-10450页。IEEE，2019。[11] Binh-Son Hua、Minh-Khoi Tran和Sai-Kit Yeung。逐点卷积神经网络。在IEEE计算机视觉和模式识别会议集，第984-993页[12] 黄子天，余一宽，徐佳文，倪峰，乐欣怡。Pf-net：用于3D点云完成的点分形网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第7662-7670页[13] 特吕克·勒和叶端。Pointgrid：用于3D形状理解的深度网络。在IEEE计算机视觉和模式识别会议论文集，第9204- 9214页[14] Dongping Li，Tianjia Shao，Hongzhi Wu和Kun Zhou。从 单 个 rgbd 图 像 完 成 形 状 。 IEEE Transactions onVisualization and Computer Graphics，23（7）：1809[15] Ruihui Li ， Xianzhi Li ， Chi-Wing Fu ， Daniel Cohen-Or，and Pheng-Ann Heng. Pu-gan：一个点云上采样的对抗网络。在IEEE计算机视觉国际会议论文集，第7203-7212页[16] 刘明华，卢胜，杨胜，邵景，胡世民.用于密集点云完成的变形和采样网络。在AAAI人工智能会议论文集，第34卷，第11596-11603页[17] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页[18] Charles R Qi ， Wei Liu ， Chenxia Wu ， Hao Su ， andLeonidas J Guibas.从rgb- d数据中检测三维物体的平截体点网。在IEEE计算机视觉和模式识别会议论文集，第918-927页[19] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别集，第652[20] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统的进展，第5099-5108页，2017年[21] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。[22] Shaoshuai Shi ， Xiaogang Wang ， and Hongsheng Li.Pointr- cnn：从点云生成和检测3D对象建议。在IEEE计算机视觉和模式识别集，第770-779页[23] Hang Su ， Varun Jampani ， Deqing Sun ， SubhransuMaji，Evangelos Kalogerakis，Ming-Hsuan Yang，andJan Kautz. Splatnet：用于点云处理的稀疏网格网络。在IEEE计算机视觉和模式识别会议论文集，第2530-2539页[24] Lyne P Tchapmi，Vineet Kosaraju，Hamid Rezatofighi，Ian Reid，and Silvio Savarese. Topnet：结构点云解码器。在IEEE计算机视觉和模式识别集，第383[25] Chu Wang，Babak Samari，and Kale