低分辨率恢复和噪声感知上采样的高保真点云完成

图形模型126（2023）101173具有低分辨率恢复和噪声感知上采样的高保真点云完成李仁武a，b，王波c，郜林a，b，张凌霄a，李春鹏a，李伟a中国科学院计算技术研究所移动计算与普适设备北京市重点实验室b中国科学院大学cTencent，America，美利坚A R T I C L E I N F O保留字：点云完成点云分析深度学习计算机视觉A B S T R A C T完成无序的部分点云是一项具有挑战性的任务。依赖于解码的现有方法一个潜在的特征，以恢复完整的形状，往往会导致完成的点云是过度平滑，失去细节，和噪音。我们建议先解码和细化低分辨率（低分辨率）点云，然后执行逐块噪声感知上采样，而不是插值，而不是解码整个形状整个稀疏的点云，这往往会丢失细节。关于缺乏最初解码的低分辨率点云的细节的可能性，我们提出了一个迭代的改进，以恢复几何细节和对称化过程，以保持从输入的部分点云的可信信息。在获得稀疏完整的点云后，我们提出了一种分片上采样策略。基于块的上采样允许更好地恢复细节，而不是解码整个形状。面片提取方法是在稀疏点云和地面实况点云之间生成训练面片对，并通过离群点去除步骤来抑制稀疏点云中的噪声点。结合低分辨率恢复，我们的整个管道可以实现高保真点云完成。综合评价证明所提出的方法及其组成部分的有效性1. 介绍分析和理解3D世界[1-在各种三维数据表示方法中，点云数据是一种备受关注的数据表示方法。 然而，由于采集传感器的遮挡和限制，原始点云通常是不完整的、稀疏的和有噪声的。因此，修复这些问题的3D点云完成成为点云数据成功用于实际应用的关键步骤。现有的点云生成模型[17早期的点云完成工作[24，25]采用搜索和组装策略，仅限于用于特定类别的对象。最近开发了基于深度学习的方法，并显示出形状完成任务的潜力。一组方法[8，26-第二Group [29类似地，也开发了基于体素或隐式场表示的形状完成方法[1，32，33]，然而，随着体素分辨率的增加，计算和存储器成本迅速增加，随后快速增长，因此基于体素或隐式场表示的方法通常受到体素分辨率的限制。���此外，这些基于体素或隐式场的方法通常引入3D卷积进行处理，这进一步增加了参数的数量、计算复杂度和存储器消耗。在本文中，我们的目标是恢复完整的和密集的点云从原始无序的部分点云数据。完成意味着表示细节，而密集表示所产生的点的高密度。不是直接从潜在特征[8，26]解码完整且密集的点云，这是一个难以解决的问题，因此，丢失细节并增加噪声，我们建议解码完整且稀疏的点云，对其进行细化和对称化，然后执行逐块噪声感知上采样以获得最终的完整且密集的点云，其中我们方法中的每一步都解决了一个更容易的问题。通讯作者：中国科学院计算技术研究所移动计算与普适设备北京市重点实验室。电子邮件地址：cpli@ict.ac.cn（C.-P. Li）。https://doi.org/10.1016/j.gmod.2023.101173接收日期：2022年3月2日;接收日期：2023年2月25日;接受日期：2023年3月3日1524-0703/© 2023作者。爱思唯尔公司出版这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。可在ScienceDirect上获得目录列表图形模型期刊首页：www.elsevier.com/locate/gmodR.- W. Li等人图形模型126（2023）1011732���图1.一、我们的框架概述。我们建议首先进行低分辨率点云恢复，然后进行逐块噪声感知上采样。给定稀疏部分点云首先恢复出低分辨率的完整点云;借助我们的对称性检测模块SymNet，可以预测对称平面的对称性，从输入点到输入点的点。然后，通过我们的迭代残差细化网络ResNet进一步细化几何形状随后，将图像分割成重叠的面片在一个 球查询时尚。然后对每个块进行基于块的上采样，以生成最终的密集完整点云块。问题.通过这种方式，我们的方法可以通过解决两个更容易的任务，而不是一个非常困难的任务来完成更好的密集点云完成。一些以前的作品[27，28]建议将硬稠密点云完成问题分解为子问题。我们采用了类似的策略，将复杂的稠密点云完备化问题分解为几个较易处理的子问题，并仔细处理 从而恢复出完整、致密、高保真的点云。我们的框架的第一阶段是恢复一个低分辨率的点云具有清晰的形状结构和细节。在这个阶段，我们首先使用一个自动编码器网络来完成输入的部分点云。由于从局部形状恢复完整形状的困难，得到的完整稀疏点云不可避免地丢失了几何细节。为了更好地恢复细节，我们建议通过残差学习进行迭代细化，然后进行对称化过程，以保留来自输入部分点云的可信信息。在我们提出的细化和对称化之后，更新后的低分辨率点云显示出更清晰的形状，更多的细节和更少的噪声，这可以作为下一个上采样阶段的输入所提出的框架的第二阶段是对从第一阶段获得的低分辨率点云进行上采样。代替在单次中使用折叠操作的上采样[18，26-我们提出的上采样方法能够确保低分辨率和GT点云之间选择的补丁相互重叠，并通过过滤噪声点来鲁棒地处理噪声和不完美的低分辨率点云。提供的比较表明，采用所提出的策略获得的高分辨率点云优于直接采用最先进的上采样方法[34]。我们的贡献概括如下。• 我们建议将困难的点云完成问题分解为低分辨率恢复、细化和逐块上采样，其中我们仔细处理它们以实现高保真点云完成。• 在低分辨率恢复阶段，我们提出了一个迭代的细化，以增强细节和抑制噪声，和一个对称化过程，以保持从输入的部分点云的可信信息。• 在上采样阶段，我们提出了逐块噪声感知上采样，以确保低分辨率点云块和地面实况点云块之间的重叠，这鲁棒地处理了噪声和不完美的低分辨率点云。2. 相关作品点云生成。点云生成模型是近年来研究的热点。Fan等人。[16]提出了第一个从输入图像生成点集的框架。 早期的工作已经提出了通过利用生成对抗网络（GAN）[35]或变分自动编码器（VAE）[36]生成点云[17，37]的生成模型。Achlioptas等人。[17]提出在预训练的自动编码器的潜在空间中训练GAN。FoldingNet [18]引入了一个基于折叠的解码器，可以将2D网格变形为目标点云。 [18]在此基础上，Lim等人[19]利用了这些进步， 在图像合成中，使用自适应实例归一化来局部预测密度和点的存在。PointFlow [20]和ShapeGF [21]分别介绍了密度场的归一化流和梯度 来学习形状和形状上的点的分布。 尽管在三维生成模型的进展，这些方法仅限于合成一般的形状，但不适用于形状完成任务。形状完成。由于形状补全是一项基础性的重要工作，因此已有相当多的研究成果。早期的作品[24，25]建议在形状完成之前从数据库中搜索和装配零件或估计零件分布和3D形状的对称性。最近，已经提出了基于深度学习的点云完成方法。PCN [26]和MSN [27]通过共享多层感知器（MLP）学习全局形状表示，以端到端的方式直接回归重建点的3D坐标，这通常会导致生成的点云过度平滑和丢失细节。TopNet [8]采用树结构网络，以方便从部分输入点云完成。想 等人[28]提出了一种级联细化策略来恢复完整的点云。然而，由于完成任务对于这些方法所基于的常规自动编码器或MLP具有挑战性，因此这些方法的所得全局形状表示倾向于生成缺乏详细几何形状的过度平滑完成结果。RL-GAN-Net [29]引入了强化学习代理，以更好地增强GAN生成器生成更真实点云的能力。PF-Net [30]使用自监督策略和多级分层网络来随机丢弃完整点云的一部分并预测完整点云。少数方法以低分辨率完成部分点云并实现有希望的结果，例如，SA-Net [31]，Cycle4Completion [38].体素或隐式场表示也被提出用于形状完成[1，32，33，39然而，由于3D卷积运算，它们具有相同的存储器/分辨率问题，并且这些方法复杂且较少灵活使用。最近的作品[43[51]第五十一话R.- W. Li等人图形模型126（2023）1011733���2‖‖′���������提出了软池和区域卷积算子，以改进点云完成和分类任务的编码器-解码器架构。GRNet [32]引入了3D网格作为中间表示来规则化无序点云，并提出了可区分的层来将点云转换为3D网格。PMP-Net [52]指出了整个完整点云的生成导致退化，并提出从点云变形的角度解决完成问题。NSFA[53]还指出，解码整个完整的点云是困难的，并建议将整个点云拆分为缺失和已知部分，并聚合不同的特征图二、对称 性检测。将A作为SymNet的输入，对称平面P为预测了���通过将平面对称性应用于平面对称性， P.如果（，）对于每一部分。这与我们的方法类似，但不如我们的方法，因为它们只将整个形状分成两部分，在那里我们执行逐块上采样。点云上采样。除了进行形状完成之外，还开发了用于点云处理的上采样方法[54然而，这些方法不适用于完成任务，因为它要求输入点云必须是完整和稀疏的（即，根据未恢复的地面实况），并且上采样比必须小。最近通过利用 体素和隐式函数的耦合表示，IF-Net [57]从连续点位置提取多尺度特征，能够通过学习的隐式解码器执行上采样。 然而，由于涉及类似于体素或隐式场方法的体素化过程，它具有存储器和分辨率问题。 最近，Dis-PU [34]提出通过密集生成器和空间细化器来解开包括分布均匀性和接近表面的上采样子任务，并建立新的最先进技术。然而，所有现有的上采样方法都要求输入的低分辨率点云是干净且无噪声的，这阻止了它们用于点完成任务。3. 方法如示于图1，在我们的框架中有两个阶段，这是低分辨率点云恢复和逐块噪声感知上采样。在下文中，第3.1至3.3节涵盖了低分辨率点云恢复的细节，第3.4节介绍了补丁-大于阈值λ，我们将形状分类为不对称，并且将不使用对称点“” ， 而用“”代替。作为输入的细网格模型的体积，我们使用点云插值，因为它是较少的内存消耗，并不需要额外的复杂体素化。给定的几何体已经有了整体的几何结构，从中可以检测到平面对称性。具体来说，如图所示 图2、对于稀疏点云，我们采用PointNet [2]作为SymNet������������������������+������+������+���= 0.为了将P优化为潜在的反射平面，我们通过将平面对称性应用于���w.r.t. P.中的每一点���都���是从中的对应点转换���而 来 的 ：������ ���������=在对称平面P确定后，利用平面对称性求出对称点的位置。P与A相同为了丰富信息，确定非对称模型虽然许多人造3D模型是对称的，但仍有一些非对称模型，例如，ShapeNet中的一些组合沙发或灯具[59]。因此，我们添加了一个进一步的步骤来处理非对称模型。特别是如果如果（n，n）大于阈值n，则我们将形状分类为明智的噪声感知上采样，第3.5节和第3.6节解释了在推理期间保留的输入信息和训练中的整体优化项。3.1. 稀疏完备化给定一个部分点云<$E ∈R3，我们的目标是恢复一个完整的和密集的点云<$E ∈R3尽可能接近地面真实的完整点云< $E ∈R3。直接回归或解码一个完整而密集的点云并不简单，特别是考虑到在R2中的许多点在R3中丢失。相反，我们选择先完成整体结构和形状。特别是，我们回归了一个完整的和稀疏的点云模型，提供了粗糙的几何结构，低空间分辨率。数据库的结构应接近地面实况数据库，因为它是后续步骤的基础。这里我们采用PointNet [2]来提取部分点云的特征，用五个完全连接的层来回归3.2. 对称性检测由于相当一部分的人造三维模型具有对称性，因此，人们期望对称性能对点云数据的完善有所帮助。虽然以前的作品[25，28]探索使用监督或单个预定义对称平面的对称性来从对称性生成更可靠和值得信赖的点，但我们开发了一个名为SymNet的自监督网络来自动检测平面对称性与[58]不同，对称���������的，对称的点“"将不被使用，而将被”“代替。3.3. 迭代几何精化虽然对称化过程通过基于检测到的对称平面镜像输入部分点来丰富了镜像，但是镜像仍然是有噪声的，因为从部分形状准确地恢复并不容易。因此，我们开发了一种迭代的剩余细化策略，在X和X′的指导下，将X中的点拉到底层表面上，进一步增强其几何结构。具体来说，我们将，随后，将连接的点馈送到几何细化网络ResNet中，以回归每个点的空间残差并产生几何细化点“ResNet”。图3显示了整个迭代细化模块。由于有效的几何精化网络和丰富的对称点信息增强，对细化后的点云数据进行细化，并重复细化步骤几次，得到稀疏、完整的点云数据，具有较高的保真度。3.4. 噪声感知上采样虽然迭代精化���的双曲余弦变换已经具有良好的结构和高保真度，但噪声点不可避免地从双曲余弦变换中引入。不像那些直接上采样整个点云[26，28]，我们专注于R.- W. Li等人图形模型126（2023）1011734���| || |=‖‖������||���被表示为||. 如果||<���，其中���是阈值，我们将������上采样网络。具体来说，对于每个点，我们������定义它的邻居为={∈，−}，其基数������������图三. 迭代ResNet细化模块。我们处理预测的，输入部分及其对称点′作为两个部分，为每个部分附加伪标签，将其馈送到我们的几何细化网络ResNet中以获得′。并且将以迭代的方式用细化的“”替换“”将其视为离群值并删除同样的，我们也可以使用outlier对密集的、完整的点云数据进行滤波。3.5. 保存输入信息在推理过程中，为了进一步保留输入部分点云的细节和可信点，在对称性检测模块的帮助下，我们合并输入点云，′和���������������������意味着对最远点进行采样[7]以获得最远点，是地面实况点云的基数。3.6. 优化在训练过程中，以给定的部分点云为输入，其对应的稀疏和密集地面真实完整点云分别表示为稀疏和密集，我们的完成网络产生稀疏但完整的点云，其对称点云以及细化点云和上采样点云。我们为每个部分定义目标函数如下：见图4。通过球查询（黄色）和KNN（紫色）策略从细化的稀疏和完整点云模型及其相应的 地面真实密集和完整点云模型中提取的训练块对的示例。（解释）������������������ = CD1（λ，λ）+EMD（λ，λ）（2）本图图例中对颜色的引用，请读者参阅网页版这篇文章）。��������� = CD2（λ，λ）（3）= CD（CD，CD）（4）在局部补丁上学习更精细的局部模式，������������������1考虑.我们采用[34]，它将补丁点扩展到具有全局和局部细化网络的特征空间中的密集点，作为我们的������ = CD1（电子邮件，电子邮件）（5）上采样骨干网。最后，通过合并上采样后的面片，得到稠密完整的点云曲面贴片提取。 原始点云上采样方法[34]其中CD1和CD2分别表示具有L1和L2范数的倒角距离，EMD是地球移动器距离。总优化项λ表示为：通过裁剪三角形网格上的重叠块来提取训练块，然后应用均匀点采样。由于没有相关的���������������������������������������������������（六）三角形网格在测试期间可用，[34]采用k-最近邻（KNN）来提取每个最远采样种子周围的局部补丁。在我们的例子中，即使在训练阶段，所获得的稀疏且完整的点云数据是不可用的。因此，在本发明中，如果我们直接将上采样方法[ 34 ]应用于完成任务，则必须使用KNN来提取训练补丁。然而，这是有问题的，因为应用KNN来提取点云和其对应的地面实况密集点云之间的固定数量的点这可能会导致提取补丁之间的巨大不匹配，如图所示。四、因此，我们建议以球查询的方式生成训练对，以确保补丁对彼此很好地重叠。具体地说，我们通过随机丢弃或复制的方式使每个补丁具有相同数量的点，以进行批量处理。每个贴片（片）在点的周围定义为（）���={∈，−��������� ≤}且其中，k是���训练中k的最远点采样种子 ���在测试中的优势。为了证明所提出的补丁对提取策略的有效性，我们比较了两种补丁提取方法KNN与球查询，如图所示。四、 我们可以看到，KNN策略不能产生合理的补丁对，因为输入的稀疏点云的密度是不均匀的和嘈杂的。 相反，我们提出的球查询可以生成有意义的补丁对，覆盖稀疏点云和相应的地面实况点云之间的相同区域。离群值删除。为了减少噪声点的影响，在馈送之前，我们应用了一个非常简单但有效的半径离群值过滤4. 实验4.1. 数据集ShapeNet。我们在来自PCN [26]的数据集上训练和验证我们的方法，该数据集包含从子集创建的合成CAD模型 ShapeNet [59]由8个特定类别和30974个模型组成。对于每个3D模型，具有16384个点作为地面实况的完整点云从其相关联的三角形网格均匀地采样，并且相应的部分点云通过从随机视点渲染的深度图进行反向投影在之前最先进的方法之后，我们还在3D-EPN [1]数据集上评估了我们的方法，该数据集来自ShapeNet。遵循最先进的无监督未配对点云完成方法Cycle 4Completion [38]，对于3D-EPN [1]数据集中的每个模型，通过从不同视点反向投影渲染的深度图像随机生成8个部分点云。对于每个形状，均匀采样2048个点凯蒂KITTI是由激光雷达扫描的真实世界数据集[60]。为了验证我们的方法的泛化能力，对于每一帧，从标记为汽车的边界框中提取点云，这导致2483个部分点云。由于这些点云的点数量存在很大的变化，我们为每个部分点云随机删除或复制2048个点，将它们提供给我们的框架。+++R.- W. Li等人图形模型126（2023）101173表55使用L1倒角距离×103评价的分辨率为16384的ShapeNet定量比较结果。最好用粗体。我们的方法平均从8个类别中的5个类别中获得最佳性能方法平均平均倒角距离（103）平均飞机柜汽车椅灯沙发桌容器3D-EPN [1] 20.15 13.16 21.80 20.31 18.81 25.75 21.09 21.72 18.54FC [26] 9.80 5.70 11.02 8.78 10.97 11.13 11.76 9.32 9.72折叠[26] 10.07 5.97 10.83 9.27 11.25 12.17 11.63 9.45 10.03粤ICP备16036666号-1PCN-CD [26] 9.64 5.50 10.63 8.70 11.00 11.34 11.67 8.59 9.67PCN-EMD [26] 10.02 5.85 10.69 9.08 11.58 11.96 12.21 9.01 9.79[8] 12.35 12.36 8.85 11.63 11.50MSN [27]a9.97 5.59 11.95 10.74 10.63 10.75 11.88 8.72 9.49GRNet [32] 9.03 6.41 10.91 9.63 9.64 7.97 10.77 8.77 8.11香港赛马会[28] 8.51 4.79 9.978.319.49 8.94 10.69 7.81 8.05[53] 8.06 4.76 10.18 8.63 8.53 7.03 10.537.357.48PMP-Net [52] 8.66 5.50 11.10 9.62 9.476.8910.74 8.77 7.19我们的7.90 4.489.558.58 8.288.039.697.467.14a表示在 训 练 中 使 用 额外数据。图五. ShapeNet上的完成结果。所有可视化的形状都是ShapeNet的测试示例。每列从左到右分别为：输入局部点云，结果[26][27][28][29][2据观察，我们的结果显示出更好的视觉相似性地面实况点云与最先进的点云完成方法进行比较4.2. 度量我们使用双向倒角距离（CD）和F-Score， rics来评估ShapeNet上完成的点云的准确性[16，26特别地，具有L1范数的倒角距离用于以下定量评价。为了对KITTI数据集进行评估，其中地面实况不可用，我们使用保真度，最小匹配距离（MMD）和一致性[26]。保真度是输入部分点云与其完成结果之间的平均距离，表示输入信息的保留程度。MMD是完成的点云和汽车点云之间从ShapeNet，它衡量了它与典型汽车的相似程度。一致性是同一辆车在连续帧中完成的点云之间的平均倒角距离。详细定义见补充文件4.3. 实现细节我们使用深度学习框架PyTorch [63]和PyTorch Lightning [64]实现了我们的网络。对于逐块上采样网络，我们将整个输入点分为24个训练块和16个测试块。在训练过程中使用初始学习率为0.001的Adam优化器，学习率为R.- W. Li等人图形模型126（2023）1011736表2使用L2倒角距离×10 4评价的分辨率为16384的ShapeNet定量比较结果。最好用粗体。模型平均倒角距离（104）普通飞机柜汽车椅灯沙发桌器皿折叠[26] 7.14 3.15 7.94 4.68 9.23 9.23 8.90 6.69 7.33澳门金沙城中心[61] 4.52 1.75 5.10 3.24 5.23 6.34 5.99 4.36 4.18[8] 5.15 2.15 5.62 3.51 6.35 7.50 6.95 4.78 4.36MSN [27]a4.76 1.54 7.25 4.71 4.54 6.48 5.89 3.80 3.85[53] 4.28 1.75 5.31 3.43 5.01 4.73 6.41 4.00 3.56香港电台[28] 3.75 1.46 4.21 2.97 3.24 5.16 5.01 3.99 3.96澳门永利娱乐场[26] 4.02 1.40 4.45 2.45 4.84 6.24 5.13 3.57 4.06SoftPoolNet [51] 5.94 4.01 6.23 5.94 6.81 7.03 6.99 4.84 5.70PF-Net [30] 3.80 1.55 4.43 3.12 3.96 4.21 5.87 3.35 3.89GRNet [32] 2.72 1.53 3.62 2.75 2.95 2.65 3.61 2.55 2.12ASHF-Net [62] 2.56 1.40 3.49 2.322.82 2.523.48 2.421.99我们的2.42 0.87 3.02 2.252.86 2.923.32 1.952.18a表示在训练中使用额外数据表3分辨率为2048的3D-EPN [ 1 ]数据集上的点云完成比较（L2倒角距离×104）（越小越好）。最好用粗体。表4FoldingNet [18]是9.2 2.4 8.5 7.2 10.3 14.1 9.1 13.6 8.8PCN [26]是7.6 2.08.0 5.09.0 13.0 8.0 10.0 6.0TopNet [8]是8.4 2.5 8.8 5.9 9.3 12.0 8.4 13.5 7.1SA-Net [31]是7.7 2.2 9.1 5.6 8.9 10.0 7.8 9.9 7.2我们的是6. 4 1. 8 8. 05. 57. 4 7. 9 7. 5 8. 4 4. 5AE编号25.4 4.0 37.0 19.0 31.0 26.0 30.0 44.0 12.0Pcl2Pcl [65]否17.4 4.0 19.0 10.0 20.0 23.0 26.0 26.0 11.0周期4完成[38]否14.1 3.1 10.9 7.5 14.6 16.7 26.7 24.5 9.1类似于表1中的L1倒角距离（CD1）评估，ShapeNet上的定量比较结果，F-Score@1%↑。最好用粗体。分类方法PCN CRN GRNet NSFA我们的飞机办公室0.65 0.57 0.62 0.660.70汽车0.73 0.68 0.68 0.720.73会议室灯0.64 0.67 0.760.820.78沙发0.58 0.54 0.61 0.630.66表容器0.70 0.74 0.75 0.790.81平均值0.70 0.68 0.71 0.760.77以0.8的速率每3k步线性衰减。迭代次数 在我们的迭代几何中，细化被设置为2。详情请参阅补充资料4.4. ShapeNet数据集我们将我们的方法与ShapeNet数据集上的最先进（SOTA）方法进行了比较。点云计算的定量比较证实了我们的方法在L1和L2倒角距离评估上的优越性能。定性比较如图所示。五、我们观察到，与地面实况点云相比，我们的结果显示出更好的视觉相似性，其中丢失的结构被更准确地恢复（例如，行（b）中的橱柜的恢复的一半）并且从输入的部分点云更好地保留细节（例如，（c）和（d）行椅子的细节）。行（e）中的飞机是一个具有挑战性的情况，我们观察到没有一个完整的结果是完美的，但我们的结果最接近地面实况，与其他完整的结果相比，噪音很小，要么丢失太多细节，如PCN和CRN，要么添加太多噪音，如GRNet和NSFA。为了更好地理解每种方法在严重阻塞情况下的性能，我们可以仔细查看最后一行（f）的结果。在图5中。特别是，地面实况（GT）的飞机顶部被覆盖，但由于覆盖在输入的部分点云中完全缺失，其他方法和我们的完成结果只恢复了支撑结构而不是覆盖本身。考虑到所有的结果都不完美，我们的完成结果最好地恢复了飞机罩的支撑结构，这是最接近GT的。在表1中示出了用CD1（较低）评价的填充性能我们还在3D-EPN [1]数据集上评估了我们的方法，并比较了与表3中的先前最先进的方法。 自从reso-更好）和表4中的F-评分@1%（更高更好）。对于倒角距离，我们的方法平均达到了最佳性能，8个类别中的5个。CRN [28]的结果来自其原始论文，我们遵循GRNet [32]以16384的分辨率产生MSN [27]的结果。我们的方法在F-Score@1%的度量下也具有最高值。由于在最近的工作中报告了ShapeNet与L2倒角距离（CD2）的性能[30，32，51]，我们还使用L2倒角距离（CD2）进行了额外的定量评估，以进行全面比较，如表2所示。 特别是，CRN [28]和PF-Net [30]的值来自ASHF-Net [62]，其他方法的编号来自他们的论文。从桌子上，我们观察到，我们的方法再次优于现有的方法在ShapeNet上比较的完整点云的结果是16384，远高于3D-EPN [1]基准，为了公平地比较两种方法，我们取了具有相同点数（2048）的中间结果，即，然后计算L2倒角距离（������2）作为度量。我们的方法以最低的平均倒角距离实现了最佳性能，并且在所有类别上都优于其他监督基线。4.5. 消融研究为了验证我们方法的主要模块的有效性，我们实现了六种用于消融研究的方法变体：（A）方法监督平均飞机内阁车椅子灯沙发表容器3D-EPN [1]是的29.160.027.024.016.038.045.014.09.0R.- W. Li等人图形模型126（2023）1011737表5比较L1倒角距离×10 3对每个方差和我们的完整方法评估的性能。模型SymNet ResNet离群值移除输入保存CD1阿11.789B中国8.566中国8.460中国8.911东印度群岛8.310中国8.385最高价8.284见图6。我们的迭代几何细化模块的效果。左：迭代几何细化之前（图1）;中：迭代几何细化之后（图2）;右：地面实况。见图8。补丁提取策略的效果。左：来自KNN提取的补丁的上采样点;中：来自球查询提取的补丁的上采样点;右：地面实况。见图9。我们的离群值去除（OR）模块的效果。左：不去除离群值的上采样点;中：去除离群值的上采样点;右：地面实况。表6比较KNN中的K和球查询中的半径各自变化时的性能变化。 用L1倒角距离×103评价其性能。K 64 128 256半径0.2 0.25 0.3KNN 20.4 19.7 19.5球查询8.40 8.28 8.55见图7。我们的对称检测模块的效果。从左到右：（a）输入部分点云，（b）稀疏完成结果，（c）借助对称性检测增强的点云（来自点云及其对称对应物的可信点“绿色”）。检测到的对称平面SP覆盖在（b）和（c）的顶部上，浅蓝色，供参考。(For对本图图例中所指颜色的解释，读者可参考本文的网络版（B）仅移除SymNet模块，其中对称点“0”被替换为“0”以保持细化点“0”的基数恒定;(C)仅移除迭代ResNet;（D）移除SymNet和迭代ResNet两者;（E）仅移除离群值移除;（F）移除保留输入信息。 表5中提供了六种变化和我们的CD1全模型的评价。所有变化都在ShapeNet的椅子类别上进行。据观察，删除我们的框架中的每个主要模块降低了性能与我们的完整模型相比，这验证了所提出的组件的有效性。特别是，与所有其他模型相比，没有任何拟议组件的基线模型（A）表现最差。我们在下面提供了可视化示例，以帮助理解使用和不使用建议的主要模块的效果。图6示出了使用和不使用迭代精化模块的完成结果。清楚地观察到，在我们的迭代改进之后，扶手和腿的形状（即，以蓝色和红色椭圆突出显示）变得更清晰，更接近其对应的地面实况。类似地，使用对称性检测模块或不使用对称性检测模块的视觉比较在图1中示出。第七章我们观察到（c）中的扶手比（b）中的扶手更完整，形状更好，因为输入点及其对称对应物是基于对称检测添加的。在上采样阶段，我们的补丁提取和离群点去除模块对于实现高保真点云完成至关重要。如图4所示，在没有所提出的块提取策略的情况下，不能提取有意义的块对来训练逐块上采样网络。为了更好地理解补丁提取策略的选择，我们定量地提供了一种方法对另一种方法的影响。我们在表6中列出了性能变化，因为KNN中的K和球查询中的半径都不同。这两种方法之间存在显着的此外，当KNN中的K小于64时，覆盖整个形状所需的补丁数量会大大增加，这使得在单个GPU上训练的成本非常昂贵。虽然较小的半径值也会出现同样的问题，但我们可以选择使用更大的半径，仍然可以实现比KNN更好的性能。我们提供了使用两种补丁提取方法来生成训练补丁对的比较。8，观察到使用我们提出的球查询策略的上采样点云比基于KNN的结果好得多。由于在上采样中不可避免地放大噪声，因此在我们简单但有效的离群值去除的帮助下，获得了具有更少噪声和伪影的更干净的上采样点云，如图9所示。由于所提出的迭代细化模块中的迭代次数是我们的方法中的超参数，因此我们通过改变迭代次数来测量性能，以验证我们对参数的选择，如表7所示。从表中我们可以看到，随着ResNet迭代次数的增加，性能提升饱和。因此，为了平衡计算成本和准确性，我们将所有实验的迭代次数固定为2（参见表7）。我们还分析了它的复杂性，使用参数和理论计算成本（FLOPS）。为了展示我们的发现，我们将比较结果汇总在表8中。分析表明，我们的方法具有可比的复杂性，以前的作品，同时实现最佳性能的准确性。R.- W. Li等人图形模型126（2023）1011738表7用L1 Cham fer距离×10 3评价椅类成绩 当改变 的 number 的 迭代 我们的迭代几何细化模块。ResNet的迭代CD18.326 8.265 8.264表8通过参数测量的复杂性比较结果（参数）理论计算成本（FLOPS）。 同时实现最佳性能，倒角距离和F分数，我们的。方法参数FLOPSFoldingNet [18] 2.30M 27.58GPCN [26] 5.04M 15.25GGRNet [32] 73.15M 40.44GCRN [28] 5.00M 8.41G我们的7.12M 20.65G表9KITTI激光雷达扫描汽车的定量比较结果数据集。最好用粗体，第二好用下划线。方法保真度MMD一致性多氯化萘0.0145 0.01372017年12月31日10.01490.0125 0.00892009年12月31日我国的见图12。ShapeNet上的完成结果。每列从左到右为：输入部分点云，PCN [26]，MSN[27]，GRNet [32]，CRN [28]，NSFA [53]的结果，我们的，和地面的真理（GT）。见图10。 KITTI的完成结果比较与GRNET [32]，CRN [28]，NSFA [53].完成的点云下的每个值都是保真度误差，这表明我们的方法在比较的方法中实现了最低的保真度误差见图11。左边的KITTI点云是通过累积多个帧中的点而产生的，并且是可视化的。并以其中一帧为输入，分别用基线和本文的方法对右边的点云进行推理。我们从两个不同的视点进行可视化，每行显示来自不同视点的可视化结果。我们可以清楚地看到，我们完成的结果在保真度和视觉上更逼真方面优于基线4.6. KITTI数据集为了评估我们的方法的泛化能力，我们将我们的方法应用于KITTI汽车数据集，该数据集是通过真实世界的Li-DAR扫描获得的由于KITTI汽车数据集中没有地面实况点云，因此使用Fidelity、MMD和Consideration进行定量评估[26]。特别是，我们评估了我们的方法与最先进的（SOTA）点云完成方法（包括GRNet [32]，CRN [28]和NSFA [53]）的完成结果。如表9所示，我们的方法在保留Fidelity测量的几何细节方面表现出卓越的性能，与GRNet相比，误差减少了41.6%， 是在此指标上表现最好的现有方法。保真度测量完成的点云与原始输入的匹配程度以及它表示丢失数据的真实几何和结构的程度。鉴于GRNet偏差和低方差，这意味着他们的结果可能会不断过度平滑和嘈杂。为了更好地理解每种方法的特征，我们还提供了与GRNet，CRN和NSFA进行视觉比较的示例，如图10所示。据观察，我们的方法的结果始终类似于汽车的形状，而其他方法的结果是嘈杂的，失去了细节，这使得他们完成的点云视觉上无法识别，如果他们是汽车或没有。我们还可以看到，我们的方法比其他方法更准确地保留了输入部分点云的细节，这证实了我们在保真度评估中的低误差。因为图中的输入点云。 10是非常稀疏的，另一个可视化的例子也已提供图。十一岁 左边的KITTI点云是通过累积多个帧中的点而产生的，并且是可视化的。并以其中一帧为输入，对右边的完整点云进行推理我们的基线和我们的方法。我们从两个不同的视点进行可视化，每行显示来自不同视点的可视化结果。我们可以清楚地看到，我们完成的结果在保真度上优于基线，并且在视觉上更加逼真。4.7. 局限性和今后的工作虽然我们的结果比其他人在一般情况下更好，偶尔我们观察到，有些结果是不完美的。我们的方法在恢复薄结构方面优于其他方法，但是完成的薄结构可能是噪声的。 例如图12，我们观察到，安装在飞机机翼上的枪支对所有完成和恢复的方法都具有挑战性。 其他方法要么在完成结果中错过枪（例如，PCN、MSN和GRNet）或产生高噪声完井（例如，CRN，NSFA）。我们的方法是能够恢复安装在机翼上的四门枪，但有一些嘈杂的点，这是不完美的。我们将致力于改善我们的框架，以便在未来更好地处理小型结构的恢复5. 结论为了解决具有挑战性的密集3D点云完成问题，我们提出了一种新的框架，执行低分辨率恢复R.- W. Li等人图形模型126（2023）1011739首先，接着是逐块噪声感知上采样。我们的方法不是直接解码或回归一个完整和密集的点云，这往往会丢失几何细节并增加噪声，而是通过解决几个更容易的子问题来实现高保真的密集点云完成，包括解码一个完整但稀疏的形状，迭代细化，通过对称化保留可信信息，以及逐块上采样。我们的方法的每个组件的有效性在消融研究中得到验证。 从比较评估中，可以观察到，我们的方法优于最新的方法，并建立了一个新的国家的最先进的点云完成。CRediT作者贡献声明李仁武概念化、方法论、形式分析、写作王波：写作高林：编审张凌霄：写作李春鹏：监督，资金收购，写作竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系