基于体素网络的高质量点云形状补全算法

13189S基于体素网络的边缘生成形状补全算法王晓刚Marcelo H Ang Jr Gim Hee Lee新加坡xiaogangw@u.nus.edu{mpeangh，gimhee.lee} @ nus.edu.sg摘要深度学习技术已经在点云完成方面取得了显著的改进，目的是从部分输入中完成缺失的对象形状。然而，大多数现有的方法无法恢复真实的结构，由于过度平滑的细粒度的细节。在本文中，我们开发了一个基于体素的网络点云完成利用边缘生成（VE-PCN）。我们首先将点云嵌入到规则的体素网格中，然后在幻觉形状边缘的帮助下生成完整的对象。这种解耦架构与多尺度网格特征学习一起能够生成更真实的表面上细节。我们在公开的完井数据集上评估了我们的模型，并表明它在定量和定性上优于现有的最先进的方法 。 我 们 的 源 代 码 可 在 https ： //www.example.comxiaogangw/VE-PCN获得。github.com/1. 介绍三维形状的自动完成是计算机视觉和机器人感知中的一个基本问题。其目的是从稀疏和不完整的观测结果（例如，由RGB-D或LiDAR传感器收集的原始数据）重建完整的对象拓扑。由于输入点云的不完整性和不规则性给下游任务（例如3D对象分类[25，26，39，16]）带来了困难，因此分段[25，26，17]和检测[3，24，44，49]，几点提出了点云补全方法[46，31，36，20，41，28]以提高点云的质量。虽然现有的作品已经取得了令人印象深刻的结果，但它们仅限于低保真度的输出。在这项工作中，我们专注于从被遮挡的输入生成高质量的3D对象。许多方法已经尝试从不同的表示实现形状完成，例如网格[9，34]、隐式场[4，18，21，30]和点云[46，31，32]。36、20、41、28、2、48、14、37、38、40、43、12、10]。网格由一组顶点和边表示对象形状。尽管它们具有重建复杂对象结构的能力，但是由于训练期间的时间限制，难以改变形状拓扑。输入边沿输出GT图1：我们提出了一个边缘引导和基于体素的点云完成网络，用于从不完整的输入中重建完整的点。在半透明边缘的指导下，借助网格结构，我们能够生成薄结构的细粒度细节。到固定顶点连接模式。隐式字段通过符号距离函数（SDF）[23]表示形状，其更灵活地实现任意分辨率。然而，学习一个准确的SDF需要对单个对象进行大量的采样.相比之下，点云是简洁的3D形状表示，并且更容易在训练期间添加新点。尽管如此，先前的点云形状完成工作[46，31]在合成表面细节方面仍在挣扎，因为点云是无序的并且难以控制。为了缓解这个问题，最近的作品[20，36，43]提出在部分输入和解码器之间添加跳过连接，并且已经示出了对对象细节的更好的重建。尽管如此，复杂拓扑的结果仍然较差，因为在缺失部分上生成了不切实际的点。鉴于这些限制，我们提出了一个基于体素的形状补全网络，利用生成的对象的边缘，以恢复更细粒度的细节。体素表示也已用于GRNet [43]，其中提出网格化和网格化反转层用于无序点和3D网格之间的转换。然而，它们的体素表示仅用于重建低-13190××××分辨率形状和额外的多层感知器（MLP）[25]被应用于更密集的点集生成。为了以端到端的方式完全集成体素表示以完成，我们通过预测指示单元格为空或被占用的二进制分类得分和估计单元格中的点数的概率密度值来为每个网格单元格生成点该操作在任何地方都是可微的，因此使得更容易根据各种形状拓扑生成精确的坐标。此外，端到端网格策略允许我们近似对象形状，而不会遇到内存问题，因为我们可以为每个网格单元采样任意数量的点。以这种方式，我们能够使用较低的体素分辨率，例如323232相比，在GRNet的64 64 64，并同时实现superior结果。此外，我们引入了一个多尺度网格变换模块，以学习不同分辨率的关键对象形状，而GRNet只考虑全分辨率输入。尽管体素表示被示出为在计算局部特征上是优越的[43，11，35]，但是为各种对象生成任意薄结构是具有因此，我们进一步引入边缘生成器来增强我们的网络。由于对象结构由其边缘或轮廓良好地表示，因此在生成完整的3D形状时并入边缘信息边缘生成和点云完成的几个例子如图1所示。我们在合成和真实世界的数据集上评估我们的模型。定性和定量的实验进行比较，对现有的国家的最先进的计划。我们的主要贡献如下：• 我们设计了一个多尺度的基于体素的网络生成erate细粒度的细节点云完成。• 我们将对象结构信息的形状完成利用边缘生成。• 我们在不同的点云完成数据集上实现了最先进的性能。2. 相关工作在本节中，我们将讨论3D学习在点云分析和完成方面的最新发展2.1. 点云分析开创性的工作PointNet [25]提出了一种基于MLP的网络，用于形状分类和分割。他们通过对点特征应用最大池化操作来成功地学习全局形状。但是，它们忽略了局部区域内的点关系。鉴于此限制，PointNet++[26]提出了一种用于特征提取的分层点集特征学习模块牵引除了上述基于MLP的方法之外，一些作品[17，32]在点云的图像处理中采用了基于卷积的操作。虽然它们在分类和分割方面取得了令人印象深刻的性能因此，由于噪声和不完整性，它们不适用于真实世界的数据。这促使我们设计点完成网络来提高下游任务的性能。2.2. 点云完成我们大致将点云完成分为三类：全监督方法、半监督方法和自监督方法。大多数作品[46，31，36，43，22]遵循完全监督的方式。PCN [46]提出了一种用于点云完成的编码器-解码器架构随后的工作TopNet [31]与PCN共享相同的编码器架构，并提出了一种树结构解码器，通过几个树枝来表示不同的对象部分。虽然PCN和TopNet在恢复物体形状方面取得了良好的性能，但它们无法合成形状细节。鉴于此，MSN [20]和CRN [36]提出保留来自部分输入的对象的细节，并细化缺失区域的几何结构。后续工作GRNet [43]提出了一个类似的网格网络用于密集点重建。我们与他们的不同之处如下：1）它们使用可微网格化和网格化逆操作来进行点和网格之间的转换，而我们的方法采用不同的转换方法，并且还提出了边缘生成流水线以提高完成性能。我们还考虑了形状完成过程中不同尺度的局部特征（§3.2）。2)GRNet只能通过其体素化策略获得粗略的输出，并通过MLP生成密集的结果。相反，我们的方法是能够直接生成密集和完整的点，在一个端到端的方式。另一项工作SK- PCN [22]提出了类似的思想，采用骨架生成来帮助形状完成。然而，我们的边缘与它们的中骨架不同。它们的中骨架集中在整体形状上，而我们的边缘集中在高频分量（例如薄结构）上，这在现有方法中难以生成。此外，SK-PCN生成的完整点，通过学习位移从骨架点的局部调整策略，而我们合成的完整点，通过注入的边缘特征到完成解码器与多尺度体素化策略。一些作品[10，2，38]提出了半监督或自监督方法来生成完整点，而不是使用完全完整的地面实况来训练完成模型。Gu等人。 [10]提出了一种弱监督完备化方法，该方法估计3D正则13191网格变换边生成器128X8364X16332X323边边编码器解卷积解卷积Conv3DConv3D32X323输入点形状编码器优化单元格优化单元格优化单元格优化单元格优化单元格128X43128X8364X16332X323网格转换1024128X2362X323128X4364X83形状完成64X163输出点点产生器点产生器F∈F}{残余块图2：我们的网络架构概述。给定一个不完整的点云，我们首先通过左边的网格转换模块右上分支示出了边缘生成器的架构3该算法从网格特征P0∈ R32×32重构边缘。右下分支表示形状完成部分，其包括形状编码器、细化模块和形状解码器。形状编码器将网格特征映射到潜在嵌入zR 1024，潜在嵌入z R1024用于将来自不同尺度的特征投影到细化单元的输出。形状解码器通过采样策略预测完整的点云。形状和6-DoF姿态同时从多个部分观察。它们通过优化多视图约束来推断丢失的区域。为了进一步缓解标记问题，Chen等人。 [2]提出了一种通过对抗训练的不成对点云完成方法。他们使用生成对抗网络（GAN）[8]来重建真实世界部分扫描的完整对象。尽管它们的性能令人印象深刻，但它们需要在潜在嵌入上预训练两个自动编码器和另一个GAN。Wang等人[38]提出了一种用于点云完成的自监督方法，该方法由两种自训练策略组成，当地面真实训练数据不可用时。虽然我们以监督的方式训练我们的模型，但我们也对看不见的类别进行评估，以显示我们的泛化能力。3. 我们的方法3.1. 概述我们的目标是重建完整的和高质量的3D对象P ′给定稀疏和损坏的点云P。图2显示了我们的流水线。大多数先前的作品[46，36，20]通过基于MLP的神经网络以从粗到细的方式处理点集，并且正在努力重建对象细节，这主要是由于两个原因：1）从全局嵌入创建的粗输出丢失了3D对象的高频信息;2）第二级用作点上采样功能，其也不能合成复杂拓扑。 到为了解决这些问题，我们首先设计了一个边缘生成器来生成物体的边缘。这些生成的编码对象的高频信息的边然后用于帮助完成网络生成对象细节。鉴于基于体素的技术[43，11，35]在局部特征嵌入上的成功，我们进一步建议采用网格表示进行边缘生成和形状完成。我们考虑多尺度体素特征来增强形状结构的学习。总的来说，我们的点完成网络由三个阶段组成1) 将 原 始 点 投 影 到 体 素 表 示 中 的 多 尺 度 网 格Transformer，2）获得形状边缘的对象边缘生成器，以及3）生成完整点集的形状完成网络。详细的网络体系结构在我们的补充资料中显示。3.2. 电网改造图3给出了图2左侧所示的网格转换模块的详细说明。 的网格Transformer用于将部分点投影到用于边缘生成器和形状完成网络的3D网格中。我们通过多尺度网格变换模块学习一组网格特征Pi（i=0，1，2，3，4），而不是直接获得导致结构信息丢失的二进制表示[5]。具体地，我们首先将原始部分点云下采样为另外四个稀疏点集，下采样率为2。然后我们计算所有点坐标与其八个邻近网格13192重塑+ Conv+BN+ReLU+ConvF××FFFFeF× ×eFF××333∈2048例患者1024例患者512例患者256例患者128例患者3.3.3点产生器点生成器旨在从网格表示（例如，P16和P32）生成点云。我们假设e e3X2048X8 3X1024X8 3X512X8体素内的局部形状可以通过表面面片来近似[45，9]，并且因此采用折叠机制来重复网格单元内的点特征，以获得大量的点特征fg。因此，我们通过从每个网格单元的fg预测Pc和δc来为每个体素生成多个点，而不是受[19]启发为每个单元生成一个点[43]pc是非零分类指示单元格是被占用还是为空的分数δc为32X323 64X16364X83128X43128X23密度值指示给定单元中的点的数量我们预测每个网格单元的剩余偏移量，并通过添加获得最终的完整点云P图3：网格转换架构的图示。FPS是指最远点采样[26]。顶点这导致张量的大小为3N8，其中N是点数。随后，使用具有批归一化[15]和它们之间的ReLU激活的两个3D卷积来获得五个网格特征Pi。这五个特征表示来自不同形状的形状特征对应小区中心上的偏移。3.4.形状完成在图2的右下方示出了形状补全网络，其包括形状编码器、迭代细化模块和点生成器。形状补全的输入是部分网格特征P1和部分网格特征P2。边缘表示P16和P32。完成合成-点分辨率。取所有点的平均值位于与每网格表示相同的网格中的网格五个网格特征P1的大小分别为32 323、64163、641616 17 17 18 18 19193 3 3sis以较小的分辨率2开始，格网要素在自适应实例或非的帮助下迭代优化。malization（AdaIN）[19].64×8、128×4和128×2。3.3. 边缘发生器图2的右上角示出了边缘生成器的编码器-解码器结构。通过轻量算法[1]获得地面真实边缘。3.3.1边缘编码器我们通过两个3D卷积块在边缘编码器中提取高维体素特征Ef，所述两个3D卷积块将P0下采样两倍。每个卷积块包括3.4.1形状编码器形状编码器用于从部分特征中提取全局嵌入z ∈R1024。 给定最高分辨率空间特征P0∈ R32×323，给出了四个局部网格特征。通过四个3D卷积块来获得结果Ci。特征通道的数量被加倍，并且空间大小被下采样2- 3的因子，因为i在不同块中从0增加到3这四个卷积块由两个3D卷积和一个批归一化和一个最大池化层 z ∈ R1024通过下采样计算-一个3D卷积，实例归一化（IN）[33]和ReLU。鉴于残差架构[13]在深度学习中的成功，我们通过三个残差块来细化边缘特征Ef每个块由两个3 3 3卷积层和IN组成。在第一个IN层之后添加ReLU激活。3.3.2边缘解码器边缘解码器包括两个去卷积层，随后是一个IN和ReLU激活。它每次将特征尺寸放大2倍。另一卷积用于获得每个网格单元的二进制预测分数在形状复杂的边缘解码器的输出。分 模 块 是 两 个 网 格 特 征 ， 即 ，P16∈R1×16 和P32∈R1×32。通过另一个卷积块对特征C3R2×512进行整形操作。该块通过在3D卷积中将填充值设置为0来对空间大小进行下采样3.4.2优化模块细化模块的目的是在形状完成过程中细化和上采样网格特征。每个细化单元都以特定的空间大小运行，并包括一系列上采样、3D卷积、实例归一化、仿射特征变换和ReLU激活。每个细化单元的输入x包括三个元素：来自前一层的输出、从网格变换模块获得的部分点特征PiFPSFPSFPSFPS点残差计算13193σ（x）^SCDP^CDLN5+M））5D323CΣΣC1https://completion3d.stanford.edu/resultsDoLL××Do（六）L公元前以及从边缘生成器计算的二进制边缘特征它们在通道维度上连接。与仅考虑解码器第一层中的全局信息的GRNet [43]不同，我们通过AdaIN将全局嵌入纳入解码器的所有后续层。我们首先通过一个全连接层从全局嵌入z计算输入x的通道平均值μ（y）和方差σ（y）然后，输入特征x被亲-由 AdaIN （x， y）= σ（ y）（ x−µ （ x ））+ µ（y）引入。μ（x）和σ（x）是输入的通道平均值和方差。和Lo=max（dist（p，c o）−√3，0）。（五）cp∈P′是单元中心，δc和δc分别是预测的网格我们还计算E（δ，δ（）和E用于边缘重建。最后，我们的网络的总损耗由下式给出ESP E把x。级联细化模块的总数取决于输出分辨率，在我们的工作中，对于32 32 32的分辨率为5。 在边缘生成中，我们使用相同的点生成器，使用不同的参数，从网格特征3.5. 优化由于我们的边缘生成器和点补全网络都是可区分的，因此我们的整个基于体素的网络可以以端到端的方式进行优化。整体约束包括完整输出和边缘结果的损失。我们在输出点云P'和地面实况点Q上计算倒角距离（CD）[6]及其锐化版本[19]，如下所示：LCD=1Σd（p，Q）2+1Σd（q， P′）2（1）Lall=λ1（LCD+LCD）+λ2LCD+λ3（LBCE+LBCE）+λ4（Ld（δ，δε）+LE（δ，δε））+λ5（Lo+LE），其中λi是平衡不同损失项的权重4. 实验4.1. 数据集我们首先在广泛使用的3D点云完成基准上评估我们的方法，例如Comple-tion 3D [31]和PCN数据集[46]，它们是从ShapeNet数据集衍生的大规模数据集。我们遵循Compeltion3D和PCN数据集中的训练、验证和测试分割通过将来自部分视图的2.5D深度图像反向投影到3D空间中来获得不完整点，并且通过将来自部分视图的2.5D深度图像反向投影到3D空间中来获得不完整点。Np∈P′L=1（Σd（p，Q5p∈P′Mq∈Q11（Σd（q，P′51q∈Q（二）从网格模型中均匀地采样全部点。这两个数据集包含八个类别：飞机、橱柜、汽车、椅子、灯具、沙发、桌子、器皿。再-直接获得Completion3D基准测试的结果其中N和M分别是输出和地面实况点的数量。另外，计算所生成的边缘点与真实边缘之间的倒角距离E我们还计算预测的完成体素与地面实况网格之间的二进制交叉熵（BCE）损失为：L=−1p^·log（p）+（1−p^）·log（1−p），从基准1和PCN数据集的结果是如补充材料所示。为了进一步测试更多类别的泛化能力和重建更复杂结构的能力，我们创建了一个由ShapeNet数据集的12个类别组成的新数据集，而不是Completion3D和PCN数据集中的8个类别。这些物品包括包、帽子、汽车、椅子、耳机、吉他、台灯、笔记本电脑、摩托车、马克杯、滑板和桌子。有12,137个训练数据公元前323c c cCC（三）验证数据1,870条，测试数据2,874条。地面实况点云是通过从3D网格均匀采样2，048个点获得的。而不是创建其中Pc和Pc是地面真实网格概率，并且预测的网格概率。同样，E表示边缘损失。由于我们的最终输出是每个网格中心的偏移量，因此我们计算密度估计和局部性质量[19]以增强对网格单元的约束密度损失和局部性测量由均方误差给出：L（δ，δ）=1Σ（δ−δ^）2（4）C13194在PCN数据集之后的部分视图中，我们探索了其他广泛使用的方法[14，28，27]以随机选择视点作为中心并从完整数据中移除一定半径内的点以获得部分输入。这是为了展示我们的算法在另一种类型的不完全性上的推广能力和鲁棒性。我们还测试了我们的数据集和真实世界的KITTI数据集[7]的不可见类别，以验证我们的方法的鲁棒性13195方法每个点的平均倒角距离（10−4）Avg飞机内阁车椅子灯沙发表容器[45]第四十五话19.0712.8323.0114.8825.6921.7921.3120.7111.51PCN[46]18.229.7922.7012.4325.1422.7220.2620.2711.73[47]第四十七话18.186.8821.1815.7822.5418.7828.3919.9611.16[9]第九章17.7710.3623.4013.4024.1620.2420.8217.5211.62TopNet [31]14.257.3218.7712.8819.8214.6016.2914.898.82[第40话]11.904.8918.8610.1715.2212.3414.8711.846.48SA-Net[41]11.225.2714.457.7813.6713.5314.2211.758.84GRNet[43]10.646.1316.908.2712.2310.2214.9310.085.86PMP-Net[42]9.233.9914.708.5510.219.2712.438.515.77CRN[36]9.213.3813.178.3110.6210.0012.869.165.80SCRN[38]9.133.3512.817.789.8810.1212.959.776.10VE-PCN8.103.8312.747.868.667.2411.477.884.75表1：Completion3D基准的八个类别对象上的点云完成的定量比较类别每个点的平均倒角距离（10−4）PCN [46]PCN-FC [46]CDA [19]TopNet [31]CRN [36]GRNet [43]DPC [48]MSN [20]VE-PCN袋11.60911.72215.85413.5716.2536.0484.5436.1183.466帽9.45111.08914.43713.1916.7096.3343.2184.9183.098车7.2547.6678.3448.4194.7765.7043.7148.2143.480椅子4.6755.1656.4466.0263.1164.2862.8112.6662.476耳机10.82110.43714.02611.9216.1175.3214.9918.3093.239吉他0.9961.1341.2891.4030.6901.3090.8690.6410.750灯9.42110.59212.22510.6195.6524.4435.8095.6183.226笔记本3.2363.4643.6533.9412.5343.7451.8541.6392.197摩托车6.0056.3986.7067.0333.4344.2374.0814.6922.717马克杯9.52210.78811.87711.7066.7318.0226.8025.4074.938滑板3.5043.8584.4644.3212.2882.8351.8042.4311.780表5.9906.7898.0106.9733.8054.3253.9463.1992.798平均5.7716.4207.5776.8893.6974.2613.5703.5502.669表2：我们数据集的12个可见类别上的点云完成的定量比较输入PCN TopNet GRNet VE-PCN GT图4：Completion3D数据集上的定性结果。4.2. 实现细节我们根据经验将损失项的权重设置为λ1=1e4，λ2=300 ， λ3=100 ， λ4=1e10 ， λ5=0 。 3 对 于Completion3D数据集和我们的数据集。对于PCN数据集，λ2=λ5=0。 我们在一个TITANXGPU上以0.0007的学习率和32的批量大小训练模型。4.3. Completion3D数据集我们将定量结果与表1中的现有点云完成方法进行比较，其中我们的方法VE-PCN在所有类别的平均倒角距离方面实现了最佳性能与现有的国家的最先进的方法相比，我们取得了更好的结果，在六个类别，这验证了我们的方法的有效性。图4中对象细节的优异性能证明了我们的边缘引导策略和体素化技术的优越性。4.4. 我们的数据集已查看类别。定性和定量结果分别见图5和表2。我们在我们的数据集上使用他们发布的代码重新训练其他模型。输出点的数量为2，048，并且在训练期间看到所有对象类别。除CD外，我们还采用Fr´echet点云距离（FPD）[29]作为另一个评估指标。如图5所示，以前的方法在重建丢失部分或细粒度对象细节方面表现出较差的性能，而我们的模型syn-tone-tone-13196输入PCNPCN-FCTopNetCRNGRNet DPCMSNVE-PCN GT图5：在我们的数据集的可见类别上点云完成的定性比较通过精确的曲面调整更逼真的对象形状例如，其他方法无法重建灯罩的对象细节（最后第二行）。相比之下，我们的方法是能够保留灯的细节，在部分输入，并同时产生的缺失区域的细节。其他例子，如椅子和桌子的细腿进一步验证了这一点。表2中所示的定量结果验证了我们在坐标逼近和分布估计中获得了优异的分数我们将CD误差降低了约24。8%，与第二好的结果相比，并且与其他方法相比，在几乎所有类别上实现最佳性能。总体而言，优越的定性和定量性能验证了我们的边缘生成和体素化策略的点云完成的有效性。如表3所示，我们还获得了不同分辨率的更好结果。这表明，我们的边缘引导网络和网格表示对不同种类的完成场景更鲁棒。更多结果见补充材料。看不见的分类。表4显示了看不见的类别的结果，其中包括飞机，刀，手枪和火箭。我们直接使用在所看到的类别上训练的模型进行测试。与其他最先进的作品相比，我们的方法实现了更低的CD错误，并且合成了高保真的对象形状，即使我们的网络没有在这些类别上进行训练。我们得到18。与第二好的方法GRNet [43]相比，相对提高了4%，这表明我们的方法具有更好的泛化能力。4.5. KITTI数据集我们进一步比较了我们的方法与真实世界KITTI [7]数据集上其他方法的鲁棒性。我们直接采用在我们的数据集的汽车类别上训练的模型进行测试，因为没有基本事实。图6：KITTI数据集汽车生成的定性比较。凯蒂我们使用保真度距离作为[46，43，48]之后的评估度量，其测量输入在输出中的保留程度。表5表明，我们的方法能够重建更真实的汽车，尽管示例是嘈杂的和严重的遮挡。我们的模型没有边缘生成的结果是0.0279，这比我们的整个管道更差这验证了我们的边缘指导对现实世界的数据集是有益的。我们还测量了相同Velodyne序列中相邻帧之间的配准误差[46]。图6中的示例示出了当与来自原始输入的旋转和平移误差相比时，我们的方法可以通过完成点来更多结果在补充材料中。4.6. 边生成我们将我们的基于体素的方法与经典的基于MLP的方法PCN [46]进行了点云边缘生成比较，结果如图7所示。与PCN的结果相比，我们的边缘更干净，更准确，并且我们的输出边缘覆盖对象的所有薄结构，而PCN的结果过于平滑。这表明，网格表示是可取的，为重新-13197决议每个点的平均倒角距离（10−4）PCN [46]PCN-FC [46]CDA [19]TopNet [31]CRN [36]GRNet [43]DPC [48]MSN [20]VE-PCN20485.7716.4207.5776.8893.6974.2613.5703.5502.66940963.8214.4726.7214.5882.6712.9562.9433.4092.27581923.2643.7956.1004.3192.3422.4232.9203.8081.880163842.8643.2515.9343.5131.9532.0112.4623.5881.620表3：我们数据集不同分辨率的点云完成的定量比较类别每个点的平均倒角距离（10−4）PCN [46]PCN-FC [46]CDA [19]TopNet [31]CRN [36]GRNet [43]DPC [48]MSN [20]VE-PCN飞机26.41828.51833.55017.67511.0474.52610.3019.9063.382刀2.9983.1105.2353.4952.0151.7003.5182.6041.603手枪12.16811.13127.70111.0386.4283.4826.5055.5244.884火箭10.03510.85316.0298.0754.7501.9995.3784.9921.574平均20.76422.20827.82114.448.9483.8928.6908.1543.176表4：在我们的数据集的看不见的类别上的点云完成的定量比较方法PCN [46]PCN-FC [46]CDA [19]TopNet [31]CRN [36]GRNet [43]DPC [48]MSN [20]VE-PCN保真度0.04360.04070.04280.04380.03370.02980.03470.03450.0258表5：保真度评估，测量KITTI数据集上每个输入点与其输出中最近邻居之间的平均距离（越输入PCN VE-PCN GT16.422 11.25515.104 8.128图7：对象边缘生成与PCN的比较底部值是每点的CD误差（10−4）。薄结构的构造更多结果显示在补充材料。4.7. 消融研究本节探讨通过删除或更换特定组件对不同网络模块的影响。定量结果见表6。消融实验的训练在我们创建的ShapeNet数据集上进行，输出分辨率为2，048。MGT代表我们的多重网格转换模块。DG表示[43]中的可微网格模。我们用DG代替我们的MGT进行比较。我们进一步测试我们的模型没有MGT，其中我们直接馈送从原始点获得的二进制体素化到边缘生成器和形状完成网络。EG是边缘生成器，PE表示从[1]直接计算的部分边缘当使用PE时，我们用PE代替EG。如表6所示，移除我们的MGT（ID：3 vs 5）或使用DG [43]（ID：3对4）。这表明我们的多尺度网格特征学习在边缘生成和形状完成此外，我们通过移除边缘生成器（ID：1 vs3）或用计算的部分边缘（ID：1 vs 3）替换它来获得更差的结果。1对2）。这验证了从我们的边缘发生器幻觉完整的边缘的重要性补充材料中显示了对不同损失的更多烧蚀研究IDMGTDGEGPECD1✓✗✓✗2.6692✓✗✗✓3.5863✓✗✗✗3.6004✗✓✗✗4.7685✗✗✗✗5.792表6：我们数据集的消融研究。结果用每个点的平均CD（10−4）表示。5. 结论我们提出了一个基于体素的网络，点云completion利用边缘生成。为了重建具有细粒度细节的真实感结构，我们提出了在幻觉边缘的指导下生成对象边缘和完整点集。此外，我们将无序点集转换为网格表示，以支持边缘生成和点云重构。我们的多尺度网格特征学习进一步提高了形状完成性能，并且我们在不同的点云完成数据集上获得了优异的致谢。这项工作得到了新加坡MoE 2级拨款MOE-T2EP 20120 -0011和新加坡总理办公室国家研究基金会的部分支持，该基金会在其CREATE计划下，新加坡-麻省理工学院研究与技术联盟（SMART）未来城市交通（FM）IRG。13198引用[1] Syeda Mariam Ahmed ， Yan Zhi Tan ， Chee MengChew，Ab-dullah Al Mamun，and Fook Seng Wong.散乱三维点云的边缘和角点检测及其在机器人焊接中的应用 。 2018 年 IEEE/RSJ 智 能 机 器 人 和 系 统 国 际 会 议（IROS），第7350IEEE，2018年。[2] Xuelin Chen，Baoquan Chen，and Niloy J Mitra.使用对抗训练在真实扫描上完成不成对点云在2020年国际学习代表会议（ICLR）的会议记录中[3] Xiaozhi Chen，Huimin Ma，Ji Wan，Bo Li，and TianXia.用于自动驾驶的多视角三维物体检测网络。在IEEE计算机视觉和模式识别会议论文集，第1907-1915页，2017年。[4] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和补全。在IEEE/CVF计算机视觉和模式识别会议论文集，第6970-6981页[5] Angela Dai ， Charles Ruzhongtai Qi ， and MatthiasNießner.使用3d编码器预测器cnns和形状合成的形状完成。在IEEE计算机视觉和模式识别会议论文集，第5868- 5877页[6] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在IEEE计算机视觉和模式识别会议论文集，第605-613页[7] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：Kitti数据集。The InternationalJournal of Robotics Research ，32（11）：1231-1237，2013.[8] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672[9] 放 大 图 片 作 者 ： David G. Kim ， Bryan Russell ，andMathieuAubry. AtlasNet：一个学习3D表面生成的方法。IEEE Conf.计算机视觉和模式识别（CVPR），2018。[10] Jiayuan Gu ，Wei-Chiu Ma， Sivabalan Manivasagam ，Wenyuan Zeng，Zihao Wang，Yuwen Xiong，Hao Su，and Raquel Urtasun.在野外弱监督的3d形状完成。在计算机视觉-ECCV 2020中：第16届欧洲会议，英国格拉斯哥，2020年8月23日至28日，Proceedings，第V部分16，第283-299页。Springer，2020年。[11] Xiaoguang Han ， Zhen Li ， Haibin Huang ， EvangelosKalogerakis，and Yizhou Yu.使用深度神经网络进行全局结构和局部几何推断的高分辨率形状完成。在IEEE国际计算机视觉会议论文集，第85-93页，2017年。[12] Zhizhong Han ， Xiyang Wang ， Yu-Shen Liu ， andMatthias Zwicker.多角度点云阀：通过联合自重构和一半对一半预测从多个角度对3D点云进行无监督特征学习。在2019年IEEE/CVF计算机视觉国际会议（ICCV）上，第10441-10450页。IEEE，2019。[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[14] 黄子天，余一宽，徐佳文，倪峰，乐欣怡。Pf-net：用于3D点云完成的点分形网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第7662-7670页[15] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。[16] Jiaxin Li，Ben M Chen，and Gim Hee Lee. So-net：用于点云分析的自组织网络。在IEEE计算机视觉和模式识别会议论文集，第9397-9406页，2018年[17] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：x变换点上的卷积神经信息处理系统的进展，第820-830页，2018年[18] Yiyi Liao，Simon Donne，and Andreas Geiger.深行军立方体：学习明确的表面表示。在IEEE计算机视觉和模式识别会议的论文集，第2916-2925页[19] Isaak Lim，Moritz Ibing，and Leif Kobbelt.使用自适应实例归一化的点云卷积解码器。在Computer GraphicsForum，第38卷，第99- 99页108. Wiley在线图书馆，2019年。[20] 刘明华，卢胜，杨胜，邵景，胡世民.用于密集点云完成的变形和采样网络。在AAAI人工智能会议论文集，第34卷，第11596-11603页，2020年。[21] Lars Mescheder，Michael Oechsle，Michael Niemeyer，Se- bastian Nowozin ， and Andreas Geiger.Occupancynetworks：Learning 3d reconstruction in function space.在IEEE计算机视觉和模式识别会议论文集，第4460-4470页，2019年[22] Yinyu Nie，Yiqun Lin，Xiaoguang Han，Shihui Guo，Jian Chang，Shuguang Cui，and Jian.J Zhang.骨架桥接点完成：从全局推断到局部调整。In H. Larochelle，M.兰扎托河哈德塞尔M. F.巴尔坎，以及H. Lin ， 编 辑 ， Advances in Neural InformationProcessing Systems，第33卷，第16119-16130页