PF-Net：用于三维点云补全的基于学习的点分形网络

7662PF-Net：用于三维点云补全的黄子田1、余奕宽1、2、徐佳文1、冯妮2、乐欣怡1、1上海交通大学2商汤科技∗lexinyi@sjtu.edu.cn摘要在 本 文 中 ， 我 们 提 出 了 一 个 点 分 形 网 络 （ PF-Net），一种新的基于学习的方法，精确和高保真的点云完成。与现有的点云补全网络不同，PF-Net从不完整的点云生成点云的整体形状，并且为了成功地完成这一任务，PF-Net通过利用基于特征点的多尺度生成网络来分层估计缺失点云。此外，我们将多阶段完成损失和对抗损失相加，以生成更真实的缺失区域。对抗性损失可以更好地处理预测中的多个模式。我们的实验证明了我们的方法的有效性，几个具有挑战性的点云完成任务。1. 介绍三维视觉是当前的研究热点之一。在各种类型的三维数据描述中，点云由于其数据量小但更精细的呈现能力而被广泛用于三维数据处理[1-3]。真实世界的点云数据通常使用激光扫描仪、立体相机或低成本的RGB-D扫描仪来捕获。但由于遮挡、光线反射、表面材料的透明性以及传感器分辨率和视角的限制，会造成几何信息和语义信息的丢失，从而产生不完整的点云。因此，对不完整的点云数据进行修复是一项重要的工作.由于3D点云是非结构化和无序的，因此用于处理3D数据的大多数基于深度学习的方法将点云转换为图像集合（例如，意见）本文的工作是由上海市自然科学基金（18ZR1420100）和国家自然科学基金（61703274）共同资助图1.我们的PF-Net将不完整的点云作为输入，并直接预测缺失的点云。多尺度预测的显示（由蓝色，红色和黄色表示）是由点金字塔解码器（PPD）不同深度的层组成的低分辨率预测用作中心点以生成高分辨率预测，从而导致从粗到细的预测。或3D数据的常规的基于体素的表示。然而，多视图和基于体素的表示[4-由于PointNet [10]的出现，基于学习的架构能够直接对点云数据进行操作。L-GAN [12]通过利用编码器-解码器框架引入了第一个基于深度学习的点云完成PCN [11]结合了L-GAN [12]和FoldingNet [13]的优点，后者专门用于修复不完整的点云。最近，RL-GAN-Net [14]提出了一种强化学习代理控制的GAN，用于减少点云计算的预测时间。以往的完成工作都是以不完整的点云为输入，以输出完整的整体模型为目标。他们更注重学习一个属/范畴的一般特征，而不是一个特定对象的局部细节。因此，它们可能会改变已知点的位置，并遇到类属失真[13]，这会导致噪声和详细的几何损失。例如，在Fig.6（3），重建一把椅子，在阿斯塔纳-7663OUS的作品缺少了现有的横杆（椅子下），也没有产生中空的靠背。原因可能是自动编码器倾向于在预测中平均多个注意到，大多数椅子在训练集已完全填补回没有横杆，如图所示1，以前的网络，因此更有可能产生正常的椅子与全填充背部以外的“特殊”椅子与中空的背部和横杆在图。第六（三）条。在这项工作中，我们提出了点分形网络（PF-Net）修复不完整的点云。与现有的自动编码器架构不同，PF-Net的主要特点可以总结如下：(1) 为了保持原始部分的空间布局，我们将部分点云作为输入，只输出点云的缺失部分而不是整个对象。这种架构有两个好处：首先，它保留了修复后原始点云的几何特征.其次，它有助于网络专注于感知缺失部分的位置和结构。这种预测的主要困难在于部分已知点和待推点仅在语义层次上相关，而在空间排列上完全不同。(2) 为了更好地提取特定局部点云的特征，本文首先提出了一种新的多分辨率编码器（MRE），利用一种新的特征提取器组合多层感知（CMLP）从局部点云及其低分辨率特征点中提取多层特征这些多尺度特征既包含局部特征又包含全局特征，既包含低级特征又包含高级特征，增强了网络提取语义和几何信息的能力。(3) 为了解决类失真问题[13]并生成细粒度的缺失区域，我们设计了一个点金字塔解码器（PPD）来分层生成缺失点PPD是一种基于特征点的多尺度生成网络。PPD将从不同深度的层预测主要点、次要点和详细点。主点和次点将尝试匹配其对应的特征点，并作为骨架中心点，以将整体几何信息传播到最终的细节点。图1可视化了这种分层预测的过程，在生成高质量的缺失区域点云和恢复原始细节形状方面表现出优异的此外，我们提出了一个多阶段完成损失，以指导我们的方法的预测。多阶段完成损失有助于网络更多地关注特征点。为了进一步减轻Auto-Encoder框架引起的失真问题，受著名的2D上下文编码器[15]的启发，我们通过联合训练我们的PF-Net来减少损失函数中的这种负担，对抗性损失优化了我们的网络，使其能够选择特定的点云从多种模式。2. 相关工作2.1. 形状补全和深度学习目前，三维形状的完成方法主要是基于三维体素网格和点云。对于基于体素网格的算法，已经开发了诸如 3D-RecGAN [16] 、 3D-Encoder-Predictor Networks（3D-EPN）[17]以及 3D-ED-GAN 和LRCN [18]的然而，基于体素的方法受到其分辨率的限制，因为计算成本随着分辨率的增加而急剧增加。PointNet [10]解决了处理无序点集的问题。因此，可以直接在无序点上进行形状完成任务的算法已经得到了显着的发展[19-23]。L-GAN [12]介绍了点云的第一个深度生成模型。虽然L-GAN [12]能够在一定程度上执行形状完成任务，但其架构并不是主要用于执行形状完成任务，因此性能并不理想。FoldingNet [13]引入了一个名为Folding的新解码操作，作为2D到3D的映射。后来，点完成网络（PCN）[11]提出了第一个基于学习的架构，专注于形状完成任务。PCN [11]应用折叠操作[13]来近似相对光滑的表面并进行形状完成。最近，一种强化学习代理控制的基于GAN的网络（RL-GAN-Net）[14]是为实时点云完成而发明的。在[14]中使用RL代理来避免复杂的优化并加速预测过程，但它并没有专注于提高点的预测精度3D点胶囊网络[24，25]超越了其他方法的性能，成为处理点云的最先进的自动编码器2.2. 上下文编码器和特征金字塔网络上下文编码器[15]处理具有缺失区域的图像，并训练卷积神经网络来回归缺失的像素值。该架构由捕获图像的未损坏内容的编码器和预测丢失的图像内容的解码器此外，它还联合训练了语义修复的重建和对抗性损失特征金字塔网络（FPN）[26]是解决多尺度特征提取问题的有效方法。由于FPN的架构[26]，最终的特征图是语义丰富和局部丰富特征的融合[27它增强了几何和语义-7664图2. PF-Net的架构。PF-Net的输入是不完整的点云，它利用多尺度生成网络PPD预测缺失的点云。IFPS（第3.1节）将输入（由黄色表示）采样到不同的尺度（由红色和蓝色表示）。在图中，蓝色、红色和黄色（最终预测）表示三个预测尺度。CMLP（第3.2节）是我们的特征提取器。CD（第3.4节中的倒角距离）用于评估预测与地面实况之间的差异包含在最终特征图中的tic信息FPN [26]部分启发了我们网络中的解码器。3. 方法在本节中，我们将介绍我们的PF网络，它从点云的不完整的已知配置中预测点云的缺失区域。图2显示了我们的PF-Net的完整架构。我们的PF-Net的整体架构由三个基本构建模块组成，分别为多分辨率编码器（MRE）、点金字塔解码器（PPD）和鉴别器网络。3.1. 特征点采样在点云中，我们只能提取少量的点来表征形状，这些点被定义为特征点。换句话说，特征点映射点云的轮廓[32]。为了从点云中提取特征点，我们使用迭代最远点采样（IFPS），这是Pointnet++ [33]中应用的采样策略，以获得一组骨架点。与随机采样相比，IFPS可以更好地表示整个点集的分布，并且比CNN更有效[33]。在图3中，我们可视化IFPS的效果。即使我们只提取6.25%的点，这些点仍然可以描述灯的配置和灯的主要几何形状没有被破坏。3.2. 多分辨率编码器CMLP我们首先介绍我们的MRE的特征提取器，命名为组合多层感知（CMLP）。在图3. 不同分辨率的IFPS结果。蓝灯有2048点。从蓝灯中分别以512、256和128个点采样三个紫色灯。PointNet-MLP，如图所示第4（a）段。该方法将每个点映射到不同的维度，并从最终的K个维度中提取最大值以形成全局特征向量。然而，它没有很好地利用包含丰富的本地信息的低级和中级特征。此外，L-GAN [12]和PointNet [10]表明，该特征提取器的性能受到Maxpooling层的维度的强烈影响，即，K.在CMLP中，我们还使用MLP将每个点编码为多维[64-128-256-512-1024].与MLP不同的是，我们将MLP最后四层的输出进行最大池化，以获得多维特征向量fi，其中大小fi：=128，256，512，1024，对于i=1，...，4.第一章然后将所有的fi连接起来，形成组合的潜在向量F。尺寸F：=1920，并且它包含低级和高级特征信息。我们的多分辨率编码器的输入是一个N×3无序点云。我们对输入点云进行下采样，以获得两个不同分辨率的尺度(Size：N×3和N×3）。我们用这些数据-kk2大多数以前的工作，他们的en的特征提取器，编码器是多层感知（MLP）。我们将其称为依赖的方式来获取输入点的特征点集，帮助编码器专注于那些更代表，7665GT图 4. 两 种 不 同 的 三 维 点 编 码 器 特 征 提 取 器 的 比 较 。PointNet-MLP仅使用最后一个图层来提取潜在向量我们的CMLP映射组合的潜在向量，通过连接来自最后四层的多维潜在向量。它可以更好地利用高级别和低级别的功能。点。将使用三个独立的CMLP将这三个尺度映射成三个单独的组合潜在向量Fi，i =1，2，3。 每个向量表示从点云的特定分辨率提取的特征。然后将所有的Fi连接起来，形成一个潜在的特征图M的大小为1920 × 3（即，三个向量，每个向量的大小1920年然后，我们使用MLP [3 - 1]来整合潜在的特征映射到最终特征向量V。V的大小=1920。3.3. 点金字塔解码器解码器将最终特征向量V作为输入，并旨在输出M×3点云，其表示缺失区域的形状。我们的PPD基线是全连接解码器[12]。全连接解码器擅长预测点云的全局几何形状。然而，它总是导致局部几何信息的损失，因为它只使用最后一层来预测形状。以前的作品结合了全连接解码器与基于折叠的解码器，以加强预测形状的局部几何形状。然而，如[13]所示，如果原始表面相对复杂，则基于折叠的解码器不善于处理类属失真并保留原始的详细几何形状。为了克服这一局限性，我们将PPD设计为一个层次结构低级特征和低分辨率特征点的表达可以将局部几何信息传播到高分辨率预测。实验结果表明，PPD的预测具有较少的失真，并能保留原始缺失点云的详细几何形状。图5. 点金字塔解码器（Point Pyramid Decoder）PPD以递增的尺度给出三个联合层的输出，其在语义和几何水平上都是相似的。直观地说，PPD的体系结构反映了数学中的“分形几何”概念3.4. 损失函数我们的PF-Net的损失函数由两部分组成：多阶段完成损失和对抗性损失。补偿损失测量缺失点云的地面实况Ygt与预测点云之间的差异。对抗性损失试图通过优化MRE和PPD来使预测看起来更真实。Ygt的大小为M×3这与Ydetalil相同。多阶段完井损失Fan等人[34]提出了两个置换不变度量来比较无序点云，即倒角距离（CD）和地球移动器距离（EMD）。在这项工作中，我们选择了占-将距离作为我们的完成损失，因为它是可微的，并且与EMD相比计算起来更有效。基于特征点，这是受FPN启发的[26]。PPD的细节示于图1中。五、我们首先通过使V穿过全连接层来获得三个特征层FCi（大小FCi：= 1024，512，256个神经元，i=1，2，3dCD（S1，S2）=1ΣS1x∈S12最小x−y2+y∈S21ΣS2y∈S22最小值−x2x∈S1（一）每个要素图层负责预测点云在不同的决议中。 主中心点Yprimary将从最深的FC3预测，具有M1× 3的大小。然后，FC2将用于预测次中心点Y的相对坐标。每个点在Yprimary中，y将用作中心点以生成M2个点（1）中的CD测量平均最近平方距离在预测点云S1和地面实况点云S2之间。 由于点金字塔解码器将以不同的分辨率预测三个点云，因此我们的多阶段完成损失由（2）中的三项 dCD1、dCD和dCD组成，由超参数α加权。 的M12 3的Yprimary。 我们使用“扩展”和“添加”操作来实现此过程。因此，Y的大小是M2×3。详细点Ydetalil是PPD的最终预测。 Ydetal的生成类似于图1B中所示的Yeee d。5. 尺寸Ydetall：M×3.与此同时，Ydetail将尝试匹配第一项计算详细点Ydetal与缺失区域Y g t的地面真实值之间的平方距离。第二项和第三项计算距离的平方在主中心点Yprimary、次中心点Ysecondary和子采样的基础事实Y′、Y″之间，100从G.T.多亏了这个多-′′分别二次采样的基础事实Ygt和Y具有规模生成体系结构，高级功能将影响与Yprimarry（M1×3）和Ysecondarry（M2×3）大小相同7666GTGTL=d（Y，Y）+αd（Y分别我们得到Y′和Y′′从Ygt通过应用我们在PyTorch上实现我们的网络所有三IFPS。它们是缺失区域的特征点的多级完井损失的设计增加了特征点的比例，导致更好地聚焦于特征点。′com CD1详细信息gt CD2主要，Ygt）构建块通过使用ADAM优化器进行训练，初始学习率为0.0001，批量大小为36。我们在MRE和鉴别器中采用批量归一化（BN）和BMU激活单元，但在PPD中仅使用BMU激活单元（最后一层除外）在MRE中，我们设置k=2。在PPD中，我们设置M1=64，M2=128，基于+2αdCD3（Y′′中学，Ygt）（二）每个形状的点数。 我们只会改变M来控制最终预测的大小。对抗性损失这项工作中的对抗性损失受到生成对抗网络（GAN）的启发[35]。我们首先定义F（）= PPD（MRE（）），其中MRE是多分辨率编码器，PPD是点金字塔解码器。F：X→Y′将部分输入X映射到预测缺失区域Y′。然后，鉴别器（D（））试图区分预测缺失区域Y′和真实缺失区域Y。鉴别器是一个与CMLP结构相似的分类网络 特 定 结 构 具 有 串 行 MLP 层 [64 - 64 - 128 -256]，并且我们最大化来自最后三层的响应以获得特征向量fi，其中，对于i= 1，2，3，大小fi：= 64，128，256将它们连接成潜在向量F。F的大小为448。F将通过全连接层[256，128，16，1]，然后通过Sigmoid分类器获得预测值。我们现在定义对抗性损失：Σ ΣLadv= log（D（yi））+log（1−D（F（xi）（3）1≤i≤S1≤j≤S其中xi∈ X，yi∈ Y，i=1，. . .、S. S是X、Y的数据集大小。F和D两者通过在训练时使用交替Adam来联合优化共同损失我们网络的共同损失定义为：L=λcomL com+λ advL adv（4）λcom和λadv是满足以下条件的完成损失和对抗损失的权重：λcom+λadv=1。4. 实验4.1. 数据生成和实施详细信息为了训练我们的模型，我们在基准数据集Shapenet-Part中使用了13种不同的对象[36]。形状总数为14473（11705用于训练，2768用于测试）。所有输入点云数据都以原点为中心，其坐标被归一化为[-1，1]。地面实况点云数据是通过在每个形状上均匀采样2048个点来创建的不完整点云数据是通过在多个视点中随机选择视点作为中心并从完整数据中移除一定半径内的点来生成的我们控制半径以获得不同数量的缺失点。当我们的方法与其他方法相比，我们设置不完整的点云丢失25%的原始数据进行训练和测试。4.2. 点云完成结果在本小节中，我们将我们的方法与直接在3D点云上操作的几个代表性基线进行比较，包括L-GAN [37]，PCN [11]，3D点胶囊网络[25]。由于所有现有的方法都是在不同的数据集中训练的，因此我们在同一数据集中训练和测试它们，以便定量评估它们。应该注意的是，所有方法都是以相同的方式训练的，不会提供标签信息评价在上述方法中，我们使用[37，38]的评估它包含两个索引：Pred → GT（预测到地面实况）误差和GT →Pred（地面实况到预测）误差。Pred→ GT误差计算预测中每个点到其最近点的平均平方距离在地面真相。它衡量预测与地面事实的差异。GT→Pred误差计算从地面实况中的每个点到预测中最接近的点的平均平方距离其指示地面实况表面被预测的形状覆盖的程度。我们首先计算Pred→ GT误差和GT→Pred误差的整个完整的点云，通过conconcatenating我们的网络和输入的部分点云的预测。表1示出了结果。我们的方法优于其他方法在所有类别的Pred→ GT和GT→ Pred错误。请注意，整体完整点云的误差来自两个部分：丢失区域的预测误差和原始局部形状的改变。由于我们的方法将局部形状作为输入，只输出丢失的区域，因此它不会改变原始的局部形状。为了确保我们的评估是合理的，我们还计算了缺失区域上的Pred→GT误差和GT→Pred误差。表2示出了结果。我们方法在13个类别中的12个类别中的Pred→ GT误差和GT→ Pred误差上优于现有方法。此外，就所有13个类别的平均值而言，我们的方法在这两个指标上都具有相当大的优势。表1和表2中的结果表明，我们的方法可以生成整体点云和缺失区域点云中畸变较小的高精度点云。在图6中，我们可视化了由上述方法生成的输出点云。他们都来自7667类别[12]第十二话PCN [11]3D胶囊[25]PF-Net（香草）PF-Net飞机0.856/ 0.7220.800/ 0.8000.826/ 0.8810.284/0.2310.263/0.238袋3.102/ 2.9942.954/ 3.0633.228/ 2.7220.927/ 0.9340.926/ 0.772帽3.530/ 2.8233.466/ 2.6743.439/ 2.8441.308/1.0271.226/1.169车2.232/ 1.6872.324/ 1.7382.503/ 1.9130.616/ 0.4310.599/ 0.424椅子1.541/ 1.4731.592/ 1.5381.678/ 1.5630.472/ 0.4200.487/ 0.427吉他0.394/ 0.3540.367/ 0.4060.298/ 0.4610.097/0.0940.108/0.091灯3.181/ 1.9182.757/ 2.0033.271/ 1.9121.041/0.6161.037/0.640笔记本1.206/ 1.0301.191/ 1.1551.276/ 1.2540.309/0.2440.301/0.245摩托车1.828/ 1.4551.699/ 1.4591.591/ 1.6640.524/ 0.4140.522/ 0.389马克杯2.732/ 2.9462.893/ 2.8213.086/ 2.9610.793/ 0.7760.745/ 0.739手枪1.113/ 0.9670.968/ 0.9581.089/ 1.0860.270/0.2370.252/0.244滑板0.887/ 1.020.816/ 1.2060.897/ 1.2620.289/ 0.2880.225/ 0.172表1.694/ 1.6011.604/ 1.7901.870/ 1.7490.505/0.4170.525/0.404是说1.869/ 1.6151.802/ 1.6621.927/ 1.7130.572/ 0.4710.555/ 0.458表1. 整体点云的点云完成结果。训练数据由13类不同的对象组成[36]。显示的数字为[Pred→ GT误差/GT→ Pred误差]，按1000缩放。我们计算所有类别的平均值，并将其显示在表格的最后一行。PF-Net（vanilla）是没有判别器的PF-Net。类别[12]第十二话PCN [11]3D胶囊[25]PF-Net（香草）PF-Net飞机3.357/ 1.1305.060/ 1.2432.676/ 1.4011.197/1.0061.091/1.070袋5.707/ 5.3033.251/4.3145.228/ 4.2023.946/ 4.0543.929/3.768帽8.968/ 4.6087.015/4.24011.04/ 4.7395.519/ 4.4705.290/4.800车4.531/ 2.5182.741/ 2.1235.944/ 3.5082.537/ 1.8482.489/ 1.839椅子7.359/ 2.3393.952/ 2.3013.049/ 2.2071.998/1.8282.074/1.824吉他0.838/ 0.5361.419/ 0.6890.625/ 0.6620.435/0.4350.456/0.429灯8.464/ 3.62711.61/ 7.1399.912/ 5.8475.252/3.0595.122/3.460笔记本7.649/ 1.4133.070/ 1.4222.129/ 1.7331.291/ 1.0131.247/ 0.997摩托车4.914/ 2.0364.962/ 1.9228.617/ 2.7082.229/ 1.8762.206/ 1.775马克杯6.139/ 4.7353.590/ 3.5915.155/ 5.1683.228/ 3.3323.138/ 3.238手枪3.944/ 1.4244.484/ 1.4145.980/ 1.7821.267/1.0121.122/1.055滑板5.613/ 1.6833.025/ 1.74011.49/ 2.0441.198/1.2571.136/1.337表2.658/ 2.4842.503/ 2.4523.929/ 3.0982.184/ 1.9282.235/ 1.934是说5.395/ 2.6034.360/ 2.6615.829/ 3.0082.483/2.0862.426/2.117表2. 缺失点云的点云完成结果。显示的数字为[Pred→ GT误差/GT→ Pred误差]，按1000缩放。在此表中，我们计算点云缺失区域中的这两个度量。测试集。与其他方法相比，我们的PF-Net的预测具有很强的空间连续性，具有较高的恢复水平和较少的属级失真。[13]第10段。4.3. PF网的定量评价鉴别器的功能是区分预测的形状和缺失区域的真实轮廓，并优化我们的网络以生成更“真实”的表1和表2显示了无鉴别器的PF-Net的结果。与不带鉴别器的PF-Net相比，带鉴别器的在表1和表2中，在Pred→GT误差的13个类别中的10个类别中，此外，PF-Net在Pred→ GT表1和表2中的错误。结果表明，PF-Net可以帮助减小Pred→ GT误差。如上所述，Pred→ GT误差测量预测与地面实况的差异故《辨》，tor使PF-Net能够生成与地面实况更相似的点云。MRE和PPD的分析为了证明CMLP的有效性，我们在ModelNet40上训练CMLP和其他遵循相同线性分类模型[39]并在测试集上评估它们的总体分类精度。结果如表3所示。PointNet-MLP具有与PointNet相同的参数，而 无 需 Transform- Net [10] 。 PointNet-CMLP 将PointNet-MLP的MLP替换为CMLP。我们的CMLP显示了最好的性能。再-7668图6. 其他方法与我们的网络完成结果的比较。 从上到下：输入，L-GAN [12]，PCN [11]，3D-Capsule [25]，我们的方法和地面实况。在（3）（7）中，其他方法的输出丢失了椅子和桌子下在（3）（4）（6）中，其他方法错误地填充了G. T的中空部分（即，（3）（6）、椅背;（4）、桌面下的空间被错误地填充）。在（8）中，其他人未能生成合理的形状。相应地，我们的方法可以准确地生成丢失的点云，具有较小的失真和高水平的恢复。我们的更多结果显示在补充。结果表明，CMLP对语义信息有更好的理解。PointNet-MLP PointNet-CMLPOur-CMLP Acc.（%）87.2 87.9 88.9表3. PointNet-MLP、PointNet-CMLP和Our-CMLP在ModelNet40上的分类精度结果。为了评估多分辨率编码器（MRE）和点金字塔解码器 （ PPD ） 的 有 效 性 ， 我 们 进 一 步 将 PF 网 络（vanilla）与三种不同的基线进行比较：单分辨率MLP、单分辨率CMLP和多分辨率CMLP。上述方法均以不完整点云为输入，以缺失点云为输出。 我们在“椅子”和“桌子”类中的模型上进行了这个实验，这是我们生成的数据集中最大的两个类别。 “Chair” has“Table” has 单分辨率MLP由5层MLP组成[64 ， 128 ， 256 ， 512 ， 1024] 和 2 个 线 性 层 [1024 ，1536]，每个层之后是BN和ReLU活化（即我们发现BN在该方法中是有益单分辨率CMLP具有与单分辨率MLP相同的结构，但MLP被更改为CMLP。多分辨率CMLP使用多分辨率编码器，随后是2个线性层[1024，1536]。我们计算它们的Pred→ GT误差和GT→ Pred误差的缺失点云。结果见表4. 注意，在两个类别中，CMLP和MR-CMLP在Pred→GT误差和GT→ Pred误差方面优于MLP。它们的性能提升在3%到10%之间，与MLP相比。而使用PF-Net后，Pred→ GT误差和GT→ Pred误差都明显减小这是我们所期望的。由于CMLP和MR-CMLP加强了编码器提取几何和语义信息的能力，但它们的解码器只关注于生成缺失点云的整体形状。但是，PPD的生成过程更加平滑。它既可以关注整体形状，也可以关注细节特征点。图7描绘了“椅子”类的一个示例7669图7. 由MLP、CMLP、MR-CMLP和PF-Net（vanilla）预测的椅子。PF-Net（vanilla）是我们的无区分器PF-Net。黄色和红色的点代表PF- Net（vanilla）和其他的预测。可以发现，G.T.是空心的MLP、CMLP和MR-CMLP的预测都失去了这种详细的结构。我们的PF-Net（vanilla）保留了这种结构，并且预测具有更少的噪声和失真。类别MLPCMLPMR-CMLPPF-Net（香草）椅子2.692/ 2.3842.587/ 2.3062.521/ 2.2751.772/ 1.432表2.429/ 2.7342.250/ 2.6932.299/ 2.6961.891/ 1.664表4. [Pred→GT误差/GT→ Pred误差]由MLP、CMLP、MR-CMLP和缺失点云的PF-网络（vanilla）给出。稳健性测试我们对“飞机”类进行所有稳健性测试实验。在第一个鲁棒性测试中，我们改变PPD中的M来控制我们的网络的输出点的数量，并训练它分别修复不同程度的不完整形状。实验结果如表5所示：25%、50%和75%意味着三个不完全输入分别损失了原始点的25%、50%和75%，地面真相。注意，三个部分输入的Pred→GT误差和GT→Pred误差基本相同，这暗示我们的网络具有较强的鲁棒性当处理具有不同程度缺失的不完整输入时。图8显示了我们的网络在测试集中的性能。我们的网络准确地“识别”了不同类型的飞机，即使在大规模不完整的情况下，也能保留原始点云的几何细节。在第二个鲁棒性测试中，我们训练我们的网络来完成在不同位置丢失多个点的部分形状测试集中的一个例子如图所示。9.可以发现PF-Net仍然在正确的地方预测正确的缺失点云。图8. 当输入具有不同程度的不完整性时，修复结果的示例。(1)、（2）、（3）分别损失原始点云的黄色代表预测。灰色表示未损坏的点云。缺失率25% 50% 75%PF-Net0.727/ 0.5420.727/ 0.5200.748/ 0.623表5. [Pred→GT误差/GT→ Pred误差]由缺失点云的PF- Net给出。不完整点云与原始点云相比分别损失了25%、50%、75%图9.当原始点云在两个随机位置丢失不同数量的点时，会导致修复黄色代表预测。灰色表示未损坏的点云。5. 结论我们提出了一种新的方法来完成形状使用的部分点云只产生缺失的点云。我们的体系结构使网络能够生成具有丰富语义轮廓和细节特征的目标点云，同时保留现有的轮廓。我们的方法优于现有的方法专注于形状完成的点云。注意，如果训练数据集足够大，我们的方法有机会精细地重新配对任何复杂的随机点云因此，可以预见，如果该方法得到深入应用，三维识别的准确性将得到显著提高，为自主车辆的研究和三维重建带来新的可能性7670引用[1] X. Zhang，X. Le，A. Panotopoulou，E. Whiting和C. C.Wang，“Perceptual models of preference in 3D printingdirection，”ACM Trans.Graphics，vol.34，no.第6页。1-12，2015年。[2] X. Zhang，X.Le，Z.Wu，E.Whiting和C.C. 王，35岁不5，2016，pp.157-166[3] B. Zhao，X.Le和J.Xi，363[4] Y.刘湾，澳-地范，S。Xiang和C. Pan，[5] Y. Feng，H.你Z张河，巴西-地Ji和Y. Gao，[6] T. Yu，J. Meng，and J. Yuan，“用于3D对象识别的多视图协调双耳网络”，CVPR，2018年。[7] X.他，Y. Zhou，Z. Zhou，S. Bai，还有X。Bai，[8] A. Kanezaki，Y. Matsushita和Y.西田，“RotationNet：联合对象分类和姿态估计使用来自无监督视点的多视图，“CVPR，2018。[9] Y. Zhou和O. Tuzel，“VoxelNet：基于点云的3D对象检测的端到端学习，”CVPR，2018年。[10] C. R. Qi，H. Su，K. Mo和L. J. Guibas，“Pointnet：3D分类和分割点集的深度学习，”CVPR，2017年。[11] W. Yuan，T.Khot，D.赫尔德角Mertz和M.Hebert，[12] P. Achlioptas、O.迪亚曼蒂岛Mitliagkas和L. J. Guibas，[13] Y.杨角，澳-地冯，Y. Shen和D.天，“折叠网：通过深度网格变形实现点云自动编码器，”CVPR，2018。[14] M. Sarmad，H. Lee和Y. M. Kim，“RL-GAN-Net：一个再学习代理控制GAN网络，用于实时点云形状完成，“CVPR，2019年。[15] D.作者：P. Krahenbuhl，J.多纳休，T. Darrell和A. A.Efros ， “ 上 下 文 编 码 器 ： 通 过 修 复 进 行 特 征 学习，”CVPR，2016年。[16] B. Yang，H. Wen，S.王河，巴西-地克拉克，A. 马卡姆，以及N. Trigoni，[17] A.戴角，澳-地R. Qi和M. Niebner，[18] W.王，英-地Huang，S.你C Yang和U. Neumann，[19] C. Li ， M.Zaheer ， Y. 张 湾 ， 澳 - 地 Poczos 和R.Salakhutdinov，[20] X. 汉，Z. 李，和。H. Huang，[21] J.Wu，C. Zhang，T.薛，W. T. Freeman和J. B. Tenen-baum，[22] Y. Yu，Z.Huang，F.Li，H.Zhang和X.Le，“Point encodergan：3D点云修复的深度学习模型，“神经计算，2019。[23] L. Yu，X.Li，C.Fu，D.Cohenor和P.Heng，[24] S. Sabour，N. Frosst和G. E. Hinton，[25] Y. Zhao，T.Birdal，H.Deng和F.Tombari，[26] T. Y. Lin，P.杜拉尔河格希克角他，B.Hariharan和S. Belongie，[27] K. 陈，J.Pang，J.Wang，Y.Xiong，X.Li，S.太阳，W。冯先生，Z. Liu，J. Shi，W. Ouyang等人，[28] Z. 田角，澳-地Shen，H.Chen和T.他，[29] J. Pang，K. Chen，J. Shi，H.冯，W. Ouyang和D. Lin，“Libra R-CNN：目标检测的平衡学习，”CVPR，2019年。[30] Z. Cai和N. Vasconcelos，“Cascade R-CNN：深入研究高质量的物体检测，”CVPR，2018年。[31] A.基里洛夫河格希克角他和P. Dollr，[32] T. Birdal和S. Ilic，[33] C. R. 齐 湖 ， 加 - 地 Yi ， H. Su 和 L. J. Guibas ，“Pointnet++ ： 度 量 空 间 中 点 集 的 深 度 层 次 特 征 学习，”NeurIPS，2017。[34] H.范，S。Hao和L. Guibas，[35] I. Goodfellow， J.Pougetabadie，M. 米尔扎 湾，澳-地Xu ， L.Warde-farley ， S. 奥 扎 尔 A. Courville 和 Y.Bengio，[36] L. Yi，V.G. Kim，D.锡兰岛沈，M。Yan，H.苏C. 鲁智深道：Q. Huang ， 黄 背 天 蛾 A. Sheffer 和 L. J. Guibas ， “Ascalable active framework for region annotation in 3Dshape collections”，ACM Trans. on Graphics，vol. 35，no.第6页。210：1-210：12，2016.[37] C.林角，澳-地Kong和S. Lucey，[38] M. 加代利亚河Wang和S.Maji，[39] Z. Wu ，S.Song ， 中 国黑 杨 A.Khosla ，F. 于 湖 ，加 - 地Zhang，X.唐和J. Xiao，