PointInverter：基于生成模型的3D点云重建与编辑

5920PointInverter：通过具有形状先验的生成模型进行点云重建和编辑0Jaeyeon Kim 1 Binh-Son Hua 2 Duc Thanh Nguyen 3 Sai-Kit Yeung 101 香港科技大学 2 VinAI研究 3 Deakin大学0摘要0在本文中，我们提出了一种将3D点云映射到3D生成对抗网络潜空间的新方法。我们的3D点云生成模型基于SP-GAN，这是一种最先进的球导向3D点云生成器。我们找到了一种高效的方法，将输入的3D点云编码到SP-GAN的潜空间中。我们的点云编码器可以解决反转过程中的点排序问题，从而确定生成的3D点云中的点与生成器使用的规范球中的点之间的对应关系。我们展示了我们的方法在3D点云的GAN反转方法中优于以前的方法，无论是在定量还是定性方面都取得了最先进的结果。我们的代码可在https://github.com/hkust-vgd/point_inverter上找到。01. 引言0在过去的五年中，针对3D点云的深度学习研究取得了快速进展。大部分研究致力于设计高效的神经网络处理3D点云的方法[26, 27, 25, 35,41]。这些发展使得神经网络在包括对象分类、语义分割、对象检测等广泛的下游任务中具备了学习能力，可以应用于合成数据和真实世界数据[36, 6, 15, 8,33]。与点云分析相比，关于生成3D点云的建模研究相对较少。一项值得注意的工作是SP-GAN[24]，它使用生成对抗神经网络从形状先验中生成3D点云并取得了显著的结果。尽管这个重要成果，但SP-GAN中的生成模型是无条件的，即它只允许对新的点云进行采样，而不探索对现有点云进行操作和编辑。使用生成对抗网络进行数据编辑的常见方法是遵循“先反转，后编辑”的两阶段原则。这个原则已经得到了很好的应用。0在2D领域已经展示了这个原则，最先进的GAN反转方法[29, 2, 3,9]被用于通过基于优化或编码器的技术将真实图像映射到StyleGAN模型的潜空间[20]。一旦映射完成，重建的潜代码可以被操纵以对真实图像产生影响（例如，改变图像的属性）。受到这个原则的启发，我们开发了一种新的方法来反转3D点云，以便可以忠实地使用点云的潜代码通过SP-GAN模型重建新的点云。在点云数据的3D深度学习中，一个关键挑战是设计一个对点排序不变的学习机制。在点云分析中，可以通过使用对称函数聚合点特征[26]，在执行卷积操作之前对点进行网格排序来实现这种能力。然而，点云GAN反转研究[40]在很大程度上忽视了点的排序。反转是通过使用诸如Chamfer距离或地球移动距离等与点排序无关的度量来比较重建的点云与其原始点云之间的差异来实现的。然而，这种方式使得重建和原始点云之间的对应关系不再保持，限制了下游应用的能力，例如点云匹配和配准。我们通过在反转过程中解决点的顺序问题来解决这个问题。我们的方法可以总结如下。给定一个预训练的SP-GAN模型，我们设计了一个基于点的编码器，它以3D点云作为输入，然后从输入中提取两个风格向量。这些风格向量与点云的特征一起被输入到预训练的SP-GAN中。在第一阶段，我们通过联合训练编码器和改进生成器来重建一个全局潜代码。在第二阶段，我们使用全局潜代码来解决点的排序问题。然后我们在最后一个阶段从全局潜代码中提取局部潜代码。我们的方法在定量和定性上都实现了最先进的性能。对于应用，我们展示了潜代码可以应用于确定输入点云和5930重建结果，实现点云的操作和编辑能力。总之，我们的贡献如下：0• 一种将3D点云映射到SP-GAN的潜在空间的点云编码器；0•通过利用点云编码器生成的全局潜在代码来解决反演过程中的点顺序问题，从而保持重建中的点对应关系，并实现形状编辑；0•一种全局到局部潜在代码细化技术，更好地保留重建中的几何细节和对应关系；0• 通过点云重建和编辑来展示点云GAN反演的最新成果。0本文的剩余部分组织如下。我们在第2节回顾相关工作。在第3节中，我们介绍了SP-GAN[24]，它被用作我们提出的GAN反演方法中重建点云的解码器。然后在第4节中描述了我们的方法。第5节报告了应用和实验结果。第6节总结了我们的工作并提供了一些评论。02. 相关工作03D深度学习。在过去几年中，3D领域的深度学习取得了巨大进展，其中3D点云深度学习是主要的研究方向之一，因为点云表示的普适性。设计了几种点云神经网络用于对象分类、语义分割和对象检测等分析任务。值得注意的作品包括PointNet[26]作为首个学习每个点特征并将其汇集为全局特征向量的开创性方法，PointNet++ [27]和DGCNN[35]作为流行的捕捉局部点特征的方法，以及其他许多在点云上构建卷积和处理语义分割等下游任务的方法[25, 38, 41,17, 34, 12, 23, 14,37]。在本工作中，我们利用DGCNN作为我们方法中的点云编码器。03D点云的生成建模。尽管3D深度学习[13]得到了快速发展，但3D点云的生成模型相对较少。早期的尝试是在3D点云上训练自编码器，然后在自编码器学习的潜在空间中训练GAN来无条件生成3D点云[1]。随后的方法包括使用自回归模型[32]、基于流的生成[39, 21, 22,5]和具有树状结构的生成对抗神经网络[28, 18, 24, 31,11]。在这些基于GAN的方法中，最近的是0SP-GAN[24]通过将先验几何（如规范球）转换为3D形状来学习生成点云。还存在一组从条件数据（如图像）中学习预测点云的工作[10,4]。受生成对抗神经网络的巨大成功的启发，本工作侧重于无条件GAN模型生成的点云以及如何利用这些模型通过GAN反演流程来操作和编辑3D点云数据。0GAN反演。GAN反演的基本原理是将输入形状忠实地映射到GAN模型的潜在空间中。然后可以在GAN潜在空间中进行操作和编辑，具体取决于下游任务。然而，使用预训练的GAN重建输入是具有挑战性的。在图像领域，StyleGAN[19]取得了里程碑式的成就。典型的反演方法可以分为基于优化的方法和基于学习的方法。基于优化的方法包括优化简单的投影函数[19]或为每个图像微调生成器[30]。这些方法提供了高质量的重建，但也需要大量计算。与基于优化的方法相比，基于学习的方法通过训练编码器直接输出潜在代码[29,2]，或通过训练超网络来定义一个改进的生成器以提高重建质量[3,9]，从而实现更轻量级和更快速的重建。在3D领域，已经尝试使用生成模型的潜在空间进行3D点云的形状重建。例如，Zhang等人[40]提出使用GAN反演进行3D点云以解决形状完成任务[7]。他们的生成模型是基于[31]中开发的tree-GAN构建的，其中生成器是应用于树数据结构的图卷积网络。我们的工作与[40]不同。具体而言，我们不仅关注重建质量，还关注点的顺序。在我们的工作中，我们采用了[24]中开发的SP-GAN作为我们的生成模型。该生成器利用了一个规范球形的几何先验来引导形状生成过程，从而获得更好的形状质量和可控性。03. 背景0SP-GAN是在[24]中提出的一种神经网络结构，旨在从球形结构中重建点云P。与标准的无条件GAN一样，SP-GAN也包括一个无条件生成器 G 和一个判别器 D。生成器 G以单位球体为输入，生成点云 P。判别器 D 以由生成器 G生成的点云或从训练数据中采样的点云为输入，并将输入的点云及其所有点分为真实和伪造两类。生成器 G 和判别器 D同时进行训练。5940图1. 使用具有形状先验的生成器（SP-GAN[24]）进行点云GAN反演的优势之一是我们可以重建点和它们与形状先验的对应关系。该图示了引导球体、反演的目标点云以及我们方法重建的点云之间的密集对应关系。可以看到，在执行反演之前，目标点云上的点对应关系是随机的。我们重建的点云在几何上与目标相似，并具有平滑的对应关系。0图2. 我们用于点云的GAN反演。编码器建立在预训练的DGCNN上，生成器基于预训练的SP-GAN。在步骤1中，编码器 E 和生成器 G被训练以将全局潜在代码 z g 映射到目标点云 P。在步骤2中，按照SP-GAN的方法，全局潜在代码 z g 被复制 N次以初始化局部潜在代码。在步骤3中，我们通过迭代执行优化任务来优化局部潜在代码。0以交替的方式进行。我们将SP-GAN的训练和测试详细介绍如下。0设 S 是包含 N 个点的单位球体；这些点均匀分布在 S上。这 N 个点的空间位置（即3D坐标）用于在 R N × 3中定义全局先验。每个点还与一个局部先验相关联，该先验是一个在 R d � N (0 ,  1)中的随机噪声向量，遵循标准正态分布。球体 S最终被编码为先验潜在代码 z S ∈  R N × (3+ d)，通过以下方式：0将3D坐标和局部先验连接起来，对 S中的每个点进行编码。然后使用先验潜在代码 z S训练生成器 G 来构建点云 P，其中每个点云也包含 N个点。在训练生成器 G 时，从训练数据集中采样真实点云 P'并用于训练判别器D。SP-GAN可以通过同时最小化判别损失 L D 和生成损失 LG 来进行端到端训练。LD = Lpoint cloudD+ λLpointD,(1)Lpoint cloudD= 12[(D(P))2 + (D(P ′) − 1)2],(2)LpointD=12NN�i=1[(D(pi))2 + (D(p′i) − 1)2],(3)LG = 12(D(P) − 1)2 + β 12NN�i=1(D(pi) − 1)2,(4)θ∗E = arg minθE�PL (G (E (P; θE)) , P) ,(5)θ∗G, θ∗E = arg minθG,θE�PL (G (E (P; θE) ; θG) , P)).(6)zg = E(P; θ∗E).(7)5950损失 L G 。鉴别损失 L D 包括两个子损失：整个点云的 Lpoint cloud D 和单个点的 L point D。这些损失的定义如下。0其中 λ是用户定义的参数，用于平衡计算在整个点云和单个点上的损失；D ( P ) 和 D ( P ′ ) 是判别器 D 在生成的点云 P和采样的点云 P' 上应用时返回的置信度分数；p i 和 p ′ i 是P 和 P' 上的点。生成损失 L G 定义如下：0其中 β 是用户定义的参数。生成器 G 和判别器 D训练完成后，可以通过将先验潜在代码 z S 传递给 G来进行推断，生成点云 P = G ( z S)。图1展示了SP-GAN的生成结果。请注意，SP-GAN不仅可以生成点云，还可以在输入球体和生成的点云之间建立点对点的对应关系。这使得通过潜在代码操作进行形状编辑成为可能。04.我们的方法04.1.概述0给定一个点云P ∈ R N ×3，其中N是点的数量，我们的目标是学习一个将P映射到SP-GAN[24]的潜在空间的映射函数。这样的映射应该在保持高质量重建的同时，实现输入点云与重建点云之间的逐点对应关系。我们的GAN反演框架由点云编码器E和生成器G组成，其中E学习输入3D点云的全局潜在编码，G是SP-GAN的生成器[24]。如图2所示，反演过程包括三个步骤：(1)训练编码器E和生成器G（也可以微调G）；(2)解决点的顺序问题；(3)将编码器E提取的全局潜在编码细化为一组局部潜在编码。接下来我们将详细介绍每个步骤。04.2.步骤1：全局潜在编码0我们在这一步的目标是训练编码器E和生成器G，学习每个输入点云的全局潜在编码0点云P。全局潜在编码应该能够准确映射到目标点云，并且对目标点云中的每个点都是不变的。从概念上讲，点云的全局潜在编码类似于从点云中汇集所有点特征的全局特征向量，例如PointNet[26]中使用的方式。假设生成器G已知且固定。为了训练编码器E，我们解决以下优化问题：0其中L表示目标点云和生成点云之间的距离。这里的生成器G基于预训练的SP-GAN生成器[24]。为了提高重建质量，我们还在反演过程中更新生成器G的参数。这可以通过同时训练E和G来实现，即解决以下问题：0参数θ G 和θ E通过使用梯度下降优化技术交替更新。一旦E和G的训练完成，全局潜在编码z g 可以确定为0在公式(7)中计算得到的全局潜在编码z g也被称为SP-GAN中的先验潜在编码。然后使用该编码生成捕捉生成点云细节的局部潜在编码。0编码器架构。对于编码器E的架构，有一些设计选择。与基于图像的GAN反演类似[42]，我们可以使用一个点云鉴别器作为编码器。编码器的输出是鉴别器的最后一个特征层。另一个选择是使用预训练的点云网络，如DGCNN[35]，其中我们将所有局部点特征聚合成一个全局特征向量。我们经验性地发现DGCNN能够产生更好的结果，因此我们选择它作为编码器E。0损失函数。我们的损失函数旨在强制学习过程朝着重建质量的方向进行，即输入点云和生成点云应具有相似的几何结构和点密度。为了建模这种相似性，我们使用Chamfer距离（CD）作为我们的损失函数。在LCD(P, P ′) = max� 1|P|1|P ′|�p′j∈P ′minpi∈P ∥p′j − pi∥2.(8)z∗ = arg minz5960特别地，我们定义：0对于每个输入点云P，我们定义：p i ∈ P，p ′ j ∈ P′，∥ p i  −  p ′ j ∥ 2最小，0其中P是输入点云，P ′是生成器G生成的点云。04.3. 步骤2：点的排序0我们发现使用全局潜在向量 z g进行反演在重构目标点云的几何细节方面存在局限性。尽管如此，使用全局潜在编码的一个强大优势是它对目标点云中的点的排序是不变的。这导致生成的点云与输入点云之间的逐点对应关系与原始的SP-GAN[24]中保持一致。为了使重构对下游任务有用，有必要提高重构的准确性。一种简单的方法是让编码器学习如何输出每个点在点云中变化的局部潜在编码。然而，这样做的一个问题是潜在编码的排序变得依赖于目标点云的点的排序，这可能是随机的。这破坏了生成的点云与输入形状之间的逐点对应关系。我们在图3中展示了这个问题。此外，直接预测局部潜在编码可能会使编码器和生成器过拟合，即潜在编码可能只包含目标3D坐标，生成器只是将这些坐标作为其输出。这会产生非常准确的重构，但局部潜在编码对下游任务是无用的。为了提高重构质量并解决点的排序问题，我们以一种有趣的方式约束全局和局部潜在编码。回想一下，全局潜在编码是由编码器 E生成的，并且对于目标点云中的初始点排序是不变的。然而，全局潜在编码的重构能力较差。在SP-GAN中，形状先验已经包含了点的顺序，并且生成器是逐点操作的。然而，形状先验中的点的顺序可能与反演中的目标形状中的顺序不同。因此，为了确保一致的点排序，我们复制了在步骤1中训练的编码器预测的全局潜在编码，以构建大小为 N × (3 + d)的初始局部潜在编码。然后，在步骤3中对这些初始局部潜在编码进行了改进。04.4. 步骤3：局部潜在编码0解决了点的排序问题后，我们现在准备将全局潜在编码改进为局部潜在编码。在这一步中，我们0保持生成器 G的所有参数固定，并相应地更新潜在编码中的每个条目。因此，优化变成了找到：0P L ( G ( z ; θ G )) , P ) , (9)0其中 z 是通过复制全局潜在编码 z g来初始化的。这个优化的输出是我们反演的最终局部潜在编码。05. 实验结果05.1. 实验设置0数据集。我们在[6]的ShapeNet数据集上对我们的GAN反演方法和现有方法进行了实验。我们分别在椅子、飞机、汽车和灯具等四个物体类别上训练了我们的网络架构。测试集由总数据集的10%组成。特别地，椅子类别包括6,101个模型用于训练和677个模型用于测试。除了ShapeNet中的人造物体，我们还在[43]的动物数据集上测试了我们的方法。我们在物体网格上均匀采样了2,048个点来创建点云。与SP-GAN一样，我们在所有四条腿的动物数据（如狗、大型猫科动物、河马和马）的组合类别上训练了一个单一模型。0实现细节。我们采用了[24]中的SP-GAN作为我们预训练的生成器。我们的编码器是基于[35]中的预训练DGCNN构建的。我们从DGCNN的四个层中连接特征来构建我们编码器的最后一层。在我们的方法中，我们使用了2,000次迭代来训练步骤1中的编码器，并使用了2,000次迭代来优化步骤3中的潜在编码。我们使用学习率为0.01的Adam优化器。05.2. 形状反演的评估0我们根据其再现质量评估了我们的方法。再现质量是通过给定目标点云与相应生成的点云之间的Chamfer距离来衡量的。0定量结果。我们首先将我们的方法与现有的形状反演方法进行比较，例如Achlioptas等人[1]和Zhang等人[40]的方法。Achlioptas等人[1]的方法使用自动编码器的潜空间中的潜码进行点云生成。在这里，我们采用了他们的自动编码器来比较重建方法。Zhang等人[40]的方法是应用于tree-GAN[31]的基于优化的反演方法。我们在表1中报告了这个实验的结果。从结果中可以看出，我们的方法在平均和每类Chamfer距离上都达到了最小值。重建的5970图3.潜码的设计选择。全局潜码对点的顺序不变，因此很好地保留了形状先验中给定的点对应关系，但产生的重建细节较少。使用编码器学习局部潜码的基于学习的方法往往会过拟合，导致几何重建准确但对应关系错误。然而，基于优化的方法会导致重建不准确。我们的反演方法在保持点对应关系的同时实现了准确的几何重建。0表1. 在点云重建中与现有工作的比较。0平均 椅子 飞机 汽车 灯0Achlioptas等人[1] 3 . 46  ×  10 − 3 3 . 61  ×  10 − 3 1 . 15  ×  10 − 3 1 . 14  ×  10 − 3 7 . 95  ×  10 − 30Zhang等人[40] 2 . 50  ×  10 − 3 2 . 09  ×  10 − 3 3 . 59  ×  10 − 3 1 . 95  ×  10 − 3 2 . 38  ×  10 − 30我们的方法 0 . 54  ×  10 − 3 0 . 66  ×  10 − 3 0 . 49  ×  10 − 3 0 . 55  ×  10 − 3 0 . 49  ×  10 − 30Achlioptas等人的点云[1]不可编辑。与Zhang等人的结果[40]相比，我们的重建结果也更准确。0定性结果。我们在图4中对我们的方法重建的点云质量进行了视觉评估。可以看出，我们的反演算法可以合理地重建目标点云，同时比其他方法更好地保留形状细节。例如，椅子背面的图案在我们的重建中可以很好地被识别出来。05.3. 消融研究0全局潜码与局部潜码。为了进一步了解我们的方法的有效性，我们在表2和图3中进行了消融研究。具体而言，我们构建了不同的基准线，包括基于学习的（即使用学习的编码器）和基于优化的基准线。对于每个基准线，我们输出全局或局部潜码，然后由SP-GAN用于点云重建。表2显示了0学习为基础的基准线通常比基于优化的基准线更好。此外，优化局部潜码可以提高重建的精度。然而，值得注意的是，这可能会导致过拟合，如使用编码器输出局部潜码的情况所示。在这种情况下，重建可以达到最佳准确性，但点对应在重建的形状中明显损坏（见图3），使得后续形状操作变得不可能。相比过拟合情况，我们的方法重建准确性稍低，但可以保持对应关系完整。我们发现在动物数据集中没有显示出密集对应问题。这可能是因为动物数据集中静态形状的数量较少，形状差异较小。编码器可以避免过拟合，但重建结果不如ShapeNet中的好。请注意，我们的方法保证了重建性能和密集对应，无论数据集如何。0表2还显示了在动物数据集上的结果。如5980表2. 消融研究。0平均 椅子 飞机 汽车 灯具 动物0基于学习的全局结果为2.23×10^-3 2.11×10^-3 0.94×10^-3 1.87×10^-3 4.03×10^-3 2.23×10^-30基于学习的局部结果为0.62×10^-3 0.59×10^-3 0.35×10^-3 0.62×10^-3 0.31×10^-3 1.27×10^-30基于优化的全局结果为45.5×10^-3 13.5×10^-3 73.1×10^-3 94.9×10^-3 17.6×10^-3 28.4×10^-30基于优化的局部结果为21.2×10^-3 2.60×10^-3 23.4×10^-3 48.6×10^-3 2.77×10^-3 7.48×10^-30我们的结果为0.63×10^-3 0.66×10^-3 0.49×10^-3 0.55×10^-3 0.49×10^-3 0.98×10^-30图4. 形状反演示例的比较。我们的方法更加准确地复现了目标，例如椅子的背部。0表3. 重建中生成器的比较。0平均0tree-GAN [31]（编码器，全局）的结果为2.64×10^-30SP-GAN（编码器，全局）的结果为2.24×10^-30我们的结果为0.54×10^-30可以看出，我们的方法优于所有基线方法。此外，所有方法在该数据集上的结果与在ShapeNet上报告的性能趋势相匹配。结果在动物数据集上的可视化见图3。0生成器。我们还尝试了使用不同生成器进行GAN反演。我们选择了tree-GAN [31]并将其与SP-GAN[24]进行了比较。比较结果如下所示。0表4. 椅子类别反演中编码器的比较。0DGCNN [35] SP-GAN的判别器[24]05.43×10^-4 6.92×10^-40如表3所示。可以看出，即使在包括编码器和全局潜在代码的简单设置中，SP-GAN在重建方面仍然比tree-GAN更有效。与tree-GAN相比，SP-GAN还具有更好的点对应关系。0编码器架构。通过比较两种架构的反演准确性，我们评估了我们编码器的设计选择：DGCNN[35]和SP-GAN中的判别器[24]。需要注意的是，SP-GAN中的判别器也5990图5.椅子背部的形状编辑。我们的方法允许将椅子的背部从矩形形状改变为圆形形状，反之亦然。彩色部分是更新的几何形状。0图6.椅子座位和腿的形状编辑。请注意与目标点云相比的尺寸和样式的变化。彩色部分是更新的几何形状。0使用卷积层进行特征学习，因此可以用作编码器。实验结果如表4所示。可以看出，DGCNN的Chamfer距离比SP-GAN的判别器小。此外，我们经验性地观察到使用DGCNN可以使编码器的训练收敛速度更快。这巩固了我们在架构中选择DGCNN作为编码器的选择。05.4. 应用：形状编辑0SP-GAN [ 24]适用于形状编辑，因为它隐式地学习了密集对应关系。因此，在反演之后，生成的点云的每个（语义）部分应该对应于形状先验中的一个区域。由于我们的方法可以保持点对点的对应关系，我们可以利用这种对应关系来实现部分感知的形状操作。需要注意的是，先前的方法，例如[ 40]，只通过对潜在代码进行全局抖动来演示形状操作。在这里，我们在点云中分割我们想要操作的感兴趣区域，然后扰动这些区域中点的相应局部潜在代码，以获得新的局部潜在代码。通过将扰动的代码传递给生成器，可以生成最终的形状。我们在图5和图6中展示了这种能力。如图5所示，我们可以改变椅子背部的样式，例如将椅子的背部从矩形形状改变为圆形形状，或者使沙发的背部变长。在图6中，我们展示了椅子座位尺寸和椅子腿样式的变化。我们的形状编辑并不完美。我们观察到局部潜在代码可能会纠缠在一起，即改变一个部分可能会导致其他部分的偶发变化。解开形状潜在空间的纠缠留给我们未来的工作。06. 结论0我们提出了一种新的点云GAN反演方法，使用球引导的点云生成器实现了对3D点云的忠实重建[24]，同时在反演过程中保持点对应关系。我们的方法在重建质量方面优于现有的GAN反演方法，这在定量和定性上都得到了验证。我们通过形状编辑任务展示了我们反演方法的有用性，即通过操纵部分感知的潜在编码来编辑重建的点云。我们的工作并非没有局限性。首先，我们的重建可能仍然会错过目标点云中的一些细节。因此，进一步研究如何提高重建质量是值得的。其次，SP-GAN的潜在编码不是紧凑的。探索具有紧凑潜在空间的GAN反演将有益于更广泛的下游应用。最后，值得将潜在编码应用于更多的下游应用，例如从真实扫描中完成形状[7]。将反演扩展到彩色点云也是一个有趣的研究方向。致谢。本文部分工作得到了香港科技大学的内部资助（R9429）。0参考文献0[1]  Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, andLeonidas J Guibas. 学习表示和生成3D点云的模型. ICML，2018年。6000用于3D点云的模型. ICML，2018年。0[2]  Yuval Alaluf, Or Patashnik, and Daniel Cohen-Or. Restyle:一种基于残差的StyleGAN编码器通过迭代细化.在ICCV中，2021年。0[3]  Yuval Alaluf, Omer Tov, Ron Mokady, Rinon Gal, andAmit H. Bermano. Hyperstyle:通过超网络进行StyleGAN反演进行真实图像编辑，2021年。0[4]  Mohammad Samiul Arshad和William J. Beksi.用于生成密集和彩色3D点云的渐进条件生成对抗网络.在国际3D视觉会议（3DV）中，2020年。0[5]  Ruojin Cai, Guandao Yang, Hadar Averbuch-Elor, ZekunHao, Serge Belongie, Noah Snavely, and Bharath Hariharan.学习形状生成的梯度场. 在ECCV中，2020年。0[6]  Angel X. Chang, Thomas A. Funkhouser, Leonidas J.Guibas, Pat Hanrahan, Qi-Xing Huang, Zimo Li, SilvioSavarese, Manolis Savva, Shuran Song, Hao Su, JianxiongXiao, Li Yi, and Fisher Yu. Shapenet: 一个信息丰富的3D模型库.arXiv预印本arXiv:1512.03012，2015年。0[7]  Xuelin Chen, Baoquan Chen, and Niloy J Mitra.使用对抗训练在真实扫描中进行非配对点云补全.在国际学习表示会议（ICLR）中，2020年。0[8] Angela Dai, Angel X Chang, Manolis Savva, Maciej Halber,Thomas Funkhouser, and Matthias Niessner. Scannet:室内场景的丰富注释的3D重建.在计算机视觉和模式识别（CVPR）中，2017年。0[9]  Tan M. Dinh, Anh Tuan Tran, Rang Nguyen, andBinh-Son Hua. Hyperinverter: 通过超网络改进StyleGAN反演.在IEEE/CVF计算机视觉和模式识别（CVPR）会议中，2022年。0[10]  Haoqiang Fan, Hao Su, and Leonidas J. Guibas.一种用于从单张图像重建3D物体的点集生成网络.CVPR，2017年。0[11]  Rinon Gal, Amit Bermano, Hao Zhang, and DanielCohen-Or. MRGAN: 通过无监督部分解缠生成多根3D形状.在ICCV结构和组合学习3D数据研讨会（StruCo3D）中，2021年。0[12]  Benjamin Graham, Martin Engelcke, and Laurens VanDer Maaten. 3D语义分割与亚流形稀疏卷积网络.在计算机视觉和模式识别IEEE会议论文集中，页码9224-9232，2018年。0[13]  Yulan Guo, Hanyun Wang, Qingyong Hu, Hao Liu, Li Liu,and Mohammed Bennamoun. 3D点云的深度学习：一项调查.IEEE模式分析与机器智能交易，2020年。0[14]胡庆勇，杨波，谢林海，斯特凡诺∙罗萨，郭玉兰，王志华，NikiTrigoni和AndrewMarkham。Randla-net：大规模点云的高效语义分割。在IEEE/CVF计算机视觉和模式识别会议上，页码11108-11117，2020年。0[15]  Binh-Son Hua，Quang-Hieu Pham，Duc ThanhNguyen，Minh-Khoi Tran，Lap-Fai Yu和Sai-KitYeung。Scenenn：带有注释的场景网格数据集。在国际3D视觉(3DV)会议上，2016年。0[16]  Binh-Son Hua，Minh-Khoi Tran和Sai-KitYeung。逐点卷积神经网络。在计算机视觉和模式识别(CVPR)上，2018年。0[17]  黄强贵，王伟跃和UlrichNeumann。基于点云的3D分割的递归切片网络。在计算机视觉和模式识别(CVPR)上，2018年。0[18]胡乐，徐锐，谢进，钱建军和杨健。渐进式点云解卷积生成网络。在ECCV上，2020年。0[19]  Tero Karras，Samuli Laine和TimoAila。用于生成对抗网络的基于样式的生成器架构。在CVPR上，2019年。0[20]  Tero Karras，Samuli Laine，Miika Aittala，JanneHellsten，Jaakko Lehtinen和TimoAila。分析和改进StyleGAN的图像质量。在CVPR上，2020年。0[21]金亨柱，李贤胜，康宇贤，李俊烨和金南秀。SoftFlow：用于流形上的概率规范化流的概率框架。在神经信息处理系统(NIPS)进展中，2020年。0[22]  Roman Klokov，Edmond Boyer和JakobVerbeek。离散点流网络用于高效的点云生成。在ECCV上，2020年。0[23]  Loic Landrieu和MartinSimonovsky。超点图的大规模点云语义分割。在IEEE计算机视觉和模式识别会议上，页码4558-4567，2018年。0[24]李瑞辉，李贤志，许克黑和傅志荣。Sp-gan：球面引导的3D形状生成和操作。ACM图形学交易(SIGGRAPH)，40(4)，2021年。0[25]李洋岩，卜锐，孙明超和陈宝权。Pointcnn：在X变换的点上进行卷积。神经信息处理系统(NIPS)进展，2018年。0[26]  Charles Ruizhongtai Qi，Hao Su，Kaichun Mo和LeonidasJGuibas。Pointnet：用于3D分类和分割的点集深度学习。在计算机视觉和模式识别(CVPR)上，2017年。0[27]  Charles Ruizhongtai Qi，Li Yi，Hao Su和Leonidas JGuibas。Pointnet++：度量空间中点集的深层次特征学习。在神经信息处理系统(NIPS)进展中，2017年。0[28]  Sameera Ramasinghe，Salman Khan，NickBarnes和StephenGould。用于高分辨率3D点云生成的光谱GAN。在IEEE/RSJ国际智能机器人与系统大会(IROS)上，页码8169-8176，2019年。0[29]  Elad Richardson，Yuval Alaluf，Or Patashnik，YotamNitzan，Yaniv Azar，Stav Shapiro和DanielCohen-Or。编码风格：用于图像到图像翻译的StyleGAN编码器。在CVPR上，2021年。0[30]  Daniel Roich，Ron Mokady，Amit H Bermano和DanielCohen-Or。潜在基础图像编辑的关键调整。arXiv预印本arXiv:2106.05744，2021年。0[31]朱东旭，朴成宇和权俊锡。基于树结构图卷积的3D点云生成对抗网络。在ICCV上，2019年。0[32]宋永斌，王悦，刘子伟，乔舒亚∙西格尔和桑杰∙萨尔玛。PointGrow：自回归学习的点云生成。6010自我注意力生成。在IEEE冬季计算机视觉应用会议(WACV)上，页码61-70，2020年。0[33] Mikaela Angelina Uy, Quang-Hieu Pham, Binh-Son Hua,Duc Thanh Nguyen和Sai-Kit Yeung.重温点云分类：一个新的基准数据集和真实数据上的分类模型.在国际计算机视觉会议上，2019年。0[34] Shenlong Wang, Simon Suo, Wei-Chiu Ma, AndreiPokrovsky和Raquel Urtasun. 深度参数连续卷积神经网络.在IEEE计算机视觉与模式识别会议上，页码2589-2597，2018年。0[35] Yue Wang, Yongbin Sun, Ziwei Liu, Sanjay E. Sarma,Michael M. Bronstein和Justin M. Solomon.动态图形CNN用于点云学习. ACM图形学交易（TOG），2019年。0[36] Zhirong Wu, Shuran Song, Aditya Khosla, Fisher Yu,Linguang Zhang, Xiaoou Tang和Jianxiong Xiao. 3DShapeNets：体积形状的深度表示.在IEEE计算机视觉与模式识别会议上，页码1912-1920，2015年。0[37] Chenfeng Xu, Bichen Wu, Zining Wang, Wei Zhan, PeterVajda, Kurt Keutzer和Masayoshi Tomizuka. Squeezesegv3:用于高效点云分割的空间自适应卷积.在欧洲计算机视觉会议上，页码1-19，2020年。0[38] Yifan Xu, Tianqi Fan, Mingye Xu, Long Zeng和Yu Qiao.Spidercnn：使用参数化卷积滤波器的点集深度学习.在欧洲计算机视觉会议上，页码87-102，2018年。0[39] Guandao Yang, Xun Huang, Zekun Hao, Ming-Yu Liu,Serge Belongie和Bharath Hariharan. PointFlow:使用连续归一化流生成3D点云.在ICCV上，2019年，页码4541-4550。0[40] Junzhe Zhang, Xinyi Chen, Zhongang Cai, Liang Pan,Haiyu Zhao, Shuai Yi, Chai Kiat Yeo, Bo Dai和Chen ChangeLoy. 通过GAN反演进行无监督的3D形状补全.在CVPR上，2021年。0[41] Zhiyuan Zhang, Binh-Son Hua和Sai-Kit Yeung. Shellnet:使用同心圆壳统计的高效点云卷积神经网络.在国际计算机视觉会议（ICCV）上，2019年。0[42] Jiapeng Zhu, Yujun Shen, Deli Zhao和Bolei Zhou.领域内GAN反演用于真实图像编辑. 在ECCV上，2020年。0[43] Silvia Zuf�, Angjoo Kanazawa, David Jacobs, and Michael J.Black. 3D动物的建模：建模动物的3D形状和姿势.在IEEE计算机视觉与模式识别会议（CVPR）上，2