基于树结构图卷积的三维点云生成对抗网络

1基于树结构图卷积的三维点云生成对抗网络Dong Wook ShuYong、Sung Woo Park Yong和Junseok Kwon韩国首尔中央大学计算机科学与工程学院seowok@naver.compswkiki@gmail.comjskwon@cau.ac.kr图1.由我们的树GAN为多个类（例如，，摩托车，笔记本电脑，沙发，吉他，滑板，刀，表，手枪和汽车从左上角到右下角）。我们的tree-GAN可以生成比基线更准确的点云（即，r-GAN [1]），并且还可以为对象的语义部分生成点云，这些点云由不同的颜色表示摘要本文提出了一种新的生成式对抗神经网络（GAN）用于三维点云生成，称为树GAN。为了实现多类3D点云 生 成 的 最 新 性 能 ， 引 入 了 树 结 构 图 卷 积 网 络（TreeGCN）作为Tree-GAN的由于TreeGCN在树中执行为了准确地评估3D点云的GAN，我们开发了一个新的评估指标，称为Fre'chetpointclouddistance（FPD）。实验结果表明，所提出的树GAN优于国家的最先进的GAN，*作者平均贡献传统的度量和FPD的术语，并可以生成点云不同的语义 部 分 没 有 先 验 知 识 。 源 代 码 可 在github.com/seowok/TreeGAN获得。1. 介绍最近，基于深度神经网络的3D数据生成问题已经引起了重大的研究兴趣，并且已经通过各种方法解决，包括图像到点云[11，19]，图像到体素[46]，图像到网格[41]、点云到体素[6，51]和点云到点云[48]。生成的3D数据已被用于在广泛的计算机视觉应用中实现出色的性能（例如，，分割[30，38，45]，体积形状表示[47]，对象检测，38593860[24 ]，[25]，[26]，[27]，[28]，[29]分类[29，34]，场景理解[37，44]和部分语义分割[22]）。然而，很少有人致力于开发可以以无监督方式生成3D点云的生成对抗网络（GAN）。据我们所知，GAN只 适 用 于 转 换 随 机 潜 在 代 码 （ 即[1][2][3][4][5][6][7][8][9][10][11][12][13][14][15][16][17][18][19 [1]中的方法仅使用完全连接的层生成点云[40]中的方法通过使用k-最近邻技术来利用局部拓扑以产生几何精确的点云。然而，随着动态图更新次数的增加，它的计算复杂度很高。此外，它只能生成有限数量的对象类别（例如，椅子、飞机和沙发）。在本文中，我们提出了一种新的方法称为树GAN，可以生成三维点云从随机潜在的代码在无监督的方式。它还可以生成多类3D点云，而无需单独对每个类进行训练（例如，，[40]）。为了在准确性和计算效率方面达到最先进的性能，我们提出了一种新的树结构图卷积网络（TreeGCN）作为树GAN的生成器。建议TreeGCN保留每个点的祖先信息，并利用这些信息通过图卷积提取新的点。TreeGCN中具有K支持的分支过程和循环项进一步增强了点的表示能力。这两个属性使TreeGCN能够生成更准确的点云，并表达更多样化的对象类别。此外，我们还证明了在TreeGCN中使用特征的祖先图1显示了我们的tree-GAN的有效性。本文的主要贡献有四个方面。• 我们提出了一种新的tree-GAN方法，这是一种深度生成模型，可以在无监督设置中生成多类3D点云（第3节）。• 我们介绍了基于TreeGCN的生成器。传统GCN的性能可以通过采用所提出的用于图卷积的树结构选项。基于所提出的树结构，tree-GAN可以通过选择特定的祖先来生成对象的部分（第4节）。• 我们数学上解释了TreeGCN，并强调了它的理想属性（第5节）。• 我们提出了Fre'chet点云距离（FPD）度量来评估3D点云的GAN。FPD可以被认为是-作为Fre' chet起始距离（FID）的非传统扩展[17]，已广泛用于评估GAN（第6节）。2. 相关工作图卷积网络：过去几年 许多工作都集中在深度神经网络的泛化上，用于图问题[3，9，16，25]。Def-Ferrard等人。 [8]提出了用于图分类问题的快速学习卷积滤波器。使用这些滤波器，他们显着加快了谱分解过程，这是传统的大数据集图卷积问题的主要计算瓶颈之一。Kipf和Welling [21]介绍了基于半监督分类的谱图卷积的一阶近似的可扩展GCN，其中卷积滤波器仅使用来自相邻顶点的信息而不是来自整个网络的信息。由于上述GCN最初是为分类问题设计的，因此假设图的连通性作为先验知识给出。然而，这种设置不适合动态模型生成问题例如，在用于3D点云生成的无监督设置中，3D点云的类型是不确定的。即使是同一类（例如，椅子），3D点云可以由各种类型表示。为了表示3D点云的不同类型，我们的TreeGCN不利用关于对象模型的先验知识用于3D点云生成的GAN：用于2D图像生成任务的GAN[ 13 ]已被广泛研究并取得了巨大成功[10，18，23，26，33，36，42，43，49，50]，但用于3D点云生成的GAN很少被研究。在计算机视觉领域的应用。最近，Achlioptas等人 [1]提出了一种用于3D点云的GAN，称为r-GAN，其生成器基于完全连接的层。由于完全连接的层不能保持结构信息，r-GAN难以生成具有多样性的真实Valsesia等人。 [40]使用图卷积作为GAN的生成器。在训练过程中，在图卷积的每一层上，使用来自每个顶点的特征向量动态地构造邻接矩阵。与传统的图卷积不同，图的连通性不被假设为先验知识。然而，为了提取图的连通性，在单层计算邻接矩阵会导致二次计算复杂度O（V2），其中V表示顶点的数量。因此，这种方法对于多批次和多层网络是难以处理的。与[40]中的方法类似，我们的树GAN不需要关于图的连通性的先验知识。然而，与[40]中的方法不同，树GAN在计算上是有效的，因为它不构造邻接矩阵。相反，树GAN使用来自树的祖先信息来利用图的连通性，其中仅需要从根节点到叶节点的树结构的列表。3861我2图2. 树GAN的管道。我们的tree-GAN包含两个网络，分别是generator（第3节）和generator（第4节）。该生成器从高斯分布z ∈R96中取一个点作为输入。在生成器的每一层，执行GraphConv（第4.1节）和分支（第4.2节）操作以生成第1组点p1。由先前层生成的所有点都将被存储并附加到当前层的树树从根节点z开始，通过分支操作拆分为子节点生成器生成三维点云x′=pL∈R3 ×n作为输出，其中pL是最后一层L上的点集，n是点的总数。该工具区分真实点云和生成的点云，强制生成器生成更真实的点。我们使用类似于r-GAN [1]中的一个节点有关详细的网络架构，请参阅树结构的深度网络：已经有几次尝试使用树结构来表示卷积神经网络或长短期记忆[5，20，27，28，31]。然而，据我们所知，以前的方法都没有将树结构用于图卷积或GAN。例如，Gadelha等人。 [12]使用树结构网络通过可变自动编码器（VAE）生成3D点云。然而，这种方法需要假设输入是通过空间划分算法（如K-1）获得真实点云，并且R表示真实数据分布。在（2）中，我们使用梯度罚函数来满足1-Lipschitz条件[14]，其中λgp是一个加权参数。4. 建议TreeGCN为了实现（1）中的G，我们考虑具有由[21]引入的Cheby-shev展开的一阶近似的多层图卷积，如下所示：三维树和随机投影树[7]。因此，它需要额外的预处理步骤，有效的实现，pl+1=σWlpl+ΣUlql+bl，（3）站。因为它的网络只包含一维卷积，iijql ∈N（ pl）层，该方法不能提取有意义的j i无序3D点云的信息。相比之下，所提出的tree-GAN不仅可以处理无序点，还可以提取对象的语义部分。其中σ（·）是动作单元，pl是图中的第i个节点（即，点云的3D坐标），ql是pl的第j个邻居，N（pl）是所有ji iPL的邻居然后，（2）中的z和x′可以表示为：3. 3D点云GAN我0L L[p1]和[p1pL· · ·pn]，其中L是最终图2介绍了拟议的树GAN的管道到从潜在代码z生成3D点云x′，我们利用Wasserstein GAN[2]中引入的目标函数。发电机的损失函数Lgen定义为：Lgen=−Ez <$Z[D（G（z））]，（1）其中，G和D表示生成器，并且R、R和Z表示潜码分布。我们用正态分布设计Z，z∈ N（0，I）。L盘的损失函数定义为：L圆盘=Ez <$Z[D（G（z））] −Ex <$R[D（x）]层，n是L上的点的数量。在训练期间，GCN在每一层处找到最佳权重Wl和Ul以及最佳偏置bl（3）中的第一项和第二项分别称为循环项和邻居项为了增强传统的GCN，例如[ 21 ]中使用的GCN，我们提出了一种新的GCN，其增强了树结构（即，，TreeGCN）。建议TreeGCN引入了一个层次GCN的树结构，通过传递信息从祖先到后代的顶点。主要的独特+λgpExX[（x D（x）2-1）2]、（2）TreeGCN的特点是每个顶点更新其通过引用树中其祖先的值，3862其中，x′是从真实点云和伪点云之间的线段中采样的而不是它的邻居。传统的GCN，例如在（3）中定义的那些，可以被认为是3863Ki，ki，1J我J我IK我l=1J我我如下所示S1+ 1=F1（pl），（5）IK我其中Fl 是包含K个节点的全连接层。一图3. 具有K-支集的循环项。左：常规循环项使用（3）中的单个参数W1来学习从P1到S1+ 1的映射。右：我们的循环项引入了一个完全连接的使用一阶近似的常规GCN在其回路项中采用单个参数以从当前点生成下一然而，对于大型图，单个参数的表示能力不足以描述复杂的点分布。因此，我们的循环项利用K支持来表示更复杂的点的分布。祖先任期：对于图卷积，知道图的连通性是非常重要的，因为这个信息信息允许GCN传播有用的信息，具有K个节点的层（即，，K支撑，pl，···，pl）学习一个一个顶点到其他连接的顶点。然而，在我们的观点更复杂的从pl到Sl+1的映射。ii云生成设置，不可能使用先前的知识，边缘的连通性，因为我们必须能够生成不同类型的点云，即使是相同的对象类别。因此，使用传统的GCN不能解决动态3D点生成问题，因为这样的网络假设图的连通性是给定的。作为（3）中相邻项的替代，我们在（4）的第二项中定义祖先 该项通过线性映射U1组合来自祖先qj的所有信息。因为每一个祖先-图4.祖先术语。左：常规相邻项使用Pl的相邻项（例如，，ql，ql，···）以生成pl+1。右：亲-长到不同层的不同特征空间，我们的祖先项可以融合来自先前层设定的祖先项使用pl的 祖 先 （例如，，ql−1，ql−2，···）至不同的特征空间。若要生成下一个点，生成pl+1。我1 2当前点参考其在各个特征空间中的祖先，以找到最佳映射U1，从而有效地组合祖先信息。通过使用这个新的祖先术语，我们的树-仅引用单个深度处的邻居然后，提出图卷积被定义为GAN获得了几个理想的数学性质，如第5节所述。图4说明了图形卷积-pl+1=σ<$Fl（pl）+ΣUlqj+bl，（4）qj∈A（pl）与祖先项的关系。4.2. 分支分支是一个增加总数的过程与（3）相比，有两个主要区别一它类似于2D卷积中的上采样在分支中，Vl+1将单个点pl∈R3变换为是使用子网络的Fl，其中Sl+1由Fl的K个支撑生成。我们我dl个子点，其中[Vl+1·pl]∈R我3×dl. 因此，我们认为，K i K把这个术语称为具有K-支持的循环，如第二节中所解释的那样pl+1=[Vl+1·pl]，其中j=1，···，d（六）第4.1节。另一个区别是考虑来自树中所有祖先的值来更新当前值。租金点，其中A（pl）表示所有祖先的集合，我的天其中[A]j表示矩阵A的第j列。然后L第（l +1）层中的点的总数为|p |× dl，皮岛我们称这个术语为祖先，如4.1节所解释的。4.1. 高级图卷积哪里|pl|是第l层中的点数。在我们的实验中，我们使用不同的分支度，提出的树结构图卷积（即，、进入层（例如，，{dl}7={1，2，2，2，2，64}）。注意Q73864Fig.中的GraphConv。2）利用带有K-支撑和祖先项的循环来修改点的坐标。带有K-支持的循环项：新循环最后一层的点数为5.数学性质l=1 dl= 2048。（4）中的项是基于Ksup提出下一点端口，而不是仅使用（3）中的单个参数Wl在本节中，我们从数学上分析了几何网络，生成的点之间的关系，并演示3865S我Σ2J2122（p）A（ p）这些关系是如何通过树结构图卷积在输出欧氏空间中制定的。1.提案 设（4）中的pL和pL为生成点用于通过直接测量真实点云和生成点云之间的匹配距离来评估生成点的质量，它们可以被认为是次优度量因为GAN的目标不是生成类似的有相同的父母也有不同的父母实际上，在最终层L中具有p L。 设（5）中的Sl为循环样品（例如，，MMD或CD），而是生成合成的探针。Li i尽可能接近真实概率的能力测量在第l层的点pi的位置。 在此之后，我们忽略了超级-如果上标l表示最终，则为pl和Sl层湖然后，ps−pi和能力测量。这种观点已经在使用GAN的无监督2D图像生成任务中进行了探索[32，17]。因此，我们提出了一种新的评价指标生成的三维点云称为FPD。与FID类似，所提出的FPD计算PointNet [29]提取的特征空间中真实和伪高斯测量值之间的2- Wasserstein距离，如下所示p−pL−1英寸 -l-Sl¨公司简介-S102，如下所示：迪伊l=1Al（pd）Al（pi）？d iFPD（P，Q）= mP−mQ+ Tr（P+Q−2（PQ）2），（八）其中A1（p）是第l层中点p的所有祖先。为了简单起见，我们忽略（5）中的分支过程和U1。基于命题1，我们可以证明以下两个命题为真：• 两点之间的几何距离由共享祖先的数量确定。如果两个点pd和pi有不同的祖先，那么地理-这些点之间的度量距离计算为驻联合每层中它们的子节点之间的差异为m2（九）其中，mP和mP分别是从真实点云{x}计算的点的平均向量和协方差矩阵，m Q和mQ分别是从生成的点云{x′}计算的平均向量和协方差矩阵，其中，x<$P和x′=G（z）<$Q。在（9）中，Tr（A）是沿着ma的主对角线的元素的和。A.在本文中，出于评估目的，我们使用传统的评估指标[1]和建议的FPD。l即，、¨-l-Sl¨¨在（8）且差异7. 实验结果？l（pd）在他们的循环Al（pi）<$.Σ即，Sd−S i<$2在（8）中. 因此如实现细节：我们使用Adam优化器来处理生成器和网络，它们的祖先变得越来越不同，两点之间的几何距离增加。• 几何上相关的点共享相同的祖先。如果两个点ps和pi共享相同的祖先，则如（7）所示，这些点之间的度量距离仅受它们的环s的影响。因此，在（7）中具有相同祖先的点之间的几何距离与在（7）中具有不同祖先的点之间的几何距离相比可以减小。¨ ¨（8）当<$Sl − Sl<$= 0时。lsl i基于这两个属性，我们的树GAN可以生成对象的语义部分，如图所示。5，其中假设具有相同祖先的点属于对象的相同部分。我们将在第7.1节中探讨拟议的tree-GAN的部分生成问题。6. Fre'chet点云距离对于GAN之间的定量比较，我们需要能够准确测量GAN生成的3D点云质量的评估指标。在2D数据生成问题的情况下，FID [17]是最常见的FID采用预训练的inception V3模型[39]来利用其特征空间进行评估。 虽然Achlioptas et al. [1]可以学习率α= 10−4，其他系数β1=0，β2=0。九十九。在generator中，我们使用LeakyReLU作为非线性函数，而不进行批量归一化。其网络结构与r-GAN [1]相同梯度惩罚系数被设置为10，并且每个迭代更新五次，而生成器每个迭代更新一次作为示于图2，从正态分布N（0，I）中采样潜在向量z∈R96作为输入。七层（L=7）用于TreeGCN。（5）中的TreeGCN的循环项具有K=10个支持。最终层中的点的总数被设置为n=2048。比较：只有两种传统的GAN用于3D点云生成：r-GAN[1]和GAN pro。由Valsesia等人提出 [40]。因此，将所提出的树GAN与这两个GAN进行了比较。虽然[40，1]中的传统GAN为每个类训练单独的网络，但我们的树GAN只为多个对象类训练单个网络。评 价 指标 ： 我 们使 用 ShapeNet 1 评 估 了 tree-GAN ，ShapeNet 1是一个大规模的3D形状数据集，包含16个对象类。根据拟定的FPD（第6节）和指标进行评价1https://www.shapenet.org/38661图5. 我们的树GAN的语义部分生成和插值结果。红色和蓝色点云是从树中的不同祖先生成的，它们形成了几何上不同的点族。飞机的最左边和最右边的点云由不同的噪声输入生成。中间的飞机通过基于潜在空间表示的最左和最右点云之间的插值获得由Achlioptas等人[1]使用。作为FPD的参考模型，我们使用PointNet [29]的分类模块，因为它可以处理对象的部分输入此属性适用于FPD，因为生成的点云逐渐形成形状，这意味着点云可以在训练期间部分完成。为了 实 现 FPD， 我 们 首 先训 练 了 一 个 分 类 模 块 40 个epoch，以达到98%的分类任务准确率。然后，我们从密集层的输出中提取1808维特征向量，以计算（9）中的均值和协方差。7.1. 消融研究我们分析了所提出的树GAN，并检查其有用的属性，即无监督的语义部分生成，通过插值的潜在空间表示，和分支。无监督语义部件生成：我们的tree-GAN可以为不同的语义部分生成点云，即使在训练过程中没有关于这些部分的先验知识。树GAN可以执行这种语义生成，因为它的树结构图卷积，这是基于GAN的3D点云方法中的一个独特特征。如命题1所述，点之间的几何距离由它们在树中的祖先决定。不同的祖先意味着几何上不同的点族。因此，通过选择不同的祖先，我们的tree-GAN可以生成点云的语义不同的部分请注意，这些几何家庭的点是consistent之间不同的潜在代码输入。比如说，设z1，z2<$N（0，I）为采样潜码。 设G（z1）=[p1p2. . . p2048]和G（z2）=[q1q2. . . Q204 8]是它们对应的生成的点云。让J是一个确定的2048点索引的子集。 则GJ（ z1 ）=[pj]j∈J表示G（z1）的指数J的子集. 如图 5.如果我们选择相同的点云索引子集，即使潜在代码输入不同，也会导致相同的语义部分。例如，由Jh（e. G. ，GJh（z1）和GJh（z2））表示飞机的驾驶舱，而所有以Jt为索引的蓝点（e. G. ，GJt（z1）和GJt（z2））表示飞机的尾翼。从这个消融研究中，我们可以验证祖先之间的差异决定了点之间的语义差异，并且具有相同祖先的两个点（例如，图中左翼的绿色和紫色点第五章）为不同的潜在代码保持它们的相对距离。插值：我们基于六个α =[α1，. . . ，α6]。图中飞机最左边和最右边的5分别由G（ z1）和G（z2）我们的tree-GAN还可以在两个点云之间生成逼真的插值分支战略：我们 进行 的 实验表明，所提出的度量的收敛动力学对不同的分支策略不敏感。像其他实验一样，总的基因数量-标 定 点 为 2048 个， 但 设置了不 同 的分 支 度 （ 例如，，{dl}7={1，2，2，2，2，64}，{1，2，4，16，4，2，2}，{1，32，4，2，2，2}）。 请参考补充材料。7.2. 与其他GAN的比较在精度和计算效率方面，将所提出的树GAN与其他最先进的点云生成GAN进行了定量和定性比较。补充材料包含更多的结果和比较三维点云生成。比较：表1和表2包含Achlioptas等人[ 1 ]使用的指标的定量比较（即、JSD、MMD-CD、MMD-EMD、COV-CD和COV-EMD）和建议的FPD。所提出的tree-GAN在所有指标方面始终优于其他GAN，证明了所提出的treeGCN的有效性。为了进行定性比较，我们将整个索引集平均分为四个子集，并将每个子集中的点涂上相同的颜色。虽然真实的3D点云是无序的，如图1和图2所示。1和6，我们的树- GAN成功地生成了3D点云，具有直观的语义意义，而没有任何先验知识，而r-3867l=1表1. Achlioptas等人[ 1 ]使用的指标的定量比较。红色和蓝色值表示最佳，分别是第二好的结果。由于Valsesia等人的原始论文。[40]仅提供了椅子和飞机类的点云结果，因此我们的tree-GAN与基于这些类的[40]进行了比较。然而，我们还对所有16个类的拟议tree-GAN进行了定量评估，如下所示对于具有最小值的网络，我们使用了[40]中报告的结果较高的COV-CD和COV-EMD以及较低的JSD、MMD-CD和MMD-EMD指示较好的方法。类模型JSD↓MMD-CD↓MMD-EMD↓COV-CD↑COV-EMD↑r-GAN（密集型）0.2380.00290.1363313r-GAN（conv）0.5170.00300.223234ChairValsesia et al. （不向上。）⋆0.1190.00330.1042620Valsesia等人（up.）⋆0.1000.00290.0973026tree-GAN（我们的）0.1190.00160.1015830r-GAN（密集型）0.1820.00090.094319r-GAN（conv）0.3500.00080.101267AirplaneValsesia et al. （不向上。）⋆0.1640100100.1022413Valsesia等人（up.）⋆0.0830.00080.0713114tree-GAN（我们的）0.0970.00040.0686120r-GAN（密集型）0.1710.00210.1555829所有（16类）树GAN（我们的）0.1050.00180.1076639表2. 根据拟定FPD进行定量比较。真实点云的FPD几乎为零。该值可以用作生成的点云的下限。请注意，我们无法评估Valsesia等人提出的GAN。 [40]在FPD方面，因为源代码不可用。更好的方法具有更小的FPD值。类型号FPD↓输出图在第l层，分别。上述方法需要额外的计算来利用连接活动信息。 这些计算需要的时间和内存资源的数量级为LB×Vl×Vl。然而，我们的TreeGCN不需要像静态链接方法那样的任何先验连接信息，也不需要像动态链接方法那样的额外计算。因此，我们的网络可以使用时间和内存资源效率更高，需要的手术资源更少，der为Ll=1 B× Vl.GAN无法生成语义有序的点云。此外，我们的tree-GAN可以生成对象的详细和复杂的部分，而r-GAN生成更分散的点分布。图6给出了我们的树GAN的定性结果。tree-GAN为多对象类别生成逼真的点云，并为每个类别生成非常多样化的点云类型。计算成本：在使用静态链接进行图卷积的方法中，邻接矩阵通常用于顶点的卷积。虽然这些方法已知对图形数据产生良好的结果，但先前的知识-需要关于连通性的边。在使用动态链接进行图卷积的其他方法中，必须从顶点构造邻接矩阵以导出每个卷积层的连接性信息，而不是使用先验知识。例如，令L、B、Vl表示层的数量、批次大小和导出顶点大小，8. 结论在本文中，我们提出了一种称为tree-GAN的生成对抗网络，它可以以无监督的方式生成3D点所提出的生成树GAN，这是所谓的树GCN，执行图卷积的树结构的基础上。树-GCN利用来自树的祖先信息，并采用多个支持来表示3D点云。因此，所提出的树GAN优于其他基于GAN的点云生成方法的准确性和计算效率。通过各种实验，我们证明了树GAN可以在没有任何先验知识的情况下生成对象的语义部分，并且可以通过插值来表示潜在空间中的3D点云。9. 确认这项工作得到了韩国政府（MSIT）资助的信息通信技术规划评估研究所（IITP）赠款的支持（No.2017-0-01780）。主席r-GAN1.860tree-GAN（我们的）0.809r-GAN1.016飞机tree-GAN（我们的）0.439r-GAN4.726全部（16个班级）tree-GAN（我们的）3.6003868图6. 基线（即r-GAN [1]）和我们的树GAN的无监督3D点云生成结果。与r-GAN相比，所提出的tree-GAN生成更准确和详细的对象点云，并且即使在没有关于该部分的先验知识的情况下也为对象的每个部分生成点云。由tree-GAN生成的点云可以表示每个类的各种几何类型。第一、第二和第三列分别显示地面实况、基线和tree-GAN的点云3869引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.学习3D点云的表示和生成模型在ICLR，2018年。一二三五六七八[2] Martin Arjovsky Soumith Chintala 和 Leon Bottou 。Wasserstein GAN arXiv 预 印 本 arXiv ： 1701.07875 ，2017。3[3] Joan Bruna ， Wojciech Zaremba ， Arthur Szlam ， andYann Le- Cun. 图 上 的 谱 网 络 和 局 部 连 通 网 络 。 见ICLR，2014年。2[4] 陈 晓 志 ， Kaustav Kundu ， 朱 玉 坤 ， Andrew G.Berneshawi ， Huimin Ma ， Sanja Fidler ， and RaquelUrtasun.用于精确对象类别检测的3D对象提案。2015年，在NIPS中。2[5] Zhou Cheng ， Chun Yuan ， Jiancheng Li ， and HaiqinYang. TreeNet：学习句子表示与unconstrained树结构。在IJCAI，2018。3[6] 戴 安 琪 ， 天 使 X.Chang ， Manolis Savva ， MaciejHalber，ThomasFunkhouser，andMatthiasNiener.ScanNet：室内场景的丰富注释的3D重建。在CVPR，2017年。1[7] S. Dasgupta和Y.弗罗因德随机投影树与低维流形。STOC，2008年。3[8] MichaeülDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络。在NIPS，2016年。2[9] DavidKDuvenaud 、 DougalMaclaurin 、 JorgeIparraguirre、Rafael Bombarell、Timothy Hirzel、AlanAspuru-Guzik和Ryan P Adams。用于学习分子指纹的图上卷积网络2015年，在NIPS中。2[10] Kiana Ehsani 、 Roozbeh Mottaghi 和 Ali Farhadi 。SeGAN：分割和生成不可见的。在CVPR，2018年。2[11] Haoqiang Fan，Hao Su，and Leonidas Guibas.一个点集生成网络从一个单一的图像三维物体重建。在CVPR，2017年。1[12] Matheus Gadelha，Rui Wang，and Subhransu Maji.用于三维点云处理的多分辨率树网络。在ECCV，2018。3[13] Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville和Yoshua Bengio。生成性对抗网。在NIPS，2014。2[14] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin 和 Aaron C Courville 。 改 进 了Wasserstein GAN的训练。在NIPS，2017年。3[15] 蒂莫·哈克尔，扬·D.Wegner和Konrad Schindler。非结构化三维点云的轮廓检测。在CVPR，2016年。2[16] Mikael Henaff，Joan Bruna，and Yann LeCun.图结构数据 上 的 深 度 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1506.05163，2015。2[17] Martin Heusel、Hubert Ramsauer、Thomas Unterthiner、Bernhard Nessler和Sepp Hochreiter。 通过两个时间尺度更新规则训练的GAN收敛到局部纳什均衡。在NIPS，2017年。二、五[18] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯使用条件对抗网进行图像到图像的翻译。在CVPR，2017年。23870[19] Li Jiang，Shaoshuai Shi，Xiaojuan Qi，and Jiaya Jia.GAL ： 单 视 图 3D 对 象 重 建 的 几 何 对 抗 损 失 。 在ECCV，2018。1[20] Juyong Kim，Yookoon Park，Gunhee Kim，and SungJu Hwang. Splitnet：学习从语义上拆分深度网络，以减少参数和模型并行化。ICML，2017。3[21] Thomas N Kipf和Max Welling图卷积网络的半监督分类在ICLR，2017。二、三[22] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞：用于三维点云模型识别的深度kd网络。InICCV，2017. 2[23] Christian Ledig ， Lucas Theis ， Ferenc Huszar ， JoseCaballero ， Andrew Cunningham ，Alejandro Acosta ，Andrew P.Aitken ， Alykhan Tejani ， Johannes Totz ，Zehan Wang，and Wenzhe Shi.使用生成对抗网络的照片逼真的单图像超分辨率。在CVPR，2017年。2[24] 杨 燕 李 ， Soeren Pirk ， Hao Su ， Charles R. Qi 和Leonidas J. Guibas FPNN：用于3D数据的现场探测神经网络。在NIPS，2016年。2[25] Yujia Li ， Daniel Tarlow ， Marc Brockschmidt ， andRichard S.泽梅尔门控图序列神经网络ICLR，2016年。2[26] 林建新，夏颖策，秦涛，陈志波，刘铁岩.有条件的图像到图像翻译。在CVPR，2018年。2[27] Calvin Murdock ， Zhen Li ， Howard Zhou ， and TomDuerig. Blockout：分层深度网络的动态模型选择。在CVPR，2016年。3[28] Hyeonseob Nam，Mooyeol Baek，and Bohyung Han.在树结构中建模和传播CNN，用于视觉跟踪。2016年12月16日，北京市人民政府新闻办公室。3[29] Charles R.Qi ， Hao Su ， Kaichun Mo ， and LeonidasJ.Guibas Pointnet：对点集进行深度学习，用于3D分类和分割。在CVPR，2017年。二、五、六[30] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。在NIPS，2017年。1[31] Deboleena Roy，Priyadarshini Panda，and Kaushik Roy.Tree-CNN：用于终身学习的深度卷积神经网络arXiv预印本arXiv：1802.05800，2018。3[32] Tim Salimans、Ian Goodfellow、Wojciech Zaremba、Vicki Cheung、Alec Radford、Xi Chen和Xi Chen。改进了训练GAN的技术。在NIPS。2016. 5[33] Xinchen Yan Lajanugen Logeswaran Bernt Schiele ScottReed，Zeynep Akata and Honglak Lee.生成对抗文本到图像合成。InICML，2016. 2[34] 放大图片作者：Richard Socher，Brody Huval，BharathBath，Christopher D.Manning和Andrew Y. Ng.卷积递归深度学习用于3D对象分类。NIPS，2012年。2[35] 宋舒然和肖健雄。 用于RGB-D图像中模态3D对象检测的深度滑动形状。在CVPR，2016年。2[36] Yibing Song ，Chao Ma，Xiaohe Wu ，Lijun Gong，Linchao Bao，Wangmeng Zuo，Chunhua Shen，RynsonLau，and Ming-Hsuan Yang. VITAL：通过对抗学习进行视觉跟踪。在CVPR，2018年。23871[37] 金炳秀，普什米特·科利，和西尔维奥·萨瓦雷塞。基于体素CRF的三维场景理解。CVPR，2013。2[38] Simon Christoph Stein ， Markus Schoeler ， JeremiePapon，and Florentin Worgotter.使用局部凸性的对象划分CVPR，2014。1[39] Christian Szegedy、Vincent Vanhoucke、Sergey Ioffe、Jon Shlens和Zbigniew Wojna。重新思考计算机视觉的初始架构。在CVPR，2016年。5[40] Diego Valsesia Giulia Fracastoro和Enrico Magli。通过图形卷积学习3D点云的本地化生成模型。2019年，在ICLR。二、五、七[41] Nanyang Wang ， Yinda Zhang ， Zhuwen Li ， YanweiFu，Wei Liu，and Yu-Gang Jiang. Pixel2Mesh：从单个RGB图像生成3D网格模型。在ECCV，2018。1[42] 王小龙和阿比纳夫古普塔。使用风格和结构对抗网络的生成图像在ECCV，2016年。2[43] Xiaolong Wang ， Abhinav Shrivastava ， and AbhinavGupta. A-Fast-RCNN：通过对手进行目标检测的硬阳性生成。在CVPR，2017年。2[44] Yan Wang ， Rongrong Ji ， and Shih-Fu Chang. 从imageNet到3D点云的标签传播。CVPR，2013。2[45] Wang Yue，Yongbin Sun，Ziwei Liu，Sanjay E.作者声明：Michael M. Bronstein和Justin M.所罗门用于点云学习的动态图CNN。arXiv预印本arXiv：1801.07829，2018。1[46] Jiajun Wu ， Chengkai Zhang ， Tianfan Xue ， BillFreeman，and Josh Tenenbaum.通过3D生成对抗建模学习对