没有合适的资源?快使用搜索试试~ 我知道了~
1TopNet:结构点云解码器http://completion3d.stanford.edu莱恩山口Tchapmi1 Vineet Kakuaju1 S.Hamid Rezatoeli1,2 Ian Reid2 Silvio Savarese11斯坦福大学2阿德莱德大学澳大利亚摘要三维点云生成对于三维场景建模和理解有着重要的意义。真实世界的3D对象点云可以通过诸如表面、几何图元、语义部分等的低级和高级结构的集合来适当地描述。事实上,存在作为点群集合的3D对象点云的许多不同表示用于点云生成的现有框架在其提出的解决方案中不考虑结构,或者假设并实施特定的结构/拓扑,e.G.流形或曲面的集合,用于生成3D对象的点云。在这项工作中,我们提出了一种新的解码器,生成一个结构化的点云,而不假设任何特定的结构或拓扑结构的基础点集。我们的解码器是软约束生成一个点云以下的层次有根树结构。我们表明,有足够的能力,并允许-ING冗余,建议的解码器是非常灵活的,能够学习任何任意分组的点,包括任何拓扑上的点集。我们评估我们的解码器上的点云生成三维点云形状完成的任务。结合现有框架中的编码器,我们证明了我们提出的解码器在Shapenet数据集上的性能明显优于最先进的3D点云完成方法。1. 介绍使用神经网络生成3D点云越来越多地被研究用于各种应用,例如3D重建[9,13,37],对象点云完成[38,13],以及点云的表示学习[37,1,13]。这项工作的重点是共同的子任务,产生一个完整的三维点云形状,给定的特征向量表示的形状。输入特征可以来自各种输入(例如图像[9],2.5D草图[35],点云[23]等),但是,本工作中的评估范围集中在3D对象形状完成任务上,其中输入是部分3D点云,并且期望输出图1:我们提出的解码器根据树结构生成点云,其中树的每个节点表示点云的子集。嵌入的点云结构通过在解码器中可视化节点来示出,作为其所有后代点的集合。我们显示选定的点分组模式出现从我们的结构解码器的几个对象类。是地面实况完成的点云。从由深度相机或LiDAR获取的不完整扫描推断物体的完整形状的能力确实是一项重要的任务,其实现了若干下游应用,例如机器人操纵[31]、用于导航的场景理解[7]和完成形状的虚拟操纵[8]。虽然在3D对象的规则表示(例如距离场、网格和体素网格)上执行形状完成已经取得了适度的成功[3,6,22,28,16,14],但这些方法由于这种表示的效率低下而不足。在开发高效和强大的点云编码器[23,21,24,20,18]方面的最新进展使点云成为使用神经网络的3D对象生成和完成的非常有前途的表示几个国家的最先进的ap-383384适用于形状完成的方法集中于基于点云的形状完成[38,13,37]。这些框架中的主要范例是使用点云编码器来嵌入部分点云输入[21],并设计解码器以从编码器的嵌入生成完整的点云在大多数现有的点云生成方法中的关键焦点是2D或3D对象的表示以及用于所提出的表示的基于相关点云的解码器的指定。最早的方法使用并行多层感知器网络和去卷积网络来解码由2D编码器[9]生成的潜在特征,同时使用诸如推土机的ditance [26,9]或Chamferloss [ 9 ]的置换不变损失然而,这个框架并没有明确地考虑自然存在于真实世界3D对象中的任何拓扑或结构。最近成功的方法集中在生成结构化点云的解码器的指定[38,13,37]。例如,在[13]中,假设3D对象的点云位于2-流形上,2-流形定义为局部类似于欧几里得平面的拓扑空间。因此,所提出的解码器被迫学习从欧几里德平面到对象点云的一组映射或变形。与忽略结构的方法相比,将这些结构强加到学习过程中可以在生成3D对象点云然而,通常被忽略的是用于对点云进行分组的特定表示可能对使用非结构化(即,置换不变)损失。在学习过程中强制执行单个特定结构对于训练可能不是最佳的,因为可能的解决方案的空间受到限制。为了解决这个问题,我们提出了一个更通用的解码器,可以生成结构化的点云隐式modeling的点云结构中的一个我们表明,有足够的能力,并允许冗余,有根树允许我们模型的结构,包括任何拓扑上的点集,使我们的解码器更一般的结构化解码器。由于在我们的解码器中仅对结构进行了直接建模,因此我们的模型不受预定结构的约束,因此可以在点集上嵌入1.一、更具体地说,对于形状完成任务,我们嵌入的部分输入点云作为一个特征向量或代码,这是由我们提出的解码器来生成一个完整的点云。我们的解码器具有有根树结构,其中根节点嵌入整个点集作为编码器特征向量,叶节点是点集中的各个点,并且每个内部节点嵌入由其所有后代叶组成的整个点云由树节点表示的点云子集集定义了生成的点云结构或拓扑。这个模型的选择是受到第4节中详细描述的有限离散点集上拓扑的形式定义的启发。我们在Shapenet数据集上评估了我们提出的解码器,并在点云形状完成任务的下一个最佳执行方法上显示出34%的相对改进1。我们的树解码器的节点的可视化揭示了我们的解码器学习到的各种不同的模式。本文的主要贡献概括如下:• 我们提出了一种新的方法来建模任意结构/拓扑上的点云使用一个有根树,其中每个节点嵌入一个定义元素的结构。• 我们设计了一种新的树解码器网络点云生成和完成,生成任意结构的点云,而不显式地执行一个特定的结构。• 我们展示了一个直观的可视化的结构,我们的解码器学习可视化的树解码器中的一个节点作为一组其所有的后代。• 最后,我们的网络设置了一个新的国家的最先进的对象点云完成超过30%的改进,比下一个最好的性能的方法。2. 相关作品我们的工作遵循一长串利用各种表示的形状完成框架。我们重新审视了这些方法中利用神经网络的一个子集。体积3D形状完成:早期和最近的一些关于形状完成的工作利用神经网络支持体素网格和距离场表示[6,15,29,27,18],这些都非常适合用3D卷积神经网络进行处理。这些工作在3D重建[5,11]、形状完成[6,14,36,19]和从嵌入生成形状[3]的任务中取得了巨大成功。然而,体素网格需要大的足迹和早期的作品操作低维网格。这个问题已经使用稀疏表示[30,32,33,17,12,25]解决,这使得处理体素更有效。然而,体素化的过程仍然引入了量化效应,其丢弃了数据的一些细节[34]并且不适合表示细粒度信息。为了避免这种限制,最近的作品在点云空间中生成3D形状,这自然能够表示细粒度的细节,1该项目的代码和相关的对象点云完成基准以及所有评估的方法可在http://completion3d.stanford.edu网站。385这些工作中的一些显示出优于基于体素的方法的性能[38,9,10]。使用神经网络生成多分辨率点云:在点云生成的过程中,一些研究工作考虑或引入了多分辨率结构。Yuan等[38]分两个阶段生成点云,其中第一阶段是较低分辨率的点云,第二阶段是最终输出。Gadelha等人[10]将点云表示为空间有序点的1D列表,并通过树网络生成点云,其中每个分支旨在表示通过多分辨率卷积连接的点云的不同分辨率。这些工作虽然性能很高,但限制了网络专注于点云中的多分辨率结构。使用神经网络生成非结构化点云:Fanet al。[9]提出了文献中最早的作品之一,解决了从输入图像生成3D点云的任务。他们提出了一种由编码器和解码器组成的架构,编码器将输入编码到嵌入中,解码器从嵌入中生成点云。他们提出的解码器是一个2分支架构,一个多层感知器(MLP)分支和一个解卷积分支。他们还引入了倒角损失,这是一种用于点云比较的可微损失,我们在工作中利用了它。然而,由他们的方法生成的输出是非结构化的点云,而真实世界的对象点云是结构化的,并且可以表示为子集的集合,例如,表面和零件。最近的方法的基础上施加的结构化表示之一我们接下来会回顾它们。基于流形的点云生成与神经网络:关于点云生成和完成的几种最先进的方法通过在点云上假设和实施2-流形拓扑来生成结构化点云。Groueix等人[13]设计一个解码器,通过学习从欧几里得平面到地面实况点云的映射来学习流形Yang等[37] Yuanet al. [38]还学习通过在欧几里得平面上进行一系列变形(折叠)操作来生成一个结构为流形的点云。虽然几个点云确实是从采样流形中导出的,但它们表现出几个其他结构或拓扑表示,可以在训练期间利用。因此,强制执行特定的结构化表示可能会通过限制解决方案搜索空间来约束学习过程。为了避免这种限制,我们提出了一个解码器,它是能够代表任意的结构和拓扑上的点集。解码器具有有根树结构,其中树的每个节点表示并生成定义点云结构的不像[13,37,38],它们专门强制他们的解码器生成一个mani,折叠,我们不强制我们的解码器生成任何特定的拓扑,这增加了可以由解码器生成我们的解码器学习的结构模式的可视化表明,解码器学习的模式不一定是传统的2-流形,但发生在几个对象。3. 背景和动机首先,我们提供一些背景的概念有关的对象结构和拓扑结构。2-流形和表面拓扑:对象结构通常被建模为表面或2-流形,其通常是局部类似于欧氏平面的拓扑空间。这意味着2-流形具有局部平滑性先前的工作已经尝试通过学习从平滑的2D网格到3D对象的局部表面的映射来明确地实施该属性[13,37,38]。虽然强制局部平滑可能有助于学习明确的平滑表示(例如网格),但由于点云的离散性质,该假设可能与点云不太相关,这允许各种可能更合适的非平滑表示。离散点集上的拓扑:与2-流形表示不同,由于点云的离散性质,我们不利用局部平滑假设。相反,我们利用其中一个更一般的等价物-有限离散点集上的拓扑空间的广义定义,对于集合S,定义为S的子集的非空集合[2](见第4节)。注意,拓扑的这个定义比2-流形的并且不对拓扑内的平滑度或点邻域施加限制。利用这个定义,使我们能够设计一个点云解码器,这是较少的约束比以前的拓扑点云解码器。实际上,我们简单地设计了一个解码器,它能够将点云分组为定义点云结构的子集。设计将点云分组为子集的解码器背后的直觉是,如果定义为非空子集的集合的拓扑对于学习过程是足够的,则解码器具有通过适当分组点来根据该拓扑生成点云设计拓扑解码器:鉴于更一般的定义,拓扑离散有限点集作为一个集合的子集,我们如何才能设计一个解码器,能够产生集合的子集为一个集合S?一一种简单的方法是训练N个多层神经网络,tron生成单独的点云子集,并将它们合并到最终的点云中。这种方法微不足道的规模差的拓扑结构或定义在点集的大小。我们建立并改进了这个基本思想,而是提出了一个解码器建模为一个分层的根树,其中树的每个节点代表一个386点云的子集和树的根表示整个点云(图1)。①的人。这种有根树结构有几个吸引人的属性,包括它的能力,表示任意的拓扑结构和离散点集上的结构。解码器的分层性质也是更有效和紧凑的表示,因为在生成点云的重叠子集时共享神经网络的部分(参见第5节)。接下来,我们提出了我们的工作的理论基础,从离散点集上的拓扑的正式定义开始,我们表明,我们提出的有根树结构是足够的,以表示几个点云结构,包括任何任意的拓扑。4. 拓扑结构表示在这项工作中,我们利用点集拓扑学的一般定义,并提出了一个解码器,结构化点云。为此,我们首先提供了点集拓扑空间的一般定义。拓扑空间有几个等价的定义,为了我们的目的,我们使用下面的[2]:定义:设S={s1,s2,· · ·,sn}是一个点集,其中si∈Rd是d维空间中的一个点,T={S1,S2,· · ·,Sk}是S的一个开子集。那么,T是S上的拓扑,如果:1. 空集和S是开的,2. T的任何有限个子集的交集都在T中,即。∩∀iSi∈T,3. T的任意数量的子集的并集在T,即∪∀iSi∈ T,任何有限点集都可以被定义为开的,并且在整个工作中,我们使用该假设,使得S,S和S的所有子集都是开的。从上面的定义可以看出,有限离散点集上的拓扑通常可以被认为是点集的子集的集合。因此,解码器建模拓扑必须能够生成或建模点组,以便表示点集上的拓扑。在完成将点云生成为一组点的任务的几种可能性中,我们选择使用有根树拓扑有两个主要原因。我们选择的第一个原因是,假设有足够的容量并允许冗余,点集S上的任何拓扑T都可以表示为如命题1所示的有根树。我们选择的第二个原因是,任何一棵至少有三个非叶节点的有根树都可以嵌入至少两个拓扑(命题2)这意味着,与容量无关的这种表示(只要存在至少3个非叶节点)可以定量地编码比其中假设单个预定拓扑的先前工作更多的拓扑现在我们来详细讨论上述两个命题的证明。命题1:点集S上的任何拓扑T都可以建模为有根树结构G,其中:– G的每一个叶都表示一个单例{s},其中s是一个单独的点s∈ S(P1 a)– 树中的每个非叶节点G(Si)表示非空元素Si∈T(P1b)– 对于G中的任意一对节点G(Si),G(Sj),如果G(Sj)是G(Si)的子节点,则Si<$Sj(P1 c)存在性证明:我们想证明对于集合S上的每个拓扑T,至少存在一个满足命题1条件的有根树结构G让我们定义T=T{{s}:s∈ S}。我们创建一个图G如下:– 对于每个点s∈S和每个非空集合Si∈T,我们在G中创建一个代表节点G(s),G(Si)。(C1a)– 对每个非空的Si,Sj∈T∈,如果Si<$Sj,我们在G(C1 b)中增加一条从Si到Sj的有向边E(Si,Sj).– 由于Si∈Ti/S,Si∈S,E(Si,S)是G中的一条边,我们将G(S)指定为我们的图G(C1d)的根.通过C1a,T的所有非空子集都由G中的节点表示,现在我们证明G满足命题1中的条件。P1a证明:设Gl是G中的一个叶子,表示子集Si∈S。通过C1a,Si是非空的,这意味着s∈ S,s∈Si。因此,s是i。通过矛盾,让我们假设Si不是单例。通过C1 b,E(Si,{s})是有向边G,这意味着Gl不是叶,这是矛盾的。因此,我必须是一个单例。P1b证明:这是C1aP1c证明:这是C1d推论1:G中给定节点的所有叶子后代的集合(Si)在G中等于Si。基于这个推论,我们可以可视化点集拓扑中的各个节点,树通过可视化其所有后代的叶子。命题2:给定一个结构化的点云,表示一组点S,和一个至少有3个非叶节点的有根树图G,以及在命题2中定义的属性。在Situation1中,存在一个以上可以用G表示的拓扑。证明:这个命题也可以通过例子来证明。有两个平凡的拓扑,可以表示在一个根树G的至少3个非叶节点。 中的第一它是T={S,S},可以通过选择根节点和树中的每一个其他节点来表示S(我们的表示允许重复节点)。空集是隐式表示可以用G表示的第二个平凡拓扑是T={S,S,S1,S2}387解码器输入嵌入级联包括作为第一级的编码器。5.1. 有根树译码器我们提出的解码器架构具有根树结构,其中根节点嵌入并处理表示3D形状的全局点云嵌入。一组排列成树结构的多层感知器被用来学习子节点的嵌入,子节点的嵌入来自与每个节点处的全局嵌入相连接的解码器架构如图2所示。我们的解码器随后,将树的i≥1级处的每个节点的特征向量与由编码器产生的全局特征级联,并由Mi+1个MLP进一步处理以生成多层感知器(MLP)3D点对于下一级别i +1,每个节点减少M i+1个子特征。给定级别i上的所有节点都由相同的M i处理图2:模型架构:我们的点完成框架包括一个2阶段的点云编码器,和一个树结构的解码器。解码器的箭头是多层感知器网络(MLP)。类似颜色的MLP共享相同的参数。其中S2是S1在S1中的补数,即,S2=S/S1。通过指定根节点表示S,指定G的前2个子节点表示S1和S2,可以用G表示该拓扑,从而结束我们的证明。总之,我们的命题表明,它是可能的表示结构/拓扑上的离散和有限的点集使用根树,其中的每一个节点的树表示的元素的拓扑和树的边缘表示的子集的关系,从孩子到父母。虽然拓扑的这种表示不是表示拓扑的唯一方式,但我们发现它适合作为设计点云解码器的基础,该点云解码器足够灵活以表示各种结构和拓扑,但不太受约束而被迫生成特定或任何拓扑。接下来介绍了这样一个解码器的设计和我们用于点云生成和完成的一般框架5. 结构化点集生成考虑到离散和有限点集上的一般结构和拓扑可以表示为有根树,我们提出了一种具有有根树结构的新型解码器,该解码器将表示3D形状的嵌入作为输入并生成相应的点云(图1B)。2)的情况。我们提出的解码器根据树结构生成点云,其中树的每个节点表示点云的子集(图11)。①的人。解码器使用倒角距离作为损失[9]进行训练,在一个框架内,共享MLP在树的最后一级,为每个叶节点生成的特征向量具有维度C=3,并且表示输出点云中的各个点设计分析:在第4节中,我们证明了集合S上的任何拓扑T都可以嵌入到根树中,其中树的每个节点表示T的非空子集或S的单例。我们证明了这个假设的任何任意有根树。 然而,我们在这里提出,是一个特定的有根树结构,具有以下特点:– D中的每个节点最多有一个父节点– 同一级别的所有节点都具有相同数量的子节点– 所有的叶子都在同一水平线上。当G不一定满足上述条件时,通过对G进行一系列的节点复制,可以将G转换为满足上述条件的新的等价树G′。我们在柔软的材料中提供更多细节。在这种情况下,我们的解码器可以被视为对G′而不是G进行建模,这意味着节点和点的潜在重复。这是可以接受的,因为点集中的点的重复不会改变点集的整体。5.2. 点云损失我们的解码器生成的点云需要与地面实况进行比较以进行学习。一个理想的损失必须是可微的和不变的置换目标S和地面实况SG中的点云。Fan等人提出的S,S_G_R_3之间的倒角距离MLP388al. [9]满足这两个要求,定义为:dCD(S,SG)=Σx∈S最小值x−y<$2+y∈SGΣy∈SG最小值x−y2x∈S(一)对于每个点,倒角距离在另一个集合中找到最近的邻居,并计算它们的平方距离,这些距离在目标和地面实况集合上相加6. 实验现在,我们评估我们提出的解码器的3D点云形状完成的任务定量和定性。通过现有的点云编码器处理给定的部分输入点云,并由我们的解码器处理所得到的嵌入以生成点云。在我们的最终模型中使用的编码器是来自Yuan等人的基于PointNet的2阶段编码器。[38]第30段。数据集:我们在Shapenet数据集的一个子集上评估我们的数据集[4],该数据集来源于Yuan等人的数据集。[38][38]中的地面实况是通过对网格表面上的16384个点进行均匀采样而生成的,通过将2.5D深度图像反向投影到3D中来生成部分点云在我们的实验中,我们使用N = 2048用于输入和地面实况点云,这些点云是通过[38]中的云的随机子采样/过采样获得的。我们保持与[38]相同的训练/测试分割。实现细节:我们的最终解码器具有L=6个级别,解码器树中的每个MLP生成大小为F = 8的小节点特征嵌入。当生成N=2048个点时,根节点具有4个子节点,并且后续层中的所有其他内部节点生成8个子节点,从而产生解码器生成的总共N=4×(83)=2048个点。解码器中的每个MLP具有3个级,分别具有256、64和C个通道,其中对于内部节点C = 8,并且对于叶节点C=3。训练设置:我们训练所有模型300个epoch,批量大小为32,学习率为1 e-2或5e-3,具体取决于稳定性和Adagrad优化器。最好的基于验证集选择模型。评估:我们在Shapenet数据集中的8个类中评估我们的模型,并使用最先进的点云完成方法。对于每个类,计算倒角距离(对类实例数取平均值)。我们的最后一个度量是跨类的平均倒角距离。此外,我们训练了一个完全连接的解码器基线,具有4层输出维度256、512、1024和3×N。对于N=2048,我们的方法对最先进的方法的评估结果,ODS见表1,定性结果见图4.第一章我们的方法显着优于现有的方法在所有类中,并显示出33.9%的相对改善下一个最好的方法。图3:参数数量:我们分析了我们的网络实例的性能作为其参数数量的函数。在所有实例中,我们的网络都优于以前的作品。一个局部最小值似乎从这个图中出现。请注意,报告的倒角距离乘以104。6.1. 编码器分析在以前的作品中提出的方法使用各种编码器。生成的点云不仅依赖于解码器,还依赖于编码器生成的特征。在实验中,我们分析了编码器的选择对我们的解码器和以前的解码器的性能的影响。该分析的结果列于表2中。在以前的作品[13]中使用的第一个编码器(A)和我们的完全连接基线是PointNet[13]。第二个编码器在[38]中提出,其中它展示了比PointNet++ [24]更好的性能。我们展示了这两个编码器的结果,并与使用每个编码器的方法进行比较。无论使用的编码器,我们的方法优于现有的方法。根据所选择的编码器,性能上存在明显的差距,但使用相同编码器的方法进行比较,我们的网络仍然显示出显着的性能改善。6.2. 消融研究在我们的解码器中涉及的设计选择包括选择为每个节点嵌入生成的特征的数量F和树级别的数量L。我们分析了输出云大小N=2048的这些参数的影响,在{8,16,32,64}中改变F,在{2,4,6,8}中改变L。这个ab-研究被用来挑选模型层和特征的数量。需要注意的一点是,由于本实验中输出点数固定为2048,因此增加关卡数需要减少每个关卡的儿童数量。因此,该操作与在传统网络中添加新层不同,更深的树可能不一定会提高性能。在图5a中,我们将倒角距离绘制为不同F值的水平数L的函数。为389[13]第十三章:我的世界 [38]第三十七话:我的世界(一)克罗地亚17.69 16.80 16.4814.72、方法评价倒角距离(CD)平面内阁车椅子 灯沙发表船只平均AtlasNet [13]10.3723.4013.41 24.16 20.24 20.82 17.5211.6217.69PointNetFCAE [base.] 10.3119.0711.83 24.69 20.31 20.09 17.5710.5016.80折叠[37]11.1820.1513.25 21.48 18.19 19.09 17.8010.6916.48PCN [38]8.0918.3210.53 19.33 18.52 16.44 16.3410.2114.72我们5.5012.028.9012.569.5412.209.577.519.72表1:ShapeNet上的点云完成结果:我们的方法与以前的分辨率工作的比较(N = 2048)。报告的倒角距离乘以104。表2:编码器分析:我们的方法与以前使用不同编码器的作品的比较。报告的倒角距离乘以104。编码器A是基于PointNet的1级编码器,编码器B是2级PointNet编码器。我们的方法优于所有其他方法与各自的编码器,编码器B给出了一个更好的性能比编码器A。F∈ {8,32,64}时,图的局部极小值不同,但当F=6时,性能在一个平均值附近振荡。在图5b中,我们将倒角距离绘制为对于不同的L值,特征数F的函数L∈ {4,6,8}的图虽然是非凸的,但其趋势稍有相似L=2的图与其他图相比呈现出非常不同的模式在所有的实验中,无论上述L和F的值如何,我们的方法都优于所有以前的方法。6.3. 数量的参数每种方法所使用的参数的数量可以影响性能,因此我们分析了我们的方法的性能作为F=8的参数数量的函数(1)(2)(4)(6)(8)(9)(10)(11)(12)(11)( 该分析如图3其中,倒角距离绘制为网络参数的数量。我们的模型在网络参数的数量上有所不同,这取决于设计选择,我们的方法的一些实例比以前的方法具有更少或更多的参数。无论实验中参数的数量如何,我们的网络都表现出优异的性能,这表明参数的数量不是我们性能的主要原因。6.4. 点云分辨率以前的工作已经发现Shapenet中大多数对象的形状可以用N=1024个点来概括[23]。但对于其他应用程序,如图形,其中获得准确法线的能力是关键,生成密集的准确点云可能是有用的。因此,随着输出点数量的增加,我们我们比较了N=2048、4096、8192、16384的性能。由于倒角损失的计算与点,我们将地面实况保持在2048点,只增加输出大小:定量结果示于表3。我们注意到,我们的网络作为百分比,改进仍然是显著的,对于我们的方法范围从9.16% 到 18.46% , 而 PCN 的 改 进 范 围 从 -2.61% 到20.26%。在所有分辨率下,我们的方法仍然显示出优越的绝对性能。7. 讨论和限制在我们的工作中提出的解码器的目的是通过生成一个点云作为其子集的集合来生成结构化的点云我们的解码器的一个约束是树需要足够大:例如,表示其元素都是S的子集的S的拓扑需要我们的解码器具有至少2个|S|+1节点,这是棘手的。因此,解码器的容量可以限制所学习的可能拓扑。所提出的架构仍然是一个很有前途的一步,将结构的解码器不同以往的作品,我们生成一个结构化的点云,而不显式地执行一个特定的结构,使网络学习任意拓扑。可视化学习的结构:通过设计,我们解码器中的每个节点都生成一个由其所有后代组成的S子集。dant叶子我们可以通过绘制每个节点图1和解码器材料,我们可视化几个解码器节点。我们注意到出现了几种几何聚类模式。一些聚类看起来是几何的,而另一些聚类看起来是随机的,但在整个聚类中是一致的。这可以被看作是我们采用更一般的拓扑定义的结果,它没有强制生成的聚类是平滑的。重复性冗余:一项有趣的未来研究390分辨率(点数)方法AtlasNet [13] PointNetFCAE [base.]折叠[37]PCN [38] 我们204817.6916.816.4814.729.72409616.1214.7913.1911.888.83819215.3212.5712.9512.197.201638414.8510.6112.269.726.50表3:分辨率分析:我们的方法与具有不同点云分辨率的最佳性能方法(PCN)的比较。我们训练每个方法生成N = 2048,4096个点。将报告倒角距离乘以104。我们的方法在所有不同分辨率下都优于PCN,但对于低分辨率点云,方法之间的性能差距更大图4:点云完成结果。一个部分点云作为输入,我们的方法生成一个完整的点云。(a)(b)第(1)款图5:消融实验:我们分析了网络中不同参数的影响。我们改变节点特征的数量{8,16,32,64}和树级别的数量{2,4,6,8},同时保持输出的数量不变。例如,当级别的数量L=2时,每个级别的孩子的数量是32-64。当L=4时,每个级别的子节点数为4,4,4,8。所有实例化我们的方法优于以前的作品。水平的数量似乎暗示了局部最小值,但特征的数量并没有显示出明显的模式。报告的倒角距离乘以104。将探索学习的结构嵌入是否有价值作为分类中的表示。这项工作的另一个未来改进可能是提出一种无冗余的结构化点云生成方法多结构:虽然我们提出的模型可以em-床任意拓扑结构,它只能嵌入一个单一的拓扑结构在测试时。探索的一个途径将是组合几个这样的解码器,并评估它们是否都收敛到S的相同拓扑,或者每个解码器是否学习嵌入S的不相交子集。391引用[1] P. Achlioptas、O.迪亚曼蒂岛Mitliagkas和L. Guibas 3D点云的学习表示和生成模型,2018。1[2] M.阿姆斯特朗基本拓扑。数学本科教材。Springer,1990年。三、四[3] A. Brock,T. Lim,J. M. Ritchie和N.韦斯顿使用卷积神经网络的生成和判别体素建模CoRR,abs/1608.04236,2016。一、二[4]A. X. 张氏T.A. 芬克豪泽湖J. 吉巴斯山口汉拉汉Q. Huang,Z. Li,S. Savarese,M. Savva,S.宋,H. 苏肖湖,加-地Yi和F. Yu. Shapenet:一个信息丰富的3D模型存储库。CoRR,abs/1512.03012,2015。6[5] C. B. Choy,D. Xu,J. Gwak,K. Chen和S. Savarese 3d-r2 n2:一种用于单视图和多视图3d对象重建的统一方法欧洲计算机视觉会议(ECCV),2016年。2[6] A.戴角,澳-地R. Qi和M.尼纳 使用3D编码器预测CNN和形状合成完成形状。在IEEE计算机视觉和模式识别会议(CVPR),2017年。一、二[7] A. Dai,D.Ritchie,M.Bokeloh,S.Reed,J.斯特姆,和M.尼斯纳扫描完成:3d扫描的大规模场景完成和语义分割。在Proc.计算机视觉和模式识别(CVPR),IEEE,2018。1[8] R. F. de Figueiredo,P. Moreno和A.伯纳迪诺自动对象形状完成从三维点云对象操作。在VISIGRAPP,2017年。1[9] H.范,H. Su和L. Guibas一种用于从单幅图像重建三维物体的点集生成网络。IEEE计算机视觉和模式识别会议(CVPR),2017年。一二三五六[10] M. 加代利亚河Wang和S.玛吉三维点云处理的多分辨率树在欧洲计算机视觉会议(ECCV)上,2018年9月。3[11] R. Girdhar,D. Fouhey,M. Rodriguez和A.古普塔。学习一个可预测的和生成的矢量表示的ob-batch。在ECCV,2016年。2[12] B. Graham,M. Engelcke和L.范德马滕。用子流形稀疏卷积网络进行三维空间分割。CVPR,2018年。2[13] T. Groueix,M. 费希尔 金湾,澳-地 C. 罗素和M.奥布莉3D表面生成的一种纸-M\\在IEEE会议上计算机视觉与模式识别(CVPR),2018年。一二三六七八[14] X.汉,Z. Li,H. Huang,E. Kalogerakis和Y. Yu.使用深度神经网络进行全局结构和局部几何推理的高分辨率形状完成。IEEE国际计算机视觉会议(ICCV),2017年10月。一、二[15] X.汉,Z. Li,H. Huang,E. Kalogerakis和Y. Yu.使用深度神经网络进行全局结构和局部几何推断的高分辨率形状完成。IEEE国际计算机视觉会议(ICCV),2017。2[16] C. Hane,S. Tulsiani和J. 马利克三维物体重建的层次表面预测在3DV,2017年。1[17] R. Klokov和V. Lempitsky逃离细胞:用于三维点云模型识别的深度kd网络。ICCV,2017年。2[18] T. Le和Y.段。Pointgrid:用于3D形状理解的深度网络。IEEE计算机视觉和模式识别会议(CVPR),2018年6月。一、二[19] D. Li,T.Shao,H.Wu和K.舟从单个rgbd图像完成形状IEEETransactionsonVisualizationandComputerGraphics,23(7):1809-1822,2017年7月。2[20] J. Li,B. M. Chen和G. H. 李你 So-net:用于点云分析的 自 组 织 网 络 。 arXiv 预 印 本 arXiv : 1803.04249 ,2018。1[21] Y.利河,巴西-地布,M。Sun和B.尘Pointcnn. CoRR,abs/1801.07791,2018。一、二[22] O. Litany,A.布朗斯坦M. Bronstein和A. 马卡迪亚用图卷积自动编码器完成可变形形状在IEEE计算机视觉和模式识别会议(CVPR),2018年6月。1[23] C. R. Qi,H. Su,K. Mo和L.吉巴斯PointNet:用于3D分类和分割的点集在IEEE计算机视觉和模式识别会议,2017年。1、7[24] C. R. 齐湖,加-地Yi,H.Su和L.J. Guibas Pointnet++:度量空间中点集的深度层次特征学习。在I. 盖永V. Luxburg,S. Bengio,H.瓦拉赫河费格斯S. Vishwanathan和R. Garnett,编辑,神经信息处理系统进展30,第5099Curran Associates,Inc. 2017. 1、6[25] G. Riegler , A. O. 乌 卢 索 伊 湾 Bischof 和 A. 盖 革 Oct-netfusion:从数据中学习深度融合。在3DV中,第57-66页。IEEE计算机学会,2017年。2[26] Y.鲁布纳角Tomasi和L.吉巴斯土方机国际计算机视觉杂志,40(2):99-121,2000。2[27] A. Sharma,O. Grau和M.弗里茨Vconv-dae:无对象标签的深度体积形状学习。In G. Hua和H. Je' gou,editors,ComputerVision-施普林格国际出版社. 2[28] A.辛哈A. Unmesh,Q. Huang和K. Ramani Surfnet:使用深度残差网络生成3D形状表面。见CVPR,第791-800页。IEEE计算机学会,2017年。1[29] D. Stutz和A.盖革从弱监督的激光扫描数据中学习3D形状完成IEEE计算机视觉和模式识别会议(CVPR),2018年。2[30] H. Su,V. Jampani,D.孙习Maji、E. Kalogerakis,M.-H. Yang和J.考茨SPLATNet:用于点云处理的稀疏网格网络。在IEEE计算机视觉和模式识别会议论文集,第2530-2539页2[31] J. Varley,C. DeChant,A.理查森,A. Nair,J. Ruales,and P.艾伦形状完成使机器人能够抓取。在智能机器人和 系 统 ( IROS ) , 2017 年 IEEE/RSJ 国 际 会 议 上 。IEEE,2017年。1392[32] P. - S. Wang,Y.刘玉- X.郭角Y. Sun和X.童O-CNN:用于3D形状分析的基于八叉树的卷积神经网络。ACMTransactions on Graphics(ACM图形汇刊)GRAPH),36(4),2017。2[33] P. - S.王角Y.太阳,Y.刘,和X。童自适应O-CNN:一种基于块的三维图形深度表示方法。ACM Transactionson Graphics(SIGGRAPH Asia),37(6),2018。2[34] Z. Wang和F.陆Voxsegnet:用于3D形状的语义部分分割的体积cnn。CoRR,abs/1809.00226,2018。2[35] J. 吴角,加-地Zhang,X.Zhang,Z.Zhang,W.T. 弗里曼和J. B.特南鲍姆学习形状先验用于单视图3d完成和重建。欧洲计算机视觉会议(ECCV),2018年。1[36] Z. Wu,S.Song,中国黑杨A.Khosla,F.于湖,加-地Zhang,X.唐和J.肖。3d shapenets:体积形状的深度表示。2015年IEEE计算机视觉和模式识别会议(CVPR),第1912-1920页,2015年6月。2[37] Y.杨角,澳-地冯,Y. Shen和D.田FoldingNet:3D点云上的可解释无监督学习。在IEEE计算机视觉和模式识别会议,2018年。一、二、三、七、八[38] W. Yuan和D.举办PCN:点完成网络。国际3D视觉会议(3DV),2018年。一二三六七八
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功