没有合适的资源?快使用搜索试试~ 我知道了~
5499Snow flakeNet:使用Skip-Transformer通过Snow flake Point Deconvolution完成点云刘玉申1,曹燕培2,王鹏飞2,郑文2,韩志忠31清华大学软件学院,北京2Y-tech,快手科技,北京,中国3韦恩州立大学4JD.com,中国xp20@mails.tsinghua.edu.cnwenxin16@jd.comliuyushen@tsinghua.edu.cnh312h@wayne.edukuaishou.comcaoyanpei@gmail.com(a)输入(b)TopNet(c)CDN(d)NSFA(e)SnowflakeNet(f)GT图1.点云完成结果的可视化比较。输入和地面真值分别有2048和16384个点。与当前的完成方法(如TopNet [43],CDN [46]和NSFA [59])相比,我们的Snow flakeNet可以生成具有细粒度几何细节的完整形状(16384个点),例如平滑区域(蓝色框),锐利的边缘和角落(绿色框)。摘要点云补全的目的是从点云的部分观测值中以高精度预测完整的形状。然而,以前的方法通常遭受点云的离散性质和局部区域中的点的非结构化预测,这使得难以揭示完整形状上的精细局部几何细节。为了解决这个问题,我们提出了Snow flakeNet与Snow flake Point De-convolution(SPD)来生成完整的点云。Snow AkeNet将完整点云的生成建模为3D空间中点的雪花状增长,其中通过在每个SPD之后拆分其父点来逐步生成子点。我们对揭示详细几何结构的见解是在SPD中引入跳跃变压器,以学习能够适应低电压的点分裂模式。地区最好。Skip-transformer利用注意力机制来总结先前SPD层中使用的分裂模式,以在当前SPD层中产生分裂。由SPD生成的局部紧凑和结构化的点云能够精确地捕获局部块中的3D形状的结构特征,这使得网络能够预测高度详细的几何形状,例如* 同 等 贡 献 。 本 工 作 得 到 了 国 家 重 点 研 发 计 划 ( 2020 YFF0304100)、国家自然科学基金(62072268)和清华-快手未来媒体数据研究院的部分资助通讯作者是刘玉申。平滑区域、尖锐边缘和拐角。我们的实验结果优于国家的最先进的点云复杂的方法下广泛使用的基准。代码将在www.example.comSnowflakeNet上提供https://github.com/AllenXiangX/。1. 介绍在3D计算机视觉[11,18,20,14,13]应用中,由于遮挡和有限的传感器分辨率,由3D扫描仪和深度相机捕获的原始点云通常是稀疏和不完整的[53,54,48]。因此,点云完成[53,43],其目的是预测一个完整的形状,从其部分观察,是至关重要的各种下游任务。基于深度学习的点云数据补全方法因其适用于大规模点云数据集而受到越来越多的关注。当前的方法要么通过遵循分层有根树结构来约束点云的生成[46,55,43]或者假设目标形状的特定拓扑[56,53然而,这些方法大多存在点云的离散性和局部区域内点的非结构化预测,难以保持局部区域内点的有序结构。捕获完整形状上的局部几何细节和结构特征(诸如平滑区域、尖锐边缘和拐角)仍然是挑战,如图1所示。为了解决这个问题,我们提出了一个新的网络-5500PPPPP1P2P3(a) P1P2(b)P2P3图2.用于汽车部件生长的雪破裂点反卷积(SPD)的图示。为了更清楚地显示局部变化,我们只将一些样本点作为同一块中的父点进行说明,并展示它们对子点的分裂路径,这些子点被标记为灰色和红色线。(a)示出了从粗略点云1(512个点)到其分裂的点分裂的SPD2(2048点)。(b)示出了从2分裂的点的 SPD到密集的完整点云3(16384个点),其中子点像雪花的生长过程一样扩展。这项名为Snow flakeNet的工作,特别关注解码过程以完成 部 分 点 云 。 Snow flak-eNet 主 要 由 Snow flake PointDecon- volution(SPD)层组成,该层对完整点云的生成进行建模,如3D空间中点的雪花生长。我们通过将一个SPD层堆叠在另一个SPD层上来逐步生成点,其中每个SPD层通过使用父点捕获的继承形状特征来分割其父点来生成子点。图2示出了SPD和逐点拆分的过程。我们揭示细节几何的见解是在SPD中引入跳跃变换器来学习最适合局部区域的点分裂模式。与以前的方法相比,这些方法通常忽略点之间的空间关系[56,43,31]或简单地通过在单个级别的多步点云解码中的自我关注来学习[53,29,46],我们的跳过变换器被提出来整合不同级别的解码之间的空间关系。因此,它可以在不同解码步骤中的点之间建立跨级别的空间关系,并细化它们的位置以产生更详细的结构。为了实现这一点,跳跃变换器利用注意力机制来总结在先前SPD层中使用的分裂模式,其旨在产生当前SPD层中的分裂。跳跃变换器可以学习局部片中的点之间的形状上下文和空间关系。这使得网络能够精确地捕获每个局部块中的结构特征,并预测3D空间中光滑平面和尖锐边缘的更好的点云形状。在广泛使用的基准测试下,我们达到了最先进的完成精度。我们的主要贡献可归纳如下。• 我们提出了一种新的Snow flakeNet点云完成。与以往的局部无组织的完整形状生成方法相比,雪花eNet可以将完整点云的生成过程解释为一个显式的、局部结构化的模式,极大地提高了三维形状完成的性能。• 我们提出了新颖的雪花点去卷积(SPD),用于逐步增加点数。它将从父点生成子点重新表述为雪花的生长过程,其中父点特征嵌入的形状特征被提取并通过逐点分裂操作继承到子点中。• 我们引入了一种新的跳跃变压器学习分裂-丁模式的SPD。它学习子点和父点之间的形状上下文和空间关系,这鼓励SPD产生局部结构化和紧凑的点排列,并在局部面片中捕获3D表面的结构特征。2. 相关工作点云补全方法大致可分为两类。(1)传统的点云补全方法[42,1,44,26]通常假设3D形状的光滑表面,或者利用大规模的完整形状数据集来推断不完整形状的缺失区域。(2)基于深度学习[28,12,15,23,19,17,16,22,50,51]的方法然而,ODS [27,46,4,8,37,25,24]学习基于从训练数据学习的先验来预测完整的形状。我们的方法属于第二类,重点是点云完成的解码过程。下面我们简要回顾一下基于深度学习的方法通过基于折叠的解码完成点云。基于深度学习的3D点云处理技术的发展[10,52,49,35,33,34,32,21,3,36]推动了点云补全的研究。由于点云数据的离散性,如何生成高质量的完整形状是点云数据完整化研究的重点之一。其中一个开创性的工作是FoldingNet[56],尽管它最初不是为点云完成而设计的。它提出了一个两阶段的生成过程,并结合了3D对象位于2D流形上的假设[43]。遵循类似的实践,如SA-Net [53]的方法通过提出解码器中的分层折叠将这种生成过程进一步扩展到多个阶段。然而,这些基于折叠的方法[53,56,30]的问题在于,由网络的中间层生成的三维代码是目标形状的隐式表示,其很难被解释或约束以帮助细化局部区域中的形状。另一方面,TopNet [43]将点云生成过程建模为有根树的生长,其中一个父点特征被投影到TopNet的特征扩展层中的几个子点特征。与FoldingNet[56]相同,TopNet和SA-Net的中间生成过程也是隐含的,5501P {}×(a)雪花网特征提取种子生成点生成位移特征位移特征P形码特征种子P发电机抽汽器P0SPDP1SPDP2SPDP31xCNx3N0x3fN1x3fN2x 3f N3x 3重复PMLPMLPfPS形状共享共享了c0代码Ncx(C+C′)Ncx(C+C′)Ncx3N0x 3(b)种子发生器从上一步到下一步Ki-1重复KiMLPMLPPPNQi-1 STHi-1PSi-1共享共享N1- 1×3f重复Nix2CNixCNix3Nix3(c)第i步SPD 雪花点ST跳跃变压器PS逐点PNPointNetC级联逐元素加法反卷积分裂运算图3. (a)Snow flakeNet的整体架构由三个模块组成:特征提取、种子生成和点生成。(b)种子生成模块的细节(c)雪点反褶积(SPD)。 注意,N、Nc和Ni是点的数量,C和C’是点特征通道的数量,其相对于水平为512和128。其中形状信息仅由点特征表示,不能被明确地约束或解释。通过粗到精解码完成点云。最近,显式粗到细完井框架[55,5]由于其可解释的性质和可控的生成过程而受到越来越多的关注。PCN [57]和NSFA [59]等典型方法采用两阶段生成框架,其中首先由解码器生成粗糙且低分辨率的点云,然后使用提升模块来增加点云的密度。这类方法可以获得更好的性能,因为它可以施加更多的约束点云的生成过程中,即。粗糙的和致密的。像CDN [46]和PF-Net [27]这样的追随者进一步扩展了生成阶段的数量,并实现了当前最先进的性能。尽管沿着这条线的研究已经实现了有趣的性能,但这些方法中的大多数仍然不能预测局部结构化的点分裂模式,如图1所示。最大的问题是这些方法只关注点的数目扩展和全局形状的重建,而忽略了保持局部区域中的点的良好结构的生成过程。这使得这些方法难以捕获3D形状的局部详细几何形状和结构。与上述方法相比,我们的Snow flakeNet更进一步,探索了一种用于生成完整点云的显式,可解释和局部结构化的解决方案。 Snow AkeNet将点云的逐步生成建模为分层根树结构,如TopNet,同时保持过程可解释和明确,如CDN [46]和PF-Net [27]。此外,它优于前人通过安排在局部区域中的点分裂在局部结构化的模式,这使得能够精确地捕捉详细的几何形状和结构的3D形状。与Transformer的关系。Transformer [45]最初是为了在自然语言处理中对句子进行编码而提出的,并且很快在2D计算机视觉(CV)的研究中流行起来[6,39]。然后,基于Transformer的2D CV研究的成功引起了3D点云研究的注意,其中像Point-Transformer [60]、PCT [9]和Pointformer [38]这样的开创性研究已经在点云的编码过程中引入了这种框架以学习表示。在我们的工作中,而不是只利用其表示学习能力,我们进一步扩展了基于变换器的结构的应用到点云完成的解码过程中,并揭示了它的能力,通过建议跳过变换器生成高质量的3D形状。3. 雪花网Snow flakeNet的整体架构如图3(a)所示,由三个模块组成:特征提取、种子生成和点生成。我们将在下面详细介绍每个模块。3.1. 概述气体提取模块。设=pj,大小为N3是输入点云,其中N是点的数量5502××PPPPPPPPPP−啪啪啪啪JJ∈H×JΣ−=hkj=1Ji−1Ni−1j=1jj=1∈H并且每个点pj指示3D坐标。 特征提取器旨在提取大小为1C的形状代码f,其捕获目标形状的全局结构和详细的局部图案。为了实现这一点,我们采用[ 41 ]中的三层集合抽象来聚合从局部到全局的点特征,沿着该点Transformer [60]应用于合并局部形状上下文。种子生成模块。种子生成器的目标是生成粗糙但完整的点云0尺寸N03,捕捉几何形状和结构的目标形状。如图3(b)所示,利用提取的形状代码f,种子生成器首先产生通过逐点分裂操作捕获现有形状和缺失形状两者的点特征。 接下来,每个点通过多层感知器(MLP)将特征与形状代码相结合,生成尺寸为Nc×3的粗点云Pc。 然后,按照先前的方法[46],内核激活...……hi-1- -GR我j,kk =1J父点要素子点要素形状激活特性特性图4.逐点拆分操作。立方体是表示对应形状特征(核)的激活状态的父点特征的对数,并且通过添加激活的形状特征来获得子点特征父点和它们的分割点之间的关系图3(c)示出了具有上采样因子ri的第i个SPD的结构。我们表示一组父点ob-从前一步得到Pi−1={pi−1}Ni−1。We分割c通过级联与输入点云合并图,然后对合并的点云进行下采样以0到最远点采样(FPS)[41]。在本文中,我们通常设置N c=256和N0=512,其中稀疏点云0足以表示基础形状。0将用作点生成模块的种子点云。点生成模块。点生成模块由雪花点反卷积(SPD)的三个步骤组成,每个步骤从前一个步骤获取点云,并通过上采样因子(表示为r1,r2和r3)得到P1,P2和P3,它们的点i1中的父点,将它们复制ri次以生成一组子点i,然后将i扩展到父点的邻域。为了实现这一点,我们从[57]中得到启发,预测点位移i的Δi然后,更新为i=i+Δi,其中i是第i个SPD的输出。详细地,从特征提取中获取形状代码f,SPD首先提取每点特征Qi−1={qi−1}Ni−1对于Pi−1采用基本PointNet[40]框架。然后,Qi-1被发送到跳过变换器以学习形状上下文特征,表示为Hi-1={h{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}接下来,Hi−1通过逐点分裂进行上采样,尺寸分别为N1×3、N2×3和N3×3SPD col-j j=1以生成符合每个种子点局部模式的有根树结构。SPD的结构详述如下。3.2. 雪akake点反褶积(SPD)SPD旨在通过将每个父点拆分为多个子点来增加点的数量,这可以通过首先复制父点然后添加变化来实现。现有方法[46,57,59]通常采用基于折叠的策略[56]来获得变化,其用于学习重复点的不同位移。然而,折叠操作针对每个父点对相同的2D网格进行采样,这忽略了父点中包含的局部形状特征。与基于折叠的方法[46,57,59]不同,SPD通过逐点分裂操作获得变化,其充分利用父点中的几何信息并添加形成操作和复制,其中形成器用于增加变化,而后者保持形状上下文信息。最后,将尺寸为Ni×2C′的上采样特征送入MLP,产生位移特征Ki={ki}Ni当前步骤。在这里,Ki用于产生点位移ΔPi,并且将被馈送到第n个SPD中。ΔPi公式为ΔPi= tanh(MLP(Ki)),(1)其中tanh是超正切激活。逐点拆分操作。逐点分裂操作旨在为每个hi-1i-1生成多个子点特征。 图4示出了在第i个SPD中使用的这种操作结构(见图3(c))。这是一个特殊的-典型的一维去卷积策略,其中核大小和步长都等于ri。在实践中,每个hi−1i−1共享同一组内核,并以逐点方式产生多个子点特征。为了清楚起见,我们将hi− 1的第m个logit表示为hi−1,并且其cor-logit表示为h i − 1。jj,m符合当地的模式。为了逐步生成分裂点,在点生成模块中使用了三个SPD。此外,为了便于连续的SPD响应内核由Km指示。从技术上讲,Km是一个矩阵,大小为riC’,Km的第k个r 〇 w被表示为km,k,并且第k个子点特征gj,k由下式给出:分裂点的连贯方式,我们提出了一种新的跳跃Transformer来捕捉形状上下文和空间重新gj,kI1j、mMm,k.(二)5503JJj,lGJK⊕ⓈPJ{P PPP}JJLl=1Jj,lJJj,lj,lJJJJJ向量i−1i−1vj. 这里,v,j用作并入先前点分裂信息的值向量。为了1以进一步将局部形状上下文聚合到vi-1中,则跳过-Transformer使用qi−1作为查询,ki−1作为键J J估计注意向量ai−1,其中ai−1表示如何J J图5.跳变变压器的详细结构当前的分裂应当对先前的分裂给予更多的注意。为了使跳过变换器能够集中于局部模式,我们计算每个点与其k-最近邻居(k-NN)之间的注意力向量。k-NN策略也有助于降低计算成本。特别是,给定第j个点特征qi−1,注意力向量ai−1此外,在图4中,我们假设每个可学习的核Km表示特定的形状特征,其描述局部区域中3D形状的几何形状和结构相应地,每个logithi−1表示ac。j j,l在qi−1和k-最近邻{ki−1}的位移特征之间|l=1、2、 … ,k}可以被计算为exp(MLP((qi−1)×(ki−1)j、mai−1=jj,l、(四)第m个形状特征的激活状态孩子点要素可通过添加激活的j,lΣkexp(MLP((qi−1)×(ki−1)形状特征此外,逐点分裂操作对于上采样点是灵活的。例如,当ri=l时,其使得SPD能够将点从先前步骤移动到更好的位置;当ri> l时,其用于将点的数量扩展ri的因子。SPD之间的协作在图3(a)中,我们采其中充当关系运算,即逐元素减法最后,形状上下文特征hi-1可以通过以下方式获得:hi−1=vi−1Σai−1vi−1,(5)l=1三个SPD来生成完整的点云。我们首先设置上采样因子r1=1以显式地重新排列种子点位置。然后,我们设置r2>1和r3>1,为1中的每个点生成一个结构化树。SPD之间的间隙对于树木的生长至关重要,相干方式,因为来自先前分裂的信息可用于指导当前分裂。此外,扎根树木的生长也应该捕捉模式以避免彼此重叠。为了实现这一目的,我们提出了一种新的跳跃变压器作为SPD之间的合作单位。在图5中,跳跃变换器将每点特征qi−1作为输入,并将其与来 自预 处理 的位移特征ki−1组合。i−1其中表示逐元素加法,并且是Hadamard乘积。请注意,第一个SPD没有先前的位移特性,其中skip-transformer将q0作为查询和键。3.4.训练损失在我们的实现中,我们使用倒角距离(CD)作为主要损失函数。 为了明确约束在种子生成和后续分割过程中生成的点云,我们将地面实况点云下采样为与c,1,2,3相同的采样密度(参见图3),其中我们定义四个CD的总和损失作为完成损失,由L完成表示。是-用于产生形状上下文特征h j的前一步骤,由下式给出hi−1= ST(ki−1,qi−1),(3)此外,我们还利用[ 48 ]中的部分匹配损失来保留输入点云的形状结构。它是一个单向约束,旨在匹配一个其中ST表示跳过变压器。详细结构描述如下。3.3. 跳过变压器图5示出了跳跃变压器的结构。引入跳跃变换器以学习和细化父点与其子点之间的空间上下文,其中术语给定每点特征qi−1和位移特征ki−1,跳过变换器首先将它们连接起来。然后,将连接的特征馈送到MLP,MLP生成形状到另一个,而不约束相反的方向。由于部分匹配损失只要求输出点云与输入部分匹配,因此我们将其作为保存损失保存,总训练损失公式为L=L完成+ λL保存。(六)有关安排的详细信息,请参见补充材料。4. 实验为了充分证明我们的Snow flakeNet的有效性,我们在两个广泛使用的基准下进行了全面的实验:PCN [57]和Completion3D [43],两者qi-1Jki-1Jqi-1JCMLPVJi-1ki-1J◉HJ我-qi-1J王空军i-1Hadamard乘积C级联MLPsoftmax关系函数元素加法5504表1. PCN数据集上的点云完成,以点L1倒角距离×103表示(越低越好)。方法平均平面内阁车椅子灯沙发表船FoldingNet [56]14.319.4915.8012.6115.5516.4115.9713.6514.99TopNet [43]12.157.6113.3110.9013.8214.4414.7811.2211.12AtlasNet [7]10.856.3711.9410.1012.0612.3712.9910.3310.61PCN [57]9.645.5022.7010.638.7011.0011.3411.688.59GRNet [55]8.836.4510.379.459.417.9610.518.448.04CDN [46]8.514.799.978.319.498.9410.697.818.05PMP-Net [54]8.735.6511.249.649.516.9510.838.727.25国家体育总局[59]8.064.7610.188.638.537.0310.537.357.48我们7.214.299.168.087.896.079.236.556.40图6.在PCN数据集上完成点云的可视化比较我们的Snow flakeNet可以产生更平滑的表面(例如汽车)和更详细的结构(例如,椅背)与其他最先进的点云完成方法相比其中的一个是ShapeNet数据集的子集。实验结果表明,该方法优于现有的点云补全方法。4.1. PCN数据集数据集简介和评价指标。PCN数据集[57]是从ShapeNet数据集[2]导出的具有8个类别的子集。不完整的形状是通过将完整的形状反投影到8个不同的局部视图中来生成的。对于每个完整的形状,从形状表面均匀地采样16384个点。我们使用PCN [57]遵循相同的拆分设置,以公平地将我们的Snow flakeNet与其他方法进行比较。为了进行评估,我们采用L1版本的倒角距离,其遵循与先前方法相同的实践[57]。定量比较。 表1显示了我们的Snow flakeNet和其他完成方法在PCN数据集上的结果,从中我们可以发现SnowflakeNet在所有同行中实现了最佳性能。特别是,与排名第二的NSFA [59]的结果相比,Snow flakeNet将平均CD降低了0.85,比NSFA的结果低10.5%(平均值erage CD)。此外,Snow flakeNet还在CD方面实现了所有类别的最佳结果,这证明了Snow flakeNet在不同类别中完成形状的强大泛化能力。在表1中,CDN [46]和NSFA [59]都是典型的点云完成方法,它们采用粗到细的形状解码策略,并将点的生成建模为分层有根树。与这两种方法相比,我们的Snow flakeNet也采用了相同的解码策略,但在PCN数据集上取得了更好的结果。因此,这些改进应该归功于Snow flakeNet中提出的SPD层和skip-transformer,这有助于以局部结构化模式在局部区域生成点。目视比较。我们通常从表1中选择前四个点云完成方法,并在图6中将Snow flakeNet与这些方法进行可视化比较。可视化结果表明,Snow flakeNet可以预测具有更好形状质量的完整点云。例如,在汽车类别中,SnowflakeNet生成的汽车边界上的点分布比其他方法更平滑,更均匀。至于椅子品类,Snow flakeNet可以预测出更详细清晰的结构输入CDNGRNETNSFAPMP网络SnowflakeNetGT椅子车沙发船5505表2. Completion3D上的点云完成(根据点L2倒角距离×104)(越低越好)。方法平均平面内阁车椅子灯沙发表船FoldingNet [56]19.0712.8323.0114.8825.6921.7921.3120.7111.51PCN [57]18.229.7922.7012.4325.1422.7220.2620.2711.73[58]第五十八话18.186.8821.1815.7822.5418.7828.3919.9611.16AtlasNet [7]17.7710.3623.4013.4024.1620.2420.8217.5211.62[47]第四十七话16.155.8124.5311.3523.6318.5420.3416.897.14TopNet [43]14.257.3218.7712.8819.8214.6016.2914.898.82SA-Net [53]11.225.2714.457.7813.6713.5314.2211.758.84GRNet [55]10.646.1316.908.2712.2310.2214.9310.085.86PMP-Net [54]9.233.9914.708.5510.219.2712.438.515.77我们7.603.4811.096.98.758.4210.156.465.32与其他方法相比,CDN [46]几乎无法保留椅背的基本结构,而其他方法在椅背的柱之间产生大量噪声。4.2. Completion3D数据集数据集简介和评价指标。Completion3D数据集包含来自8个类别的30958个模型,其中部分和地面实况点云都有2048个点。我们遵循Comple-tion 3D的相同训练/验证/测试划分,以与其他方法进行公平比较,其中训练集包含28974个模型,验证和测试集分别包含800和1184个模型。为了进行评价,我们在测试集上采用L2版本的倒角距离,以与先前的研究保持一致。定量比较。在表2中,我们显示了我们的Snow flakeNet和其他方法在Completion3D数据集上的定量结果。所有结果均来自Completion3D*的在线公共排行榜。从表2中,我们可以发现我们的Snow flakeNet在排行榜上列出的所有方法中取得了最佳结果特别是,与最先进的方法PMP-Net [54]相比,Snow flak-eNet将平均CD显著降低了1.63,比PMP-Net低17.3%(平均CD为9.23)。在Completion3D数据集上,Snow flakeNet在每个类别的CD方面超过了所有类别的其他方法。特别是在橱柜类别中,与排名第二的PMP-Net相比,Snow Pakak-eNet将每 个 类 别 的 CD 减 少 了 3.61 。 与 PCN 数 据 集 相 比 ,Completion3D数据集中的点云更稀疏,更容易生成。因此,粗到精解码策略可能比其他方法具有更少的优势。尽管如此,我们的Snow flakeNet仍然比基于折叠的方法(包括SA-Net [53]和FoldingNet [56])具有更好的性能,并且我们也是包括TopNet在内[43]和GRNet [55]。总之,在Completion3D数据集上的结果证明了Snow QuakeNet在稀疏点云上预测高质量完整形状的能力。* 网址:https://completion3d.stanford.edu/results输入TopNetSA-NetGRNetPMP-NetSnowflakeNet图7.在Completion3D数据集上完成点云的视觉比较。我们的Snow flakeNet可以产生更平滑的表面(例如车和表)和更详细的结构相比,其他国家的最先进的点云完成方法。目视比较。与PCN数据集的实践相同,我们还将SnowflakeNet与表2中的前四种方法进行了可视化比较。图7中的视觉比较表明,在稀疏点云完成任务中,我们的Snow AkeNet也比其他同行获得了更好的视觉结果。特别是,在平面类别中,Snow flak-eNet预测了几乎与地面事实相同的完整平面,而其他方法未能详细揭示完整平面。同样的结论也可以从汽车类别的观察中得出。在表和船类别中,与其他方法相比,Snow flakeNet产生更详细的结构,例如船帆和桌腿。4.3. 消融研究我们分析了Snow flak-eNet每个部分的有效性。为了方便起见,我们在Completion3D数据集的验证集上进行所有实验。默认情况下,所有实验设置和网络结构与第4.2节相同,但分析的零件除外。跳过变压器的影响。为了评估Snow flakeNet中使用的跳跃变压器的有效性,我们开发了三种网络变体,如下所示 。 (1)Self-att 变 分 采 用 自 注 意 机 制 代 替 了 skip-transformer中的Transformer机制,其中输入是当前层的点 特 征 。 (2)No-att 变 体 从 skip-transformer 中 删 除 了Transformer机制,其中直接添加了SPD前一层的功能表平面游艇车5506椅子平面灯表针对现有SPD层的特点。(3)无连接变化从SPD层移除整个跳过变压器,并且因此,在SPD层之间不建立特征连接。给出了实验结果表3所此外,我们将SnowflakeNet的原始版本表示为Full,以便与每个网络变体的性能进行清晰的比较。从表3中,我们可以发现基于变压器的全模型在所有比较网络变体中实现了最佳性能。No-connect模型和Full模型之间的比较证明了在SPD层之间使用skip-transformer的优势,并且No-att模型和Full模型之间的比较进一步证明了使用transformer机制来学习局部区域中的形状上下文的有效性。此外,Self-att模型和No-att模型之间的比较表明,基于注意的机制也有助于完成性能。表3. 跳过变压器的影响方法avg.沙发椅子车灯自投8.896.0410.99.429.12无属性9.306.1511.210.49.38无连接9.396.1711.310.59.51充分8.485.8910.69.328.12Snow flakeNet 中 每 个 部 分 的 效 果 。 为 了 评 估 SnowflakeNet中每个部分的有效性,我们设计了四种不同的网络变体,如下所示。(1)折叠扩展变体用基于折叠的特征扩展方法[56]替换逐点分裂操作,其中特征被重复多次 并 与 2 维 码 字 结 合 , 以 增 加 点 特 征 的 数 量 。(2)EPCN+SPD变体采用PCN编码器和Snow flakeNet解码器。(3)w/o部分匹配变化消除了部分匹配损失。(4)PCN基线是原始PCN方法[57]的性能,在我们消融研究的相同设置下进行训练和评估。在表4中,我们报告了四种网络变体的结果以及表示为Full的默认网络。通过比较EPCN+SPD与PCN基线,我们可以发现我们的SPD与基于跳过变压器的解码器可以潜在地应用于其他简单的编码器,并实现显著的改进。通过对Fullmodel和Fold-expansion的比较,Fullmodel的性能更好,证明了逐点分裂操作相对于基于折叠的特征扩展方法的优越性。通过比较w/o部分匹配与Full模型,我们可以发现部分匹配损失可以稍微提高Snow flakeNet的平均性能。SPD点生成过程可视化。在图8中,我们可视化了SPD的点云生成过程。我们可以发现SPD的层生成点雪花状的图案。生成平滑表4. Snow flakeNet中每个部分的效果方法avg.沙发椅子车灯折叠膨胀8.808.4010.805.8310.10EPCN+SPD8.939.0611.306.149.23w/o部分匹配8.508.7210.65.788.9PCN-基线13.3011.5017.006.5518.20充分8.488.1210.65.899.32图8.不同对象上雪花点反褶积的可视化对于每个对象,我们采样两个点片,并将每个采样点的两层点分裂在一起可视化。灰线表示点分割的路径从P1到P2,红线是从P2到P3的分离路径。对于平面(例如图8中的椅子和灯),我们可以清楚地看到子点是围绕父点生成的,并且沿着平面表面平滑地放置。另一方面,当生成细管和尖锐边缘时,子点可以精确地捕获几何形状。5. 结论在本文中,我们提出了一种用于点云完成的新型神经网络,称为Snow flakeNet。Snow flakeNet使用多层雪花点解卷积将完成点云的生成建模为3D空间中点的雪花状增长。通过在Snow flake Point Deconvolution中进一步引入skip-transformer,Snow flakeNet学习生成具有高度详细几何形状的局部紧凑和结构化点云。我们对稀疏(Completion3D)和密集(PCN)点云补全数据集进行了全面的实验,这表明我们的Snow flakeNet优于当前的SOTA点云补全方法。5507引用[1] Matthew Berger、Andrea Tagliasacchi、Lee Seversky、Pierre Alliez 、 Joshua Levine 、 Andrei Sharf 和 ClaudioSilva 。基 于点云 数据的曲 面重构技 术研究现 状在Proceedings of Eurographics,第1卷,第1612[2] Angel X Chang , Thomas Funkhouser , Leonidas JGuibas , Pat Hanrahan , Qixing Huang , Zimo Li ,Silvio Savarese , Manolis Savva , Shuran Song , HaoSu , et al. ShapeNet :信息丰富的3D 模型存储库。arXiv:1512.03012,2015。6[3] Chao Chen , Zhizhong Han , Yu-Shen Liu , andMatthias Zwicker. 通过2D投影匹配的3D点云精细结构生成的无监督学习在2021年IEEE国际计算机视觉会议(ICCV)上2[4] Xuelin Chen,Baoquan Chen,and Niloy J Mitra.使用对抗训练在真实扫描上完成不成对点云在学习代表国际会议上,2019年。2[5] Angela Dai , Charles Ruzhongtai Qi , and MatthiasNießner.使用3D编码器预测器CNN和形状合成的形状完成。在IEEE计算机视觉和模式识别会议(CVPR)集,第5868-5877页3[6] AlexeyDosovitskiy 、 LucasBeyer 、 AlexanderKolesnikov 、 Dirk Weissenborn 、 Xiaohua Zhai 、Thomas Unterthiner 、 Mostafa Dehghani 、 MatthiasMinderer 、 Georg Heigold 、 Syl-vain Gelly 、 JakobUszkoreit和Neil Houlsby。一张图片相当于16x16个单词:用于大规模图像识别的变压器在学习代表国际会议上,2021年。3[7] Thibault Groueix , Matthew Fisher , Vladimir Kim ,BryanRussell,andMathieuAubry. 一种学习3D表面生成的方法。在IEEE计算机视觉和模式识别会议论文集,第216-224页六、七[8] Jiayuan Gu,Wei-Chiu Ma,Sivabalan Manivasagam,Wenyuan Zeng , Zihao Wang , Yuwen Xiong , HaoSu,and Raquel Urtasun.弱监督的3D形状完成在野外。在proc 欧洲会议。 计算机视觉(ECCV)Springer,2020年。2[9] 郭孟浩,蔡俊雄,刘正宁,穆泰江,拉尔夫R.Martin和 Shi-MinHu 。 PCT : 点 云 Transformer 。Computational Visual Media,7(2):1872021年4月3[10] Zhizhong Han , Chao Chen , Yu-Shen Liu , andMatthias Zwicker. DRWR:一个可区分的渲染器,无需渲染,用于从剪影图像进行无监督3D结构学习。2020年,国际机器学习会议(ICML)。2[11] Zhizhong Han , Chao Chen , Yu-Shen Liu , andMatthias Zwicker. ShapeCaptioner:通过学习从多视图中检测到的部分到句子的映射,生成3D形状的字幕网络。第28届ACM国际多媒体会议,第1018-1027页,2020年1[12] Zhizhong Han,Xinhai Liu,Yu-Shen Liu,and MatthiasZwicker. Parts4特点:从多个视图中的一般语义部分学习3D全局特征。在2019年国际人工智能联合会议2[13] Zhizhong Han,Zhenbao Liu,Chi-Man Vong,Yu-ShenLiu , Shuhui Bu , Junwei Han , and CL PhilipChen.BoSCC:用于空间增强的3D形状表示的空间上下文相关IEEE Trans
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功