没有合适的资源?快使用搜索试试~ 我知道了~
1726LAKe-Net:通过定位对齐的关键点实现唐俊树1,龚志军1,冉毅1*,袁曦e2,马丽庄1,2*1上海交通大学,2华东师范大学{tangjs,gongzhijun,ranyi} @ sjtu.edu.cn,yxie@cs.ecnu.edu.cn,ma-lz@cs.sjtu.edu.cn摘要点云补全的目的是从部分观测中完成几何和拓扑形状。然而,由于原始形状的某些拓扑信息缺失,现有方法直接预测完整点的位置,而没有预测完整形状的结构和拓扑信息,导致性能较差为了更好地解决丢失的拓扑部分,我们提出了LAKe-Net,一种新的拓扑感知的点云完成模型,通过定位对齐的关键点,与一种新的Keypoints-Skeleton-Shape预测方式。具体来说,我们的方法使用三个步骤来完成缺失的拓扑:1) 对齐的关键点定位。提出了一种非对称关键点定位器,包括一个无监督的多尺度关键点检测器和一个完整的关键点生成器,用于从完整和部分点云中定位对齐的关键点。我们从理论上证明,检测器可以捕捉对齐的关键点内的子类别的对象2) 表面骨架生成。基于几何先验知识,从关键点生成一种新的骨架,称为Surface-skeleton,它能完整地表达从关键点获取的拓扑信息,并能更好地恢复局部细节。3)形状细化。我们设计了一个精化子网络,其中多尺度表面骨架被馈送到每个递归子网络辅助精化模块中以辅助完成过程。实验结果表明,该方法在点云数据的自动生成上达到了最佳的效果。1. 介绍点云数据具有无序、非结构化和复杂的语义特征,因此点云数据处理是几何和视觉领域的研究热点然而,在实际应用中,遮挡和光照不足会导致真实形状的部分扫描,并降低后续处理的性能点云完成侧重于预测未命中-*通讯作者。(一)GRNetPMP-NetPointTr Snowflake地面实况(b)第(1)款拓扑局部定位输入关键点表面-生成骨架协助罚款输出(c)第(1)款图1.图示:(a)当前完井方法的视觉比较结果,(b)我们的湖网完井过程,以及(c)对齐的关键点。与GRNet [34],PMP- Net [29],PointTr [40]和Snowflake [32]相比,LAKe-Net可以有效地恢复丢失的拓扑部分(见红色椭圆)。从部分观测值中提取区域,并在许多基本应用中显示出其独特的意义。最近的点云完成工作[7,18,26,29,32,34,35,40,41]成功地利用了深度学习方法,并与传统的基于几何的方法[8,19,23]和基于测量的方法[11,12,16]。然而,大多数现有方法直接预测完整点的位置,而不预测完整形状的结构和拓扑信息,这导致缺失区域的粗糙结果(见图1(a))。受典型几何建模理论的启发,完整的3D对象包括几何和拓扑,例如,坐标和连通性,我们倾向于预测几何和结构化拓扑信息,以完成点云,包括关键点和生成的子图。为此,我们提出了一种新的Keypoints-Skeleton- Shape预测方法,包括三个步骤:1727定位、骨架生成和形状细化。我们首先介绍了关键点定位。与下采样点不同,关键点均匀分布在形状的语义部分,并且被认为是几何结构的重要表示,在许多视觉应用中广泛使用[17,27,37]。因此,我们相信,一旦关键点及其连接被正确定位,整个几何形状就被确定了。为此,我们希望在地面实况关键点的监督下根据部分输入来定位完整的关键点。然而,获取大量3D数据的关键点标注是困难和昂贵的,因此我们提出了一个非对称的关键点定位 器 , 包 括 一 个 无 监 督 的 多 尺 度 关 键 点 检 测 器(UMKD)和一个完整的关键点生成器(CKG),分别用于完整和部分点云。对于UMKD,我们提取对齐的关键点,这意味着在某个类别内的不同对象上关键点的顺序是相同的(图1(c)),以便表示更稳定和更丰富的信息,并为CKG从部分输入预测完整的关键点提供更强的监督由于离散和稀疏的关键点不足以表示整个对象,我们利用骨架来更好地表示拓扑细节。受现有骨架提取方法[1,5,14]的启发,我们提出了一种新的表面骨架,它是基于几何先验从关键点生成的。与其他类型的曲面骨架相比,本文的曲面骨架是曲线和三角曲面的混合体,可以表示更复杂的形状信息。我们将由多尺度关键点生成的具有不同精细度的表面骨架集成到形状细化步骤中以恢复更精细的结果。具体来说,我们提出了一个基于折叠的细化子网,包括三个递归的递归子辅助细化模块(RSR),遵循其他一些完成方法[28,32]。在一般情况下,我们提出了湖网络,一种新的拓扑感知的点云完成模型,通过本地化对齐的关键点。整个管道包括四个部分:自动编码器、非对称关键点定位器、表面骨架生成器和细化子网。我们在训练过程中利用完整和部分点云对。详细地,输入点云(完整或部分)首先被馈送到自动编码器中以学习特征嵌入空间并生成粗略和完整的结果。然后,我们使用非对称关键点定位器定位多尺度关键点,并生成相应的表面骨架。多尺度结构被送入精化子网以产生精细输出。训练过程包括点云重建和完成两个阶段。总的来说,我们将我们的主要贡献总结如下:(1)我们提出了LAKe-Net,一种新颖的拓扑感知点云完成模型,它利用表面的结构化表示作为辅助,包括Aligned关键点和表面骨架,并提出了一种新的关键点-骨架-形状预测方式。(2)我们介绍了一个非对称的关键点定位器,包括一个无监督的多尺度关键点检测器和一个完整的关键点生成器,它可以捕捉准确的关键点,在多个类别的完整和部分对象,分别。我们从理论上证明,我们的检测器检测对齐的关键点在每个子类别。(3)我们在两个数据集上进行点云完成实验,PCN和ShapeNet 55。实验结果表明,我们的湖网络实现了最先进的性能在两个数据集。2. 相关作品点云完成。点云完成侧重于从部分点云输入中预测丢失的形状最近,受点云分析方法[20,21]的启发,PCN[41]首先采用编码器-解码器架构和由粗到细的方式来生成完整的形状。一些作品[15,26,32,43]遵循这种做法,并对网络结构进行修改,以获得更好的性能。SA-Net [28]通过引入分层折叠进一步将解码过程扩展到多个阶段。最近,PointTr [40]将点云完成重新表述为集到集的转换问题,并设计了一种新的基于变换的编码器-解码器用于点云完成。然而,这些方法大多预测的是完整点的位置,而没有预测点的结构和拓扑信息,这就导致了对缺失区域的预测结果比较粗糙。SK-PCN [18]是我们最相关的工作,它预处理数据集并使用中骨架作为监督。然而,SK-PCN不能预测原始形状的结构和拓扑信息。我们提出的LAKe-Net利用对齐的关键点和相应的表面骨架来捕获共享的拓扑信息,作为完成的辅助,并获得了更好的性能。骨架表示。骨架表示广泛用于运动识别[38,39],人体姿势估计[2,22]和人体重建[4,42]。 Jiang等[10]建议将骨架感知纳入基于深度学习的回归,以从点云重建3D人体形状。 Tang等人[25]第二十五话利用骨架的拓扑保持特性,从单幅RGB图像进行三维表面重建.P2P-Net [36]从两个域(表面骨架和表面)学习基于点的形状表示之间的双向几何变换。我们的方法设计了表面骨架表示生成的多尺度关键点在一个更细粒度的方式,逐步援助点云完成。无监督关键点检测。虽然大多数手工制作的3D关键点检测器无法检测复杂对象中的准确且良好对准的关键点,但Li等人(Li et al.[13个国家]1728gt罚款KP2i=1∈ X ∈XSXX图2.LAKe-Net的总体架构,包括点云重建(蓝色)和点云完成(红色)两部分我们在右侧示出了(a)自动编码器E、(b)完整关键点生成器G和(c)递归骨架辅助细化模块R的详细结构PCN编码器首先在[41]中提出UMKD表示无监督的多尺度key点检测器r.这样的子Si和Si分别由Pi和Pi生成。提出了第一个基于学习的3D关键点检测器USIP。然而,检测到的关键点既不是有序的,也不是语义显著的。Fernandez等人[6]利用点云中的对称先验以非监督方式捕获关键点。最近,Jakabet al. [9]进一步探索无监督关键点在形状变形任务中的应用。QuetonMerger[24]提出了一种基于自动编码器架构的新型关键点然而,不同的模型需要针对不同的类别进行训练。我们提出UMKD,一种无监督的多尺度关键点检测器,可以捕获多个类别中对象的关键点。我们发现它在KeypointNet [37]上具有共享拓扑的类别上达到了最佳性能,并产生了更突出和语义更丰富的关键点。图3.我们提出的UMKD的详细结构。以P3为例,给出了Blue中相对张量的计算过程和维数。{Pi}3,以及自动编码器E1,其映射输入3. 该方法提出了一种新的基于局部对齐关键点的拓扑感知点云网络(LAKe-Net),其整体结构如图1所示。二、该流水线包括四个部分:自动编码器、非对称关键点定位、曲面骨架生成和形状细化。培训包括两个阶段:点云的重建和完成。训练数据由完整点云和部分点云对(X,)组成,其中XRNc×3和RNp×3分别表示完整点云和部分点云的坐标,Nc和Np分别表示完整点云和部分点云的首先,见图的上部2、我们利用完整的数据X作为输入来训练无监督多尺度关键点检测器(UMKD)D,其提取多尺度关键点到全局特征空间c中,并获得粗略结果Xc。然后,表面骨架生成过程中,利用关键点的拓扑信息,以构建一个更精细的表示。最后,细化子网采用拓扑信息和粗略结果Xc来生成高分辨率结果Xf。重建部分无监督地训练UMKD以学习对齐的关键点用于稍后的完成阶段,并且还提供网络的良好初始化以预测完整形状。在第二阶段中,我们固定关键点检测器D和自动编码器E1的权重,然后将部分数据输入到新的自动编码器E2中并预测完整的粗略结果c。值得注意的是,自动编码器E1和E2具有相同的架构,包括PCN编码器[41]和粗点生成器。E2的编码器嵌入在-1重建自动编码器E细化子网RPCN编码器粗发生器RRR全局特征参考完整的关键点生成器公司简介 重复UMKD[1,]不对称关键点PPP表面-骨架生成�P于我�[,3]������̂[Np,Np][香港赛马会,香港赛马会][香港赛马会,香港赛马会]递归递归子辅助精化模块R�P于�P于�P于������������������������������参考公司简介���������[1,]最大重复重复Max������������+������/����+������������【1,逐点特征������̂[第三章]XC[第三章]PCN编码器X+【N值+1,3】公司简介���������[,3]������̂粗发生器R RR[N] [N,H][N,H][N,H]��上采样重复全局特征自动编码器2完成细化子网R逐元素添加最远FFS特征CConcat采样关键点损失逐点特征全局特征X/X/轴MaxPCN编码器自动编码器无监督多尺度关键点检测器类内凸编码器类别特定偏移预测因子输出功率输入N×������PointNet++W1W1W2输出功率类别标签W2预测标签������������������������������������K������×K������ ������������������W3输出PK×N������WK×������3分类损失K × NP=W������=(W������������ +(W))������������������������������线性层逐元素添加矩阵乘法选择Softmax...FFS...FCFCFCMLPFCMLPConvTransposeConvTranspose雷斯孔夫雷斯孔夫雷斯孔夫雷斯孔夫MLP雷斯孔夫MLPMLPMLPMLP1729∈XR R·i=1i=1联系我们···}O不∈O不∈Q∈∈不∈不O不O联系我们|{1}|···}∈∈将点放入逐点局部特征f<$RNp×d,其中d表示特征嵌入的维度我们认为c)边插值邻接矩阵A最大值c=maxNp(f∈R1×d)作为整体有限元-1⋯ 0⋮⋱⋮真的。然后将局部特征和全局特征进行融合,并将融合后的特征送入一个完整的关键点生成器(CKG)b)恢复之前0⋯ 1d)曲面插值表面-骨架复合材料G预测多尺度keypoints{P}3,监督人关键点3ii=1图4.曲面骨架生成操作。在第一阶段中检测到{Pi}i=1。最后,我们将Xc和插值的表面骨架Sd c发送到一个骨架-最终凸权值W3=W3+W3,并归一化W3辅助细化子网R以生成精细输出f。我们将在以下章节中描述我们提出的模块和培训损失的技术细节。3.1. 无监督多尺度关键点检测器给定一组Nc个输入完整点云X=xjj=1、,NcRNc×3,我们的目标是预测 Ki3个关键点Pi3=pkk=1,,KiRKi×3。 具体地说,我们倾向于预测点云的凸组合权重Wi=wijRNc×Ki,而不是直接预测关键点的坐标,以避免偏离原始形状。 因此,预测的关键点P1由下式导出:通过softmax函数并预测关键点P3。UMKD D提取的关键点遵循以下理论:检测到的关键点P的坐标与原始点X的顺序无关。即P = D(X)=D((X)),其中()表示随机置换运算. 理论证明在补充材料中介绍。因此,检测到的关键点在子类别内具有共享拓扑的对象之间对齐(如图1(c)所示)。3.2. 表面骨架生成在提取原始点云的关键点后,我们的目标是根据前关键点重建点云我们认为骨架是一种NcN cPi = WTX = WWT xj,s.t.,wij> 0,则n_wij = 1。(一)关键点和原始点云之间的表示伊伊季j=1j=1以前的方法,如QuestionMerger [24]使用由每对关键点连接的骨架,这导致高为了使用适用于我们的流水线的所有类别的单个模型来预测凸权重Wi,我们假设Wi=Wi+Wi,其中Wi表示类别不变计算复杂度和大量无效点。此外,给定一个表面,以前的骨架要么位于表面的中轴附近[5],要么大部分位于to to t模板权重,Wi表示类别特定权重偏移。此外,我们希望为后续任务预测多尺度关键点。为此,我们提出了一种非监督多尺度关键点检测器(UMKD),它由类别不变的凸编码器和类别特定的偏移预测器组成。UMKD的详细结构如图3所示。详细地说,我们应用PointNet++[21]作为主干编码器来提取局部和全局特征。它包括四个集合抽象层来对输入点进行分组和下采样.然后将全局和局部特征传播回每个局部点。然后将点特征输入到三个全连通块中,逐步提取多尺度凸特征Wi,R,Ki×Nc。至于预测类别特定偏移Wi,我们首先预测输入形状的类别标签ω,并将Wi发送到相对偏移预测器Oiω。在PointNet++的最后一个点集抽象层后增加两个全连接层作为分类头,预测每个输入几何的类别标签。OijRKi×Ki是一个可学习的矩阵。我们设置j[1,]。表示category的数量。 以P3为例(如图3所示),输入点X RNc×3被发送到凸编码器,输出模板凸权重W3RK3×Nc和预测标签ω = 2。然后将W3输入到选定的偏移预测器O32,输出W3∈RK3×Nc. 最后,我们得到了外表面[24]。我们的目标是提取一个骨架,位于附近的表面,使它可以更好地作为- sist后期的细化过程。为了同时表示复杂形状的拓扑和几何信息,我们设计了一种由关键点生成的曲面骨架结构,该结构由适合于局部3D几何的曲线和三角曲面具体地,给定预测关键点PRK×3和参考点X,我们遵循[14]中提出的两个形状先验,生成骨架图:(1)在每个节点具有到其前2个最近节点的链路之前的拓扑;(2)如果两个关键点是参考点的两个最近的关键点,则在两个关键点被链接之前恢复。生成骨架图后,得到邻接矩阵ARK×K。提出了一种基于Delaunay三角剖分区域的曲面插值策略。 整个插值过程分为两步:边插值和三角形曲面插值. 给定一个图,我们首先在每一条连通边上插值点然后,我们根据骨架图检测每个三角形表面然后我们将点插入三角形区域。插值点的数量与三角形面积成The overall skeletal graph generationandsurfaceinterpolation process is shown in Fig 4. 值 得 注 意 的是,我们利用完整的点云X作为一关键点P参考X1730SXX ∈Li=1ΣΣSKPKPCΣΣj=1{S}用于重建的参考形状,同时使用粗略结果C来完成。总的来说,我们得到了表面骨架。增加关键点的数量会导致更复杂的表面骨架,可以表示更精细的形状细节。我们利用结构作为几何形状的拓扑表示,这是重建和完成的关键。3.3. 完整的关键点生成器在第二阶段,给定部分输入RNp×3,我们提出的完整关键点生成器(CKG)模块的目的是从部分特征嵌入中预测多尺度完整为此,我们利用ˆ重建首先,为了鼓励检测到的关键点P是均匀分布的并且不偏离全局形状,我们计算预测的关键点和使用FPS策略从输入数据中下采样的稀疏点云X至于在几个类别中训练一个检测器,我们还训练了一个分类头。我们将预测输出记为ω,某个类别标签记为σ。我们训练一个准则损失cls。除此之外,正如在Sec中提到的。3.2,我们期望表面骨架可以重建地面真实的几何形状。我们计算CD之间的多尺度表面骨架i3和地面实况X。 因此,训练关键点检测器的总体损失是:编码器输出的局部和全局特征f和cL=1μmin||x−y||2+1Σmin||y− x||二、CD作为输入。类似于法拉第点采样(FPS)点云策略,以便对点进行下采样|X| x∈X y∈Y|Y| y∈Y x∈X(二)特征,我们使用Faradian Feature Sampling(FFS)策略将样本逐点局部特征f** 转换为稀疏特征f**,其中我们用特征QLcls=−(σi logωi+(1−σi)log(1−ωi)),(3)i=1嵌入采样的数量与预测的关键点相同。然后,我们利用去卷积层,Lkp =LCD3(P,X)+LCDi=1(Si,X)+LCLS.(四)对全局特征C进行上采样,并将它们融合到剩余块中,并预测最终的关键点。我们训练三个类似的用于多尺度关键点预测的块然后利用SEC上引入的曲面插值方法生成相应的曲面骨架3.2.3.4. 递归递归子辅助精化我们提出的形状细化子网R包括三个递归的基于递归的辅助细化(RSR)模块,其旨在整合多尺度表面骨架和来自先前自动编码器的粗略输出,以递归方式预测更精细的几何细节。模块的详细设计如图2所示。它遵循现有的方法[28,32,35],使用从粗到精的策略来学习 积分点的偏移具体来说,我们进展-最后,我们计算了地面真实值X和稀疏输出Xc,密集输出Xf。Lrec=LCD(Xc,X)+LCD(Xf,X).(五)一般来说,第一阶段的整体训练损失为:L1=Lrec+λ1Lkp,(6)其中λ1表示用于平衡推断的超参数。点云完成。在第二阶段,我们固定UMKDD和自动编码器E1的权重,并训练新的自动编码器E2和CKGG。之前预训练的细化子网R继续被优化。我们使用预测的关键点P和地面实况关键点P之间的绝对距离来约束关键点预测:3Ki将从先前步骤获得的粗点云和由相应步骤生成的表面骨架进行拼接,Lkp =||pij−pij||二、(七)i=1j =1在第2节中描述的关键点3.2. 我们表示输入Ni−1个粗点作为X={x}和曲面-sk eleton与其他并发网络相同[31],我们将全局特征c和c∈R1×d由tw o中的自动编码器编码i−1jj=1隐藏特征空间学习的阶段:Si−1={pj}Si−1。积分Xi−1=D第i步的concat(Xi−1,Si−1),其中concat(·)表示L=1Σ||C -c||二、(八)连接操作。Ni−1和Si−1表示数字粗点和表面骨架,分别。 在这壮举迪伊i=1在这篇论文中,我们在每一步中设置Ni=Si因此,第i个RSR模块Xi=X<$ i−1+R(X<$ i−1)输出的更新点将被发送到第n个步骤。3.5. 培训与损失点云重建。 在第一阶段,UMKDD,训练自动编码器E1和细化子网R一起 训练损失分为两部分,1731KP2网KPKP壮举壮举2c对于典型的完成任务训练,我们在第一阶段遵循粗调输出Xc和微调输出Xf使用CD损耗进行优化:Lcom=LCD(Xc,X)+LCD(Xf,X).(九)综上所述,第二阶段点云完成的全部目标是:L=L+λL+λ L,(10)一个是约束关键点检测,另一个是约束数据其中(λ2,λfeat)表示超参数。17322KPKPΣ||−||(十一)4. 实验4.1. 数据集设置和评估指标PCN:PCN数据集是一个广泛使用的点云完成基准,由[41]创建,包括来自8个类别的不同对象:飞机、橱柜、汽车、椅子、灯具、沙发、桌子、器皿。训练集包含28,974个对象,而验证和测试集分别包含800和1,200个对象。完整的点云由16,384个点组成,这些点在原始CAD模型上均匀采样。由2,048个点组成的部分点云是通过从8个随机视点将2.5D深度图像反向投影到3D中来创建的。ShapeNet55:为了探索我们的方法在大量类别上的性能,我们在ShapeNet的所有55个类别上评估我们的方法[3],命名为ShapeNet55。ShapeNet55数据集最初由PointTr创建[40]。训练集包含41,952个对象,而测试集包含10,518件物品。我们在每个类别中随机抽取80%的对象来形成训练集,并使用剩余的20%来形成验证集。评估指标:在输出点云和地面实况之间使用两个评估指标,使用L2范数的Cham- fer距离(CD)和地球移动器距离(EMD),遵循PCN和ShapeNet 55测试集上的大多数方法。在等式2中引入CD,并且EMD被定义为:EMD(X,Y)=min1x x x(x),X→Y |x ∈X|x∈X其中,n是双射。值得注意的是,我们分别使用16,384和8,192点计算PCN和ShapeNet 55的这些指标。4.2. 实现细节LAKe-Net的整个训练过程分为两个阶段:点云重建和点云完成。第一阶段(重建)的输入是一组完整的点云,具有来自所有数据集的训练集的坐标和对象类别标签。我们训练关键点检测60个epoch,并逐步提取256,128,64个关键点。精化子网包括三个RSR模块,去卷积的上因子为[1,1,2]。对于第二阶段(图1的底部完井分支),2)只输入训练集中的部分点云,并输入其坐标信息。我们利用Adam优化来训练点云完成的整个架构,使用batchsize 64和学习率0.001进行100个epoch。的输入GRNet备用PMPPoinTr雪我们地面实况图5. PCN数据集上点云补全与其他最新方法比较结果的可视化。补充其他方法,使用它们的开源代码和超参数进行公平比较。表2和3显示了我们的方法和其他点云完成方法在PCN数据集上的定量比较结果,从中我们可以看出,我们的方法在CD和EMD指标上都达到了最好的性能。具体地说,与同样提出渐进解码模块的第二位Snowflake相比,我们的方法在对齐的关键点和表面骨架的帮助下具有更好的性能此外,实验结果表明,与SnowflakeNet相比,LAKe-Net在预测对称几何及其拓扑信息方面具有更强的能力.此外,我们还在图5中显示了定性比较结果和一些最新方法的可视化,这表明我们的方法在完成缺失拓扑方面具有更好的性能。具体地,也利用渐进式粗到细解码的方法,如PMP-Net和SnowflakeNet,倾向于预测粗略的缺失形状并生成分散点,特别是对于具有平面或表面的几何图形。其他方法如GRNet、SpareNet和PointTr在恢复局部细节和一些丢失的拓扑(如表腿)方面很弱。我们的方法超参数λ12=10,λfeat=1000。的可以预测具有更清晰拓扑结构的几何形状该方法的推理时间为34.5ms/样本。4.3. PCN数据集的结果。我们比较了我们提出的湖网和其他国家的最先进的完成方法的性能。我们...更少的噪音。4.4. ShapeNet55数据集此外,为了评估我们的方法在大量数据类别上的推广性和强大性,=λ1733××类别床板凳书架文件柜水龙头电话可以花盆塔枕头平均度量CDEMDCDEMDCDEMDCDEMDCDEMDCDEMDCDEMDCDEMDCDEMDCDEMDCDEMD折叠[35]3.1773.61.4550.12.4864.41.9465.33.1966.20.6939.11.7660.24.1182.91.8359.51.6463.22.0660.2PCN [41]2.5049.40.9628.92.3944.71.4937.21.9640.30.5424.01.3030.92.5848.71.3433.71.0931.51.3634.0GRNet [34]0.9329.70.8625.80.9329.61.5724.90.8327.60.8726.21.1532.31.2433.50.8725.31.0628.81.1528.2[40]第四十话2.1837.60.9321.41.8637.13.2342.71.7542.40.5520.82.1331.22.6842.71.7335.91.4031.81.7031.7我们0.7228.40.7118.20.8929.70.9716.40.3420.50.4820.80.6329.01.1935.90.6021.90.9729.80.8931.0表1.使用CD-12(10 3)和EMD(10 3)度量在ShapeNet 55数据集上与其他完成方法的定量比较结果。我们报告了每种方法在10个抽样类别上的详细结果和所有55个类别的总体平均结果输入关键点表面骨架输出GroundTruth折叠[35]3.1517.9434.676 9.225 9.234 8.895 6.691 7.3257.142PCN [41]1.4004.4502.445 4.838 6.238 5.129 3.569 4.0624.016AtlasNet [7]1.7535.1013.237 5.226 6.342 5.990 4.359 4.1774.523MSN [15]1.5437.2494.711 4.539 6.479 5.894 3.797 3.8534.758GRNet [34]1.5313.6202.752 2.945 2.649 3.613 2.552 2.1222.723PMP-Net [29]1.2054.1892.878 3.495 2.178 4.267 2.921 1.8942.878SpareNet [33]1.7566.6353.614 6.163 6.313 7.893 4.987 3.8355.149PointTr [40]0.9934.8092.529 3.683 3.077 6.535 3.103 2.0293.345雪花[32]0.9133.3222.246 2.642 1.898 3.966 2.011 1.6922.336我们0.6462.5941.743 2.149 2.759 2.186 1.876 1.6021.944表2.使用CD-12在PCN上完成点云的其他方法的定量比较结果(越低越好)。图6. ShapeNet 55数据集的可视化完成我们提出的方法。我们还在第二列和第三列显示了预测的关键点和生成的表面骨架。5. 方法分析在本节中,我们将检查我们的动机在湖泊网络中的有效性。我们从不同的角度进行了几项消融为了公平比较,所有方法都在PCN数据集上进行了训练和测试,以完成关键点检测,并在KeypointNet上进行了测试。表3.与其他使用EMD的PCN点云完成方法的定量比较结果(越低越好)。为了适应真实场景,我们在ShapeNet55数据集上进行了实验,并与其他补全方法进行了比较。我们丢弃75%的完整点云,并将剩余的部分点云重新采样为2,048个点,作为所有方法的输入。表1显示了10个抽样类别的定量比较结果。最后一列显示了55个类别的总体平均结果。我们可以看到,我们的方法在CD度量上取得了最好的结果,在EMD度量上有竞争力的结果。具体地说,对床、长凳、书架、文件柜、水龙头等与PCN数据集中的样本相似或在子类别中具有此外,在其他类别上的结果表明,我们的方法是更强大的完成几何形状的规则和对称的轮廓,类似于血管在PCN数据集。我们在图6中可视化了我们的方法在ShapeNet 55样本上的完成过程。可以看出,我们的方法可以定位效果关键点,并恢复丢失的拓扑和几何信息的帮助下,表面骨架。无监督多尺度关键点检测器。 为了证明我们提出的UMKD的有效性和准确性,我们将我们提取的关键点与最近的两个无监督关键点检测器Fernandez et al.[6]和EscheretonMerger [24] 进 行 了 比 较 。 所 有 方 法 都 在KeypointNet [37]上进行了训练和测试,KeypointNet具有带有语义对应标签的关键点注释我们从五个方面对这些方法进行评估:飞机、汽车、椅子、桌子和器皿。具体来说,我们检测16,32,64个关键点的所有类别。至于其他方法,我们训练了五个模型,并为每个类别检测了16个关键点我们首先使用最近邻策略对与注释关键点相同数量的预测关键点进行下采样对 于 评 估 指 标 , 我 们 遵 循 Mean Intersection overUnions(mIoU)指标来评估关键点静默和准确性。它是使用欧几里德距离以0.1的阈值计算的。定量结果如表4所示,这说明我们提出的在多个类别上训练的关键点检测器具有竞争力的性能,甚至比在单个类别上训练的其他无监督方法更好。对飞机、椅子和桌子的实验结果也表明,该方法对拓扑结构明显的几何体有较好的识别效果可视化如图所示CD-12(×104)飞机柜 车椅子灯 沙发 桌子容器平均EMD(×102)飞机柜 车椅子灯 沙发 桌子容器平均折叠[35]1.6822.5762.183 2.847 3.062 3.003 2.500 2.3572.526PCN [41]2.4261.8882.744 2.200 2.383 2.062 1.242 2.2082.144AtlasNet [7]1.3242.5822.085 2.442 2.718 2.829 2.160 2.1142.282MSN [15]1.3342.2512.062 2.346 2.449 2.712 1.977 2.0012.142GRNet [34]1.3762.1281.918 2.127 2.150 2.468 1.852 1.8761.987PMP-Net [29]1.2592.0582.520 1.798 1.280 2.579 1.651 1.7601.863SpareNet [33]1.1312.0141.783 2.050 2.063 2.333 1.729 1.7901.862PointTr [40]0.9381.9861.851 1.892 1.740 2.242 1.931 1.5321.764雪花[32]1.3752.6332.591 2.086 1.599 3.070 1.616 1.9572.116我们0.9581.8301.564 1.667 1.782 1.755 1.499 1.4021.5571734(a)GroundTruth合并我们的-16我们的-32我们的-64(b)我们的----32个,不包括民间社会组织方案(c)FPS点数图7.(a)在KeypointNet数据集上由我们和QuetonMerger检测到的多尺度关键点的可视化;(2)在没有csop的情况下,我们的方法失败的情况;(3)FPS 16点的缺点。CSOP表示类别特定偏移预测器。Miou飞机车椅子表容器Fernandez等人69.750.551.249.353.5伊顿合并72.764.663.259.662.0我们的-1673.258.169.262.561.3我们的-3273.760.270.563.262.5我们的-6474.062.971.365.464.0Ours-32w/o csop35.413.227.823.911.0表4.使用mIoU与KeypointNet上其他无监督关键点检测器的定量比较结果(越高越好)。图7(a).我们的检测器可以产生更显著和语义更丰富的关键点。我们还显示了我们检测到的多尺度关键点,这些关键点代表了更精细的几何细节。此外,为了评估我们提出的类别特定偏移预测器(csop)在UMKD中的有效性,我们将所有偏移预测器替换为单个类别不变偏移预测器。定性结果见图7(b),定量结果见表4。显然,单个偏移预测器不能处理多个类别中的几何体预测的关键点倾向于聚集在一起以减少损失。关键点和曲面骨架。为了评估使用对齐的关键点和表面骨架完成点云的必要性,我们进行了几次消融实验。我们考虑第二阶段中的自动编码器E2和细化子网R作为基线。特别地,我们使用FPS策略将第一阶段中检测到的多尺度完整关键点替换为来自地面实况的多尺度下采样点。在第二阶段,我们使用下采样点和预测关键点之间的CD损失。我们还删除了生成的表面骨架的辅助,并将上因子改为[2,2,4]以进行公平的比较。定量结果如表5所示。我们可以看到,下采样点不能表示有效的拓扑信息(如图7(c)所示),尤其是在一些关节部分上,并且对于完成我们的流水线中的缺失几何形状此外,我们认为,EMD(×102)飞机柜 车椅子灯 沙发 桌子容器平均我们0.9581.8301.564 1.667 1.782 1.755 1.499 1.4021.557- 使用FPS1.1172.2951.978 2.157 1.916 2.607 1.810 1.8231.963- 不含S-sk1.4692.6382.386 2.380 2.221 2.989 1.906 2.0202.251PointDisturb1.0311.9021.554 2.012 1.945 2.037 1.684 1.4371.700ClassDisturb0.9631.8461.576 1.786 1.831 1.780 1.545 1.3971.590表5.使用EMD指标对PCN数据集进行消融研究和稳健性测试w/o S-sk表示没有表面骨架。多尺度下的GroundTruth曲线骨架中骨架表面骨架图8.不同类型骨架的可视化,包括[24]生成的曲线骨架,[30]的中间骨架和我们的多尺度表面骨架。无序稀疏点云之间的CD损失难以优化收敛。我们还将不同类型的骨架与图8中的多尺度表面骨架进行了可视化。 可以看出,我们的表面骨架专注于表示原始形状的表面,并且可以与典型方法[30]检测的中间骨架获得竞争性能,并且优于[24]的曲线骨架。耐用性试验。我们还进行消融研究,以调查我们的方法在一些极端情况下的鲁棒性。在第一阶段之后,我们首先以0.1的阈值随机干扰5%的检测到的GT关键点。秒-其次,我们故意将几何形状与相似的形状进行错误分类:桌子、椅子和沙发。结果见表5。实验结果表明,我们的方法是鲁棒的错误检测的关键点在第一阶段。6. 结论本文提出了一种新的拓扑感知的点云补全方法--LAKe-Net,该方法通过定位对齐的关键点来补全缺失的拓扑实验结果表明,我们的湖网络实现了国家的最先进的点云完成的性能。7. 确认这项工作得到了国家重点研究与发展计划的支持( 2019 YFC 1521104 ) , 国 家 自 然 科 学 基 金 项 目(72192821,61972157,62176092),上海市科技重大专项(2021 SHZDZX 0102),上海市科学技术委员会(21511101200,22 YF 1420300,21511100700),中国农业科学院-华为MindSpore开放基金、国家社科基金艺术类重点项目(I8ZD22)。1735引用[1] J. Cao,A. Tagliasacchi,M. Olson,H. zhang和Z.苏基于拉普拉斯算子收缩的点云骨架。在2010年形状建模国际会议上,第187IEEE,2010。2[2] Z. Cao,T.Simon,S.-E. Wei和Y.酋长利用局部仿射场进 行 实 时 在 IEEE 计 算 机
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功