没有合适的资源?快使用搜索试试~ 我知道了~
点云细化网络与粗细策略生成高精度缺失部分的3D对象形状
790用于点云补全的王晓刚Marcelo H Ang Jr Gim Hee Lee新加坡xiaogangw@u.nus.edu{mpeangh,gimhee.lee}@ nus.edu.sg摘要点云通常是稀疏和不完整的。现有的形状补全方法不能生成物体的细节或学习复杂的点分布。为此,我们提出了一个级联细化网络连同一个由粗到细的策略来合成的详细对象形状的大小。综合考虑局部输入的局部细节和全局形状信息,可以在不完全点集中保留已有细节,生成高精度的缺失部分。我们还设计了一个补丁,以确保每个局部区域具有相同的模式与地面真理学习复杂的点分布。在不同数据集上的定量和定性实验表明,我们的方法在3D点云完成任务上取得了优于现有最先进方法的结果。我们的源代码可以在https:github.com/ xiaogangw/cascaded-point-completion.git.1. 介绍尽管在图像生成和转换方面取得了重大进展[41,16],但由于点的稀疏性,不完整性和不规则性,合成和生成3D点云仍然是一项非常具有挑战性的任务更具体地说,学习精确的点特征和各种点分布的不可能性使得难以获得完整且密集的对象形状。在这项工作中,我们专注于点云完成任务[52,36],它完成了被遮挡对象的缺失部分。3D形状完成具有广泛的应用,例如机器人导航[7,26],场景理解[17,5]和增强重建。[2,44]。现有的方法[52,36,3,6,22,34]已经显示出对不同输入的形状完成的有希望的结果:距离场、网格、体素网格和点云。体素表示是像素到3D情况的直接概括。然而,用体素格式生成3D形状存在存储效率低的问题,因此难以获得高分辨率的结果。虽然数据驱动的方法输入PCN TopNet Ours GT图1.与现有的最先进的方法相比,我们的方法可以生成具有更精细细节的完整点云。在网格表示[38,12,42]上能够生成复杂的表面,但它们仅限于固定的顶点连接模式。因此,在训练过程中很难改变拓扑结构。相比之下,为点云添加新点很容易,并且一些研究已经显示出有希望的结果。先驱工作[52]在合成数据集ShapeNet [4]和真实场景数据集KITTI [9]上提出了一种基于编码器-解码器的流水线。下面的工作TopNet [36]提出了一个层次化的有根树结构解码器来生成对象形状。尽管它们在形状完成方面取得了令人印象深刻的性能,但它们都无法生成3D对象的详细几何结构,并且产生不令人满意的粗糙对象输出。几种方法[24,28,25]提出在函数空间中学习3D结构,并且它们对于各种输入格式都取得了令人印象深刻的结果然而,这些方法需要后处理以细化输出。我们建议以级联细化的方式合成密集和完整的对象形状,并联合优化端到端的我们的框架被设计为在部分输入中保留对象细节,并对丢失的部分进行逼真的重建。图1显示了我们的方法和现有方法之间的示例[52,36]。虽然椅子的腿清楚地存在于输入中,但是现有的工作不能在输出中保持这种结构细节。相反,我们的方法完全捕捉到了这种细粒度的细节。为此,我们在不完整的点和粗略的输出之间进行跳过连接。然而,输入和粗略输出之间的简单连接会产生不均匀分布的点。因此,我们设计了一个迭代的细化de-791编码器与特征收缩和扩展单元一起细化点位置。我们采用对抗性损失,从地面真理中惩罚不准确的点,以学习复杂的点分布,并进一步提高性能。与传统的生成对抗网络(GAN)[21,46]不同,我们设计了一个基于补丁的神经网络来明确强制生成点云的每个局部补丁与[16,45]启发的真实完整点云具有相同的模式,而不是通过预测单个置信度值来对整个对象进行分类我们通过各种实验在不同的数据集上展示了最先进的定量和定性结果。我们的主要贡献如下:• 我们提出了一种新的点云补全网络,它能够从部分点中保留物体的细节,同时生成具有精细细节的缺失部分;• 我们的级联细化策略与粗到精流水线一起可以局部和全局地细化点位置;• 不同数据集上的实验表明,我们的框架取得了优于现有方法的三维点云完成任务的结果。2. 相关工作在本节中,我们将回顾与我们的任务相关的点生成、上采样和形状完成方面的现有工作3D生成。开创性工作PointNet [29]提出了一种点云分析方法,并启发了大量点云生成工作。早期的作品[1,37,33]已经提出了通过使用GAN或变分自动编码器(VAE)对3D生成的生成模型。Achlioptas等人[1]提出了用于3D点云生成的r-GAN,其中生成器和鉴别器都是完全连接的层。Valsesia等人[37]提出了一种图形神经网络来合成物体形状。他们通过每个图卷积层中每个顶点的特征向量计算邻接矩阵。尽管它们的结果优越,但邻接矩阵的计算需要二次计算复杂度并且消耗大量的存储器。上述方法成功地从噪声中合成了大小不同的物体形状.然而,简单的GAN或VAE只能生成小规模(1024或2048)的点集,这是由于复杂的点分布和GAN的训练非常困难虽然改进的方法[47,33,48]在合成3D对象方面表现出优越的性能,但它们仅限于合成对象的一般形状,不适合形状完成。3D上采样。与点云完成类似,几项工作[51,50,49,21,45]旨在生成给定稀疏和非均匀点集的密集和均匀点云。PU-Net [51]采用PointNet++ [30]作为主干,通过一系列卷积提取点特征并扩展特征尺寸。继PU-Net之后,EC-Net [50]通过惩罚点和边缘标签之间的距离来生成尖锐边缘。虽然它们显示出令人兴奋的结果,但这两种方法都限于以小比例对点云进行上采样(例如,4×)。为了缓解这一问题,Yifan et al. [49]提出了一种分层点特征提取和多级生成网络,实现了16倍上采样,但训练过程消耗较多的计算内存。更重要的是,它们都局限于对稀疏点进行上采样,并且不适用于完成任务。3D完成。3D形状补全在机器人和感知领域中具有重要的作用,近年来得到现有的方法在各种格式上表现出令人印象深刻的性能:体素网格、网格和点云。受2DCNN操作的启发,早期的作品[6,14,35,20]专注于使用3D卷积生成体素和几种方法[6,35]已经提出了一种基于3D编码器-解码器的网络用于形状完成,并显示出有前途的性能。然而,基于体素的方法消耗大量存储器并且不能生成高分辨率输出。为了提高分辨率,一些作品[39,40]已经提出使用八叉树结构来逐步体素化特定区域。然而,由于体素化操作的量化效应,最近的工作逐渐放弃了体素格式,而专注于网格重构。现有的网格表示[12,38]基于将模板网格变形为目标网格,因此对任何类型都不灵活。与体素和网格相比,点云易于在训练过程中添加新点。Yuan等人[52]提出了点云完成的开创性工作PCN,这是一个简单的编码器-解码器网络,用于从不完整的点云重建密集和他们采用折叠机制[48]来生成高分辨率输出(16,384)。TopNet [36]提出了一种分层树结构网络来生成点云,而无需为输入点集假设任何特定拓扑。然而,PCN和TopNet都无法合成3D对象的细粒度3. 我们的方法3.1. 概述我们的目标是从损坏和低分辨率的点云中生成完整的具体地,给定稀疏不完全点集P=792完全连接i=1i=1镜像+FPS细化MLP + Maxpool升降模块N X 3 N X CNc X 32Nc X 3(uX N)X 3输入点逐点特征粗略输出中间输出密集输出特征提取粗重建密集重构图2.我们的发电机网络的一个例子。生成器包括三个子网:特征提取、粗重建和密集重建。特征提取器由两个MLP和最大池化层组成粗略重建包括几个完全连接的层。稠密重构是一个级联的精化子网络,每一步都有一个提升模块。我们生成密集和完整的点云部分和稀疏的输入。µ是上采样因子。{pi}N的N个点,我们的目标是生成一个稠密和完整的点集Q={qi}u×N的u×N点,其中u是上采样标量。 我们期望我们的方法满足三个要求:(1)保留输入点云P的精细细节,(2)用详细的几何结构修补丢失的部分,以及(3)在对象表面上生成均匀分布的点。我们的点云完成架构如图2所示.传统的GAN [11,1,37]将噪声分布z映射到数据空间,我们通过将生成器G(第3.2节)建模为特征提取编码器和条件粗到细解码器来扩展通用GAN框架。CNOD(第3.5节)旨在区分生成的假输出和地面实况。3.2. 发生器我们的生成器G由三个部分组成:(1)特征提取H,(2)粗重建G1和(3)密集重建G2。特征提取。与PCN [52]相同,我们使用具有最大池操作的两个堆叠PointNet特征提取架构来提取全局点特征f。具体地,特征提取器h可以通过两个函数的组合来建模,所述两个函数被表达为:f=h ( P |wh ) ,h=h1<$h2 ,(1)其中w h表示h1和h2的参数,h1和h2分别表示两个提取子网络粗重建。G1由几个全连接的层组成,它将潜在嵌入f映射到粗点云。我们把P粗集的大小记为Nc×3。从图2中,我们可以观察到,粗略的输出大致捕捉到了完整的对象形状,但丢失了精细的细节,我们的目标是在第二阶段恢复密集重建。我们的第二阶段g2是一个连续迭代细化子网络。合成从生成低分辨率点(2048×3)开始,然后逐步细化具有较高分辨率的点。 在TopNet [36]之后,我们的输出有四个解:N ={2048,4096,8192,16,384},其中迭代次数分别为1、2、3和4参数-在每次迭代中共享参数。现有方法[52,36,33]利用基于折叠的操作或树结构来生成密集和完整的对象。虽然他们已经取得了令人印象深刻的定性结果,对象的细节往往丢失。如图1所示,PCN [52]和Top-Net [36]都无法生成3D对象的细节(例如,椅子的腿)。原因在于潜在嵌入f是由编码器的最后一个最大池化层获得的,并且它仅表示粗略的全局形状,因此难以恢复详细的对象结构。我们建议保留部分输入中的对象形状细节,同时利用来自P粗的全局形状信息。受U-Net [31]的跳跃连接的启发,我们将部分输入与全局形状P粗略连接以合成密集点。然而,直接拼接由于点的严重不均匀分布而为了缓解这个问题,我们建议在与粗输出Pcoarse连接之前,从部分输入P动态子采样Nc×3个点。我们将组合点集记为大小为2Nc×3的PS,将其送入提升模块(3.3节)以获得更高分辨率的点Pi。我们使用有效的最远点采样(FPS)算法[30]来子采样点。我们还设计了一个特征收缩-扩展单元(3.3节)来逐步细化点的位置.我们逐步细化点的位置,并通过提升模块对点的大小进行上采样。对于后续迭代,提升模块的输入是来自上一步的中间输出Pi793MLPMLPssMLPs MLPs重塑N2 X C2N1 X C3fcfeSSSΣS1瓷砖N′ X 3N1 X C1fSN1 X 3N1 X 3补丁程序选择分层特征集成价值回归级联2D网格收缩膨胀装置图4.网络架构子网络。 它包括平均形状和全局特征逐元素加法图块选择、分层特征集成和置信度图3.提升模块的结构输入为N′×3,我们将其上采样2倍,以获得N1×3的输出。3. 特征收缩和扩展单元预测残余点特征而不是最终结果。价值回归表示为:Pi=F(P′)+ P′,(2)S S3.3. 提高模块其中F(. )通过输入点P′的提升模块预测每个顶点的偏移量。我们设计了一个提升模块,将点的大小上采样为2倍,并通过特征收缩和扩展单元同时细化点的位置。为了对点集PS进行二次采样,我们首先对点PS进行两次平铺以获得新的点集P′。 然后,我们采样一个唯一的2D网格向量,并将其附加在每个点坐标之后,以增加重复点之间的变化[48]。3.4. 形状先验对于每个对象类,我们从该类别内的所有实例中获取潜在嵌入的平均值作为我们的平均形状向量。计算表示为:i=Nifi=f,(3)我们还利用平均形状先验fm(第3.4节)mNi我i=1我们的迭代改进[18],以减轻域的差距不完整点云和完整点云之间的点特征。我们将点P′、平均形状向量fm、全局特征f和采样的2D网格连接起来,以获得新的特征fs。我们的目标是预测每个顶点的位移{dx,dy,dz}对于给定点特征fs的每个点P ′。功能收缩-扩展单元。受沙漏网络[27]的启发,我们通过自下而上和自上而下的方式整合局部和全局信息,以细化点位置并使其均匀分布在物体表面上。然而,在点云的不同比例之间对特征进行子采样和上采样并不简单 虽然PointNet++[30]和图卷积[53]中引入了一些操作,但它们会消耗大量内存和计算时间,特别是对于高分辨率点。因此,我们使用共享的多层感知器(MLP)[51]来进行特征收缩和扩展。具体地说,我们假设fs的维数为N1×C1,输出特征fc和fe的大小分别为N2×C2和N1×C3.这两个运算表示为fc=RS(CC(f S))和fe=RS(CE(f c)),其中RS(. )是整形操作。CC(·)和CE(·)分别是收缩和膨胀的MLP。 我们的提升模块预测点特征残差而不是最终输出,因为深度神经网络更擅长预测残差[38]。我们的举升模块如图3所示。总的来说,在一步细化中,输出点集Pi是其中,Ni是类别i中的对象总数。潜在嵌入由预训练的点网络自动编码器1在[ 18 ]之后的八个对象类别上获得。在3DN [42]之后,我们相对于xy平面镜像部分输入,因为我们假设物体的反射对称平面(xy平面)是已知的,因为许多人造模型显示全局反射对称。然后我们从镜像点中对Nc个点进行二次采样,以获得点集PC。请注意,并非所有的训练对象都是对称的,1200个测试数据中有40个是不对称的。我们的镜像操作可以看作是缺失点的初始化,合理的点位置由整体优化。3.5. 鉴别器为了生成各种逼真的密集完整的点云,我们采用对抗训练,并联合优化重建损失和对抗损失端到端。与传统GAN [21]通过回归一个置信度值来仅考虑全局形状不同,我们设计了一个补丁模型来进一步保证每个局部区域都是真实的。我们采用PointNet++ [30]中的几何点集特征学习,采用不同半径来考虑多尺度局部补丁。具体地,我们首先通过FPS均匀地采样Ns个点种子,然后设置三个半径{0. 1,0。2,0。4)围绕种子提取一组局部斑块。最后,我们得到Ns分数,1https://github.com/charlesq34/pointnet-autoencoder...MLPsMLPsMLPsN X 3NS X 1794而不是计算一个单一的二进制分类值该方法包括面片选择、层次特征集成和值回归。图4中显示了该子网络。3.6. 优化我们的训练损失包括两个部分,一个是重建损失,以鼓励完成的点云与地面实况相同,另一个是对抗性损失,以使不切实际的输出永久化。重建损失。我们采用倒角距离(CD)[8]作为重建损失,即,4. 实验4.1. 评估指标我们将我们的方法与几种现有的方法3D-EPN [6],PCN [52]和TopNet [36]进行了比较。我们使用两个评估指标来定量评估结果。第一个指标是倒角距离(CD),遵循[52,36]。更具体地说,我们在第4.4节的实验中使用CD-P,在其余实验中使用CD-T进行空气比较。另一个度量是从[33]中采用的Fr'echet点云FPD计算点集的特征空间中真实和伪高斯测量之间的2-Wasserstein距离:CD( X, Y)=LX,Y+LY, X,其中21LX, Y= 1Σmin||x − y||2和FPD( X, Y)=mX−mY2+Tr(X+Y−2(XY)2),(九)|x ∈X y ∈Y|x∈Xy∈Y(四)LY, X= 1Σmin||x − y||二、其中m和m表示均值向量和协方差矩阵的点,分别。 Tr(A)是|y ∈Y x∈X|y∈Yx∈X其计算两个点云X和Y之间的平均最近点距离CD有两种变体,我们将其称为CD-P和CD-T。具体而言,CD-P=矩阵A的对角元素。更多评估细节见补充材料。4.2. 数据集(LX,Y+LY,X)/2和CD T = LX,Y+ LY,X。我们表明为了进行公平的比较,我们在不同的结果与这两个变种,我们采用CD-P在我们训练期间的所有实验中因此,我们的重建损失可以表示为:Lrec=CD( P粗, Q)+λf CD( P细,Q),(5)其中Pcoarse和Pfine分别对应于粗输出和细输出,λf是Pfine重构损失的权重。对抗性损失。我们采用LS-GAN [23]的稳定有效的目标函数来处理我们的对抗损失。具体而言,生成器和识别器的对抗性损失为:PCN [52]和TopNet [36]的数据集部分输入为通过将2.5D深度图像反向投影到3D中获得。从八个类别中选择了30,974个对象:飞机、橱柜、汽车、椅子、灯具、沙发、桌子、器皿。我们还创建了较小的训练数据集,以在较少的训练数据上衡量泛化能力。我们只使用一个随机虚拟视图来渲染部分扫描,而不是像PCN那样使用八个随机视图,因此我们的训练数据的数量是PCN的八分之一,但我们保持测试数据与PCN相同。在我们根据Top-Net [36]创建的数据集中,部分和完整点云的分辨率为2048在TopNet的数据集上训练时,我们使用我们的测试数据进行评估L甘(G)=1[D(x)−1]2,(6)24.3. 实现细节我们所有的模型都是使用Adam [19]优化器训练的。我们采用双时标更新规则L甘(D)=1[D(x)2+(D(x)-1)2],(7)2(TTUR)[15],并将生成器和判别器的学习率学习-其中,x和x分别是所生成的fake结果和tar获得地面真实值整体损失。我们的总损失函数是重建损失和对抗损失的加权和:L=λLGAN+βLrec,(8)其中λ和β分别是GAN损失和重构损失的权重在训练过程中,G和D交替优化。795在大约每40个历元之后,采样率衰减0.7,并被削减10−6。λ和β分别设置为1和200。在前50,000次迭代中,λfN的单位是256。粗略输出的大小Nc为512。我们为所有八只猫训练一个网络-egories of data.4.4. PCN数据集上的点完备化定量和定性结果见表1和图6。输出的点分辨率和796输入PCNTopNet我们GT2048204816384 204816384 2048163842048图5.对我们创建的ShapeNet数据集进行定性比较部分和地面实况的分辨率都是2048。我们展示了不同方法生成的大小为2048和16,384的结果。地面真实值为16384。表1中的定量结果表明,与其他方法相比,我们在所有类别的对象上都获得了最佳性能。我们得到11。与次优方法PCN相比,平均值提高74%。结果表明,我们取得了更好的性能与更准确的整体形状和更精细的局部结构。从图6中我们可以观察到,PCN和TopNet无法恢复椅子腿和飞机尾部等细节,而我们的方法成功地生成了这些结构。4.5. TopNet数据集上的点完备化在这个实验中,我们在TopNet2的训练数据上训练我们的模型,然后在我们创建的测试数据上进行测试由于我们观察到训练数据的对象尺度大于测试数据的尺度,我们在所有方法的训练过程中采用随机尺度增强技术[36],尺度值在[1/1]之间均匀采样。5,1]。我们可以看到,我们在表2中的所有分辨率下都获得了更好的定量结果。2https://github.com/lynetcha/completion3d网站yX797方法每个点的平均倒角距离(10−3)Avg飞机内阁车椅子灯沙发表容器3D-EPN[6]20.14713.16121.80320.30618.81325.74621.08921.71618.543PCN-FC[52]9.7995.69811.0238.77510.96911.13111.7569.3209.720PCN[52]9.6365.50210.6258.69610.99811.33911.6768.5909.665TopNet [36]9.8906.23511.6289.83311.4989.36612.3479.3628.851我们8.5054.7949.9688.3119.4928.94010.6857.8058.045表1.ShapeNet的八类对象上的点云完成的定量比较输入PCN TopNet我们的GT决议方法PCN [52]TopNet [36]我们的我们20489.029.888.037.5740967.718.526.786.7181926.907.565.985.8416,3846.176.605.215.21表3.在我们较小的训练数据上的定量结果我们取CD(10- 4)作为评价。我们的模型表示使用在16,384分辨率输出上训练的单个模型获得的结果。图6.PCN数据集的定性比较输出和地面实况的点分辨率为16,384。方法决议20484096819216384PCN [52]9.368.177.286.28TopNet [36]10.238.857.476.64我们7.616.575.725.21表2.TopNet训练数据的定量比较4.6. 在我们的训练数据上完成点在本节中,我们展示了较小的训练数据的结果。定量和定性结果分别见表3和图5。 As shown in Table 3,our method outperforms both PCN and TopNet on allresolu- tions.与PCN相比,我们的方法的相对改进为16。08%,12. 百分之九十七,十五。36%和15。对于我们较小的训练数据的所有分辨率,56%。在较小训练数据上的我们还通过在16,384个点上训练一个模型来生成2048,4096,8192和16,384个分辨率对象,并将结果与PCN和TopNet的独立训练结果进行比较我们仍然实现了较低的CD误差,这验证了我们的方法的准确性我们从图5中的定性结果中得到三个结论:(1)我们的方法不仅能够生成部分扫描中的细节,而且还能够在高分辨率和低比如说灯罩(第一排),汽车尾翼(第二排),飞机引擎(第三排)。而PCN和TopNet都错过了详细的结构,只获得了一般的对象形状。(2)我们生成的点分布更从桌子和吊灯(第4和第5行)的结果(3)虽然我们将部分输入相对于xy平面镜像,但我们的方法不记忆镜像点。如图5的最后一行所示,我们生成的对象相对于xy平面不对称。这验证了镜像操作为缺失点提供了初始化,并且通过我们的整个网络来估计准确的点变形。更多结果见我们的补充材料。4.7. 对闭塞为了进一步测试模型的鲁棒性,我们手动遮挡测试数据集的部分输入,按照PCN [52],p的范围从20%到70%,步长为10%。定量结果示于表4中。我们的方法取得了最好的性能,尽管随着更多的区域被包含,误差逐渐增加这表明我们的方法对噪声数据更鲁棒。更多的定性结果显示在我们的实验材料中。4.8. 分类的点补全在[32]之后,我们还通过计算合成的完整点云的分类精度来具体来说,我们通过PointNet训练一个分类模型[29]。上界(UP)为cal-798在测试数据的完整点上计算,并且在测试数据的部分点上计算下限(LP)其余的值是通过对不同方法生成的输出进行分类模型评估而获得的。定量结果见表5。显然,由于部分数据中的缺陷,完整的输出提供更高的我们生成的结果将准确度提高了1. 59%,与PCN和TopNet相比,这表明我们的输出更真实,我们的结果保留了更准确的语义信息。方法闭塞率百分之二十百分之三十百分之四十百分之五十百分之六十百分之七十PCN [52]7.698.8410.6313.3017.2023.60TopNet [36]8.469.5711.3013.6017.6023.20我们5.526.728.4611.3615.2621.27表4.不同遮挡率下遮挡点云的定量比较评价指标是每点的平均CD(10−4)。方法LBUBPCN [52]TopNet [36]我们Acc.(%)70.5097.3392.5892.5894.17表5.不同方法分类结果的比较。上限(UB)表示在测试数据的完整点(地面实况)上测试的结果。下限(LB)表示在测试数据的部分点上测试的结果。其余结果由合成对象获得4.9. 消融研究我们评估了网络中的不同组件,包括对抗训练、平均形状、收缩-膨胀单元、镜像操作和训练期间的不同倒角我们将我们的方法表示为基线(BS)。我们使用CD-P作为评价指标,定量比较如表6所示。所有实验都是在2048个分辨率点上进行的。我们可以看到,我们的完整管道性能最好。删除任何组件都会降低性能,这将验证每个组件是否有贡献。训练损失方法不含MS不含CE不带MirBS带直径CD-P光盘7.787.837.677.677.61CD-P光盘7.807.737.717.687.57CD-T贴片机7.937.907.767.757.68CD-T贴片机8.008.017.957.757.62表6.消融研究的定量比较。Dis表示特征量,MS表示平均形状特征,CE表示收缩-膨胀单位,Mir表示部分点的镜像操作。TopNet和TopNet分别代表TopNet训练数据和我们的训练数据椅子飞机图7.椅子和飞机的形状插值结果。4.10. 用于特征学习的形状算法遵循先前的GAN方法[46,10,41,13,43],我们通过内插来自编码器的潜在向量来显示形状变换。定性结果如图7所示。平滑的过渡表明我们学习的特征保留了关键的几何信息。合成尺寸合理的目标形状验证了级联细化策略的有效性.4.11. 型号尺寸比较对于16,384点的分辨率,我们从两个方面评估表7中的模型大小:参数的数量和训练模型的大小。我们可以看到,与PCN和TopNet相比,我们的模型具有更少的参数和更小的大小,因为我们在每个级联细化步骤中共享参数。方法PCN [52]TopNet [36]我们#段落6.85M9.96M5.14M型号尺寸82.30M79.80M61.90M表7.模型大小的定量比较5. 结论在这项工作中,我们提出了一种新的点完成网络生成完整的点给定的部分输入。该生成器是一个级联的精化网络,充分利用了部分输入点的已有细节,高质量地合成了缺失部分。我们设计了一个补丁算法,它利用对抗训练来学习准确的点分布,并从不忠到地面真相惩罚生成的对象我们评估我们提出的方法完成数据集。各种实验表明,我们的方法达到国家的最先进的性能。致谢。 这项研究得到了部分支持由新加坡教育部(MoE)一级奖学金R-252-000-A65-114,新加坡国立大学奖学金基金和新加坡总理办公室国家研究基金会,根据其CRE- ATE计划,新加坡-麻省理工学院研究与技术联盟(SMART)未来城市交通(FM)IRG。799引用[1] Panos Achlioptas,Olga Diamanti,Ioannis Mitliagkas,and Leonidas Guibas.学习3D点云的表示和生成模型。第35届国际机器学习会议。PMLR,2018。[2] Andrew C Boud , David J Haniff , Chris Baber 和 SJSteiner。虚拟现实和增强现实作为装配任务的培训工具。1999年IEEE International Conference on InformationVisualization ( IEEE 信 息 可 视 化 国 际 会 议 ) 号 PR00210),第32-36页。IEEE,1999年。[3] Andrew Brock、Theodore Lim、James M Ritchie和NickWeston。用卷积神经网络进行生成和判别体素建模。arXiv预印本arXiv:1608.04236,2016。[4] AngelXChang , ThomasFunkhouser , LeonidasGuibas,Pat Hanrahan,Qixing Huang,Zimming Li,Silvio Savarese , Manolis Savva , Shuran Song , HaoSu,et al. Shapenet:一个信息丰富的3D模型存储库。arXiv预印本arXiv:1512.03012,2015。[5] Angela Dai , Daniel Ritchie , Martin Bokeloh , ScottReed,JürgenSturm,andMatthiasNießner.Scancomplete:用于3D扫描的大在Proc.计算机视觉和模式识别(CVPR),IEEE,2018。[6] Angela Dai , Charles Ruzhongtai Qi , and MatthiasNießner.使用3d编码器预测器cnns和形状合成的形状完成。在IEEE计算机视觉和模式识别会议论文集,第5868- 5877页[7] Ja k obEngel,ThomasScho¨ ps,andDanielCremers. Lsd-slam:大规模直接单眼slam。在欧洲计算机视觉上,第834Springer,2014.[8] Haoqiang Fan,Hao Su,and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在IEEE计算机视觉和模式识别会议论文集,第605-613页[9] Andreas Geiger , Philip Lenz , Christoph Stiller , andRaquel Urtasun.视觉与机器人技术的结合:Kitti数据集。The InternationalJournal of Robotics Research ,32(11):1231-1237,2013.[10] Rohit Girdhar,David F Fouhey,Mikel Rodriguez,andAb-hinav Gupta.学习对象的可预测和生成矢量表示在欧洲计算机视觉会议上,第484-499页施普林格,2016年。[11] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展,第2672[12] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。学习3D表面生成的一种纸上arXiv预印本arXiv:1802.05384,2018。[13] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron C Courville。改进的瓦瑟斯坦甘斯训练。神经信息处理系统进展,第5767-5777页,2017年[14] Xiaoguang Han , Zhen Li , Haibin Huang , EvangelosKalogerakis,and Yizhou Yu.使用深度神经网络进行全局结构和局部几何推断的高分辨率形状完成。在IEEE国际计算机视觉会议论文集,第85-93页,2017年。[15] Martin Heusel、Hubert Ramsauer、Thomas Unterthiner、Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。神经信息处理系统进展,第6626-6637页,2017年[16] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集,第1125-1134页,2017年。[17] Hou Ji , Angela Dai , and Matthias Nießner.3D-SIS :RGB-D 扫 描 的 3D 在 proc 计 算 机 视 觉 与 模 式 识 别(CVPR),IEEE,2019。[18] Angjoo Kanazawa、Michael J Black、David W Jacobs和Jitendra Malik。端到端恢复人体形状和姿势。在IEEE计算机视觉和模式识别会议论文集,第7122-7131页[19] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。[20] 特吕克·勒和叶端。Pointgrid:用于3D形状理解的深度网络。在IEEE计算机视觉和模式识别会议论文集,第9204- 9214页[21] Ruihui Li , Xianzhi Li , Chi-Wing Fu , Daniel Cohen-Or,and Pheng-Ann Heng. Pu-gan:一个点云上采样对抗网络。arXiv预印本arXiv:1907.10844,2019。[22] 或 者 Litany , Alex Bronstein , Michael Bronstein 和Ameesh Makadia。可变形形状完成与图形卷积自动编码器。在IEEE计算机视觉和模式识别会议论文集,第1886- 1895页[23] Xudong Mao , Qing Li , Haoran Xie , Raymond YKLau,Zhen Wang,and Stephen Paul Smolley.最小二乘生成对抗网络。在Proceedings of the IEEE InternationalConference on Computer Vision,第2794-2802页,2017年。[24] Lars Mescheder,Michael Oechsle,Michael Niemeyer,Se- bastian Nowozin , and Andreas Geiger.Occupancynetworks:Learning 3d reconstruction in function space.在IEEE计算机视觉和模式识别会议论文集,第4460-4470页,2019年[25] Mateusz Michalkiewicz 、 Jhony K Pontes 、 DominicJack、Mahsa Baktashmotlagh和Anders Eriksson。深能级集:用于三维形状推断的隐式表面表示。arXiv预印本arXiv:1901.06802,2019。[26] Raul Mur-Artal,Jose Maria Martinez Montiel,and JuanD Tardos. Orb-SLAM:一个多功能和精确的单目SLAM系统。IEEE Transactions on Robotics,31(5):1147-1163,2015。800[27] Alejandro Newell,Kaiyu Yang,and Jia Deng.用于人体姿态估计的堆叠沙漏网络在欧洲计算机视觉会议上,第483施普林格,2016年。[28] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。Deepsdf:学习连续符号距离函数用于形状表示。在IEEE计算机视觉和模式识别会议论文集,第165-174页[29] Charles R Qi, Hao Su ,Kaichun Mo , and Leonidas JGuibas.Pointnet:对点集进行深度学习,用于3D分类和分割。在IEEE计算机视觉和模式识别会议论文集,第652-660页[30] Charles Ruizhongtai Qi,Li Yi,Hao Su,and Leonidas JGuibas. Pointnet++:度量空间中点集的深度层次特征学习。神经信息处理系统,第5099-5108页,2017年[31] Olaf Ronneberger,Philipp Fischer,and Thomas Brox. U-net:用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议,第234-241页。施普林格,2015年。[32] Muhammad Sarmad 、 Hyunjoo Jenny Lee 和 Young MinKim。Rl-
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Google Test 1.8.x版本压缩包快速下载指南
- Java实现二叉搜索树的插入与查找功能
- Python库丰富性与数据可视化工具Matplotlib
- MATLAB通信仿真设计源代码与应用解析
- 响应式环保设备网站模板源码下载
- 微信小程序答疑平台完整设计源码案例
- 全元素DFT计算所需赝势UPF文件集合
- Object-C实现的Flutter组件开发详解
- 响应式环境设备网站模板下载 - 恒温恒湿机营销平台
- MATLAB绘图示例与知识点深入探讨
- DzzOffice平台新插件:excalidraw白板功能介绍与使用指南
- Java基础实训教程:电子商城项目开发与实践
- 物业集团管理系统数据库设计项目完整复刻包
- 三五族半导体能带参数计算器:精准模拟与应用
- 毕业论文:基于SSM框架的毕业生跟踪调查反馈系统设计与实现
- 国产化数据库适配:人大金仓与达梦实践教程
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功