没有合适的资源?快使用搜索试试~ 我知道了~
1点云数据关联分割实例和语义王新龙1刘舒2沈 晓勇2沈春华1贾佳雅2,31澳大利亚阿德莱德大学2腾讯优图实验室3香港中文大学电子邮件地址:wangxinlon@gmail.com摘要3D点云精确而直观地描述了真实场景。 到目前为止,如何在这样一个信息丰富的3D场景分割多样化的元素很少讨论。在本文中,我们首先介绍了一个简单而灵活的框架,分割实例和语义的点云同时进行。然后,我们提出了两种方法,使这两个任务发挥各自的优势,导致一个双赢的局面。具体来说,我们通过学习语义感知的点级实例嵌入,使实例分割受益于语义分割。同时,将属于同一实例的点的语义特征融合在一起,以进行更准确的逐点语义预测。我们的方法在很大程度上优于国家的最先进的方法在3D实例分割随着3D se-mantic分割的显着改善。代码已在以下网址提供:https://github.com/WXinlong/ASIS。1. 介绍实例分割和语义分割的目的都是检测场景中由最小单元集合表示的特定信息区域。例如,点云可以被解析为点组,其中每个组对应于一类东西或单个物体。这两个任务是相关的,并且都在实际场景中具有广泛的应用,例如,自动驾驶和增强现实。虽然近年来对于每一个任务都取得了很大的进展[10,6,21,34,16],但没有先前的方法可以联合处理这两个任务。事实上,实例分割和语义分割在某些方面是相互冲突的。前者明确区分同一类的不同实例,后者则希望它们具有相同的标号。但是,这两项任务可以通过寻求共同点来相互合作语义切分是区分不同类的点,这也是实例切分的目的之一,因为不同类的点必然属于不同的实例。此外,委员会认为,图1:使用ASIS的实例分割和语义分割结果我们的方法将原始点云作为输入,并为每个点输出实例标签和语义标签。实例分割将相同的标签分配给属于相同实例的点,这也与语义分割一致,因为相同实例的点必须属于相同的类别。这一观察结果使人想知道如何将这两项任务联系在一起,以导致双赢的解决方案?可能有两种直接的方法。第一个是,给定语义标签,我们可以在每个语义类上独立地运行实例分割,以更好地区分各个实例。因此,不同的类实例被简单但天真地分离。然而,实例分割将在很大程度上依赖于语义分割的性能,因为不正确的语义预测将不可避免地导致不正确的实例预测。否则,给定实例标签,可以对每个实例进行分类,并将预测的类标签分配给该实例的每个点。因此,问题被转化为一个更容易的实例识别问题。然而,不准确的实例预测会严重混淆下游对象分类器。这两种方法都是逐步的范例,这可能是次优的和低效的。在这项工作中,我们将这两项任务整合到一个端到端的并行训练框架中,该框架以一种柔软和可学习的方式共享相同的好处我们首先引入一个简单的基线来分割实例4096Ins. 解码器编码器ASISSem等解码器4097语义学同时它类似于[6]中用于2D图像的方法,但我们将其定制为3D点云。基线网络有两个平行分支:一个用于逐点语义预测;另一个输出点级实例嵌入,其中属于同一实例的点的嵌入保持接近,而不同实例的点的嵌入分开。我们的基线方法已经可以实现比最近最先进的方法SGPN [35]更好的性能,以及更快的训练和推理。在此基础上,进一步提出了一种将实例分割和语义 分 割 紧 密 联 系 在 一 起 的 新 技 术 , 称 为 ASIS(Associatively Segmenting Semantics)。利用所提出的ASIS方法,我们能够学习语义感知的实例嵌入,其中属于不同语义类的点的嵌入通过特征融合进一步自动分离。如图2所示,不同类点之间的界限更清晰(椅子桌子,窗户墙)。此外,属于同一实例的点的语义特征被利用并融合在一起,以进行更准确的逐点语义预测。其背后的直觉是,在语义分割期间,一个点被指定为一个类别是因为包含该点的实例属于该类别。因此,这两个任务可以相互利用,以进一步提高其性能。我们的方法被证明是有效的和通用的 不 同 骨 干 网 络 , Point- Net [26] 和 分 层 架 构PointNet++[28]。该方法还可用于解决全景分割[14]任务,其统一了语义和实例分割。总结起来,我们的主要贡献如下。• 我们提出了一个快速,高效的简单的基线同步实例分割和语义分割的三维点云。• 我们提出了一个新的框架,称为ASIS,关联- ciate实例分割和语义分割- tion紧密结合在一起。具体来说,有两种类型的零件-提出了语义感知的实例分割和语义融合的实例分割两种方法,使这两种任务相互配合• 该模型包含语义感知的实例分割和实例融合的语义分割是端到端训练的,其在S3DIS数据集[1]上的性能优于最先进的3D实例分割方法,并且在3D语义分割任务上有显著改进。此外,我们在ShapeNet数据集[39]上的实验表明,ASIS也有利于部分分割任务。132图2:学习的点级实例嵌入的1D嵌入。t-SNE [22]技术用于可视化S3 DIS测试数据上的点的学习实例嵌入。图中显示了三对特写镜头在每一对中,左边的补丁来自我们的基线方法,而右边的补丁来自ASIS。颜色阴影的差异表示实例嵌入空间中的距离。2. 相关工作实例分段。2D实例分割是近年来研究的热点,产生了各种性能优异的方法。受基于区域的CNN(R-CNN)[8]在对象检测问题中的有效性的启发,[25,4]通过提出分段候选来学习分段实例。掩码建议被进一步分类以获得最终实例掩码。Dai等人[5]基于边界框提案预测细分提案。He等人[10]提出了更简单灵活的Mask R-CNN,它可以同时预测掩码和类标签。与上述自顶向下的基于检测器的方法不同,自底向上的方法学习将每像素预测与对象实例相关联。Newell等人[24]使用学习的关联嵌入将像素分组为实例。Braban- dere等。[6]提出了一个判别损失函数,可以有效地学习像素级实例嵌入。Liu等[20]将实例分割问题分解为一系列子分组问题。然而,三维实例分割的研究很少。Wang等人[35]学习点云的相似性矩阵以获得实例建议。在这项工作中,我们介绍了一种简单而灵活的方法,学习有效的点级实例嵌入的语义特征的帮助下,在三维点云。语义分割。随着卷积神经网络(CNN)的最新发展[15,32],语义分割已经取得了巨大的进展。基于全卷积网络(FCN)[21]的方法[18,2,19至于3D分割,Huanget al. [11]提出了预测粗体素级语义标签的3D-FCNN。PointNet [26]和后续作品[7,38]使用多层感知器(MLP)来产生细粒度的点级40981个以上细分最近,Landrieuet al. [16]引入超点图(SPG)来分割大规模点云。事实上,很少有以前的作品段语义的优势,实例嵌入,无论是在2D图像或3D点云。点云上的深度学习 为了利用经典CNN的强大表示能力,首先将3D点云投影到[33,31,27,9]中的多视图渲染图像中,可以在其上应用针对2D图像的精心设计的CNN。但在投影过程中,点云中的部分上下文信息被遗留下来。点云数据的另一种流行表示是体素化体积。[37,23,12,30]的工作将点云数据转换为规则的体积占用网格,然后训练3D CNN或变体以执行体素级预测。由于点云的稀疏性和3D卷积的繁重计算,体积表示的缺点因此,这些方法仅限于处理大规模的3D场景。为了直接处理原始点云,PointNet [26]被提议产生点级预测,在3D分类和分割任务上实现强大的性能以下作品Point- Net++ [28],RSNet [13],DGCNN [36]和PointCNN [17]进一步集中于探索当地环境和分层学习架构。在这项工作中,我们建立了一个新的框架,关联分割点云的实例和语义,并证明了它是有效的,是嵌入的维数。点云的嵌入表示其中点之间的实例关系:属于同一实例的点在嵌入空间中彼此靠近,而属于不同实例的点在嵌入空间中彼此分开。在训练时,语义分割分支由经典的交叉熵损失监督。对于实例分割,采用[6]中的二维图像判别损失函数来指导实例嵌入学习。我们修改它,使其适合点云。[ 6 ]中使用的损失是特定类别的:不同语义类的实例嵌入是分开学习的,这意味着首先要给出语义类。这种逐步范式高度依赖于语义预测的质量,因为不正确的语义预测将不可避免地导致不正确的实例识别。因此,我们采用类无关的实例嵌入学习策略,其中嵌入负责区分不同的实例,并且对它们的类别是盲目的。损失函数的公式如下:L=Lvar+Ldist+α·Lreg,(1)其中Lvar的目标是将嵌入拉向实例的平均嵌入,即,实例中心,Ldist使实例彼此排斥,并且Lreg是保持嵌入值有界的正则化项。α被设置为0。001在实验中具体来说,每个术语可以写成如下:一般在不同的骨干网上。1美元L=1挪威尼Σǁµ— eΣ2-δ,(2)3. 我们的方法3.1. 简单的基线varIi=1Ni1美元我j=1ΣIj1v+在这里,我们介绍一个简单而有效的框架。它由一个共享的编码器和两个并行的解码器组成其中一个解码器用于点级别的语义预测,而另一个解码器旨在处理实例片段。Ldist= I(I−1)[2δdiA=1iB =1iAiB1美元— ǁµiA — µiB(3)问题。具体地,首先提取大小为Np的点云,并通过fea编码成特征矩阵Lreg=Ii=1(4)第一章真实编码器(例如,堆叠的PointNet层)。该共享特征矩阵是指PointNet体系结构中局部特征和全局特征的串联,或者是PointNet++体系结构的最后一组抽象模块的输出然后,两个并行分支获取特征映射,并分别进行以下预测语义分割分支解码共享的fea-该方法首先将语义特征矩阵转化为NP×NF形的语义特征矩阵FSEM,然后输出NP×NC形的语义预测PSEM,其中NC为语义类别数。除了最后一个输出层之外,实例分段分支具有相同的架构。利用NP×NF实例特征矩阵FINS预测NP×NE形状的每点实例嵌入EINS,其中NE其中I是地面实况实例的数量;Ni是实例i中的点数; μ i是实例i的平均嵌入;·1是1距离; e j是一个点的嵌入; δv和δdare margins;[x]+=max(0,x)表示铰链。在测试过程中,最终的实例标签使用实例嵌入的均值漂移聚类[3]获得。我们将同一实例中的点的语义标签的模式作为其最终类别。管道如图3(a)所示。3.2. 互助如图3(b)所示,受益于上述简单灵活的框架,我们能够4099我实例分段1:逐元素加法:合计NP1(a)(b)第(1)款图3:我们用于点云实例分割和语义分割的方法的说明。(a)系统的完整管道。(b)ASIS模块的图示。在此基础上,提出了新的ASIS模型,实现了语义感知的实例分割和实例融合的语义分割。语义感知实例分割。 点云的语义特征构造了一个新的高级特征空间,其中点根据其类别自然地定位。在该空间中,相同语义类的点紧密地躺在一起,而不同的类是分开的。我们从语义特征中抽象出语义感知(SA),并将其集成到实例特征中,生成语义感知的实例特征。首先,将语义特征矩阵FSEM适应于实例特征空间损失项Lvar通过将每个点嵌入在距离δv内画到接近均值嵌入的位置来监督实例嵌入学习。 出去- kNN搜索的put是一个索引矩阵,其形状为NP×K。根据索引矩阵,将这些点的语义特征(FSEM)组成一个NP×K×NF形特征张量,即语义特征矩阵,其中每个组对应于实例嵌入空间中邻近其质心点的局部区域。受[26,36,38]中通道最大聚集的有效性的启发,每组的语义特征 通过通道最大聚合′SEM 通过点独立全连通层操作,作为质心的细化语义特征点实例融合(IF)可以被公式化为:(FC)批量规范化和ReLU激活功能-第F′的形状与FSEM相同。然后,我们添加低 对于NP×NF 形语义特征矩阵SEM′FSEM={x1,.,XN}RNF,实例融合语义将适配的语义特征矩阵FSEM用于实例fea-真矩阵FINS元素式,产生语义感知实例特征矩阵F该过程可以公式化为:F=FINS+ FC(FSEM)。(五)在这种软和可学习的方式中,属于不同类别实例的点在实例特征空间中被进一步排斥,而相同类别实例很少受到影响。特征矩阵F用于生成最终的实例嵌入。实例融合语义分割。给定实例嵌入,我们使用K最近邻(kNN)搜索来为实例嵌入空间中的每个点(包括其自身)为了确保K个采样点属于同一实例,我们根据等式2中使用的裕度δv过滤离群值。如第3.1节所述,铰链P特征计算如下:x′=Max(xi1,xi2,.,其中{xi1,.,x ik}表示K的语义特征实例嵌入中以点i为中心的相邻点Max是一个元素最大值算子,它将K个向量作为输入并输出一个新的向量。实例融合后,输出一个NP×NF的特征矩阵FISEM,最终将语义特征送入最后一个语义分类器。4. 实验4.1. 实验设置数据集。我们在两个公共数据集上进行了实验:斯坦福3D室内语义数据集(S3DIS)[1]和ShapeNet [39]。S3DIS包含Matterport扫描仪在6个区域的3D扫描,总共有272个房间。每个点NFNE聚类FINSEINS编码ASISFSEMPSEMArgmaxNF语义段NCF适应KNN一 FISEMFINSEINSFSEMPSEMFC一FC为F4100K我在场景中,点云与实例标签和来自13个类别的语义标签之一相关联。除了大型真实场景基准S3DIS之外,我们还在ShapeNet部分数据集上评估了我们的方法该数据集包含来自16个类别的16,881个从形状中采样的每个点都被分配了50个不同部分中的一个。来自[35]的实例注释用作实例地面实况标签。评估指标。我们的实验涉及S3DIS,按照与[26]中相同我们还报告了[34]之后第五个折叠的性能,因为区域5不存在于其他折叠中。为了评估语义分割,计算所有类别的总体准确度(oAcc)、平均准确度(mAcc)和平均IoU(mIoU)以及每个类别IoU的详细评分例如,采用分段、(加权)覆盖(Cov,WCov)[29,20,40Cov是与地面实况匹配的预测的平均实例IoU分数进一步加权通过地面实况实例的大小来获得WCov。对于地面实况区域G和预测区域O,这些值被定义为数据集,每个形状由2048个点的点云表示,如[26]所示。每个点由三维矢量(XY Z)表示。骨干方法mCovmWCovmPrecMREC5区测试PNSGPN [35]ASIS(vanilla)ASIS32.738.040.435.540.643.336.042.344.528.734.937.4PN++ASIS(香草)42.645.753.440.6ASIS44.647.855.342.46倍CVPNSGPN [35]ASIS(vanilla)ASIS37.943.044.740.846.348.238.250.653.231.239.240.7PN++ASIS(香草)49.653.462.745.8ASIS51.255.163.647.5表1:S3DIS数据集上的实例分割结果。Cov(G,O)=Σ|G|1maxIoU(rG,rO),(7)5区测试i=1 |j i j|jijWCov(G,O)=Σ|G|wimaxIoU(rG,rO),(8)i=1ji j|R G|6倍CVwi=Σ 我K|RG|、(9)哪里|R G|是地面实况区域中的点数I. 此外,经典度量平均精度(mPrec)和平均召回率(mRec),IoU阈值为0。5人也被举报。训练和推理细节。对于S3DIS数据集,每个点由9维特征向量(XYZ、RGB和关于房间的归一化坐标 持续时间在训练中,我们遵循[26]中的程序,将房间在地平面上分成1m×1m的重叠块,每个块包含4096个点。对于实例分割分支,我们使用σ v=0训练网络。5,σ d=1。5和5个输出嵌入维度。对于实例融合中的kNN搜索,K被设置为30。我们为PointNet和PointNet++重新训练了50个epoch和100个epoch的网络,批量大小为24,基本学习率设置为0。001并且每300k次迭代除以2。采用Adam求解器在单个GPU上对网络进行优化。动量设定为0.9.在测试时,带宽设置为0。6为均值漂移聚类。使用BlockMerging算法[35]来合并来自不同块的实例 对于ShapeNet骨干方法MACCMiouoAccPNPN(RePr)ASIS(vanilla)ASIS52.152.955.743.444.746.483.583.784.5PN++ASIS(香草)58.350.886.7PN [26]-47.778.6PNPN(RePr)ASIS(香草)60.360.748.949.580.380.4ASIS62.351.181.7PN++ASIS(香草)69.058.285.94101表2:S3DIS数据集上的语义分割结果。4.2. S3DIS结果我们使用Point-Net和PointNet++(单尺度分组)作为我们的骨干网络在S3 DIS数据集上进行实验。如果没有额外的说明,我们的主要分析是基于PointNet的。(a)基线法我们在表1中报告了我们的基线方法的实例分割结果。基于PointNet骨干网,该方法实现了46. 通过6倍交叉验证评价时,3mWCov,其显示绝对5.5分差异。41022121对现有技术方法SGPN1的改进。四个评价指标的优越性是一致的。语义分割结果如表2所示。没有实例分割分支的训练的mIoU是48。9,这可以看作是纯骨干PointNet的结果。通过实例分割训练,我们的语义分割基线结果达到了49。5mIoU,稍微好一点。研究表明,对实例分割的监督有助于学习更通用的共享特征表示.培训时间方面,SGPN需要16-17小时(不包括前期培训),边缘,而我们的方法只需要4到5个小时,从头开始训练,都在一个GPU上。多个计算时间比较可参见表5。我们的基线方法被证明是有效和高效的。(b)ASIS语义分割。在表1中,我们报告了ASIS在实例分割任务上的结果。ASIS的结果是48. 2mWCov,比我们的基线高出1.9分。在另一个指标平均精度方面,较大的2。观察到6点增益。当对区域5进行评估时,改进更为显著:二、7 mWCov和2. 2mPrec.通过图4中的可视化,我们的基线方法倾向于将两个相邻的不同类实例组合在一起成为一个实例(例如,板墙)。使用ASIS,它们被很好地区分开来,因为语义意识有助于在实例嵌入空间中排斥它们。每个类的性能变化与我们的观察结果一致。如表4所示,ASIS产生5。0 WCov和2. 4WCov在实例分割上的类“板”和类“墙”上的增益实例分段。表2报告了ASIS在语义分割任务上的结果。ASIS将mIoU提高了1.6分。我们发现,二、8mAcc和1. 7mIoU,在区域5上进行评估在图5中,我们展示了一些关于语义分割的比较示例ASIS在复杂的类别上表现更好(例如,书架)并且知道实例完整性(例如,表、窗口)作为实例融合聚集属于同一实例的点以产生更精确的预测。表4显示,ASIS的性能优于基线,3 .第三章。5个IOU和2个。2类“桌子”和类“书柜”上的坚强的脊梁。这两个任务都在很大程度上受益于我们的新方法。当采用更强大的架构PointNet++作为我们的 骨 干 网 络 时 , 我 们 观 察 到 持 续 的 改 进 : 二 、 1mWCov和2. 5号区域增加6 mIoU; 1.一、7 mWCov和1.6倍交叉验证的1PointNet++上的结果表明,1我们使用作者在github发布的代码复制了SGPN的结果方法+如果+SAMioumWCov基线49.546.3C50.047.0C49.847.4CC51.148.2表3:S3DIS数据集上的消融研究 IF指实例融合; SA指的是语义感知。34真实场景基线ASIS地面实况图4:我们的基线方法和ASIS在实例分割上的比较。不同的颜色代表不同的事物。34真实场景基线ASIS地面实况图5:我们的基线方法和ASIS在语义分割上的比较。我们的ASIS是一个通用的框架,可以建立在不同的骨干网络上。(c)分析消融分析。仅配备实例融合的语义分割,我们的方法达到50。0mIoU和47. 0mWCov.与基线相比,mIoU增加了0.5个点。此外,更好的语义预测为实例分配了更多正确的类标签,从而提高了实例分割性能。当单独采用语义感知时,我们实现了1.1 mWCov(来自46。3到474).一项任务的改进也有助于另一项任务,因为可以学到更好的共享功能。同时应用实例融合和语义感知,性能提升比单独使用4103(a) 投入(b)(c)移民。GT(d)Sem.(e)秘书处。GT图6:S3DIS测试折叠上ASIS的定性结果。其中之一在实例融合的基础上,语义感知可以为实例融合带来额外的1. 1mIoU和1. 2mWCov增益。语义感知增强了实例切分,提高了语义切分的质量.这是因为改进的实例嵌入预测可以放大实例融合带来的改进,从而导致进一步的1。1mIoU增益。在语义感知的基础上增加实例融合,也可以得到类似的结果.总之,这两个组成部分不仅很好地履行了各自的职责,而且还扩大了另一个组成部分的功能。基于类别的分析。我们在图7中展示了每个类别的性能如何变化。有趣的是,ASIS模块帮助的类别是不同的,例如分割和语义分割。在实例分割方面,我们的ASIS模块在很大程度上帮助了实例经常被其他类的实例包围的类别(例如,梁、板和窗)。例如,木板挂在墙上。在实例分割过程中,木板很容易被我们在ASIS模块中的语义感知在这些情况下表现出很大的优越性五、0 WCov和2. 4WCov对类“板”和类“墙”的改进。COM的一些可视化示例梁板窗柱墙门椅子书柜天花板杂物桌沙发地板WCov的变化-1 0 1 2 3 4 5 6 7(一)梁桌椅书柜落地窗杂物天花板柱墙门 沙发板IoU的变化-10 1 2 34(b)图4中说明了这两种情况。在语义分割方面,ASIS模块显著提高了对具有复杂形状实例(例如,桌子、椅子和书柜),因为它们从实例融合中受益(d)定性结果图6显示了ASIS的一些可视化示例。例如分割,不同的颜色代表不同的实例,而颜色本身并不意味着什么。无论是相同的类实例还是不同的类实例都被正确区分。例如,塔的点-图7:每个类的性能变化。(a)与我们的基线方法相比,实例分割性能的变化。(b)与我们的基线方法相比,语义分割性能的变化。椅子和周围的椅子被分成不同的部分。对于语义分割,特定颜色指特定类(例如,黄色为墙,紫色为窗)。我们还在图6中显示了一些失败案例。场景中4104是说天花板地板壁束柱窗口门表椅子沙发书柜板杂波WCov46.379.277.063.747.66.655.647.550.557.39.931.333.741.548.280.176.466.153.49.258.849.850.659.49.932.338.742.0Sem IoU49.590.187.869.242.326.050.454.957.545.88.938.033.439.251.191.389.769.845.827.051.955.161.049.39.140.233.540.7表4:S3DIS数据集上的每类结果。方法推断时间(ms)mWCov整体网络分组SGPN7261870835.5ASIS(香草)2121120141.4ASIS2052018543.6ASIS(vanilla.PN++)1503511545.7ASIS(PN++)1795412547.8表5:计算速度和性能的比较。在区域5上估计并平均干涉时间,这是处理大小为4096×9的点云的时间。报告了区域5上的实例分割结果在第二和第三排中,两个邻近的椅子被错误地分割在一起作为单个实例。虽然我们的方法没有画点嵌入相同的类实例关闭,我们还没有更好地区分这种情况下作出贡献我们把它留给未来的工作,以探索更好的解决方案。(e)计算时间在表5中,我们报告了在单个Tesla P40 GPU上测量的计算时间。 推理过程可以分为两个步骤:网络推理,以及将点分组为单个实例的点分组。对于SGPN,分组步骤是指其GroupMerge算法。在我们的ASIS中,它是均值漂移聚类。在网络推理上,我们实现了与SGPN相当的速度,而我们的分组步骤要快得多。总的来说,ASIS处理大小为4096×9的输入点云,输出最终标签,即3。比SGPN快5倍4.3. ShapeNet结果我们使用[35]生成的实例分割注释在ShapeNet数据集上进行实验,这些注释不是“真正的”地面实况。在[35]之后,仅提供了零件实例分割的定性结果。如图8所示,汽车轮胎和椅子腿被很好地分组到各个实例中。表6中报告了语义分割结果。使用PointNet作为骨干,我们实现了0.6点的改进。基于PointNet++,ASIS的性能比基线高出0.7 mIoU。这些结果表明,我们的方法也是有益的部分分割问题。(a)移民。(b)移民 GT(c)Sem.(d)卫生部。GT图8:ShapeNet测试分割上ASIS的定性结果。(a)ASIS的实例分割结果(b)生成用于例如分割的地面(c)ASIS的语义分割结果。(d)语义分割基础事实。方法MiouPointNet [26]83.7PointNet(RePr)83.4[28]第二十八话84.3ASIS(PN)84.0ASIS(PN++)85.0表6:ShapeNet数据集上的语义分割结果。RePr是我们复制的PointNet。PointNet++* 表示我们训练的Point- Net++,没有额外的正常信息。5. 结论本文提出了一种新的分割框架,即ASIS,关联实例分割和点云上的语义分割。这两个任务之间的关系得到了明确的探索,并直接指导了我们的方法设计。在S3DIS数据集和ShapeNet零件数据集上的实验我们期望所提出的方法在3D实例分割和3D语义分割中得到广泛的应用,并希望新的设计为未来的分割任务提供见解,例如,全景分割和其他。4105引用[1] 放大图片创作者:Iro Armeni,Ozan Sener,Amir R.Zamir,Helen Jiang,Ioannis Brilakis,Martin Fischer,and Silvio Savarese.大规模室内空间的三维语义解析 在proc IEEE会议对比可见光帕特识别,2016年。二、四[2] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。再思考无卷积在语义图像分割中的应用。arXiv:比较Res. Repository,2017. 2[3] Dorin Comaniciu和Peter Meer。Mean Shift:A RobustApproach Toward Feature Space Analysis. IEEE传输模式分析马赫内特尔,2002年。3[4] Jifeng Dai ,Kaiming He ,Yi Li ,Shaoqing Ren ,andJian Sun.实例敏感的全卷积网络。在procEUR.配置文件可见,2016年。2[5] 戴季峰、何开明、孙建。通过多任务网络级联的实例感知语义分割。正在进行IEEE会议对比可见光帕特识别,2016年。2[6] Bert De Brabandere,Davy Neven,and Luc Van Gool.基于判别损失函数的语义实例分割。arXiv:比较Res.Repository,2017. 一、二、三[7] Engelmann Francis , Kontogianni Theodora , HermansAlexander,and Leibe Bastian.探索空间情境以进行点云的三维语意分割。在Proc. 3DRMS Workshop of Int. Conf.计算机视觉,2017。2[8] Ross Girshick,Jeff Donahue,Trevor Darrell和JitendraMalik。丰富的特征层次结构,用于精确的对象检测和语义分割。正在进行IEEE会议Comp. 目视帕特识别,2014年。2[9] Joris Guerry , Alexandre Boulch , Bertrand Le Saux ,Julien Moras,Au re'lienPirr和D a vidFilliat。Snapnet-r:Consis-tent 3D多视图语义标记机器人。 在proc国际研讨会Conf. 计算机视觉,2017年。3[10] KaimingHe , GeorgiaGkioxari , PiotrDolla'r ,andRossGir-shick.面具R-CNN。正在进行IEEE国际配置文件目视,2017年。一、二[11] 黄景和尤素雅。基于三维卷积神经网络的点云标注在Proc. Int. Conf.帕特识别,2016年。2[12] 黄景和尤素雅。基于三维卷积神经网络的点云标注在Proc. Int. Conf.帕特识别,2016年。3[13] Qiangui Huang,Weiyue Wang,and Ulrich Neumann.用于点云三维分割的递归切片网络。正在进行IEEE会议对比可见光帕特识别,2018年。3[14] Alexander Kirillov 、 Kaiming He 、 Ross Girshick 、Carsten Rothe r和PiotrDoll a'r。全视节段 arXiv:Comp. Res. Repository,2018. 2[15] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。 在proc 神经信息学进展过程系统,2012年。2[16] Loic Landrieu和Martin Simonovsky。基于超点图的大规模点云语义分割。正在进行IEEE会议对比可见光帕特识别,2018年。第1、3条[17] Yangyan Li,Rui Bu,Mingchao Sun,and Baoquan Chen.Pointcnn. arXiv:比较Res. Repository,2018. 34106[18] Guosheng Lin,Anton Milan,Chunhua Shen,and IanD Reid. Refinenet:用于高分辨率语义分割的多路径细化网络。正在进行IEEE会议对比可见光帕特识别,2017年。2[19] Guosheng Lin , Chunhua Shen , Anton van denHengel,and Ian Reid.使用深层结构化模型探索上下文以进行语义分割。IEEE传输模式分析马赫内特尔,2017年。2[20] Shu Liu,Jiaya Jia,Sanja Fidler,and Raquel Urtasun.用于实例分割的顺序分组网络。正在进行IEEE国际配置文件目视,2017年。二、五[21] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在procIEEE会议Comp. 目视帕特识别,2015年。一、二[22] Laurens van der Maaten和Geoffrey Hinton使用t-sne可视化数据。J.马赫学习. Res. ,2008年。2[23] Daniel Maturana和Sebastian Scherer。Voxnet:用于实时对象识别的3D卷积神经网络。在程序中IEEE/RSJInt. Conf.智能机器人&系统,2015。3[24] Alejandro Newell,Zhiao Huang,and Jia Deng.关联嵌入:用于联合检测和分组的端到端学习。在Proc.神经信息进展。过程2017年系统。2[25] 佩德罗·奥Pinheiro,Ronan Collobert,and Piotr Dollr.学习分割候选对象。在Proc.神经感染进展。过程系统,2015年。2[26] Charles R.Qi , Hao Su , Kaichun Mo , and LeonidasJ.Guibas Pointnet:对点集进行深度学习,用于3D分类和分割。 在proc IEEE会议Comp. 目视帕特识别,2017年。二三四五八[27] Charles R Qi , Hao Su , Matthias Nießner , AngelaDai,Mengyuan Yan,and Leonidas J Guibas.用于三维数据对象分类的体积和多视图cnn 在procIEEE Conf. Comp.目视帕特识别,2016年。3[28] Charles Ruizhongtai Qi,Li Yi,Hao Su,and LeonidasJ Guibas. Pointnet++:度量空间中点集 在proc 神经信息学进展过程系统,2017年。二、三、八[29] 任梦叶和Richard S.泽梅尔端到端的实例分割与经常性的关注。正在进行IEEE会议对比可见光帕特识别,2017年。5[30] Gernot Riegler、Ali Osman Ulusoy和Andreas Geiger。Octnet:以高分辨率学习深度3D表示在proc IEEE会议Comp. 目视帕特识别,2017年。3[31] B. Shi,S.白氏Z. Zhou和X.柏DeepPano:用于3D形状识 别 的 深 度 全 景 表 示 。 IEEE Signal ProcessingLetters,2015年。3[32] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络。arXiv:Comp. Res. Repository,2014. 2[33] Hang Su,Subhransu Maji,Evangelos Kalogerakis,and Erik Learned-Miller.用于三维形状识别的多视图卷积神经网络。 正在进行IEEE国际Conf. Comp.目视,2015年。3[34] Lyne Tchapmi 、 Christopher Choy 、 Iro Armeni 、JunYoung Gwak和Silvio Savarese。Segcloud:语义段-41073D Point Clouds点云在Proc. Int. Conf. 3D Vision,2017.一、五[35] 王维岳,余元,黄千贵,和乌尔里希·纽曼.SGPN:用于3D点云实例分割的相似性组建议网络。 正在进行IEEE会议对比可见光帕特识别,2018年。二、五、八[36] Yue Wang,Yongbin Sun,Ziwei Liu,Sanjay E Sarma,Michael M Bronstein,and Justin M Solomon.点云学习的动态图cnn。arXiv:比较Res.Repository,2018. 三、四[37] 吴 志 荣 , 宋 舒 然 , Aditya Khosla , Fisher Yu , Lin-guang Zhang , Xiaoou Tang , and Jianxiong Xiao. 3dshapenets:体积形状的深度表示。正在进行IEEE会议对比可见光帕特识别,2015年。3[38] 叶晓青,李嘉茂,黄和晓,杜亮,张晓林.基于上下文融合的三维递归神经网络点云语义分割。 在proc EUR.配置文件可见,2018年。二、四[39] 放大图片作者:Li Yi. Kim ,Duygu Ceylan ,I-ChaoShen , Mengyan Yan , Hao Su , Cewu Lu , QixingHuang,Alla Shef- fer,and Leonidas Guibas.三维形状集合中区域标注的可扩展活动框架。SIGGRAPH Asia,2016. 二、四[40] Wei Zhuo , Mathieu Salzmann , Xuming He , andMiaomiao Liu.室内场景解析,包括实例分割、语义标注和支持关系推理.正在进行IEEE会议对比可见光帕特识别,2017年。5
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- BSC绩效考核指标汇总 (2).docx
- BSC资料.pdf
- BSC绩效考核指标汇总 (3).pdf
- C5000W常见问题解决方案.docx
- BSC概念 (2).pdf
- ESP8266智能家居.docx
- ESP8266智能家居.pdf
- BSC概念 HR猫猫.docx
- C5000W常见问题解决方案.pdf
- BSC模板:关键绩效指标示例(财务、客户、内部运营、学习成长四个方面).docx
- BSC概念.docx
- BSC模板:关键绩效指标示例(财务、客户、内部运营、学习成长四个方面).pdf
- BSC概念.pdf
- 各种智能算法的总结汇总.docx
- BSC概念 HR猫猫.pdf
- bsc概念hr猫猫.pdf
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)