没有合适的资源?快使用搜索试试~ 我知道了~
4384基于多路径区域挖掘的点云弱监督三维语义分割魏嘉成1林国胜1叶剑辉1洪子怡2谢丽华1新加坡南洋理工大学2新加坡三角洲研究中心{jiacheng002,gslin,ekhyap,elhxie}@ ntu.edu.sg,zuyi. deltaww.com摘要点云为场景理解提供了内在的几何信息现有的点云分割方法需要大量的完全标记的数据。使用先进的深度传感器,大规模3D数据集的收集不再是一个繁琐的过程。然而,在大规模数据集上手动产生点级标签在本文中,我们提出了一种弱监督的方法来预测点级的结果,使用弱标签的三维点云。我们引入了我们的多路径区域挖掘模块,从用弱标签训练的分类网络生成伪点级标签。它使用不同的注意力模块从网络特征的各个方面挖掘每个类的定位线索。然后,我们使用点级别的伪标签,以完全监督的方式训练点云分割网络。据我们所知,这是第一种在原始3D空间上使用云级弱标签来训练点云语义分割网络的方法。在我们的设置中,3D弱标签仅指示出现在输入样本中的类。我们讨论了场景级和子云级的弱标签的原始3D点云数据,并对它们进行深入的实验。在ScanNet[8]数据集上,我们使用子云级别标签训练的结果与一些完全监督的方法兼容。1. 介绍与2D图像相比,作为真实世界的投影,3D数据带来了物体和场景的几何形状和周围环境这些额外的暗示最近引起了很多关注。随着深度学习在二维图像视觉任务中的巨大成功,研究人员提出了许多基于深度学习的点云识别方法。然而,基于深度学习的方法通常是数据饥渴的。最近,重建算法的进步和更实惠的消费级深度传感器提供了一致性,* 通讯作者:G. Lin(电子邮件:gslin@ntu.edu.sg)墙地板沙发桌窗帘装饰家具(A) 场景级标签(B)点级标签落地沙发桌装饰家具(C)次云级别标签图1.点云的不同类型标签的说明。(A)场景级标签表示场景中出现的所有类,(B)点级标签表示每个像素所属的类,(C)子云级标签表示出现在子云中的类。方便和廉价的访问3D数据收集。然而,对这些数据进行注释仍然需要花费大量的人力和时间.特别是对于三维数据,需要对重建的三维网格或点集进行直接标注。例如,ScanNet[8]是一种流行的真实室内环境的大规模RGB-D数据集,它提供了来自70个独特室内场景的1513个3D扫描,由超过250万个RGB-D图像组成。然后,从RGB-D扫描重建三维网格和点云。使用结构传感器[31],可以连接到移动设备,如智能手机和iPad,只有20人参与了1513个3D扫描的收集。尽管数据收集方便,但注释过程却非常繁重和艰巨。据统计,参与语义标注过程的作品超过500件。为了保证标注的准确性,每个场景由2到3名参与者进行标注总的来说,每次扫描注释的中位和平均时间为16.8分钟438522.3分在本文中,我们介绍了一种弱监督学习方法的三维点云语义分割。为了减少数据标注中的人工成本,我们使用弱标签,仅指示出现在输入点云样本中的类因此,我们只能用弱标签训练分类网络。为了找到分类网络的对象区域,我们将类激活图(CAM)[45],一种有效的2D图像中的类特定区域定位方法引入到3D点云。然而,CAM通常仅在大多数有区别的区域中工作良好。由于我们希望在点云中的所有点上生成准确的伪 标 签 , 因 此 我 们 提 出 了 一 个 多 路 径 区 域 挖 掘(MPRM)模块,用于从用弱标签训练的分类网络中挖掘各种区域信息。在我们的MPRM模块中,我们在分类骨干网络之后添加了各种注意模块。我们提出了一个空间注意力模块来收集沿空间域的长距离上下文信息,一个通道注意力模块来解释通道的相互依赖性,和一个逐点空间注意力模块来聚合全局信息到局部特征。每个注意力模块产生一个分类预测,并使用弱标签进行训练。通过对每条路径和原始特征图应用点类激活图(PCAM),我们可以收集从网络特征的各个方面挖掘的对象区域,并生成我们的点级伪掩码。为了利用点云的低级表示和成对关系,我们使用denseCRF [20]来细化我们的伪标签。最后,我们使用我们的点级伪标签训练点云分割网络。虽然弱标签的获取成本很低,但它们可能太差而无法为网络提供监督以生成本地化线索。为了找到劳动力成本和表示能力之间的权衡,我们讨论了两个弱标记策略。在图1中,我们示出了(A)场景级标签,指示出现在场景中的类,这是我们可以获得的点云场景的最便宜的标签;(二)常用的点位等级标注;和(C)子云级别的标签,我们从场景中获取球形子样本,并用出现在子云中的类对其进行标记。为了确保子云级别标签的劳动力成本保持较低,我们只为每个场景选择有限数量的子云。在ScanNet中,子云的平均数量为18.4。场景中场景级标签的估计标注时间约为15秒,而来自场景的子云的标注时间低于3分钟,这仍然比点级标注便宜得多我们进行详细的实验,我们的MPRM使用场景级别的标签和云下级别的标签。我们强调,我们的方法提供了一种可行的培训方式,使用弱标签的点云分割网络。我们的结果优于一些流行的完全监督点云识别模型,如PointNet++[28]和[33]。此外,我们还表明,使用子云级别标签训练的模型比使用场景级别标签训练的模型表现更好。本文的主要贡献可以概括为如:我们提出了一种弱监督学习方法,用于仅使用场景和子云级别标签的3D点云语义分割任务据我们所知,这是第一种从原始3D数据上的云级弱标签学习点云场景分割网络的方法。我们提出了一个多路径区域挖掘模块来生成伪点级标签。通过MPRM中的空间注意模块、通道注意模块和逐点空间注意模块,我们从网络特征中挖掘出长距离空间上下文、通道相关性和全局上下文,从而挖掘出不同的目标定位区域线索。2. 相关工作2D图像上的弱监督语义分割:已经研究了各种监督以减轻图像上密集注释的劳动力成本。在分割任务中采用弱注释,如Bounding box[18,32],虽然这些类型的监督仍然需要一定量的人工成本,但图像级注释要便宜得多。映像级监督任务的常见做法是生成类激活映 射 ( CAM ) [45] 。 The core idea is ex- tractinglocalization cues from a classification network for eachclass. 然后,用CAM作为伪标签训练分割网络然而,由于CAM通常无法找到整个对象区域,因此提出了许多工作[19,17,20,40,1,9]来提高伪标签的准确性。尽管图像分割中存在着许多弱监督方法,但由于点云数据结构无序、密度多变,很难将其直接点云上的深度学习:为了在点云上应用深度学习技术,一些方法将3D点云投影到图像上并在2D上处理它们[5,34,35],但这种方法通常存在很多不足在分割任务中由于遮挡和变化的密度。将点云体素化为3D网格并使用密集的3D CNN处理它们也很流行[26,4]。由于3D CNN消耗巨大的计算资源,稀疏卷积使用哈希映射[11,7]来提高基于体素的方法的性能和效率。为了减少量化工作,提出了类似PointNet的方法[27,28,24,21]来直接处理原始无序点··4386P××最近上采样N2 x CN1 xD2N × D个N xD1间隙N x C1 x C索引-坐标字典云数据这种做法在思想上是软弱的--月经计算为n=、、、左/右 所以总数搜索邻近的本地信息。点卷积网络[2,16,12,41,37,25,6,14,15]直接将卷积操作引入原始点云数据。然而,上述方法都是在完全监督下训练的,因此需要大量完全注释的数据。点云识别,减少监督:[30]提出了一种自监督方法,通过重新组装随机分割的点云部分来学习点云表示。MortonNet[36]使用Z顺序来学习特征,自我监督。然而,这两个模型不能直接使用自监督学习的功能,如对象分类,部分分割和语义分割的任务。使用学习到的特征对网络进行预训练可以帮助提高性能,并使用较少的完全注释标签,这将问题转化为半监督设置。[38]提出了通过将3D点云上的分割预测重新投影到2D来将2D语义注释用于3D点云语义分割任务然而,它需要密集的2D注释,这仍然是昂贵的。因此,这些方法仍然需要相当大量的昂贵的注释,并且不存在直接使用弱3D标签用于3D场景分割任务的现有方法。3. 我们的弱监督设置在本节中,我们将介绍并讨论弱监督设置的场景级弱标签和次云弱标签。场景级注释:在2D图像的弱标签中,图像级标签是最便宜的。在3D情况下,场景级标签也是最经济的标签。它仅指示每个中出现的类现场尽管研究人员使用图像级标签开发了许多成功的2D弱监督分割方法,但在3D弱监督场景分割中使用场景级标签存在两个主要挑战:(1)从RGB-D序列重建3D数据,其通常包含比单个图像多得多的信息。因此,用于大场景的单个标签被认为是粗糙的;(2)对于室内场景,有几个常见的类出现频率较高。像墙和地板这样的类几乎出现在每个场景中,并且它们通常在每个场景中具有占优势的点数。由于这种严重的类别不平衡问题,分类网络可能无法学习区分特征,这使得我们很难找到类别区域定位线索。次云级注释:为了在保持低标注成本的同时应对上述挑战,我们提出了室内场景点云的子云级标注数据我们在空间中均匀地放置播种点,并将半径r内的所有相邻点形成一个子云。每一个节点的节点数在3D情况下,播种点的数量为mi=nx ny nz. 子云彼此重叠。因此,每个点可以包含在多个子云中。给定种子点q,子云可以表示为:N(q,r)={p ∈ P |p −
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功