基于点云的三维目标检测的层次图网络

392基于点云的三维目标检测的层次图网络Jintai Chen1人，Biwen Lei1人，Qingyu Song1人，Haochao Ying1人，Danny Z.陈2，吴建11浙江大学浙江杭州3100272圣母大学计算机科学与工程系，美国印第安纳州圣母大学，邮编：46556{JTigerChen，biwen1996，qingyusong，haochaoying}@ zju.edu.com，dchen@nd.edu，wujian2000@zju.edu.cn摘要点云上的3D目标检测有许多应用。然而，大多数已知的点云对象检测方法不足以适应这些特征（例如，稀疏性），并且因此一些关键语义信息（例如，形状信息）没有被很好地捕获。本文提出了一种新的基于图卷积（GConv）的层次图网络（HGNet）用于三维物体检测，它直接处理原始点云数据来预测三维包围盒。HGNet有效地捕捉了点之间的关系，并利用多层次语义进行对象检测.特别地，我们提出了一种新的形状关注的GConv（SA-GConv）来捕获局部形状特征，通过对点的相对几何位置建模来描述物体的形状。基于SA-GConv的U形网络捕获多层次特征，通过改进的投票模块将其映射到同一特征空间，并进一步利用来提出建议。然后，一个新的基于GConv的Pro-10推理模块考虑全局场景语义对建议进行推理，然后预测边界框。因此，我们的新框架-在两个大规模点云数据集上执行最先进的方法，在SUN RGB-D 上 的 平 均 精 度 （ mAP ） 为 0.4% ， 在ScanNet-V2上的mAP为0.3%1. 介绍点云上的3D对象检测具有许多应用，例如自动驾驶、零件故障检测由于点云位于不规则空间中并且可能是稀疏的，因此已知的方法（例如，卷积神经网络）在点云上表现不佳（例如，参见[2]中的讨论）。已经提出了[2]这些作者对这项工作的贡献是相等的图1.预测的对象中心和边界框。点的不同颜色表示基于不同层次语义然后集中和聚合不同层次的语义以预测边界框。用于点云上的3D对象检测，例如基于投影的方法[35，4]，基于体积卷积的方法[19，8]和基于PointNet的方法[29，30]。前两种方法都试图将点云数据严格地转换为网格结构的数据，而后者在聚合特征时没有显式地考虑点的几何位置与其他已知方法相比，PointNet++[32]旨在保留点的空间结构，因此被广泛用作最先进框架中特征学习的骨干[29，46，30]。最近，Charles等人提出了VoteNet [29]，基于从PointNet++ [32]中学习的特征投票选择位于对象中心的点这种方法产生了极好的结果。但是，仍然存在一些具有挑战性的缺点。首先，使用PointNet++作为主干忽略了一些局部形状信息，因为没有考虑点的相对几何位置。第二，框架的结构没有充分利用多层次语义，这可能忽略了一些对目标检测有用的信息。在 本 文 中 ， 我 们 提 出 了 一 种 新 的 层 次 图 网 络（HGNet）的点云上的三维物体检测，基于图卷积（GConvs）。HGNet包含三个主要组成部分：基于GConv的U形网络（GU-net）、建议生成器和建议推理模块（ProRe模块）。特别是，我们开发了一种新的393形状关注GConv（SA-GConv），其通过对点的相对几何位置进行建模来捕获对象形状信息在我们的流水线中，基于SA-GConv的GU-net将点云作为输入，并捕获多层次的语义（见图1）。2），这些建议被进一步聚合，以通过包含改进的投票模块的建议生成器生成建议（ 见第 2节） 。第 3.4段） 。新的 建议 推理模 块（ProRe Module）结合全局场景语义，利用全连通图对建议进行推理，并预测出边界框。检测结果最终在执行3D非最大值抑制（NMS）之后获得。我们的目标检测结果的一个例子如图所示。1.一、整个人类基因组网络都以端到端的方式进行培训该框架充分考虑了点云数据的特点，通过层次图模型对点云的局部形状信息、多层次语义和全局场景信息（提案特征）进行了充分的我们在这项工作中的主要贡献如下：(A) 我们开发了一种新的分层图网络（HGNet）用于点云上的3D对象检测，其性能明显优于最先进的方法。(B) 我们提出了一种新的SA-（去）GConv，这是有效的聚集功能和捕捉点云中的对象的形状信息。(C) 我们建立了一个新的GU-net生成多层次的特征，这是至关重要的三维物体检测。(D) 利用全球信息，我们提出了ProRe模块，以促进性能的推理建议。2. 相关工作2.1. 基于点云的点云具有一些特殊的特性（例如，稀疏和不规则），这通常不适合卷积神经网络处理。已经提出了许多方法[2，38，20，44，9，23]用于点云上的3D对象 检 测 ， 例 如 投 影 方 法 （ 例 如 ， Complex-YOLO[35] ， BirdNet [4] ） ， 基 于 体 积 3DFCN [19] ，Vote3Deep [8]） 和 基 于 PointNet 的 方 法 （ 例 如 ， F-PointNet [30]，STD [46]）。PointNet [31]开创了一种使用原始点作为输入的方法，并获得了良好的性能，随后出现了许多框架[31，32，14，29，42]。Lang等人。 [17]介绍了Pillar Feature Network，将点云编码为伪图像并由2D CNN处理。虽然新颖且快速，但框架的定位信息基于PointNet的方法表现出良好的性能，因为它们直接处理原始点。然而，PointNet在信息汇总中没有考虑各点的依赖性。 杨等人[46]提出了一种两阶段融合方法STD，结合基于PointNet的方法和基于体积卷积的方法。然而，两阶段过程可能会学习一些不匹配的特征用于对象检测。VoteNet [29]提出了一种新的投票方法，利用学习到的有助于聚合遥远语义信息的特征来预测对象中心。然而，在VoteNet中没有很好地考虑到局部形状信息。由于可能存在各种对象，因此检测不同对象所需的特征可能不处于相同的分布中。换句话说，可能需要多级语义来识别不同的对象。2.2. 基于空间的图卷积网络图卷积网络（GCN）可以分为两种类型：[26，3，28]和光谱-根据[12，6，15，10]。基于空间的方法主要是基于图中顶点的空间关系，广泛应用于点云。因此，我们重点审查这些方法。第一个基于空间的GCN是在[26]中提出的，它直接对顶点的邻域信息求和。后来，在[10]中提出了一种归纳特征聚合算法（GraphSAGE，包括Meanaggregator ， LSTMaggregator 和 Poolingaggregator严格地说，GraphSAGE不是GCN的一种，但它体现了GCN的思想。图注意力网络[40]在学习相邻顶点之间的相对权重时采用了注意力机制，并表现出比以前的作品更有吸引力的性能。此外，提出了许多基于注意力的GCN [18，1，25]GIN [45]为中心顶点及其相邻顶点分配了不同的权重。对于3D数据，Li等人。 [21]引入了扩张的GCN，它更好地平衡了感受野和计算。自动转向GConv [41]验证了GConv可以通过对点的几何位置进行建模来捕获形状信息，并且优于trans-automatic形状描述符。 Wang等人 提出了一种用于语义分割的动 态 边 缘 卷 积 方 法 ， 称 为 EdgeConv[42]，该方法旨在捕获点之间的关系，但忽略了点的相对几何位置的重要性。3. 层次图网络3.1. 动机和概述我们的目标是开发一种新的有效的方法，用于点云上的三维物体检测。与2D图像数据不同，点云通常不呈现清晰的对象形状信息（例如，角和边），因此需要一些虽然以前的工作[42，32，41] im-394i=1GU-net提案生成器下采样路径上采样路径256点512点1,024分VVV特征金字塔2,048点输入点五.改进投票采样SA-GConvSA-DeGConv推理GConv跳过连接点提案MLP后处理投票点要素地图建 议 回归分类3D盒子三维网络管理系统提案推理模块图2.概述我们的HGNet框架，其中包含GU-net，Proposal Generator和ProRe Module。点的计数显示在左侧。在推理中，利用3D非最大值抑制（NMS），并最终产生预测的3D框明确地使用点的位置，显式地对点的几何位置进行建模更有效，pi∈R3是几何位置，fi∈RD是D维特征. 从X，我们要生成一个点更好地描述物体的形状。此外，多-集合X′′ ′={xi∈RD+3}n，n′

下载后可阅读完整内容，剩余1页未读，立即下载