融合感知的点卷积在线语义3D场景分割

1融合感知的点卷积在线语义3D场景分割张嘉昭1，朱晨阳1，*郑临洮1徐凯1，2†1国防科技大学2SpeedBot Robotics Ltd.摘要与实时RGB-D重建相结合的在线语义3D分割提出了特殊的挑战，例如如何直接在渐进融合的3D几何数据上执行3D卷积，以及如何智能地从帧到帧融合我们提出了一种新的融合感知3D点卷积，它直接在被重建的几何表面上操作，并有效地利用帧间相关性进行高质量的3D特征学习。这是通过专用的动态数据结构实现的，该结构使用全局-局部树组织在线获取的点云。在全局上，我们将在线重建的三维点编译成一个增量增长的坐标区间树，从而实现快速点插入和邻域查询。局部地，我们使用八叉树来维护每个点的邻域信息，八叉树的构造得益于全局树的快速查询。两个层次的树动态更新，并帮助3D卷积有效地利用时间相干性，以实现跨RGB-D帧的有效通过对公共基准数据集的评估，我们表明，我们的方法在10 FPS的在线RGB-D融合下实现了最先进的语义分割精度。1. 介绍三维场景的语义分割是三维视觉中的一项基本最近最先进的方法主要是将深度学习应用于3D几何数据[25]或2D和3D数据的融合[20]。然而，这些方法通常是离线的，与已经重建的3D场景几何结构一起工作[5，14]。另一方面，由于机器人和AR中的潜在应用，与实时RGB-D再现相关的在线场景理解[13，22]被认为更具吸引力。从技术上讲，在线分析也可以充分利用RGB-D融合过程中的时空信息。对于语义场景分割与RGB-D融合的任务，基于深度学习的方法通常采用框架特征融合范式。如此的冰毒-*联合第一作者†通讯作者：kevin.kai. gmail.com框架180图1：我们提出了融合感知3D点卷积，它直接在渐进采集和在线重建的场景表面上操作我们表明，随着越来越多的帧（第一行）融合，逐点标记正在逐步改进（椅子被识别）。ODS首先在单独的RGB-D帧中执行2D卷积，然后在连续帧上融合所提取的2D特征。以前的工作通过最大池操作[14]或贝叶斯概率更新[20]进行这种特征融合。我们主张采用直接卷积的三维表面帧特征融合。表面上的3D卷积学习几何表面[2]的内在结构的特征，这些特征不能被基于视图的卷积和融合很好地捕获。然而，在在线RGB-D融合期间，场景几何形状随着增量扫描和反射而逐渐改变。直接在时变几何结构上执行3D卷积是困难的。此外，为了获得强大的3D特征学习，需要特殊的设计来利用相邻帧之间的时间相关性。在这项工作中，我们认为，一个快速和强大的3D卷积的在线分割需要一个有效的和通用的动态3D几何数据的内存组织。为此，我们提出了一种基于树的全局-局部动态数据结构，以实现有效的数据维护和时变几何的3D卷积在全局上，我们使用增量增长的坐标间隔树来组织在线融合的3D点，这使得快速点4534框架260帧3504535插入和邻域查询。在局部，我们使用一棵oc树来维护每个点的邻域信息，其动态更新得益于全局树的快速查询。局部八叉树有助于直接在重建的几何表面上进行高效的逐点3D卷积。这两个层次的树随着在线重建而动态更新。两级树的动态维护支持具有跨RGB-D帧的特征融合的3D点卷积，导致所谓的融合感知点卷积。首先，连续帧之间的点对应关系可以容易地从全局树中检索，使得当通过多个帧观察点时，点的2D和3D特征可以从帧到帧有效地聚集。其次，借助逐点八叉树，通过基于近似测地线距离对相邻点进行加权，这允许跨帧的标记准确性的逐步通过对公共基准数据集的广泛评估，我们证明了我们的方法以交互式帧速率（10FPS甚至更高的基于关键帧的处理）执行在线3D场景语义分割，同时实现了高精度，优于最先进的离线方法。特别是，准确性在ScanNet基准测试中排名第一，优于许多现有的方法，包括在线和离线方法。我们的主要贡献包括：• 一个基于树的全局-局部动态数据结构，能够在时变3D几何图形上实现高效和强大的3D卷积。• 融合感知点卷积，利用帧间相关性进行高质量的3D特征学习。• 一个交互式系统实现我们的在线分割与实时RGB-D重建。2. 相关工作3D场景分割。场景分割是计算机视觉中一个长期存在的问题在这里，我们只回顾处理通过RGB-D融合或LiDAR采集获得的3D几何数据的离线方法对于基于融合的3D重建，许多工作[16，18]表明，RGB-D帧的2D标记可以并入体积或曲面图中，从而产生稳定的3D标记。标记可以通过3D图上的MRF或CRF推断来进一步改进。这些作品享受了基于图像的CNN在2D分割方面的进步。由于直接3D几何特征学习的优势，3D深度学习方法变得越来越受欢迎，其中高效的3D卷积运算是关键。在这些方法中，3D标记是通过CNN操作来实现的。[25]或其体素化[7]。其他几种方法在3D重建上进行对象检测，然后为每次检测预测分割掩码，从而导致实例分割[14，35，40]。在线场景分割。除了大多数离线批处理方法之外，由于多视图深度学习的巨大成功，在线和增量映射和标记最近开始重新获得兴趣[24，32]。由于早期尝试从RGB-D序列进行3D语义映射[10，28，30]，最近这种类型的一个值得注意的工作是SemanticFusion [20]。它为各个RGB-D帧执行基于CNN的2D标记，然后将2D预测概率地融合到语义3D地图中。代替融合预测结果，一些方法[5，14]采用基于最大池化操作的特征图融合，这更有利于深度学习。在我们的方法中，我们提倡使用3D卷积来聚合2D特征，其中一个主要挑战是如何处理时变的3D几何数据。DA-RNN方法[38]使用具有动态路由连接的递归神经网络聚合帧特征它巧妙地利用来自SLAM的数据关联来动态连接经常性单元。另一方面，我们的方法通过利用帧之间的数据关联来追求有效的直接3D卷积点云卷积。由于3D卷积是在3D欧几里得网格上自然执行的，因此早期实践选择首先将3D点云转换为2D图像[32]或3D体积[19]，然后执行欧几里得卷积。对于语义分割的任务，大多数方法选择在2D中提取特征，然后基于2D特征在3D中执行分割[18]。由于计算成本，体积卷积受到分辨率的限制，这可以通过有效的数据结构来缓解[15，27]。然而，这些加速度无法处理像我们这样动态变化的点云。Atzmon等人[1]提出了一种独特的基于体积的点卷积，它由两个算子组成，扩展和限制，将点云函数映射到体积函数，反之亦然。点云卷积是通过对点云的体积卷积的扩展和限制来定义的。自从PointNet的开创性工作[25]以来，已经有许多工作专注于3D点云的直接卷积。现有的工作旨在改善邻域结构[7，17，26，31，33]或增强卷积，滤波器[11，29，36，37，39]。这些方法都是针对静态点云上固定邻域的处理而设计的。我们设计了一个新的点卷积随时间变化的几何数据与专门的设计针对这两个方面。首先，我们维护和更新基于树的动态数据结构的表面感知的邻域结构其次，我们通过利用连续帧之间的时间相干性来学习自适应卷积滤波器。4536我G我（a）（b）（c）（d）图2：我们的管道概述我们的方法的输入是实时重建的在线获取的RGB-D序列基于在线重建，我们构建全局-局部树以保持重建点云的全局空间组织以及每个点的局部邻域（b）。动态数据结构支持融合感知点卷积，包括帧内和帧间特征融合（c）。最后，逐点特征用于点标签预测，从而导致语义分割（d）。3. 方法概况. 图2提供了所提出的在线3D场景分割方法的概述。我们的方法的输入是通过实时深度融合重建的在线获取的RGB-D序列[6]。 让我们-通过fk={（ck，pk）}M来记录RGB-D序列 ，k=对于任何给定点的borhood查询。这使我们能够有效地找到像素到点的对应关系和基于点的邻域。在全局树的基础上，我们为每个点建立一个八叉树，从八叉树中可以快速找到多尺度局部邻域，用于基于点的卷积。全局坐标区间树。 我们保持三个合作-xyzMMm =0K KTG，TG和TG，每个图都有一0、1、. . .，K，其中cm pm 存储RGB-D信息-尺寸 在不损失一般性的情况下，我们将Tx取为前-帧k的像素m的位置及其坐标-Gx对应的3D点。给定由点集P表示的重构，我们构造全局树TG保持所有点的空间组织，描述树的结构。每个节点ni∈ TG记录了一组点PxP，其中每个点的x坐标位于区间[xmin（ni），xmax（ni）]中。 xmin（ni）作为每点局部树{T（p）}存储1-环和xmax（ni）是最小和最大阈值，Lp∈P每个点的邻域（第3.1节）。动态数据结构支持融合感知点卷积，包括帧内和帧间特征融合（第3.2节）。 逐点特征用于点标签预测，导致语义分割（第3.3节）。3.1. 动态全局局部树组织为了支持基于点的卷积的帧内和帧间特征学习，我们需要一个数据结构来组织动态重建的非结构化点云。在设计这种动态数据结构时有几个考虑因素。首先，为了方便基于点的卷积，我们需要构造任意给定点的局部其次，数据结构应该支持时变几何条件下局部邻域的快速更新. 第三，为了实现2D到3D和帧到帧的特征融合，数据结构应该允许我们找到图像像素和重建点之间的对应关系。这样，跨不同帧的像素可以通过共享的对应3D点来匹配。为了满足这些要求，我们设计了一个两级的树型数据结构。在全局上，我们构建了一个基于坐标的点的树组织，支持快速相邻的点。节点，节点我们规定坐标区间树中的相邻节点满足以下区间约束：xmax（nl）

下载后可阅读完整内容，剩余1页未读，立即下载