平面图-拼图：联合估计场景布局和对齐部分扫描

1平面图-拼图：联合估计场景布局和对齐部分扫描林成昌建李文萍王香港大学{clin，cjli，wenping}@ cs.hku.hk摘要我们提出了一种新的方法来对齐可能没有实质性重叠的部分3D重建。使用平面图先验，我们的方法联合预测房间布局，并估计从一组部分3D数据的转换。与现有的方法依赖于功能描述符建立对应关系，我们利用的3D“盒”结构的一个典型的房间布局，满足曼哈顿世界的财产。我们首先估计一个局部布局，为每个部分扫描分开，然后结合这些局部布局，形成一个全局对齐的布局与循环关闭。在不需要特征匹配的情况下，所提出的方法能够实现从大的或无特征的场景重建和从稀疏输入建模的一些新的应用。我们验证我们的方法定量和定性的各种大小和复杂性的真实和合成场景。评估和比较表明，我们的方法优越的有效性和准确性。1. 介绍室内场景的理解和重建是计算机视觉领域的一个重要研究课题。近年来，消费类RGB-D传感器的发展极大地促进了3D数据采集，并实现了室内场景的高质量重建。尽管已经提出了许多方法用于连续相机定位以配准3D深度数据，但是在单次扫描中扫描一些场景仍然是一个挑战。主要的困难是由相机跟踪的中断引起的，这导致一些部分扫描几乎没有重叠。这在以下典型场景中经常发生：（1）为了减少工作量或满足计算机内存的限制，对大规模场景进行逐区域扫描而不是单次扫描，（2）当扫描无特征区域或门口时，摄像机跟踪经常失败，从而导致几次局部扫描没有足够的重叠或特征点;（3）当使用多个机器人扫描大场景时，场景通常由不同的代理在不相交的子区域中探索图1：我们提出了一种方法来联合对齐一组无序的部分重建和估计房间布局。其具有很少的重叠[38]，导致一组部分扫描。这种无序的部分3D数据的对齐是一个未被探索的问题，并且由于它们对用于扫描配准的大重叠和密集特征点的要求，因此对现有方法具有挑战性。在本文中，我们提出了一种用于配准可能没有足够重叠的室内场景的部分重建的方法，如图所示。1.我们的关键观察是局部重建的局部布局可以被看作是一个全局房间布局的片段，该全局房间布局通常具有以下两个特征：（1）房间布局是一组垂直或平行的墙壁，这被称为曼哈顿世界（MW）属性;（2）房间布局在2D平面布置图上形成闭环。我们利用这些属性开发一种有效的方法，用于联合预测具有上述布局属性的房间布局，并估计从一组无序的部分重建的变换。大多数现有方法[2，17]使用边界环检测来估计房间布局，因为它们的输入是具有室内场景的大量重叠和完全覆盖的长扫描序列。相比之下，我们的方法的输入可以是没有清晰边界的部分扫描数据。 通过考虑噪声和遮挡，我们的方法能够重建不完整的，断开的，甚至被遮挡的墙壁场景。给定具有检测到的层的这样一组部分扫描，56745675我们分析了每个局部布局与全局布局之间的关系，以实现成功的对齐，而现有的方法会由于缺乏足够的重叠和特征来建立对应而失败。我们制定了一个新的最佳布局问题，以确定使用MW假设和布局属性的每个部分扫描的旋转和平移，然后产生最终的变换，以对齐扫描和预测一个完整的全球房间布局。我们的方法的框架如图所示。二、在不依赖于特征匹配的情况下，我们的方法不仅在部分重建没有实质性重叠时鲁棒地工作，而且还实现了无特征或大场景的重建、从稀疏输入建模、RGB-D流下采样等等（第12节）。（五）。我们验证我们的方法定性和定量的真实和合成场景的各种大小和复杂性，并比较它与国家的最先进的方法。评估和比较表明，给定一组部分重建，我们的方法能够计算准确的变换，以对齐它们，并通过有效地估计和组合局部布局的部分数据重建一个高质量的场景布局。2. 相关工作室内场景理解在过去的几十年里一直是一个热门的话题我们回顾了最相关的作品，并请读者参阅调查[25]以获得概述。3D数据配准。在过去的十年中，许多同步定位和映射（SLAM）技术被广泛地用于使用RGB-D传感器来对3D场景进行建模。一些典型的作品包括Kinect Fusion[26]，Elastic Fusion [36]，ORB-SLAM [22]等。为了在3D数据之间建立稳健的对应关系，提出了广泛的几何特征描述符[27，42，11]。此外，全局配准方法[41，45]被用来缓解对齐点集时的局部最优问题。这些方法对于特征匹配、曲面对齐以及三维重建都是有效的。然而，当涉及到没有足够重叠和对应的3D数据时，这些算法可能失败或表现出不可接受的不准确性（参见图1）。11和图第15段）。房间布局估算。用于房间布局估计的方法可以基于它们的输入粗略地分为三类，即，单视图RGB/RGB-D图像、全景RGB/RGB-D图像和密集点云。许多工作集中在布局估计从一个单一的图像[16，30，8，3，29]已不断发展。由于单一标准图像造成的视场狭窄的限制，研究者们试图利用全景图像[44，2，40]以恢复整个房间上下文。随着深度学习在视觉任务中的成功，最新技术[15，46]依赖于卷积神经网络将RGB图像直接映射到房间布局。这些使用标准或全景RGB图像的方法高度依赖于用于关键结构检测或用于姿态估计的特征点。由于图像特征点的不稳定性，这些方法将遭受不准确性以及无法处理复杂（它们通常恢复相反，我们的方法使用深度数据，并且独立于特征点，以避免这些缺点。RGB-D图像包含每个像素的3D范围信息，从而显著提高几何推理的准确性和鲁棒性。一些方法使用单个RGB-D图像[35，43]来估计房间布局，这也受到窄视场的限制。由于全景RGB-D图像的优势，已经实现了更高质量的布局分析和结构化建模结果还有一些方法使用密集扫描的点云作为输入来估计场景布局[23，17，19]。这些方法中的大多数以完整场景为目标，以便利用房间布局的封闭边界性质，而我们的方法能够应对缺乏清晰外部边界的更具挑战性的部分扫描。室内场景约束。室内场景的内在属性被广泛应用于室内场景的理解和重建。曼哈顿世界（MW）假设是主要的规则，因此曼哈顿帧估计对于RGB [16，30]和RGB-D图像[6，12]都MW假设在许多应用中用作指导，例如布局估计[16，30，8，3，29，40]，相机姿态估计[33，13]和重建细化[7，9]。除了MW假设之外，室内场景具有丰富的线和平面，为许多任务提供了强 有力的线索。Elqursh 和Elgammal [5]介绍了一种基于线的相机位姿估计方法，而Koch等人。[14]使用3D线段对齐非重叠的室内和室外重建。平面补片检测和匹配[34，20，4，28，31，7，17]是显著用于提高重建精度的策略。一些作品[34，20，4，28]利用平面对应来解决帧到帧的相机姿势。Halber等人[7]和Leeet al. [17]利用结构约束执行全局配准以提高扫描精度。Shi等人[31]使用CNN来学习RGB-D图像中的平面块的特征描述符。这些方法都取决于在重叠区域的特征匹配的成功，而不是在本文中的情况。3. 方法我们系统的输入是一组部分扫描的片段，我们输出每个片段的局部布局，5676（e）部分数据调整(a) 输入部分数据（b）局部布局估计（d）最佳安置和改进（f）布局建模图2：所提出的方法的概述给定一组无序部分重建（a），我们的算法首先分别估计它们的局部布图（b）。然后，我们计算所有局部布图规划的姿态（c）以找到全局最优放置，然后进行细化过程（d）。最后，我们输出对齐的完整重建（e），并相应地预测最终的变换来对齐它们，以及全局场景布局。如图2，我们的方法包括三个主要步骤：(1) 每个部分重建的局部布局估计(2) 用于全局布局估计的最优放置;（3）姿态细化以使壁良好对准。在运行我们的算法之前，我们首先提取点特征[27]以将具有超过60%对齐内点的部分扫描组合成一个片段;而剩余的扫描可以被认为是不充分重叠的。3.1. 局部布局估计我们假设墙服从MW假设。受Cabral和Furukawa [2]的启发，我们制定了一个基于图的最短路径问题，以找到平面图路径。相对于他们的依赖于一个完整的点云与闭环作为输入，我们提出了新的策略，处理部分输入，可能包含不完整或部分闭塞的墙壁。预处理。 我们使用RANSAC提取平面并计算三个MW方向{X m，Y m，Z m}[12]。为方便起见，我们将Xm轴设置为世界向上方向通过假设当扫描开始时照相机光轴大致水平于地面，并且Ym和Zm轴是壁方向。然后，通过最小旋转将局部相机坐标与MW坐标对准。壁估计图。我们将碎片fk的所有点投影到单元大小为s的网格上。一个接收到N个以上投影顶点的单元被认为是一个高墙证据单元，本文中我们使用s=8cm和N=20。我们在网格上搜索以寻找具有高壁证据的连续单元集，以提取候选壁段，例如图1中的w1、w2和w33.第三章。给定一组墙壁候选，我们构建墙壁估计图（WE图），其中节点是墙壁结构的候选关键点（例如，墙角），边缘是候选墙。由于噪声和遮挡，zpBp1pAw2p2ypCw3w1高墙-证据源点关键点目标点推导关键点最短路径图3：局部布图规划路径确定。点被投影到地平面上并离散为网格。终点（图中的红细胞）3）可能不完全是墙角。因此，我们需要推理出更多的候选关键点（例如，p1，p2），以导出完整的壁结构。这里我们考虑两种典型情况：（1）两个相邻的垂直候选壁段可以延伸到可以暗示潜在壁角的交点，例如，从图3中的w1和w2推导出p1;（2）两个相邻的未对齐的平行候选壁段可能意味着在不可见的中间区域中的封闭壁。参见图3中的w2和w3，我们将pC∈w3投影到w2的线以推导新的关键点p2，并将p2和pC之间的单元重新标记为高墙壁证据。我们将推导点（蓝色单元格）和墙端点（红色单元格）设置为图形节点。然后为每对节点添加边，只要它们与Ym或Zm轴对齐。势壁w的边权重定义为：L（w）−H（w）+λ，（1）H（w）5677其中L（w）是网格上w的长度，H（w）是高证据单元的数量。第一项是鼓励边缘不仅具有更少的低壁证据单元，而且更长。第二项是λ = 0的恒定复杂度惩罚。1（参见图1中的评估）第10段）。通过这两个术语，我们鼓励最终路径具有更高的墙证据，更长，更简单。部分片段，Rf∈ {1，2，3，4}分别对应于从Y m到Yw、Y m到−Y w、Y m到Z w或Y m到−Z w的比对的片段f的候选旋转，并且t f∈ {1，...， N}表示布图规划环路上的片段f的顺时针序列。候选放置被表示为元组{f，R，t}，其中为了简单起见省略了下标。它指示所有片段的旋转和序列以及由局部布局路径的端到端级联导出的房间布局然后，我们定义二元变量xf，R，t∈ {0，1}来指示候选布局是否存在于解集中。总能量定义为（a）（b）（c）（d）minx={xf，R，t}ΣE1（x）+Ec（x）+Eb（x），（2）Σ图4：部分扫描的源点和目标点确定(a)投影网格;（b）ST图;（c）最小跨度─S. t.fR，txf，R，t=1，tf，Rxf，R，t=1，（3）（d）从MSF上的最长路径导出的源点和目标点源和目标确定。为了从没有清晰边界的不完整重建中求解平面图路径，如图所示4、建立另一个图（ST-图）来确定源点和目标点。ST图中的边权重是网格坐标系中两个节点之间的欧氏距离。通过计算图的最小生成森林（MSF），使节点以最小的距离代价连接。然后我们求解MSF上的最长路径。源点和目标点是该最长路径的两个端点，其中顺时针序列中的第一个点被认为是源，另一个点被认为是目标。最后，我们找到的最小成本路径从源到目标的WE图的局部布局估计结果。3.2. 全局布局放置为了确定全局布局，我们需要找到所有不具有足够匹配重叠的部分片段的刚性变换。 我们观察到，在MW假设下，每个部分碎片的旋转可以被视为其局部MW坐标与世界坐标的对齐;小重叠片段的平移可以近似地看作全局循环闭合路径中的序列，其中所有局部路径都是端到端连接的，见图11。5为例。给定片段的局部MW坐标轴{Xm，Ym，Zm}和世界坐标轴{Xw，Yw，Zw}，我们首先将局部MW坐标的向上方向Xm指向世界上方向Xw（参见第2节中的预处理）第3.1节）。然后，从Ym，Zm到Yw，Zw的剩余对应具有四个不同的选择，其组成旋转的解空间 设f ∈{1，…，N}索引所有其中，E1是布局的复杂度，Ec是闭合度，和Eb相邻片段之间的边界的相似性。等式中的约束(3)强制相互排斥，即，每个片段和序列索引在最终的解决方案中只能出现一次。布局复杂度术语。我们通过对楼层平面图的凸包中的墙角的数量和边的数量求和来形成复杂度项El，其中最低能量鼓励房间不仅包含更少的角落，而且具有更简单的整体结构。 参见图5，(a) 和（b）是同一组局部布局的两个不同的放置。虽然它们具有相同数量的壁角，但我们更喜欢（a），因为它具有更多对齐的共线壁段，这导致凸包中的边更少(a)（b）第（1）款图5：经由端到端局部布局级联的两个不同放置结案陈词。 第二项E c表示布局路径的闭合，我们希望最终路径上的起点和终点之间的间隙尽可能小。见图 对于计算该项的示例，闭合由xf，R，1的起点p s与xf，R，1的终点ps之间的曼哈顿距离（以米为单位）来测量。p∈xf，R，N.边界相似项 如图在图6中，穿过局部布图规划路径上的源或目标点的切割平面被定义为边界平面（例如，Bi和Bi）。切割平面10厘米内的点被认为是边界点（例如，P1和Pj）。我们称5678我我J（一）. 首先，qi和pj的Z坐标应当相等，否则壁未对准。第二，给定两个相连的墙wi和wj，长度分别为lwi和lwj 尊敬的，如果我 ≤lw，则pj不能通过q′，否则wj将不通过-i ji与w相交，这是非法的。 约束定义如下，其中α=min{lwi，lwi}：ZQI +zi=zpj+zj，（四）（lwi+lwj）−|（yq′+yi）−（yp′+yj）|<α。图6：当fj为紧挨着f。Bi和Bj是两个相邻的边界平面;Pi和Pj是平面周围的边界点集，其用于计算边界相似性。概率方法[1]，用于分析两个相邻片段之间的边界点的匹配质量周边连接（图7（b））。 两个相邻的局部布局fi和fj由两个垂直壁连接。我们只讨论图的情况 其中wi沿Y轴对齐，并且wi沿Z轴对齐。 为了避免wi和wj 之 间 的 病 态 交 叉，pj不能穿过wi，而qi不能穿过wj。约束条件定义为：获得0和1之间的失配分数。 我们总结了计算所有相邻对的不匹配分数以计算Eb。yqi +yiypj+yj（五）为了解决这个受约束的0-1规划问题（等式1），(2))的全局最小值搜索的基础上的DFS树与alpha-beta修剪。此外，我们还修剪无效的分支，其中壁不正确地相互交叉，以进一步提高效率。z pj+z j

下载后可阅读完整内容，剩余1页未读，立即下载