大规模城市场景建模的基于MVS网格的方法

基于MVS网格的大规模城市场景建模Lingjie Zhu，Shuhan Shen，Xiang Gao，Zhanyi Hu中国科学院北京自动化研究所，中国科学院大学，中国北京{lingjie.zhu，shshen，xiang.gao，huzy}@nlpr.ia.ac.cn抽象。 在本文中，我们提出了一个有效的建模框架，大规模的城市场景。该算法以多视点立体系统的表面网格为输入，输出不同细节层次的简化模型。我们的主要观察 城市建筑通常由平面屋顶和垂直墙组成。在我们的框架中有两个主要步骤：分段和建筑建模。首先用马尔可夫随机场结合高度和图像特征将场景分割成四类。在下面的建模步骤中，将检测到绘制屋顶边界的各种2D线段，通过为每个面指定一个屋顶平面，最终模型将通过将面拉伸到相应的平面来构建。通过结合几何和外观线索在一起，所提出的方法是强大的，快速相比，国家的最先进的算法。关键词：城市重建·建筑建模·马尔可夫随机场·基于分段的建模1介绍城市环境建模是导航、仿真、虚拟现实等应用的核心部分。虽然现代交互式软件可以创建详细的模型，但它不可避免地繁琐，不适用于大城市规模。实际上，从物理测量自动生成城市模型仍然是一个开放的问题[23]。通常，在重建中使用两种类型的数据源：航空LiDAR（光探测和测距）和航空图像。机载LiDAR点云曾经是城市规模建模的首选[35，27，17]。它是纯几何数据，通常以2.5D的形式，即。例如，LiDAR传感器可以很好地捕捉屋顶结构，但无法在立面上收集足够的点。相比之下，使用运动恢复结构（SfM）和多视图立体（MVS）工作流从倾斜图像导出的网格包含具有细节的壁，并且具有丰富的纹理信息[12，11，2，9，8]。虽然LiDAR点云2L. Zhu，S.Shen，X.Gao和Z.胡Fig. 1. 一个大型城市区域的建模。我们的输入是从3720个倾斜的航空图像生成的纹理表面网格。它有92米的三角形面，覆盖面积为12。2平方公里。输出模型（中间）有4343个建筑物，有0.25M个面，增强了规则性和语义。两个特写镜头显示在左侧和右侧更准确，图像更便宜，更平易近人。借助先进的自动化SfM和MVS工作流程（如Pix4D [26]和Acute3D [1]），人们可以获得具有大规模真实纹理的忠实网格然而，这些三角网格是特别密集和嘈杂的，因为它们不传达任何高级语义或结构信息（例如，语义信息）。例如，在一个实施例中，道路、建筑物、树、屋顶和墙壁）。因此，将它们重建为具有抽象语义的更紧凑的模型已经获得了越来越多的关注[19，18，31，36，14，25]。在城市建模的背景下，从业者通常希望以语义和细节层次（LOD）来呈现数据。虽然经典的简化或近似算法[7，13]可以通过可控参数生成不同复杂度的模型LOD不仅仅是数据存储和渲染的意义，更是场景的简化语义抽象我们的系统的一个方面是生成具有符合CityGML [6]标准的LOD的模型，CityGML [6]标准是用于表示和交换虚拟3D城市模型的被广泛接受的开放数据模型。图2显示了基本语义和LOD由CityGML定义的抽象[6]。图二. CityGML定义的建模语义和LOD [6]。 从左到右是LOD，从0到3，详细信息不断增加：LOD1是上升到平均高度的LOD0，LOD2模拟屋顶形状，LOD3装饰有上部结构。语义是彩色编码的：地面为棕色，立面为浅黄色，屋顶为蓝色大比例尺城市建模3所提出的管线将城市MVS网格作为输入，并输出简化的建筑模型，其具有符合CityGML [6]标准的有意义的LOD。我们利用建筑结构的2.5D特性，将建模转化为形状标记问题。具体来说，我们首先分割的场景上的正射图分为4类：地面，草地，树木和建筑物。然后针对每个建筑物检测各种屋顶边界段。这些线段将平面切割成多个面。建立在段布置的面上，每个面通过马尔可夫随机场（MRF）公式被分配有屋顶平面将面拉伸到其指定的平面将得到最终模型。我们工作的主要贡献包括：- 提出了一种新的基于线段的二维形状标注方法，该方法综合考虑了外观和几何信息- 一种事先嵌入的形状检测方法，它增强了正交立面和对称屋顶模型- 一个有效的管道，以产生LOD模型的大型城市场景从嘈杂的MVS网格，并验证了我们的现实世界的数据集。2相关工作在我们对以前工作的审查中涵盖了拟议管道的两个主要步骤：城市场景分割与建模。细分虽然表面网格分割和图像分割分别在计算机图形学和计算机视觉领域已经存在了很长时间。很少有文献致力于从图像重建的网格分割。Verdie等人[31]计算表面上的不同几何特征，并通过构造MRF标记对其进行分类在superfacet图上。同样，鲁哈尼等人。[28]添加其他光度特征并使用随机森林来计算MRF成对势。Liu等[21]通过使用高阶条件随机场迭代地将面聚类为更大的基元，将城市表面划分为结构元素。建模 说到城市建模，建筑是最令 人 感 兴趣的。最近提出了两类建筑建模候选项选择是一种常见的建模策略，通常遵循生成和选择模式。两个[31，19]都将边界空间切片为具有平面的候选3D单元，并将建模转换为二进制内部/外部标记问题。与[31]相比，[19]仅限于Manhat-tan场景。除了细胞选择方法，Nanet al. [24]将建模公式化为单元面选择问题。通过对共享一条边的面施加约束，通过求解一个线性规划问题，保证了模型是二维流形。基于轮廓的建模是另一类。在[18]中，作者简化了逐像素标记的高度图的边界并生成模型通过将边界多边形提升到3D空间。鉴于街道级图像，GIS足迹和MVS网格，凯利等人。[15]检测足迹轮廓的轮廓，并使用程序挤出生成详细模型[16]。虽然4L. Zhu，S.Shen，X.Gao和Z.胡生成的模型是高质量的，输入数据并不总是可用的。Zhu等[36]将变分形状近似（VSA）[7]算法扩展到城市场景，并对立面轮廓进行规则性建模。LOD生成是城市建模中的另一个关注点一般网格简化[13]或形状近似[7]方法可以生成不同复杂度的模型然而，它们本质上是几何误差驱动的，它们不知道场景中呈现的更高级别的结构或规则性。基于检测到的结构基元图，Salinaset al. [29]在进行网格抽取时，尽量保持结构在语义抽象方面，它们都不能3概述该方法以城市大场景的噪声MVS网格为输入，以语义LOD的形式输出复杂度低、规则性强的流形模型。拟议框架包括两个主要阶段：语义分割和建筑建模。图3显示了管道的概述图3.第三章。 大型城市场景建模流水线主要有两个步骤：语义分割（b）（c）和建筑物建模（d）-（h）。(a)输入的原始MVS网格在地面坐标中，渲染有（右）和没有（左）纹理;（c）对（b）的正字法进行语义分割;（d）屋顶平面检测;（e）描绘屋顶片边界的各种线段;（f）线段排列形状标注;（h）具有建筑物（g）的语义和LOD的最终模型的示例在城市尺度重建中，通常使用高空获取的航空倾斜影像虽然图像的分辨率和质量都很高，但输出的MVS曲面网格仍然存在遮挡、阴影、弱纹理和重复纹理等问题。与LiDAR点云相比，MVS网格更具噪声，如图所示。3（a）（g）。在处理城市规模数据时也会出现内存问题单独渲染如此密集和大的场景可能具有挑战性。为了减少计算负担，我们将输入网格切割成几个内存可管理的块，每个块可以并行处理 在分割部分中，我们融合了正射图的几何和外观信息，图1。3（b）（c）。然后，我们用如图所示的基于段的建模方法对每个建筑物进行3（d）-（f）。大比例尺城市建模54分割我们的分割步骤依赖于一个MRF上建立的正射图区分四类城市对象：地面，草地，树木和建筑物。通过结合一个专门的监督树分类器和几何属性，我们可以得到体面的结果，满足我们的需要，一个简单的公式。原始MVS曲面通常包含许多几何和拓扑缺陷，如自相交，非流形边和浮动部分。我们不像[31，28]那样直接在3D网格上操作，而是对纹理网格进行采样 转换成2D正投影表示。给定网格采样步长，垂直射线是从每个网格中心的上方铸造的。记录第一个相交点的纹理颜色、高度和法线，就可以得到正射影像、深度图和一个正常的地图分别，如图所示。4.正交网格采样的显著优点是：1）数据分布均匀，存取效率高2) 几何和纹理信息都是相同的图像形式。3）许多现成的图像处理算法是可用的。(a)(b)（c）第（1）款图4.第一章 正交网格采样的一个块，步长设置为0。2m. （a）正射照片。(b) 高度映射（线性映射到范围[0，255]）。(c)法线贴图通过将x，y，z分量分别处理为RGB通道进行着色，蓝色表示法线大多朝上最近基于CNN的分割方法[22，32]具有令人印象深刻的性能。尽管如此，我们还是选择了传统的升压和MRF组合方法，因为：1）训练数据量大，难以获取; 2）无法将正射影像特征与几何数据进行融合。例如，在一个实施例中，高度或法线）有效地[22]，3）这里的分割更多地被视为建筑物隔离步骤，而不是像素级精度标记任务，并且它在我们的实验中很好地服务于后续建模步骤，Sec.六、4.1树概率虽然建筑物可能有各种纹理和颜色，但树木通常具有可区分的颜色和相似的图案（图1）。4）.基于专门的或- thophoto树检测算法[34]，我们给每个像素一个值测量6L. Zhu，S.Shen，X.Gao和Z.胡×--树的概率更具体地说，我们计算1）颜色的每个像素pi处的视觉特征x i：CIE L*a*b* 颜色和照明不变t颜色[5]，2）纹理：3个尺度（其中σ= 1，√2，2）和6个尺度的高斯导数滤波器组3）L通道的熵：窗口大小为5、9和17。有了这些特征，我们使用boosting算法[10]从T个基本决策树桩ft（xi）训练一个强分类器F（xi）：∑TF（xi）=t=1αtft（xi），（1）其中，在我们的实验中，T被设置为200，权重αt在训练过程中学习然后，树概率t（pi）由S形函数给出t（pi）=11 +e−F（xi）.（二）我们在大约300米300米的小区域上训练了我们的模型，图5（a）示出了图5中相同块的预测树概率4.第一章4.2MRF标记利用树概率和只有树和建筑物高于地面几米的观察，我们的标签集是lp=地面，草，树，建筑物。由于块中的地面几乎是平坦的，因此我们使用以下定义的归一化值来测量高度：hn（pi）=L（max（h（pi）-hground，0）），（3）其中L（x）=1/（1+e−2（x−htrunc））是具有“S”形曲线v e的逻辑函数，其中点由截断值h t r un c调制。h地面是块地面的高度。图5（b）示出了归一化的高度图。(a)(b)（c）第（1）款图五. （a）从提升算法学习的树概率。(b)归一化高度图。(c)分割结果：地面、草地、树木和建筑物分别用棕色、浅绿色、深绿色和蓝色。请注意，相邻的树和建筑物被正确地分隔在红色矩形大比例尺城市建模7我{·}n我我我 J0我 J利用树概率t（pi）和归一化高度hn（pi），每个像素用似然数据项定义h（p）·t（p），如果lp=地h （p）·（1−t（p））如果lp=草Dp（lp）= niii。（四）i（1−hn（pi））·（1−t（pi））iflp=tree塞吉（1−hn（pi））·t（pi） iflp=building成对平滑关系通过它们的夹紧高度差来测量：Vp（lp，lp）=（1−[h（pi）−h（pj）]1）·1{lp=lp}，（5）其中1表示特征函数。目标函数为图像网格图Gp={Vp，Ep}可以写为：Ep（lp）= ∑ Dp（lp）+µ∑Vp（lp，lp），（6）我i∈Vp我J{i，j}∈Ep其中l是正射影像的标签配置。µ是余额，设置为1.所提出的能量函数可以通过图切割有效地最小化[4，3]。为了开始分割，我们使用块中的最低点作为h地面的初始估计。在运行MRF一次之后，对所有地面像素进行平均以给出对h地面的更好估计。利用更新的h地面，重新计算归一化高度hn，并且再次求解MRF公式。这种迭代技术将给出更准确的地面高度估计，从而更好地分割场景。在我们的实验中，hground通常在3次迭代后收敛，并且htrunc被设置为3m，作为一层建筑物的高度分割后，我们应用形态学开放操作来打破弱连接的建筑物，然后通过关闭操作来消除小孔。标记结果的示例示于图1中。第5（c）段。5建模使用带标签的块，每个连接的建筑区域都与场景隔离。本节的目的是将建筑物重建为具有增强规则性的LOD模型。由于城市重建的图像通常是从空中车辆获得的，因此立面比屋顶更容易受到遮挡和阴影的影响。因此，相当多的作品[35，27，18]利用建筑物的2.5D性质，主要使用屋顶信息进行建模。在这里，2.5D意味着建筑物可以被视为与垂直墙连接的分段平面屋顶两者[35，27]都处理LiDAR点云并通过分析点几何特征来提取屋顶轮廓，使其容易受到噪声和离群值的影响。Li等[18]使用逐像素标记来提取屋顶补丁的轮廓。然而我8L. Zhu，S.Shen，X.Gao和Z.胡OO--它们中没有一个试图对规律性进行建模（例如，例如，在一个实施例中，对称性、正交性和并行性）或能够生成具有LOD的模型。在本节中，我们提出了一种基于段的建模方法。我们首先在地平面上构造屋顶边界段布置，然后为每个布置面分配屋顶平面标签。将每个面拉伸到指定的平面将生成模型。与以往的工作相比，我们巩固了不同的 数据源，生成具有LOD和增强的规律性的模型5.1立面方向城市建筑的一个共同规律是建筑物的立面有两个正交的平面，即立面的中心线和立面的中心线。最终方向。我们用RANSAC算法检测立面的局部正交方向。具体地，输入数据nf是从相对于地平面在角度阈值范围每次生成假设正态。连同其正交对应物η’，内点集被定义为：{n|min（cos−1（n·no），cos−1（n·n′））

下载后可阅读完整内容，剩余1页未读，立即下载