可伸缩表面重建：基于多尺度多视角立体点云的扩展方法

904可伸缩表面重建从具有极端规模和密度多样性的点云Christian Mostegel Rudolf Prettenthaler Friedrich Fraundorfer Horst Bischof计算机图形与视觉研究所，格拉茨理工大学{姓氏}@ icg.tugraz.at摘要在本文中，我们提出了一种可扩展的方法，从多尺度多视图立体点云，可以处理点密度的极端跳跃（在我们的实验中，三个数量级我们的方法的骨干是八叉树数据分区，本地Delaunay四面体化和图切割优化的组 合 。 图 切 割 优 化 被 使 用 两 次 ， 一 次 是 从 局 部Delaunay四面体化提取表面假设，一次是合并重叠的表面假设，即使局部四面体化不共享相同的拓扑。该公式允许我们获得每个子问题的恒定内存消耗，同时保留基于Delaunay优化的密度无关插值特性。在多个公共数据集上，我们证明了我们的方法在准确性，完整性和离群值弹性方面与最先进的方法具有很强的竞争力。此外，我们通过处理一个新记录的具有20亿个点的数据集和超过四个数量级的点密度变化来证明我们的方法的多尺度潜力1. 介绍在这项工作中，我们专注于从多尺度多视角立体（MVS）点云的表面重建。这些点云受到越来越多的关注，因为它们的计算只需要简单的2D图像作为输入。因此，相同的重建技术可用于所有类型的2D图像，独立于采集平台，包括卫星，飞机，无人机（UAV）和地面安装。这些平台允许以各种分辨率（又名尺度级别或细节级别）捕获单是一架多旋翼无人机就可以改变无人机的飞行水平本文中包含的结果获得了欧盟地平线2020研究和创新计划的资助5厘米图1.从千米到亚毫米。我们的方法是能够计算一个一致连接的网格，即使在存在巨大的点密度变化，而在同一时间保持一个可定义的恒定峰值内存使用。下降了大约两个数量级如果来自不同采集平台的点此外，这些点云的大小可以是巨大的。最先进的MVS方法[10，11，12，28]以所获取像素的总数的顺序计算3D点。这意味着他们用现代相机拍摄的每张图像生成107个因此，在几个小时的时间内，可以获得导致数十亿个点的图像从如此大量的数据中提取一致的表面网格是一项不平凡的任务，然而，如果可以提取这样的网格，那么对于虚拟3D旅游来说将是一个巨大的好处而不仅仅是能够体验一个城市，2.5公里500米50厘米50米905到了远处，就可以完全沉浸在现场，详细地体验文化遗产然而，目前在多尺度表面重建的研究集中在两个不同的目标之一（除了精度）。 一组（例如，[8，21]）侧重于通过本地公式实现可扩展性。这些方法的缺点是完整性经常受到影响;即，由于场景中的遮挡，在重建中可以看到许多孔，这降低了虚拟现实的有用性。第二组（如[31，33]）因此专注于通过应用全局方法获得闭合网格。为了获得全局解决方案，这些方法需要同时获得所有数据，这不幸地排除了它们的可扩展性。同时实现这两个目标，可扩展性和封闭的解决方案，可能是不可能的任意跳跃点密度。其原因是，密度跳跃边界上的任何对称然而，可扩展性需要有限大小的独立子问题，而封闭解决方案需要足够的重叠来将它们重新连接在一起。为了缓解这个问题，我们制定了我们的方法是全局方法和局部方法的混合。首先，我们用粗八叉树分离输入数据，其中叶节点通常包含数千个点。点的确切数量是一个可调参数，它表示完整性和内存使用之间的权衡在相邻的叶子节点内，我们执行局部Delaunay四面体化和最大流最小割优化来提取局部表面假设。这导致许多表面假设部分共享相同的基础四面体化，但也在许多地方彼此相交为了以非体积的方式解决这些假设之间的冲突，我们提出了一种新的基于单个表面假设的图割公式这种配方使我们能够最佳地填补洞，从当地的模糊性，从而最大限度地提高最终表面的完整性。这使我们能够处理任何大小的点云与一个恒定的内存足迹，其中的能力，以关闭孔可以权衡与内存使用。因此，我们能够从具有20亿个点的点云生成一致的网格，地面采样变化范围从1 m到50 µ m，每个过程使用不到9GB的RAM（见图1）。1和视频[24]）。2. 相关工作从点云重建曲面是一个广泛研究的课题，在[5]中可以找到一个一般性的评论在下文中，我们将重点介绍与多尺度点云和可扩展性相关的最相关的工作。许多表面重建方法依赖于八叉树结构进行数据处理。虽然Kazhdan et al.[20]这是一个非常好的例子。不同于任意八叉树结构，多视点立体所带来的巨大尺度差异给基于八叉树的方法带来了新的挑战。因此，固定深度接近（例如，[16，19，6]）不适合这种输入数据。因此，Muecke et al.[27]处理在数据点周围的体素外壳内的多个八叉树级别上计算网格时的尺度转换，并将部分解缝合在一起。 然而，这种方法由于其全球制定而不可扩展。因此，Fuhrmann和Goesele [8]提出了一种完全局部的表面重建方法，其中他们构造了一个隐式函数作为基函数的和。虽然这种方法从理论的角度来看是可扩展的，但是由于非常小的支持区域，插值能力非常有限。此外，该方法的纯局部性质无法处理相互支持的异常值（例如，如果一个深度图相对于其他深度图未对准），这在实践中经常发生（参见实验）。Kuhn等人。[21]通过检查测量的近距离（10 vox-els）中的可见性冲突来减少此问题。然而，与全局方法相比，这种方法的插值能力仍然非常有限。最近，Ummenhofer和Brox [31]提出了一种用于大型多尺度点云表面重建的全局变分方法。虽然他们报告说他们可以处理10亿个点，但这个问题大小所需的内存占用已经相当可观（152 GB）。除了由于全局公式化而不可扩展正如我们的实验所证明的那样，如果尺度差异太大，这会导致严重的问题。除了基于八叉树的方法之外，还有相当多的工作是基于3D点的Delaunay四面体化[13，15，18，22，23，33]。与基于八叉树的方法相反，Delaunay四面体化将空间分割成不均匀的四面体，从而赋予这些方法针对任何点密度闭合任意大小的孔的独特能力。这些方法的主要特点是基于Delaunay四面体化中相邻四面体的邻域构造有向图。然后，根据相机之间的射线及其对应的3D测量值来设置图中的能量项。这些可见性术语使得这种类型的方法对于离群值非常准确和上面提到的方法之间的主要区别是如何设置平滑项以及应用什么样的后处理。所有这些方法共有的一个属性是它们都基于全局图切割优化，这排除了它们的可扩展性。然而，对点密度变化的完全弹性使得这些方法非常适合多视图立体表面重建，这促使我们扩大这种类型的方法。906pC(a) Delaunay三角剖分(b) 对偶图（c）可见性项图2. Delaunay四面体化图切割优化的基本方法[22]的示意图。在（a）中，我们显示了通过点云（小黑点）的Delaunay四面体的2D切割。此外，我们画出从相机c到点测量p的光线。在（b）中，我们展示了对偶图表示。大黑点表示对偶图中的顶点和原始四面体化中的四面体。绿点表示连接到无穷大顶点的假想四面体。小的黑色箭头是对偶图的有向边（即，Delaunay四面体中的每个面有两个边此外，对偶图中的每个图中的每条边都有一个与之相关联的容量。该容量是平滑度项和可见性项的组合。在（c）中，我们展示了如何为（a）中绘制的光线设置可见性项，而正则化项通常设置在所有边缘上（b）。3. Labatut等人的Global Meshing我们的基本方法是一个全球性的网格化的方法La-batut等人。[22]，其需要具有视觉信息作为输入的点云（即，哪个点使用哪个摄像机/图像重建）。有了这些数据，他们首先计算点云的Delaunay四面体化。这导致一组四面体通过它们的小平面与它们的邻居相连。如果采样足够密集，则已经表明该四面体化包含真实表面的良好近似[3]。现在，[22]的主要思想是构建Delaunay四面体化的对偶图表示，并在此对偶图上执行图切割优化以提取表面（图中绘制了对偶图的视觉表示。2）的情况。他们将问题公式化，使得在优化之后，每个四面体被标记为内部或外部。这导致水密表面，其是图切割优化的最小切割并且表示标记为内部和外部的四面体之间的过渡。通过图切割优化来解决以下优化问题以找到表面S：arg minEvis（S）+α·Esmooth（S）（1）S其中，Evis（S）是数据项，并且表示可见性约束违反的惩罚（即， 射线冲突，见图。2.c）。Esmooth（S）是正则化项，是曲面上所有平滑度惩罚的总和。α是平衡数据和正则化项的因子，因此它控制平滑度。已经提出了许多方法来设置这些能量项[13，15，18，22，23，33]。 在对Strecha数据集[30]的评估[ 25 ]中，我们发现恒定的可见性成本（图11）。2.c）和小的恒定正则化成本（每个边缘/小平面）导致非常准确的结果。因此，我们用这个在我们所有的实验中，α=10−4注意，这个基本能量公式对于我们的方法，可以用其他方法代替。4. 使其规模化为了扩展基本方法，有必要首先将数据划分为可管理的片段，我们使用无限制的八叉树来实现。在重叠的数据子集上，我们最优地解决了表面提取问题，并得到重叠的假设。这就把我们带到了我们工作的主要内容，这些假设的融合。主要的问题是，给予基逼近其唯一插值性质的性质（即，通过Delaunay四面体化的不规则空间划分）也使得表面假设的融合成为重要问题。我们解决这个问题，首先收集之间的网格假设，然后通过第二个图形切割表面候选人的优化填充剩余的洞。下面我们将介绍所有重要的步骤。分解和征服数据。 为了划分数据，我们使用八叉树，类似于该领域的其他作品[8，20，21，27]。与这些工作相反，我们以不同的方式处理树的叶节点（又名体素）。而不是把一个体素作为最小的单位，我们只使用它来减少数量点到一个可管理的大小。我们通过细分八叉树节点来实现这一点，直到每个节点内的点数低于固定阈值。因为我们想要处理任意大小的密度跳跃，所以我们不限制相邻体素之间的过渡。这意味着传统的局部邻域不太适合于组合局部解，因为该邻域在尺度级别之间的过渡处可能相反，我们收集所有独特的体素子集，其中集合中的每个体素都接触相同的体素角点（角点，边缘和平面连接都被考虑）。这将最大子集大小限制为8个体素。对于每个体素子集，我们然后计算局部Delaunay四面体化并执行基本方法（Sec. 3）提取表面hypothesis。由此产生的假设强烈相互重叠，在大多数情况下，但不一致的出现在体素边界。在这些区域中，四面体拓扑结构强烈不同，来源/外部αvisαvisαvisαvis水槽/内部907最小割水槽这导致大量的伪像和模糊。因此，标准补片修复方法（如[17，4]）不适用。建立一致的网格。 第一步，我们收集在所有局部解之间共享的所有三角形（在每个体素内），并将它们添加到组合解。在下文中，注意(a)（b）（c）（d）图3. 为了计算中心性，我们考虑4种类型的内点：（a）在一个体素内，（b）在2个体素之间的平面上，(c)在4个体素之间的边缘上（d）在8个体素之间的点上初始组合解已经是具有许多孔的有效表面假设。作为组合解决方案一部分的三角形不会被任何后续步骤修改。然后，我们寻找跨越两个体素之间的所有三角形，并在包含这两个体素的所有体素子集的局部解如果这两个三角形将最后两个四面体分开，我们就把它们加到合并的解中.在我们的例子中，最终的四面体是其中外接球体不到达体素子集之外的四面体。在该步骤之后，组合的溶液通常含有大量修补程序候选部分闭曲面源体素边界处的孔数量。在下一步中，我们要找到边连接的三角形集合（我们将进一步将这些集合称为为了创建补丁候选者，我们搜索本地解决方案。首先，我们移除会违反组合解的双流形性（即，将小平面连接到已经具有两个小平面的边缘）或会与组合解相交的三角形。然后，我们集群所有剩余的三角形在线性时间补丁通过他们的边缘连接。在体素的基础上，我们现在最终有许多补丁候选者。虽然许多候选人可能被用来填补一个漏洞，但碰巧其中一些比其他人更由于基础方法为每个体素子集产生闭合曲面，这也意味着它闭合场景后面的曲面为了避免这样的补丁被使用，而不是在前景中，我们排名的质量补丁的中心在体素子集。换句话说，我们更喜欢远离体素子集的外部边界的补丁，因为Delaunay四面体化在这些区域中更稳定。我们计算补丁p的中心性为：cp−i图4.通过图形切割填充孔。 我们将网格转换为节点（来自3D三角形）和加权有向边（来自3D边）。黄色显示的是与我们的优化相关的组合解决方案的三角形，而蓝色三角形则不相关。 橙色三角形表示用于孔填充（Tp）的面片候选。图形边的容量对应于3D边长度（颜色显示容量）。只有来自源的边（黑边）具有无限容量。红色虚线表示本例的最小切割。混合溶液因此，这一步骤关闭了可以用单个局部解完全修补的洞。为了处理局部Delaunay四面体化非常不一致的场景部分，我们提出了一个图割公式的三角片候选人。为了提高效率，该图切割仅在其可见性项已经由第一图切割评估的曲面片上操作。该公式的思想是最小化网格外边界的总长度。首先，我们根据中心性对所有候选补丁进行排名。对于最佳的补丁候选者，我们提取所有的三角形的组合解决方案，共享一个边缘连接的补丁。将组合解决方案与补丁连接起来的边向心度（p）=1−mini∈Ip、（二）Rp（我们将这组边称为Eh，将对应的三角形集称为Th）。在面片三角形的集合（Tp）内，其中c p是贴片p的质心，I p是内部点的集合（图1）。3）p的体素子集。rp是从内部点到体素的最远角的距离，我们现在想要提取三角形的最佳子集（T），使得总体外边缘长度最小化：Σ其中cp说谎，这将中心性归一化为[0，1]。对于每个体素，我们现在尝试拟合候选块Tmax=argminTiT pe∈Ei中国（3）以降序排列，同时确保外边界完全连接到组合解，而不破坏两流形或与组合解相交。如果找到这样的补丁，它将被添加到com中其中，Ei是外边缘的集合（即，仅由一个三角形共享的边）通过三角形子集Ti和Eh定义。我们用下面的图形公式实现了这种最小化（也见图1）。4）.对于洞908我们在图中插入一个节点。然后，我们将具有无限容量的边从源插入到Th中的所有三角形/节点（以迫使这组三角形成为解决方案的一部分）。然后，Th中的所有三角形都用有向边连接到Tp中的相邻三角形，其中图中边的电容对应于3D中的边长。类似地，我们为Tp中的每对相邻三角形插入两条图边，其中容量也等于边长。最后，我们为每个外部三角形插入一个图边（即，所有三角形的邻域小于三个）。这些边连接到接收器，并且它们的容量是三角形的所有外边的和。通过这个公式，图切割优化最小化剩余边界的总长度。优化后的图的源集中包含了最优边界约简所需的所有三角形。这些三角形被添加到组合的解决方案中，并且对下一个候选块重复该过程。5. 实验我们把实验分成三部分。 一是叶大小512k128k32k8k峰值内存[GB]25.38.93.12.2表1. 八叉树叶大小的影响。对于八叉树叶子中的点的数量变化，我们显示了单个进程的峰值内存使用。更多详情见补充资料[24]。与网格划分本身相比可以忽略不计（小于运行时间的1%）。所有报告时间的实验都在具有210 GB可访问RAM 和 2 个 Intel （ R ） Xeon （ R ） CPU E5-2680v2@2.80GHz的服务器上运行为了将局部解合并在一起，我们在体素基础上处理局部解如果补片候选在其他体素中延伸，则锁定这些体素以避免竞争条件。为了最大限度地减少资源冲突，我们随机选择体素，这些体素被委托给工作进程。工作进程的数量被调整以适应主机的内存。5.1. 定性评价对于多尺度3D重建，目前不存在具有地面实况的任何基准。因此，定性结果是比较的最重要指标在公开的多尺度数据集[9]和具有极端密度多样性（从1 m到50µ m）的新文化遗产数据集上呈现定性结果。其次，我们在Middlebury数据集[29]和DTU数据集[1]上定量评估了我们的方法。第三，我们评估了我们的方法在合成实验中的击穿行为，在该实验中，我们迭代地将相邻体素之间的点密度比增加到4096倍。对于我们所有的实验，我们使用相同的参数集。最有趣的参数是每个体素的最大点数（也称为我们将此参数设置为128k点，这将使每个进程的内存消耗保持在9GB以下。只有在我们的第一个实验（Citywall）中，我们改变了这个参数以评估其灵敏度（结果非常低）。正如我们的技术报告[25]中所详述的，基本方法本身无法在不损失准确性的情况下处理高斯噪声因此，我们应用简单的预处理和后处理步骤来减少高斯噪声。作为预处理步骤，我们采用尺度敏感点融合。点是从一个体素内的所有点的集合中迭代地和随机地绘制的。对于每个绘制的点，我们在3倍点尺度的半径内融合k个最近邻（点不能融合两次）。该步骤可以被视为与固定体素网格上的点的融合等效的k-nn准则只禁止不确定点删除太多更精确的点。我们选择k，使得如果不存在显著更精细的尺度（导致k=20），则半径内相似尺度的所有点被融合。作为后处理，我们应用两次迭代的HC-拉普拉斯算子平滑[32]。后处理和预处理都是COM-使用三维多尺度网格方法。在两个数据集上，我们将我们的方法与两种最先进的多尺度网格化方法进行了比较。第一种方法（FSSR [8]）是一种完全局部的方法，而第二种方法（GDMR [31]）包含全局优化。对于我们的方法，我们仅使用每个3D点的单个射线（来自深度图的相机）。Citywall数据集。Citywall数据集[9]是公开的，由564张图像组成，这些图像拍摄于手持方式并且包含相机到场景距离的大的变化作为输入，我们使用MVE [9]管道在尺度级别1上计算的点云，这导致了2.95亿个点。对于本实验，我们使用了与[31]中FSSR和GDMR相同的参数。对于FSSR， 除了视觉比较（图）。5），我们还使用该数据集来评估选择不同叶尺寸（每个体素的最大点数）对重建质量和完整性的影响（图5）。5）和内存消耗（Tab. ①的人。在完整性方面，我们可以在图中看到。5.我们的方法介于FSSR（局部方法）和GDMR（全局方法）之间。完整程度可以根据叶片大小进行调整。较大的叶大小会导致非常完整的结果，但内存消耗也会①的人。然而，即使叶子尺寸非常小（8k个点），网格在场景的密集采样部分也是完全闭合的。如果我们将生成的网格的质量与FSSR和GDMR进行比较，我们可以看到我们的方法保留了更多的细节，并且对相互支持的离群值（红色圆圈）具有更高的弹性。程度909当叶尺寸变小时，弹性适度地下降，并且即使对于8k点，在这方面，输出至少与FSSR和GDMR一样好。我们的方法的缺点是高斯噪声水平比其他方法稍高，这可以通过更多的平滑迭代来减少。Valley数据集。Valley数据集是一个文化遗产数据集，其中的图像是在显著不同的尺度水平上拍摄的。最粗糙的尺度是用有人驾驶和机动悬挂式滑翔机记录的，第二个尺度是用固定翼无人机（无人驾驶飞行器）记录的，第三个尺度是用自主直升机无人机记录的[26]，最精细的尺度是用地面立体声设置[14]。每个比例尺都单独重建，然后使用地面控制点（GCPs）的离线差分GPS测量值、其他GCPs的全站仪测量值和立体设置上的棱镜进行地理参考[2]。然后用ICP（迭代最近点）微调相对比对。在每个尺度级别上，我们使用SURE [28]加密点云，SURE主要用于航空重建，因此非常适合此数据。我们将SURE模拟到MVE的点尺度计算为从深度图值到其邻域（4邻域）的平均3D距离生成的点云具有以下大小和地面采样距离：立体设置（43-47 µ m处的1127 M点），直升机无人机（3.5- 15mm处的46 M点），固定翼无人机（3- 5 cm处的162 M点）和悬挂式滑翔机（10- 100 cm处的572 M点），总计19亿点。该数据集可用[24]。在该数据集上，使用标准参数执行FSSR和GDMR，这也获得了DTU数据集上SURE输入的“最佳”结果（参见第5.2）。但是，在具有210 GB RAM的评估机器上，这两种方法都耗尽了这些参数的内存。为了获得任何用于比较的结果，我们增加了尺度参数（以2的倍数），直到可以成功执行方法，这导致FSSR和GDMR的尺度因子为4。参考实现的第二个问题是它们使用21级的最大oc树深度来进行有效的体素索引，但是该数据集需要更大的深度。因此，这两种实现方式都忽略了最精细的尺度级别。为了评估立体声和立体声之间的转换能力，我们还只在这两个尺度级别上执行了两种方法（标记为“唯一子集”）。GDMR的总运行时间为1.5天，FSSR为0.5天，我们的方法为9天。必须记住的是，FSSR和GDMR少了两个八叉树级别（16到64之间的数据减少），此外还丢弃了最低的尺度（一半的点）。此外，我们的方法只需要119GB的内存与16个进程，而GDMR需要150GB和FSSR 170GB，尽管大量的数据减少。每一个过程，我们的方法再次需要更少的Thr.PSR [19]固态硬盘[7]FSSRGDMR我们百分之九十0.360.380.400.420.35百分之九十七0.560.560.630.610.54百分之九十九0.840.750.840.780.71表2.MiddleburyTemple完整数据集的准确性其他方法的结果取自[31]。值越低越好。9GB以上在图6中，我们显示了这个实验的结果。请注意，即使没有2个较粗尺度水平，两种参考方法也无法始终连接最低尺度水平。相比之下，我们的方法产生了一个单一的网格，它始终连接从6km2到亚毫米密度的所有尺度水平（见视频[24]）。5.2. 定量评价对于定量评估，我们使用Middle- bury [29]和DTU数据集[1]。这两个数据集都是单尺度的，数据大小相对较小（Middlebury 96Mpix，DTU 94Mpix）。然而，它们提供了基本事实，并使我们能够证明我们的方法在准确性和完整性方面具有高度的米德尔伯里数据集。 按照[8，27，31]的脚步，我们在MiddleburyTemple Full数据集上评估了我们的方法[29]。这个基准由312张图像和一个非公开的地面实况组成。为了公平起见，我们使用与[31]相同的评估方法，并在Tab中报告使用MVE [9二、在这种设置中，我们的方法在所有精度阈值上都达到了最佳精度，具有非常高的完整性（对于1.25 mm：OURS：99.7%，FSSR：GDMR：99.3%）。一可见比较见补充资料[24]。在所有评价的MVS方法中，我们排名第二[29]（2017年3月10日）。只有[34]在评估中获得了更好的准确性，他们实际上专注于生成更好的深度图，而不是表面重建。DTU数据集。DTU数据集[1]由124个微型场景组成，每个场景具有49/64 RGB图像和结构光地面实况。然而，地面实况包含大量离群值，我们认为需要手动清理以提供表达结果。我曾为一个人，一个人，一个人。25）和手动删除明显的离群值（见补充-[24]）。我们选择了这个场景，因为它包含了许多具有挑战性的结构（围栏，雨伞，桌子，弧形和独立的标志牌），除了一个非常逼真的立面模型。在这些数据上，我们评估了三种不同的网格化方法（FSSR [8]，GDMR [31] 和 OURS ） 对 三 种 最 先 进 的 MVS 算 法（MVE [9]，SURE [28]和PMVS [10]）的点云。对于我们的方法，我们使用了128k点的最大叶子大小，这导致每个进程的峰值内存使用量为9GB。对于FSSR，我们扫描了尺度倍增因子，对于GDMR，扫描了λ1和λ2的2倍。在选项卡中。3、910图5. Citywall数据集的视觉比较[9]。从左到右，我们首先显示了我们的方法的输出，每个八叉树节点的最大点数有不同的值然后我们展示了最先进的方法GDMR [31]和FSSR [8]的结果。前四行显示了与[31]中用于公平比较的类似观点用红色圈起来的区域突出了我们方法的一个优点，即。保留小细节，同时对相互支持的异常值具有高度弹性。关于最大叶大小，较大的叶大小导致我们的方法更完整的结果（蓝色圆圈）。然而，我们的方法能够优雅地处理非常小的叶子大小（8k个点），只有轻微的孔和离群值增加图6. Valley数据集。从上到下，我们遍历了重建的巨大尺度变化（从6平方公里到50微米的采样距离）。从左到右，我们显示了我们的结果，GDMR [31]和FSSR [8];有颜色和没有颜色。由于GDMR和FSSR都无法处理巨大的尺度差异，我们还显示了仅使用直升机无人机和立体设置作为输入的点云计算结果（红框）。在最后一行中，我们将所有网格显示为线框，以突出显示各个三角形（黄色框显示可视化区域）。请注意，我们的方法始终连接所有尺度。911表3. DTU数据集场景25的准确性和完整性[1]。我们在三种不同的MVS方法（MVE [9]，SURE [28]和PMVS [10]）的点云上评估了三种不同的网格化方法（FSSR [8]，GDMR [31]和OURS）对于所有评估的因素（平均/中位数准确性和平均/中位数完整性），较低的值更好。在括号中，我们显示相对秩。我们将我们的方法与FSSR和GDMR的“最佳”是指所有评估参数的准确性和完整性中位数之和最小。所有评价参数的表格见补充资料[24]。如果我们看一下结果，我们可以看到每种方法的相对性能都受到输入点云的强烈影响对于PMVS输入，我们的方法在所有因素中排名第二，而FSSR以较低的完整性为代价获得了较高的准确性，GDMR以较低的准确性为代价获得了较高的在SURE输入上，我们的方法比其他两种方法表现得更差。请注意，在此场景中，SURE通过在无纹理区域中进行外推产生大量相互一致的离群值这些异常值不能用可见度项来解决，因为所有相机都从同一侧观察场景对于MVE输入，我们的方法在几乎所有的评估因素中达到了最佳排名5.3. 故障分析在这个实验中，我们评估了我们的方法相对于点密度跳跃的限制。因此，我们构建了一个人为的最坏情况，即。密度变化恰好发生在体素边界的情况我们的起点是一个正方形平面，我们在其中采样240万个点，并在z轴上添加一些高斯噪声。这些点连接到4个虚拟摄像机（可见性链接），这些摄像机位于与平面平行的前方。然后，我们随后将平面中心的点的数量减少2倍，直到我们检测到重建中的第一个孔（这发生在减少64处）。然后，我们将点密度降低4倍，直到密度比为4096。图7. 合成分解实验。从左到右，我们减少正方形中心的点数。最上面一行的数字显示了正方形外部和内部的密度比。从上到下，我们展示了我们方法的不同步骤（（1）收集碎片，（2）用补丁关闭漏洞，（3）基于图切割的漏洞填充）。我们将图像背景着色为红色以突出重建中的孔请注意，在第一步之后，八叉树节点的边界上存在许多漏洞，我们的进一步步骤将关闭或至少减少这些漏洞。在图7中，我们显示了实验中最相关的部分。密度比为32时，我们的方法能够生成无孔网格作为输出。如果我们将其与平衡八叉树（其中相邻vox-els的相对大小被限制为因子2）进行比较，我们可以完美地处理8倍的点密度。当该比率变得更高时，过渡处的孔的数量逐渐增加在图7中，我们可以看到，即使对于4k的密度比，图切割优化也能够显著减小剩余孔的大小。这意味着即使对于超过3阶的极端密度比，我们仍然可以提供一个结果，尽管在过渡处包含一些空穴。6. 结论本文提出了一种基于体数据和Delaunay模型的混合曲面重建方法。这个公式使我们的方法具有处理任何大小的多尺度点云的独特能力，并且具有恒定的内存使用。每个体素的点数是我们方法的唯一相关参数，它直接代表了完整性和内存消耗之间的权衡在我们的实验中，我们因此能够在具有20亿个点和超过4个数量级的尺度变化的数据集上重建一致的表面网格，每个过程需要不到9GB的RAM。我们的其他实验表明，尽管内存使用率低，但我们的方法仍然对离群片段、大规模变化具有极强的弹性，并且在多尺度表面重建的准确性和完整性方面与最先进的方法具有高度竞争力。MVE平均访问MedAccMeanComMedcomFSSR0.673（2）0.396（3）0.430（3）0.239（1）GDMR1.013（3）0.275（2）0.423（2）0.284（3）我们0.671（1）0.262（1）0.423（1）0.279（2）确定平均访问MedAccMeanComMedcomFSSR1.044（1）0.490（3）0.431（1）0.257（1）GDMR1.099（2）0.301（1）0.519（3）0.357（2）我们1.247（3）0.365（2）0.509（2）0.368（3）PMVS平均访问MedAccMeanComMedcom912引用[1] H.阿奈斯河R.詹森湾，澳-地Vogiatzis、E. Tola和A. B.达尔多视点立体视觉的大规模数据。国际计算机视觉杂志，第1-16页，2016年。五六八[2] C. Alexander，A. Pinz，和C.莱因巴赫多尺度三维岩石艺 术 记 录 。 考 古 学 和 文 化 遗 产 中 的 数 字 应 用 ， 2（23）：181- 195，2015。史前岩画研究中的数字成像技术。6[3] N. Amenta和M.伯尔尼基于Voronoi滤波的曲面重构计算几何（SCG）第十四届年会论文集，1998年。3[4] M. Attene.自相交网格的直接修复。Graphical Models，76（6）：658- 668，2014. 4[5] M.伯杰，A.塔利亚萨基湖M. Seversky，P. Alliez，J. A.Levine，A. Sharf，和C. T.席尔瓦基于点云的曲面重建技术研究现状。In S.列斐伏尔和M. Spagnuolo，编辑，Eurographics 2014 - State of theArt Reports。欧洲制图协会，2014年。2[6] M. Bolitho，M.卡日丹河Burns和H.霍普用于堆芯外表面重建的多级流。在第五届欧洲图形学几何处理研讨会论文 集 ， SGP'07 ， 第 69-78 页 ， Aire-la-Ville ，Switzerland，Switzerland，2007。欧洲制图协会。2[7] F. Calakli和G. 陶宾光滑有符号的距离表面重建。Computer Graphics Forum，30（7）：1993-2002，2011.6[8] S. Fuhrmann和M. Goesele浮秤表面改造. ACM Trans.Graph. ，33（4）：46：1二、三、五、六、七、八[9] S. Fuhrmann，F. Langguth和M. Goesele多视图重建环境。在欧洲图形与文化遗产研讨会（GCH）中，第6卷，第8页，2014年。五六七八[10] Y. Furukawa和J.庞塞精确、密集和强大的多视图立体视觉。IEEE Transactions on Pattern Analysis and MachineIntelligence，32（8），2010。一、六、八[11] S. Galliani，K. Lasinger和K.辛德勒表面法向扩散的大规模 局 部 多 视 立 体 视 觉 。 在 国 际 计 算 机 视 觉 会 议（ICCV），第8731[12] M. Goesele，N.斯奈利，B. Curless，H. Hoppe和S. M.塞茨多视图立体社区照片集。在国际计算机视觉会议（ICCV），第11[13] 希普河Keriven，P. Labatut和J.- P. Pons. 向高分辨率大规模多视角立体。在IEEE计算机视觉和模式识别会议（CVPR），第1430-1437页二、三[14] T. H o？ll和A. 平兹文化遗产收购：野外基于几何学的辐射测量。2015年3D视觉国际会议，第389-397页，2015年10月。6[15] C. Hoppe，M. Klopschitz，M. Donoser和H.比肖夫从稀疏结构中增量式提取表面运动点云英国机器视觉会议（BMVC），第94-1页，2013年。二、三[16] A. Hornung和L.科比特不含法向信息的非均匀采样点云水密三维模型在第四届欧洲图形学几何处理研讨会论文集，SGP欧洲制图协会。2[17] A.雅各布森湖，澳-地Kavan和O.索金-霍恩使用广义缠绕数的鲁棒内外分割ACM事务处理图表，32（4）：33：1-33：12，July 2013. 4[18] M. Jancosek和T.帕杰拉保留弱支撑表面的多视图重建。在IEEE计算机视觉和模式识别会议（CVPR），第3121-3128页，2011年6月。二、三[19] M. Kazhdan ， M. Bolitho 和 H. 霍 普 泊 松 曲 面 重 建 在Proceedings of the fourth Eurographics symposium onGeometry processing，第7卷，2006中。二、六[20] M. Kazhdan，A. Klein，K. Dalal和H.霍普任意八叉树上的无约束等值面提取。在第五届欧洲图形学几何处理研讨会的开幕式上，SGP欧洲制图协会。二、三[21] A. Kuhn，H. Hirschm uüller，D. Scharstein和H. 马耶河一种用于高质量可伸缩多视图立体声再现的电视国际计算机视觉杂志，第1二、三[22] P. Labatut，J.- P. Pons和R. 克里文使 用兴趣点、 de-launay三角剖分和图割的大规模场景的高效多视图重建在InternationalConferenceonComputerVision（ICCV），第1二、三[23] P. Labatut，J.- P. Pons和R.克里文从范围数据进行稳健且 高 效 的 表 面 重 建 。 Computer Graphics Forum ， 28（8）：2275-2290，2009. 二、三[24] C.莫斯特格尔R.Prettenthaler，F.弗劳恩多夫，H. 比肖夫从具有极端尺度和密度多样性的点云进行可缩放的表面重建：补充材料，包括数据集和视频。https://www.tugraz.at/institute/icg/Media/mostegel_cvpr17，2017. 二五六八[25] C. Mostegel和M.朗普勒基于图割的噪声点云稳健曲面重构.技术报告，格拉茨技术大学，计算机图形与视觉研究所，2012年6月。https://www.tugraz.at/institute/icg/Media/mostegel_2012_techreport. 三、五[26] C. Mostegel，M. Rumpler，F. Fraundorfer和H.比肖夫基于置信度预测的多视角立体质量保证的无人机自主图像采集。在IEEE计算机视觉和模式识别会议上，2016年6月。6[27] P. 穆克河Klowsky和M.Goesele 多分辨率采样点的曲面在视觉，建模和可视化（VMV）的会议记录，2011年。二、三、六[28] M. Rothermel，K. Wenzel，D. Fritsch和N.哈拉SURE：从图像重建摄影测量表面。在LC3D研讨会上，2012年。一、六、八913[29] S. M. 塞茨 B. 没有卷发 J·迪贝尔 D. Scharstein和R.塞利斯基多视点立体重建算法的比较与评价。在IEEE计算机视觉和模式识别会议（CVPR），第1卷，第519-528页中。IEEE，2006年。http：//vision.middlebury.edu/mview/eval/网站。五、六[30] C. Strecha，W. von Hansen，L. Van Gool，P. Fua，和联合Thoennessen.高分辨率图像的基准相机校准和多视图立体。在IEEE计算机视觉和模式识别会议（CVPR）中，第1-8页，2008年6月。3[31] B. Ummenhofer和T.布洛克斯全球，密集的多尺度重建十亿个点。在国际计算机视觉会议，2015年12月。二五六七八[32] 沃尔默河Mencl和H.穆勒改进的拉普拉斯平滑噪声表面网格。在计算机图形论坛，