基于学习虚拟视图可见性的大场景点云网格重建

6514Vis2Mesh：基于学习虚拟视图可见性的大场景宋双俄亥俄州立大学崔兆鹏*浙江大学秦荣军†俄亥俄州立大学摘要我们提出了一个新的框架，从非结构化的点云网格重建，利用学习的可见性的3D点的虚拟视图和传统的图形切割为基础的网格生成。具体来说，我们首先提出了一个三步网络，明确采用深度完成可见性预测。然后，通过求解一个考虑可见性的优化问题，聚合多个视图的可见性信息生成三维网格模型，并在表面确定中引入一种新的自适应可见性加权，以抑制大入射角的视线与其他基于学习的方法相比，我们的流水线仅在2D二进制分类任务上执行学习，即，这是更通用的，并且实际上更有效，并且能够处理大量的点。实验结果表明，该方法具有良好的可移植性和鲁棒性，并取得了与传统方法相媲美的性能。在小的复杂对象上具有最先进的基于学习的方法，并且在大的室内和室 外 场 景 上 表 现 优 异 。 代 码 可 在https://github.com/GDAOSU/vis2mesh上获得。1. 介绍3D表面重建对于驱动许多计算机视觉和VR/AR应用是必不可少的随着三维传感器的发展，Li-DAR或深度传感器，我们可以直接捕捉精确的3D点云。然而，从非结构化点云确定表面仍然是一个具有挑战性的问题，特别是对于复杂形状、变化的点密度、完整性和体积的对象的点云。一个好的网格重建方法应该是：1）能够恢复由点云捕获的几何细节; 2）鲁棒性和可推广性; 3）可扩展-能够扩展到大场景并且在存储器和*在苏黎世联邦理工学院发起并执行的合同。†通讯作者。电子邮件：osu.edu点我们的重建图1.我们的方法在室内和大型室外场景重建表面的例子。点数从数千到数百万不等。计算典型的重建方法或者通过连接相邻点（例如，节点）Delaunay三角剖分[5]），或通过隐式曲面确定（例如，筛选泊松表面重建[21，22]）。然而，他们都喜欢高密度的点云。随着3D深度学习的发展，许多基于学习的方法在从复杂物体的中等密集甚至相对稀疏的点云然而，这些端到端的深度架构，一方面，编码的上下文/场景信息，这往往会遇到泛化问题;另一方面，沉重的网络挑战的内存和计算时，规模扩大到大型场景。视图中的点可见性已被证明是一个很好的信息来源，这可以极大地有利于表面重建[47]。例如，在物理图像视图上可见的3D点暗示了视线从龙公园（500万分）房间1（100K点）6515到视图透视中心的3D点穿过自由空间（没有物体或部分遮挡），其结果是，可以用作强约束以引导网格重构。直观地说，一个点在更多视图中的可见性越高，人们可以探索的关于点和视图之间的自由空间的信息就越多[17]。该原理已在多视图立体（MVS）和距离图像中实践，并显示出有希望的结果[25，26，51]，其中每个3D点对每个物理的可见性通过密集匹配（在MVS中）记录或直接从传感器解码然而，在这两种情况下，可见性受到物理视图的数量的限制，并且仅考虑自由空间的有限知识，从而导致缺乏重建细节。为了解决这个问题，我们提出了一种新的解决方案，通过生成大量的虚拟视图周围的点云，并利用学习的可见性，通过基于图形切割的表面重建方法。这将为我们提供无限的可见性信息，通过基于可见性的传统方法生成高质量的网格。然而，设计这样的系统是不平凡的。首先，虚拟视图中的可见性预测并不容易，因为从点云到不同视图的投影像素可能具有不同的稀疏性。第二，与通常假定到所生成的点云的良好入射角的MVS视图不同，所生成的虚拟视图可以在它们的入射角和到表面的距离方面呈现为了解决这些问题，我们设计了一个网络的能见度预测，它利用部分卷积模型的稀疏性的神经网络中的输入。为了进一步提高精度，我们提出了一个级联网络，明确采用深度完成作为一个中间任务。其次，为了抑制不利的虚拟光线（大入射角的表面）的副作用，我们提出了一种新的自适应可见性加权项，自适应加权的虚拟光线。与基于端到端学习的方法相比，我们的方法在不同的场景环境中具有更好的泛化能力，因为非常简单且学习友好的任务，即可见性预测，在我们的管道中。此外，我们的方法还保持了处理一个非常大的体积的户外点云的高质量的能力我们的贡献可归纳如下：首先，我们提出了一个基于非结构化点云的曲面重建框架，该框架利用了传统方法和基于学习的方法的强大功能;其次，我们提出了一个三步网络，明确采用深度完成的三维点的可见性预测;第三，在传统的基于图切割的网格流水线中，提出了一种新的自适应可见性加权项，以增加网格的几何细节;最后，我们通过实验证明，我们提出的方法产生更好的泛化能力，并可以扩大到亲，一个大场景的几个点云。它对不同类型的噪声和不完整的数据也是鲁棒的，并且比最先进的方法具有更好的性能。2. 相关工作来自非结构化点云的经典表面重建利用局部和全局表面平滑度、全局规则性、可见性等。[3]的文件。基于局部表面平滑度的方法[12，16，1]仅在数据附近寻找平滑表面。基于全局表面平滑度的方法[20，7，21，22，24]倾向于以找到近似点云的场函数（有符号距离函数、指示符函数）。最常见的全局平滑算法是Screened Poisson Sur-face Reconstruction（SPSR）[21，22]，它可以生成具有高质量定向法线的平滑无空隙表面，但它可能对不正确的法线以及非防水形状过于敏感。基于全局规则性的方法[33，56，27]处理具有对称性，正交性，重复性和平行性的人造物体或建筑形状。基于可见性的方法假定从其收集点云的传感器的信息，并且这产生附加线索，作为射线和每个点在它们可观察的传感器位置处的可见性不同形式的可见性（包括视线[11，25]，外部可见性[45，19]，奇偶性[32]）已经被探索过。最广泛使用的方法利用视线[25，26，17，18，59]，通过求解由视线加权的s-t然而，结果的质量依赖于射线的数量和质量，并且如果识别出不足的射线，则其可能在重建表面上的凹区域中不足[59]。基于学习的曲面重构获取数据-驱动的方法，利用现有的前-示例和高性能网络结构[40，41，9，52]来构建具有挑战性和复杂点云的表面，经典方法的性能较差几种方法[8，31，35]将整个对象编码为嵌入向量并用神经网络对其进行解码，作为这种深度网络中的一般问题，表示通常不能推广到不可见类别或场景的对象。CONet [36]提出了替代的体积表示，并在隐式场中启用卷积，使表示对平移不变，并且这种方法的滑动窗口性质使CONet能够放大到大场景，而局部方法不捕获全局形状信息，并且体积表示对于3D数据生成仍然需要存储器Points2Surf [13]提出了一种基于补丁的学习框架，该框架结合了局部尺度和全局尺度神经网络的输出，以构建符号距离6516图2. Vis2Mesh框架。我们的框架在推理区域中从左到右按照箭头的流程所示的四个步骤中重建表面：1）虚拟视图采样2）绘制3）可见性确定和4）基于Delaunay和图切割的表面重建。由三个网络组成的可见性确定：CoarseVisNet，从稀疏深度输入预测可见性，DepthCompNet基于粗略预测的可见点完成密集深度图，FineVisNet用稀疏深度和完成的密集深度图细化可见性预测，详见第4.2节。功能（SDF），并显示一定程度的泛化能力。然而，在每体素水平上的查询和在体素场上的干扰是计算密集型的（比SPSR慢4倍），这将其限制为仅处理小场景。MIER方法[30]使用显式表示-1.E（S）=Evis（S，V）+λql Eql（S）Σ=[Es（v）+Et（v）+Eij（v）]+λql Eql（S），v∈V（一）输入点的位置，并将连接性投射到比较测地线/欧几里德距离的替代物。基于神经网络的分类器被训练以确定表面三角形，其已被证明能够保留细粒度的细节并且在模糊结构上工作良好。然而，每三角形分类忽略了相邻三角形的连通性，导致重建表面上的孔。Point2Mesh [15]提出了一种自先验来检测自相似性，这有助于重建表面以及去除噪声和完成缺失部分。然而，Point2Mesh仅适用于水密和简单的模型，需要初始网格模型，并且相对地需要很长的运行时间来收敛。与经典方法相比，基于学习的方法通常需要大量的内存，并且可以是特定于场景的。3. 初步本节介绍了基于Delaunay三角剖分和图切割优化的曲 面 重 构 公 式 [26]。 曲 面 重 建 问 题 被 认 为 是 基 于Delaunay三角剖分建立的连通图的外部空间/内部空间标记问题，将通过最小s-t切割算法[6]来解决。重构表面（在下文中由S表示）是定向Delaunay三角形的并集，所述定向Delaunay三角形被保证是水密的且无相交的，因为其界定由四面体组成的体积。重建问题的能量函数由基本方法[26]公式化为等式：其中，Evis（S，V）是冲突的惩罚之和，并且关于由所有视线V，Eql（S）施加的约束的表面S的错误取向是抑制瘦三角形的附加平滑项[26]。在图切割中，Es和Et分别是外部和内部空间的数据项，并且Eij是平滑项。Eql（S）是独立于可见性的另一平滑度项。Es（v）=∞ ·δ[T1∈t]，（2a）Et（v）=αvis·δ[TM+1∈s]，（2b）MΣ−1Eij（v）=αvis·δ[Ti∈s∧Ti+1∈t]，（2c）i=1其中Ti是与视线v相交的第i个四面体，M是相交集的大小。所以T1和TM+1表示沿v的第一个四面体和最后一个四面体的正后方。如果条件为真，则条件运算符δ[·]为1αvis是与到终点的距离成比例的可见性的置信度，称为软可见性约束。请参阅我们的supp。有关图形权重的更多详细信息，请参阅。4. 方法在本节中，我们将介绍从非结构化点云重建曲面的框架（图2）。首先，我们采样可行的6自由度（度）的姿态根据输入点云。然后，3D渲染器将姿态作为观看参数，并且基于其投影矩阵将点投影到该虚拟图像平面上。接下来，一个三步网络，明确采用6517(a) 球形（b）网格+最低点（c）网格+倾斜（d）自定义图3。虚拟视图生成器。球形图案生成器：在目标对象周围采样，始终用于小对象。网格+最低点生成器：对于类似地形的大规模场景，以与地平面平行的网格方式进行采样，使用地面以上高度和重叠率来控制采样视图的密度。网格+倾斜生成器：在最低点视图旁边，采样同心倾斜视图以捕获市区的立面自定义：我们创建了一个交互式工具，让用户选择视图。自定义视图可以改善复杂对象的模糊结构的质量深度补全辅助可见性估计，并预测可见点和遮挡点以建立可见性信息。最后，基于图形切割的求解器处理与预测可见性相关联的输入点以重建表面。我们的总体框架如图2所示，各个组件将在下面的小节中讨论。4.1. 虚拟视图采样给定输入的非结构化点云，我们首先生成虚拟视图下的图像，模拟输入图像的MVS方法。给定假定对象或场景的虚拟视图采样是一个具有挑战性的问题，并且用于诸如立体重建或监视之类的任务的自动视图选择是计算机视觉和机器人社区中的活跃主题[37，46，54，55]，并且这些方法的性能是任务和场景特定的。在我们的工作中，我们利用如图3中所示的几个通用生成器，并且根据经验发现，当处理不同的对象和场景上下文时，它们与我们的方法一起工作得非常好。在实践中，我们的方法显示了一定程度的鲁棒性，关于各种虚拟视图采样，虚拟视图的数量会影响表面质量，分析可以在第5.2节中找到。4.2. 可见性评估网络给定具有稀疏深度信息的投影图像，我们利用深度神经网络来预测虚拟视图中3D点的可见性。可见性估计任务的最大挑战是它需要逐像素准确度而不是逐区域准确度。为此，具有小内核大小的标准CNN（卷积神经网络）对于该任务是优选的，因为它对局部结构敏感然而，对于具有不同稀疏性水平的数据，标准CNN具有较差的性能，因为由投影稀疏点产生的无效像素或空隙使得难以学习鲁棒表示[49]。部分卷积（PConv）[29，28]被提出用于从不完整的输入图像进行图像修复。所提出的重新加权卷积操作特别适合于处理稀疏数据，因为它对每个像素的有效性进行建模并将其与卷积操作一起传播。类似的想法已用于来自稀疏激光扫描数据的深度完成[49可见性预测利用神经网络的局部敏感性，而深度完成需要局部平滑性。因此，我们设计了一个中间任务与一个专用的网络模块的深度完成，并提出了一个级联网络VDVNet（可见性深度可见性）。我们的可见性估计网络的输入是一个H×W×2的特征图，其中第一个通道是归一化的深度图像，第二个通道是指示像素是否有效的二进制掩码。图2所示的框架包括示例输入和不同网络组件之间的中间结果（将在以下部分中详细描述网络体系结构的规格可以在我们的补充材料中找到。粗视网我们训练子网络，以预测的可见性与监督学习。如图2所示，我们在预测的粗略可见性图和地面实况可见性图之间应用稀疏BCELoss（具有掩码的二进制交叉熵损失），其中掩码指示有效像素。DepthCompNet。深度补全子网络被设计为将稀疏深度图转换为密集深度图。我们过滤器的粗可见性预测的Coar- seVisNet 的 原 始 深 度 图 ， 然 后 将 其 馈 送 到DepthCompNet。DepthCompNet的监督是地面实况表面的深度图。在它们之间应用均方误差损失函数（图2中的稀疏MSELoss）。FineVisNet 。 该 模 块 采 用 CoarseVisNet 的 输 入 和DepthCompNet的输出来预测精细可见性。损失函数的应用与CoarseVisNet相同。培训数据。用于能见度预测的训练数据可以很容易地从任何类型的3D模型模拟我们从公共MVS重建数据集[53]中选择了一些大规模场景的重建良好的纹理网格模型作为地面真实表面，以生成合成可见性。点是从表面均匀稀疏地采样的。然后，采样点进一步增加额外的高斯白噪声和离群值。在下一步中，我们使用图3所示的模式组合从点云中采样虚拟视图。对于每个视图，渲染并组合点云和表面两者的深度图以生成地面实况可见性。如果点渲染图像和表面渲染图像的深度值匹配，则该点被标记为可见，否则被标记为被遮挡。深度图的表面-6518不IJv(a) 锐角ray. 我们取三个角度的余弦相似度的最大值，如等式3所示，其中余弦相似度等于点积，因为法线具有单位长度。图4c、4d、4e示出了我们的自适应可见性加权项的示例。EOURS（v）=γ·αvis·δ[TM+1∈s]，（3a）(b) 锋平行（c）γ= 0。1（d）γ= 1（e）γ= 0。4图4.自适应可见性加权的几何图示EOURS（v）=MΣ−1i=1γ·αvis·δ[Ti∈s∧Ti+1∈t]，（3b）其中λavw = 1时。面用作训练Depth-CompNet的地面实况深度4.3. 基于图割的自适应可见性加权曲面重构一旦预测了所有视图中的点的可见性，我们就利用基于图切割的网格生成[26]来重建最终的网格模型。由于虚拟可见性的不同特征，基本方法[26]遭受表面上折痕的过度平滑问题，这促使我们提出自适应可见性加权。基本方法的公式见第3节。与仪器的可见性相比，我们的VDVNet从无序点和采样视图生成的虚拟视图可见性在密度、方向和距离方面具有非常不同的特征。如等式2b所指示的，基本方法具有这样的问题，即，施加在沿着视线的点的正后方的四面体上的强约束可能忽略表面的细节，特别是当视线具有大的由于大入射角在传统应用中是罕见的，因此基线方法的问题以前没有被发现。由于我们的虚拟可见性是由神经网络直接从无序点预测的具有大入射角的可见性（图4a）相当于视图深度图中的尖锐表面，这始终被视为自遮挡的迹象[4]。我们的自适应可见性加权（AVW）的关键思想如图4所示。显然，对于表面重建，锐角表面（图4a）的测量值被认为是最低置信度，而额平行表面（图4b）被认为是最佳置信度。我们使用视线方向和表面法线方向之间的余弦相似性来构造平滑的加权函数。 权被认为是能见度的置信度，它的定义与αvis重叠，它改变了Et和Eij项。我们使用两个因子γ和αvis的乘积作为新的视线置信度 为了将权重函数应用于顶点和视线相交的具有3个三角形的四面体，我们考虑最可能在表面上的三角形，即法线最接近视线方向的三角形。γ=（1−λavw ）+λavwmax（NT·[Nf1 ，Nf2 ，Nf3]），（3c）其中，Nv表示入射视线v的方向，Nf#是入射到v的端点的四面体TM+1的面的法线，λavw是用于调整自适应可见性加权γ的阻尼因子。当λ avw = 0时，我们的方法等价于Labatut5. 实验我们通过一系列定量和定性实验来评估我们提出的Vis2Mesh方法，这些实验涵盖了各种小物体、室内场景、大规模户外场景，无论是通过多视图立体、激光扫描还是模拟图像获得的。我们将我们的方法与几种最先进的基于学习的重建方法进行了比较，包括Point2Mesh（P2M）[15]，Points2Surf（P2S）[13]，Meshing Point Cloud with IER（MIER）[30]卷积占用网络（CONet）[36]和经典方法Screened Poisson SurfaceReconstruction（SPSR）[22]。为了证明泛化能力，我们广泛收集了来自不同传感器和平台的多个数据集的数 据 ， 包 括 BlendedMVS [53] ， COSEG [50] ，Thingi10K [57]，P2M [15]，CONet [36]，senseFly [44]，KITTI [14]，Mai City Dataset [48]，俄亥俄州哥伦布市的机载LiDAR数据[34]和多伦多的机载LiDAR数据[43]。这些数据集的详细信息，包括它们的来源，体积，以及在我们的实验中使用的虚拟视图生成器材料我们的方法没有假设表面法线信息，而这是需要的一些比较方法（SPSR，P2M等）。高质量的表面法线是一个重要的信息来源，以指导重建方法，但不容易获得或直接测量的大多数传感器。在实验中，这些比较方法使用的表面法线通过基于最小生成树（MST）的局部平面拟合方法进行估计，该方法由开源软件Cloud-Compare [10]实现。该软件还集成了我们在比较研究中使用的SPSR [22]实现。我们在第5.1节中定量报告了比较方法的性能，在第5.3节中定性报告了比较方法的性能。5.1. 定量评价我 们 评 估 我 们 的 方 法 从 COSEG ， CONet 和BlendedMVS的地面真实网格采样点6519F-SCOre倒角距离P2mP2s蜜尔CONETSPSR（修剪）我们（γav=0）我们（γav=1）P2mP2s蜜尔CONETSPSR（修剪）我们（γav=0）我们（γav=1）对象25KDSLR公长颈鹿0.97900.99900.99690.90140.99460.95250.99350.98510.99380.90410.82030.97760.95170.99930.99990.98440.99290.99890.98410.99910.99960.15930.33280.22270.35580.35760.43250.14400.34210.32760.25701.38810.38310.12880.29140.18930.07020.30370.21360.07070.28930.1939平均0.99160.94950.99080.90070.98360.99210.99430.23830.38190.27120.67610.20320.19590.1846室内100K房间0Room1//0.73340.53790.88850.84530.91120.86950.90490.80650.93450.87470.93400.8775//2.01512.80260.34030.67140.64760.78140.82721.25460.32960.59710.35710.5457平均/0.63560.86690.89030.85570.90460.9058/2.40880.50590.71451.04090.46340.4514户外500K教堂牌楼步行街生态公园龙园///////////////0.40860.91330.74940.74160.77000.82920.98150.94010.84700.87020.92060.98400.98890.94310.98040.92210.97720.98600.95530.9866///////////////19.82530.27530.80080.88130.86961.77840.08690.35610.94630.73980.68110.06770.15900.32730.20960.66570.07560.16200.29610.1859平均///0.71660.89360.96340.9654///4.48090.78150.28900.2770MVSGSM塔酒店乌塔玛萨/////////0.35770.18630.46560.77320.62610.80460.82290.63210.70940.83500.63540.7259/////////1.30536.65131.49510.93690.80510.37410.36600.69350.39820.34790.68880.3737平均///0.33650.73460.72150.7321///1.78450.70540.48590.4701表1.COSEG、CONet和BlendedMVS数据集上重建的定量比较，按场景大小分组点数。（“F分数”：越高越好。“倒角距离”：越低越好。“/”: Not数据集。由于现有的方法对数据量有一定的限制，我们将数据集划分为目标/室内/室外场景，复杂度和场景规模逐渐增大。我们从地面真实表面均匀采样25K点用于对象，100K点用于室内数据，500K点用于室外数据。为了用实际数据进行评估，我们通过使用商业MVS流水线[39]生成了sensefly [44表1显示了每个类别的F分数[23]和倒角距离（CD）[2]度量需要注意的是，我们对所有尺度都采用了CONet的滑动窗口方式，并根据密度 值 对 SPSR 输 出 进 行 修 剪 ， 阈 值 设 置 为 maxdensity/2。与几种最先进的基于学习的重建方法和SPSR方法相比，我们的基于虚拟视图可见性的方法在每一级数据集上的两个度量方面都表现出出色的性能此外，虽然我们的VDVNet是从室外级模型收集的合成数据集进行训练的，但定量评估表明，我们的方法在对象级和室内级数据集上取得了有竞争力的结果关于效率，我们的方法具有类似的速度和内存的SPSR时，达到相同的细节水平。有关运行时间的详细统计信息，请参见supp。材料5.2. 消融研究我们首先证明了虚拟视图可见性在表面重建中的优势，即使实际可见性可用（图6），并显示了所提出的自适应可见性加权的质量改善（图7）。然后，我们用定量评估分析了网络架构（表2）。虚拟视图可见性的重要性。在这个实验中，我们比较了通过真实可见性（从物理视图获得）和虚拟视图可见性重建的表面。(a) 每点（b）网格融合（c）我们的图5。从移动LiDAR扫描建模可见性的方法。(Per点：每个LiDAR点仅连接到轨迹一次。网格融合：网格体素内的点融合成质心并将其连接到轨迹。我们的：从采样视图和VDVNet生成的纯虚拟可见性。证明了虚拟可视性的重要性。本实验中的数据是与来自Mai City数据集的6DoF姿态轨迹相关的LiDAR扫描[14]。我们提出了三种方法，如图5所示。通过将对应的扫描姿态与每个点相关联来生成每个点，并且每个点仅具有从传感器收集的一条视线（或可见性）对于网格融合，我们使用体素网格过滤器聚合附近点最后，我们使用所提出的网络来生成虚拟视图的可见性，其中虚拟视图沿着记录的轨迹进行采样。图6中所示的视觉结果表明，虚拟视图可见性显著提高了网格质量。每点实际可见性未能重建完整的场景，因为与每个点相关联的仅一条视线不是几何稳定的，并且不足以创建用于优化的可靠的加权图网格融合由于包含了更多的视线（平均4/点）而显示出更好的重建质量相比之下，我们的纯虚拟视图可见性方法可以创建平滑，详细和无噪声的表面（感谢VDVNet的去噪功能）。自适应可见性加权的重要性。图7展示了所提出的自适应可见性加权的影响。要注意的是，当设置λavw= 0时，65205 M视线F-评分：0.51CD：4.30(a) 地面实况10 M视线F-评分：0.75CD：0.25(c)栅格融合（实际可见性）（b）每点（实际能见度）17 M视线F-评分：0.93CD：0.75(d) 我们的（虚拟视图可见性）图8.虚拟视图数量的影响。图6.虚拟视图可见性的重要性重建使用我们的方法为每个可见性数据集在图5中。F评分：0.64CD：1.80F评分：0.97CD：0.23(a) 点(b) λavw= 0(c) λavw= 1表2.二元可见性分类任务方法的定量分析#Param是参数的数量，%P是精确度，%R是召回率，%F1是F1评分，%AUC是ROC曲线的曲线下面积DepthComp表示深度完成模块，并且PConv表示t个部分卷积层。任务，其架构是具有卷积在解码器的末端的层。我们报告的大小和分类器的性能图7. AVW对复杂形状合成数据的影响数据是鸟笼。可见性加权图完全等价于基本方法[26]。我们观察到方法λavw= 1比用于在表面结构上具有杆状和凹口的物体的基本方法更好地工作，因为这种复杂的结构可能为我们的虚拟视线引入大的入射角。自适应可见性加权的工作原理与我们在4.3节中所预期的一样。表1中的定量结果表明，在大多数情况下，自适应能见度加权比基本方法更好。虚拟视图数量的影响。为了评估视图配置的效果，我们展示了重建结果w.r.t.不同数量的虚拟视图。首先，在场景的顶部中心上的单个视图生成非常粗糙的表面。其次，在7个虚拟视图上围绕目标雕刻出物体的球形轨道的场景中，底座的灯、椅子的腿开始浮现。随着更多的虚拟视图，重建的表面产生更多的几何细节。最后的配置包含由用户交互选择的虚拟视图，以重建椅子的复杂结构可见性估计网络。我们独立评估了我们的VDVNet在可见性预测任务中的性能，并与Open3D [58]实现的基于几何的方法隐藏点去除（HPR）[19]和基线学习方法UNet [42]进行了比较。由InvSFM [38]提出的VISIB-NET被设计用于相同的应用。我们的像素可见性数据集上的表2混合MVS。我们观察到具有部分卷积层的网络在没有参数增加的情况下优于标准卷积我们的网络的变体呈现了深度完成模块和部分卷积层w.r.t.的贡献。可见性估计任务。请参阅supp。材料的评价ofdatasets与各种方式以及定性结果的可见性估计。噪声和缺失数据的影响。 由于真实的三维点云数据往往存在噪声和数据不完整的问题，处理好这些问题对于网格生成是非常重要的。我们设计了两个实验来评估不同方法对附加噪声和不完整性的鲁棒性。我们评估了附加噪声（随机噪声和异常值）对CONet、SPSR和我们的方法对室内场景的影响，如图9所示。添加的噪波可能会影响点的位置和点的法线。图9的中间列示出了向CONet引入不期望的对象的异常值，但它对其他方法和我们的方法的影响要小得多。然而，噪声可能是SPSR的问题，因为它依赖于高质量的正常估计，这可能很容易受到噪声的影响。CONet和我们的方法已经证明了一定程度的噪声鲁棒性重建网格。不完整数据或缺失数据是实践中常见的问题，例如来自激光扫描的数据。图10比较了结果500万点1凸轮8个凸轮14凸轮38个凸轮可见性估算器#参数百分比P%R%F1%AUCHPR/85.7985.0185.2482.22UNet51M90.4287.1088.6888.52UNet + PConv51M90.7388.0389.3289.59VISIB NET52M90.1591.5090.7890.22我们的，不带DepthComp或PConv153M91.8484.0887.7189.29我们的，不带DepthComp153M91.3893.1092.2192.62我们的，不带PConv153M91.8694.2493.0193.146521无噪离群噪声高斯噪声图9.评估的方法受到额外的噪音点云。数据为Room0。(a) CONet（b）SPSR（c）Ours图10.不完整点云数据处理方法的评价。数据是多伦多市中心。(a) P2M（b）P2S（c）MIER(d)CONet（e）SPSR（f）Ours图11.小对象级数据集的定性比较。数据是DSLR。的CONet和我们在大规模的场景中，我们注意到，我们的方法是能够完成缺失的立面与三角形面在不完整的区域。由于Delaunay三角剖分和四面体标记，我们的方法是能够关闭的差距和漏洞造成的缺失数据。5.3. 定性评价我们的定性比较也分为三个尺度，分别如图11、图9 的 第 一 列 和 图 12P2M [15] 和 P2S [13] 在 开 放 表 面（DSLR）方面的重建质量MIER [30]生成的三角接近地面实况(a) SPSR（b）我们的（λavw= 1）图12.大规模户外数据集的定性比较。数据是生态公园（顶部）和十字路口（底部）。表面，但完整性差。CONet通常会产生一个平坦的表面，这对于特定场景是一个很好的功能（例如：室内），但它不适合弯曲的表面。虽然SPSR [22]也产生了合理的重建，但它往往会关闭生成的网格，并在使用阈值最大密度/2修剪后呈现气泡事件。仔细选择的修整参数可以减少这样的伪影。 此外，我们使用从多视图立体[44]或激光扫描数据[14]导出的真实世界数据集来证明所提出方法的通用性，而不是从地面真实表面进行均匀采样。更多结果可以在supp中找到。材料6. 结论提出了一种结合传统的基于图割的方法和基于学习的方法的曲面重构框架。在我们的方法中，神经网络只专注于一个非常简单的任务-学习预测点云的可见性，从而提供了一个更好的泛化能力比现有的基于学习的方法，同时保持传统方法的效率。具体来说，我们提出了一个三步网络，明确采用深度复杂的3D点的可见性预测。此外，我们提出了一种新的自适应可见性加权项，改进了基于图切割的配方。实验结果表明，我们提出的方法可以推广到点云在不同的场景上下文，并可以扩展到点云在大场景。在不同尺度的数据集上，我们的框架比经典的重建方法和最先进的基于学习的方法具有更好的性能。鸣谢宋爽和秦荣军确认海军研究办公室（奖励号N000141712928）对本研究工作的部分人员支持。输入我们SPSRCONET6522引用[1] Marc Alexa，Johannes Behr，Daniel Cohen-Or，ShacharFleishman，David Levin，and Claudio T.席尔瓦计算和绘制点集曲面。IEEE Transactions on visualization andcomputer graphics，9（1）：3-15，2003. 2[2] H. G.巴罗特南鲍姆河C. Bolles和H. C.狼参数对应和倒角匹配：两种新的图像匹配技术。在第五届人工智能国际联合会议论文集-第2，IJCAI美国加利福尼亚州，1977年。摩根考夫曼出版公司6[3] MatthewBerger ， AndreaTagliasacchi ， LeeMSeversky ， Pierre Alliez ，Gael Guennebaud ，Joshua ALevine，Andrei Sharf，and Claudio T Silva.基于点云数据的曲面重构研究综述。在Computer Graphics Forum，第36卷，第301-329页中。Wiley Online Library，2017. 2[4] 还 有 Ra的 Bo'dis-Szomoru' ， Hayk oRiemenschneider 和LucVan Gool。用于快速边缘保持表面重建的超像素网格。在Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，pages 2011- 2020，2015中。5[5] Jean-Daniel Boissonnat和Mariette Yvinec。算法几何，章，章Voronoi图：欧几里得度规，德洛内复形。剑桥大学出版社，1998年。1[6] Yuri Boykov Olga Veksler和Ramin Zabih通过图割的快速近似能量最小化IEEE Transactions on pattern analysisand machine intelligence，23（11）：1222- 1239，2001.3[7] Jonathan C Carr、Richard K Beatson、Jon B Cherrie、Tim J Mitchell、W Richard Fright、Bruce C McCallum和Tim R Evans。基于径向基函数的三维物体重建与表示在Proceedings of the 28th annual conference on Computergraphics and interactive techniques，pages 672[8] 陈志勤和张浩。学习生成式形状建模的隐式字段。在IEEE计算机视觉和模式识别会议论文集，第5939-5948页2[9] O¨zgu¨ nC¨ic¨ek ， AhmedAbdulkadir ， SoerenSLienkamp ，Thomas Brox，and Olaf Ronneberger.3d u-net：从稀疏注释学习密集体积分割。医学图像计算和计算机辅助干预国际会议，第424-432页。施普林格，2016年。2[10] CloudCompare。CloudCompare -开源项目。可通过以下网址获得：http://www.cloudcompare.org/。 5[11] Brian Curless和Marc Levoy。从距离图像建立复杂模型的体积法。在Proceedings of the 23rd Annual Conferenceon Computer Graphics and Interactive Techniques ，SIGGRAPH计算机协会。2[12] Herbe r tEdelsbrunner和ErnstPM uck e.三维阿尔法形状 。 ACM Transactions on Graphics （ TOG ） ， 13（1）：43-72，1994. 2[13] 放大图片创作者：Philipp Erler，Paul Guerrero，StefanOhrhallinger ， Niloy J. Mitra 和 Michael Wimmer 。Points2Surf ： 从 点 云 学 习 隐 式 曲 面 。 在 AndreaVedaldi ， Horst Bischof ， Thomas Brox 和 Jan-MichaelFrahm，编辑，计算机视觉施普林格国际出版社. 二、五、八[14] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：Kitti数据集。The InternationalJournal of Robotics Research ，32（11）：1231-1237，2013. 五六八[15] Rana Hanocka，Gal Metzer，Raja Giryes和Daniel Cohen-Or。Point2mesh：可变形网格的自先验。ACM事务处理图表，39（4），2020. 三、五、八[16] Hugues Hoppe ， Tony DeRose ， Tom Duchamp ， JohnMcDonald，and Werner Stuetzle.由散乱点重构曲面。在Proceedings of the 19th annual conference on Computergraphics and interactive techniques，pages 7