基于预测上下文先验知识的点云曲面重构

6326基于预测上下文先验知识的点云曲面重构清华大学软件学院，清华大学软件学院，北京，中国2美国马里兰大学帕克分校计算机科学系3美国底特律韦恩州立大学计算机科学系mbr18@mails.tsinghua.edu.cn，liuyushen@tsinghua.edu.cn，zwicker@cs.umd.edu，h312h@wayne.edu摘要点云数据的曲面重建是三维计算机视觉的关键。现有技术的方法利用大型数据集来首先学习局部上下文先验，其表示为基于神经网络的带符号距离函数（SDF），其中一些参数编码局部上下文。为了在推理时在特定查询位置处重建表面，这些方法然后通过在给定查询位置处搜索局部先验空间中的最佳匹配（通过优化编码局部上下文的参数）来然而，这需要在推广到各种各样的看不见的目标区域之前的局部上下文为了重新解决这个问题，我们通过在推理时为每个特定点云学习预测性上下文来具体来说，我们首先使用类似于以前技术的大型点云数据集训练本地上下文。然而，对于推理时的表面重建，我们通过学习预测性先验将局部上下文先验专门化为预测性上下文先验，预测性先验将调整后的空间查询位置预测为原始位置的位移。这将生成最适合特定点云的全局SDF。直观地说，查询预测使我们能够灵活地搜索学习的本地上下文先验在整个先验空间，而不是被限制到固定的查询位置，这提高了泛化能力。我们的方法不需要地面真值符号距离，法线，或任何额外的过程中的符号距离融合重叠区域。我们在单一形状或复杂场景的表面重建实验结果显示，在广泛使用的基准下，通讯作者是刘玉申。这项工作得到了国家重点研发计划（2018YFB 0505400 ， 2020 YFF 0304100 ） ， 国 家 自 然 科 学 基 金（62072268），国家自然科学基金（1813583）和清华-快手未来媒体数据研究所的部分支持。S.代码和数据可以在https：//github上找到。com/maboutui/PredictableContextPrior.1. 介绍从3D点云的表面重建估计可以由各种3D传感器捕获的3D点云的连续表面。即使在最先进的深度学习模型的帮助下，这仍然是一个挑战。标准策略[1，14，19]是首先使用神经网络从点云[1，19]或从地面真实有符号距离[14]学习有符号距离函数（SDF），然后通过移动立方体[47]基于学习的SDF重建表面。然而，如果SDF被训练为在从全局3D形状之前捕获全局形状，则难以捕获局部几何细节。作为补救措施，最先进的方法从局部区域学习局部SDF [7，37，73]。全局形状通常分为重叠[37，73]或非重叠[7]部分，局部区域先验被学习为局部SDF，由神经网络表示，其中一些参数编码局部区域的几何形状。这种思想的直观性在于，局部区域先验将推广到各种不可见的局部重建目标，并且对于推理时的表面重建，其参数可以被优化以匹配特定位置处的重建目标。然而，匹配需要学习的局部区域之前，覆盖尽可能多的目标区域上的特定位置，这极大地限制了学习的局部先验的泛化能力。为了解决这个问题，我们建议学习SDF作为预测上下文先验，用于从点云进行高度准确的表面重建，如图1所示。具体来说，我们首先训练神经网络来表示跨大数据集的局部区域的局部SDF。 这旨在在局部坐标系统中捕获局部上下文，与先前的工作类似。我们的主要贡献是，在推理时的表面重建过程中，我们将预先训练的局部上下文先验指定为预测6327图1.我们从30万个点重建高度精确的表面。每个形状的前视图显示与正常的地图-S.与泊松的比较在补充材料中。通过学习Predic- tive算法，获得特定点云的上下文先验。更具体地，预测查询学习根据在特定点云的全局坐标系中给出的这是通过对全局坐标系中的一组查询进行采样，并学习预测局部SDF的查询以最小化表面重建误差来实现的直观地，学习预测局部SDF的查询位置允许我们在表面重建期间在最佳拟合给定点云之前更灵活地这进一步导致特定点云的全局SDF。我们的方法不需要地面真值符号距离，训练中的法线或任何额外的后处理。我们的贡献如下：i) 我们引入了一个神经网络架构，使用预测上下文先验知识来学习SDF，以便从点云进行表面通过学习预测查询来实现预测上下文先验。ii) 我们证明了预测性的先验知识使我们能够提高预训练的局部上下文先验知识的泛化能力，从而提高重建精度。iii) 我们报告国家的最先进的结果，在表面recruitc-tion的单一形状或复杂的场景下广泛使用的基准。2. 相关工作曲面重构已经研究了几十年。经典方法[5，39，47]不利用任何先前从大规模数据集学习的知识。随着深度学习的发展，数据驱动策略[9，2151，53-我们将重点回顾基于深度学习的方法的研究基于深度学习的曲面重建。现有技术的方法主要将重建目标表示为隐式函数[10，13，18，24，38，51，56，58，62，67，70，73]，这是由于SDF或占用字段在表示具有任意拓扑的高分辨率形状方面优于其他表示。为了揭示更详细的几何尝试，一种策略是利用更多的潜在代码[50，69]以捕获局部形状先验作为SDF [7，37，46]。这需要将点云分割成不同的体素，然后将每个体素中的点表示为由神经网络提取的潜在代码[37，46]或以自动解码方式学习的潜在代码[7，37]。这些方法需要对每个点进行归一化，以产生有符号距离作为优化的监督.给定地面真实有符号距离，Points2Surf [14]将局部补丁和整个点云上的采样点编码为形状先验，而DeepMLS [44]学习产生定向点以近似SDF。类似地，PatchNet [73]学习局部SDF来表示对位置，方向和尺度进行显式控制的补丁。Neural-pull [49]引入了一种通过将附近空间拉到表面上来学习SDF的新方法，这是通过使用网络预测SDF及其梯度来实现的。这消除了对地面实况法线或有符号距离的要求。引入类似的想法来学习无符号距离[11]，但需要使用其他方向移动密集采样以形成表面。此外，已经提出了用于表面重建的其他新方法，例如泊松求解器[59]的可微分公式，点卷积[6]和零件检索[66]。其他信息也被用来学习隐式函数[52，68，83]。Occupational用于在全局水平[36，68]或局部水平[52]捕获先验。Iso-points [83]试图在学习中引入几何感知采样和正则化。此外，隐函数也可以从具有附加约束的点云中学习，例如几何正则化[19]，具有专门设计的损失函数的符号不可知学习[1]，具有局部表面自相似性和后符号处理的符号不可知学习[71，85]，梯度约束[2]或发散惩罚[4]。从网格化的角度来看，也可以通过生成具有内在-外在度量的局部连接性[43]、点云的Delaunay三角测量[48]或从初始网格继承连接性[30]来重建表面。利用神经网络中的局部图表参数化，通过使用Wasserstein距离作为近似度量进行拟合来重建局部点云[79]。Deep Shape Prior. 除了上面回顾的先验，形状先验也可以通过神经网络中的参数来捕获-形状重建[3，16，20，21，25，28，34，65，74，82]，分段[45，60，61]和完成[32，33，76，80，84]。引入深度流形先验[17]来从随机初始化开始重建3D形状。3. 方法概况. 我们提供了一个概述我们的方法图。二、我们的目标是重建三维点云G.我们的方法包括以下三个阶段。6328（一）不我QSL神经隐式PointNetC拉力（火车）1θF函数sLθ21（b）第（1）款QGQ+神经查询θ3QL'S'G格神经隐函数C2拉F's'（试验）LG∇拉关于我们∈−∇θ1，θLL22地方ti本地上下文优先级全球目标G可预测上下文先验表面网格隐式网络作为本地SDF，使得在q1位置处的带符号距离s是，s= F（q，f）.（一）当地SDFF使用Predictable工具进行全球SDFFg进行曲l l立方体1.训练（详见图2（a））2.测试（详见图2（b））3.表面重建图2.我们的方法概述。为了消除训练中对地面真实符号距离值或法线的要求，我们最大限度地减少了Neural-pull [49]中引入的拉取成本，以训练本地SDFF。我们同时优化了θ1在Point-Net和θ2的关系。直觉是使用预测的沿着ql处的梯度s=<$F/<$ql的方向，到区域ti上的最近邻nn（ql）的带符号距离s。我们在训练中的目标是尽量减少成本C1，其中nn（ql）∈ti，minnn（q）−（q − s × s/s）。（二）图3.在（a）中，我们事先从每个局部区域ti学习局部上下文作为局部SDF F。我们通过预测与条件相关联的查询ql′，在重建G之前学习预测上下文fl′对于（b）中的F1. 在训练过程中，我们首先通过在局部区域集合T=ti，i[1，I]下训练神经隐式网络来学习局部上下文先验作为局部SDFF。 如图3（a）所示，神经隐式网络将F学习为从具有其对应条件fl的查询点ql到局部坐标系中的带符号距离s的映射2. 对于测试时的表面重建，我们通过学习预测查询将局部上下文先验专门化为特定点云G的预测上下文先验。预测上下文先验导致全局SDFFg来拟合点云G。具体地，学习的本地上下文先验是代表性的。2Predictive Context Prior. 对于测试时的表面重建，我们首先将学习到的局部上下文先验专门化为特定点云G的预测上下文先验。点云G位于没有归一化的全局坐标系中。我们训练了一个额外的神经查询网络，参数θ3专门用于G，其中我们保持神经网络参数θ2表示学习 的 局 部 上 下 文 先 验 固 定 。 这 导 致 了 一 个 全 局SDFFg，它捕获了我们用来重构G的表面的预测上下文。神经查询网络学习生成预测查询，即将全局坐标系中围绕G的查询点qg变换为学习的局部上下文先验覆盖的局部坐标系中的点q l ′。此外，神经查询网络还预测预测iv e查询q′的条件f ′。在这里，我们受到神经隐式网-l l′中固定参数所表示的工作，如图所示3（b）款。 我们训练了一个额外的神经查询网络来预测查询ql′和它们的条件fl′，以探索学习的局部上下文先验，这通过使我们能够灵活地搜索整个学习的先验空间来显著提高学习的局部先验的泛化能力。3. 最后，我们利用全局SDFFg使用行进立方体算法重建G的表面[47]。本地上下文优先。在图3（a）所示的训练期间，我们从局部点云tiT学习局部上下文先验作为局部坐标系中的局部SDFF我们使用神经隐式网络来学习ti的每个点周围的上下文对于一个局部点云ti，我们通过将ti的所有点以原点为中心进行归一化，然后线性缩放它们以使ti的边界框的最长边适合于范围为[ 0. 5，0。5]。这种标准化使得不同ti上的局部上下文彼此可比较。我们利用PointNet [60]来提取每个局部区域ti的特征fl。fl被认为是任何ResNet的思想[31]，并预测从qg到ql的移位q，ql′=qg+<$q.（三）神经查询网络背后的直觉是训练特定于点云G的网络，该网络能够操纵针对所学习的局部上下文先验的查询。这种预测相当于从学习的局部SDFF中灵活地搜索正确的信息，然后将它们组合在一起以拟合点云G。这导致全局SDFFg，其预测具有条件G的查询位置qg处的带符号距离s′，s′=Fg（qg，G）=F（ql′，fl′）.（四）类似于Eq。（2）在训练过程中，进一步优化神经查询网络的参数θ3，将全局坐标系中的查询qg拉到点云G上的最近邻nn（qg）。我们利用学习到的局部SDF来产生梯度，s′=ΔF/Δql′。因此，我们在测试期间的目标函数是最小化拉动成本当训练神经IM时，在Ti附近采样的查询点Q12拉下面，其中nn（qg）∈G，局部区域全球目标......SDFSDF梯度梯度C6329Q'yLQGXθ3∈--∇∇∇∇（一）（b）第（1）款（c）第（1）款′图5. 从查询中预测查询qlqg（b）。优化是可视化的在我们的视频补充。位置q′到由f′表示的局部区域，其中图4.目前的方法只能在一个l l′上搜索相似的区域。通过优化条件fl′在学习的先验空间中的特定位置ql′。虽然我们可以搜索整个先验空间，通过带符号的距离预测S和它的梯度s′。 如图所示。4（b），而不是在固定位置q′处搜索（优化f′），例如，同时优化ql′和fl′。L lminnn（qg）−（qg−s′×s′/s′<$2）<$2.（五）重建在我们使用等式学习神经查询网络中的参数θ3（5），我们保持神经隐式网络中的θ3和参数θ2固定，以产生点云G的全局SDFFg，然后使用移动立方体重建表面[47]。优化.我们 进行 的 优化 关于E-Q.（2）（训练）和Eq.（5）（推论）使用类似的程序。对于ti或G上的每个点p，我们在p周围随机采样40个查询ql。由于每个局部区域tiT上的点的数量不同，我们随机选择- 在ti周围选择2000ql，并将它们在ti上的最近邻居nn（ql）视为每个训练时期中PointNet的输入，其中随机性使局部上下文对噪声更加鲁棒。我们以过拟合的方式执行此优化，无论是在每个单个G上还是在多个点云上，每个qg的条件是一个热向量。直觉和优势。我们的预测上下文先验的直觉是利用从局部SDFF中学习的先验查询的不同位置处的信息来形成全局SDFFg，这显著提高了学习的局部上下文先验的泛化能力。一个广泛使用的策略，以探索本地上下文之前是使用自动解码器[25，37，58]，如图所示第4（a）段。自动编码器旨在优化可学习条件f′对于解码器，我们的神经查询网络可以调整查询位置，这使得在学习的局部上下文先验所覆盖的整个空间中搜索类似的拉动方式成为可能。显然，我们的优势是能够将特定位置的搜索转换为之前学习的上下文中的任何位置这一优点不仅显著提高了学习先验的泛化能力，而且显著降低了用于学习局部上下文先验的局部区域的要求，因为在训练期间容易观察到将点拉到任意局部区域周围的表面的各种方式我们进一步证明了我们的优势，在二维情况下。我们的目标是从图5（a）中的黑色圆圈学习的SDFF估计图5（a）中黄色正方形的SDFFg。5（a）在训练期间。在测试过程中，我们在黄色正方形所占据的空间中对查询点qg进行采样，如图中的彩色密集点5（b）。优化后，使用Eq. （5），我们可视化从等式（5）获得的预测查询ql′。 （3）在Fig. 5（c），其中eac hql′的颜色与相应的qg相同。颜色对应表明，出现在与x轴成4.5°角的半径上的ql′可以提供期望的s′，s′以得到在正方形上拉的相应的qg适当的符号距离s′和梯度s′与x轴的距离为45 °（图5（a）中的黑色箭头和图5（b）中的yel-10 w）。5（b）），如果ql′被拉到圆上，使用相同的s′，s′，而出现在圆上的ql′对应于正方形上的qg，两者都有0对于固定位置q′，我签了距离。这个例子表明，我们的方法可以l以最小化与地面实况s相比的带符号距离误差。这种优化相当于找到一个局部区域，其特征是fl′，在学习的局部上下文先验所覆盖的空间中，与位置ql′的距离最近由于特定位置ql′是固定的，因此仅当在局部上下文先验的学习期间已经看到由fl′表示的合格局部区域时才能保证性能，这是难以实现的。在测试过程中对各种不可见区域进行概括。显然，在不需要地面真值符号距离的情况下，我们的方法旨在找到一种类似的方法，在整个学习的局部上下文先验中灵活搜索，容易找到正确的先验信息。这显著地提高了我们的概括能力。4. 实验、分析和讨论4.1. 设置实作详细数据。 为了预测有符号距离值s，我们在最后一层使用没有激活函数的OccNet [51]。条件fl′或fl是512维的。学习局部上下文先验空间夫勒夫勒SQ'LF'L夫勒固定Q'L自动解码器S夫勒可学习（a）学习局部上下文先验空间夫勒Q'LQ'L夫勒F'Q'LLQ'L可学习夫勒Q'LS'我们夫勒可学习S'（b）第（1）款6330N×××神经查询网络是具有8层的前馈网络，其中前7层中的每一层具有512个具有ReLU激活函数的节点，而最后一层具有515个具有线性激活函数的节点，以预测512维条件fl′和3维查询ql′。我们将训练集中的每个3D形状或场景分开，在每个基准下根据其边界框划分为6× 3网格，其中位于每个网格中的点形成T中的局部区域ti。此外，我们使用与Neural-pull [49]相同的方法，分别围绕ti或G上的每个点p采样40个查询ql或qg，其中使用高斯函数（p，σ2）来计算采样概率，σ2是p在ti或G上的第50近邻。数据集。在3D形状的表面重建中，我们在三个数据集下评估了我们的方法，包括ABC [40]，FAMOUS [14]和ShapeNet [8]的子集。在场景的表面重建中，我们报告 了 两 个 数 据 集 下 的 结 果 ， 包 括 3D Scene [86] 和SceneNet [29]。在ShapeNet和ABC下，我们利用128× 3网格上的移动立方体来重建网格，而在FAMOUS、3DScene和SceneNet下，我们使用512× 3指标. 在ABC和FAMOUS数据集下，我们在重建网格上随机采样1 104个点，以使用L2-CD与输入点云进行比较，L2-CD与Points 2Surf [14]中的设置保持相同。 我们还按照MeshingPoint [43]报告了我们在ShapeNet [8]下的L1-CD，正常一致性（NC）[51]和F分数[72]方面的结果，以评估重建性能，其中我们评估了1在重建的形状上采样10 5个点，1 105ground truth points由OccNet发布[51]。F-score计算中的阈值μ为0.002，与MeshingPoint [43]和Neural-pull[49]相同。在3D Scene [86]数据集下，我们遵循DeepLS [7]来报告重建网格和地面真实网格之间的误差。以mm为单位的误差是从每个重建顶点到地面实况网格上其最近三角形的我们还生产了L1-CD、L2-CD和正常浓度，以与其他公司进行比较。在SceneNet [29]数据集下，我们遵循LIG [37]报告重建 网 格 上 不 同 采 样 密 度 下 的 L1-CD 、 正 态 一 致 性（NC）[51]和F分数[72]，例如每平方米20、100、500和1000个点，其中F分数计算中的阈值µs为0.025 m，与LIG[37]相同。4.2. 单曲面ShapeNet下的评估。我们首先报告了我们在ShapeNet子集下的数值比较，通过在Tab中的L2-CD方面与非数据驱动和最新的数据驱动方法进行比较。1、表中一致性正常。2，和F-分数与阈值μ在表中。3，和2µ在选项卡中。4.第一章 比较的方法包括Poisson Sur-类PSRDMCBPAAtlasDMCDSDFDGPMeshPNUDSALDNP我们显示灯飞机柜船舶桌椅沙发0.2730.2270.2170.3630.2540.3830.2930.2760.2690.2440.1710.3730.2280.3750.2830.2660.0930.0600.0590.2920.0780.1200.0990.1241.0941.9881.0111.6610.9971.3111.5751.3070.6623.3772.2050.7662.4871.1281.0470.7630.3170.9551.0430.9211.2540.6600.4830.4960.2930.1670.2000.2370.1990.3330.2190.1740.0690.0530.0490.1120.0610.0760.0710.0800.0770.0750.0760.0410.0790.0670.0630.071-0.0710.054--0.0660.0610.0580.0390.0800.0080.0260.0220.0600.0540.0120.00870.03800.00650.01530.00790.01310.01100.0086是说0.2860.2760.1161.3681.5540.7660.2280.0710.0690.0620.0380.0136表1. ShapeNet下的L2-CD（×100类PSRDMCBPAAtlasDMCDSDFMeshPLIGIMNETNP我们显示0.8890.8420.9520.8280.8820.9320.9740.9260.5740.9640.9775灯0.8760.8720.9510.5930.7250.8640.9630.8820.5920.9300.9450飞机0.8480.8350.9260.7370.7160.8720.9550.8170.5500.9470.9490内阁0.8800.8270.8360.6820.8450.8720.9570.9480.7000.9300.9600容器0.8610.8310.9170.6710.7060.8410.9530.8470.5740.9410.9546表0.8330.8090.9190.7830.8310.9010.9620.9360.7020.9080.9595椅子0.8500.8180.9380.6380.7940.8860.9620.9200.8200.9370.9580沙发0.8920.8510.9400.6330.8500.9060.9710.9440.8180.9510.9680是说0.8660.8360.9230.6950.7940.8840.9620.9030.6660.9390.9590表2. ShapeNet下的正态一致性比较类PSRDMCBPAAtlasDMCDSDFDGPMeshPNUDLIGIMNETNP我们显示灯具飞机柜容器桌椅沙发0.4680.4550.4150.3920.4150.2330.3820.4990.4950.5180.4420.3920.4660.2870.4330.5350.8340.8260.7880.5530.7890.7720.8020.7860.0710.0290.0700.0770.0580.0800.0500.0580.1080.0470.0500.1540.0550.0950.0880.1290.6320.2680.3500.5730.3230.5770.4470.5770.4170.4050.2490.5130.3870.3070.4810.6380.9030.8550.8440.8600.8620.8800.8750.8950.9030.8880.8720.9500.8830.9080.9130.9450.5510.6240.5640.7330.4670.8440.7100.8220.6010.8360.6980.3430.1470.4250.1810.1990.9890.8910.9960.9800.9850.9220.9540.9680.99390.93820.99420.98880.99350.99690.99700.9943是说0.4070.4460.7690.0620.0910.4680.4250.8720.9080.6640.4290.9610.9871表3. ShapeNet下的F分数（µ类PSRDMCBPAAtlasDMCDSDFDGPMeshPNUDNP我们显示0.6660.6690.9290.1790.2460.7870.6070.9750.9440.9910.9958灯0.6480.6810.9340.0770.1130.4780.6620.9510.9450.9240.9402飞机0.6190.6390.9140.1790.2890.5660.5150.9460.9440.9970.9972内阁0.5980.5910.7060.1950.1280.6940.7380.9460.9800.9890.9939容器0.6330.6470.9060.1530.1200.5090.6480.9560.9450.9900.9958表0.4420.4620.8860.1950.2210.7430.4940.9630.9220.9730.9985椅子0.6170.6150.9130.1340.3450.6650.6930.9640.9540.9690.9991沙发0.7250.7080.8950.1530.2080.7340.8340.9720.9680.9740.9987是说0.6180.6260.8850.1580.2090.6470.6490.9590.9500.9760.9899表4. ShapeNet下的F评分（2µ人脸重建（PSR）[39]、球旋转算法（BPA）[5]、神经网络（ATLAS）[20]、深度几何先验（DGP）[79]、深度行进立方体（DMC）[42]、DeepS-DF（DSDF）[58]、网格P [43]、神经无符号距离（NUD）[11]、SALD [2]、局部隐式网格（LIG）[37]、IM-[ 10 ][11][12][13][14][15][16]重建精度见表1。1表明，我们的方法揭示了最准确的表面从点云，即使在一些具有挑战性的类，如灯，椅子和桌子。尽管我们实现了与Tab中的MeshP相当的正态一致性。2、我们不需要像MeshP那样密集和干净的点云。此外，我们的方法优于所有基于隐式函数的方法，包括DSDF [58]，NUD [11]，SALD [2]，LIG[37]，IMNET [10]，[49]第四十九话1和2，这证明了我们的能力，杠杆-老化先验信息在一个更有效的方式。此外，我们还与其他方法进行了比较，这些方法报告了ShapeNet下子集的L1-CD重建精度。五、这些方法 包 括 3DR 2 [12] 、 PSGN [15] 、 DMC [42] 、Occupational Net-工 作 （ OccNet ） [51] ， SSRNet [52] ， DDT [48] 和 NP[49]。我们还在标签底部的每个相关类别下报告了我们的准确性五、这种比较进一步证明了我们以高精度重建表面的能力。我们在图6中直观地比较了P2S和NP。我们提出了更准确的几何上的完整的表面，而P2S无法重建完整的表面。根据ABC和FAMOUS进行评价。 选项卡. 6份报告-6331这是ABC和FAMOUS数据集与6332ABC和FAMOUS通过添加不同的噪声水平或改变点密度，这是由P2S释放[14]。L2-CD比较见表1。7表明，我们的方法也善于抵抗剧烈的噪声和密度变化，并且与其他方法相比仍然实现了最佳性能。图6. ShapeNet数据集下的可视化比较。3DR2PSGNDMCOccNetSSRNet滴滴涕NP我们0.1690.2020.1170.0790.0240.0200.0110.0077显示灯飞机内阁容器表椅子沙发0.00730.00820.00570.00810.00710.00830.00800.0088表5. L1-CD重建精度IGR Points2Surf神经牵引我们的GT图7. FAMOUS数据集下的可视化比较。IGRPoint2Surf神经牵引我们GT图8. ABC数据集下的可视化比较。DeepSDF（DSDF）[58]，DasNet（ATLAS）[20]，PSR [39]，点2Surf（P2S）[14]，IGR [19]，神经牵拉（NP）[49]和IMLS [44]。数值比较表明，我们的方法显着优于其他方法。通过与FAMOUS下的I-GR、P2 S和NP的直观对比，我们也突出了我们的优势。图7和图8中的ABC下，其中我们的重建呈现了具有任意拓扑的更多几何细节。我们还评估了我们的方法下的一些变种表6. L2-CD重建精度（×100）。数据集DSDFAtlasPSRP2sNPIMLS我们ABC无功噪声12.514.043.292.140.720.5660.488ABC最大噪声11.344.473.892.761.240.6750.571F-中噪声9.894.541.801.510.280.7980.071F最大噪声13.174.143.412.520.310.3870.298F-稀疏10.414.912.171.930.84-0.083F-Dense9.494.351.601.330.22-0.087是说11.734.303.102.230.60-0.266表7. L2-CD的噪声和密度（×100）。4.3. 场景的曲面重建3D场景下的评估 我们首先通过比较MPU [57]，卷积OccNet （ Con-vOcc ） [68] ， 局 部 隐 式 网 格 （ LIG ）[37] ， 深 度 局 部 形 状 （ DeepLS ） [7] 和 Neural-Pull（NP）[49]来评估我们的方法。8.我们使用MPU和NP的 of-cup 代 码 来 生 成 结 果 ， 同 时 使 用 作 者 训 练 的ConvOcc和LIG以及点云的法线来报告结果，其中我们不使用LIG中的后处理进行公平比较。选项卡. 8表明，我们的方法可以在不同度量方面实现比这些最先进的方法高得多的准确性，其中我们也不需要像LIG和DeepLS那样的通过图1A中的视觉比较进一步证明了对现有技术的改进。9 .第九条。在SceneNet下进行评价 我们将我们的方法与ConvOcc[68]，LIG [37]和NP [49]在SceneNet中的5个类下进行比较。我们通过使用NP的代码对其进行训练来产生NP的结果Tab中的五个类中的每个类的结果9表明，我们的方法在不同的输入点密度下达到最佳我们在图11中的视觉比较进一步表明，我们的方法可以在复杂场景中重建更详细的表面。真正的扫描重建。我们还显示了一个真正的扫描场景在我们的视频和文字补充表面重建比较。4.4. 分析与探讨我们证明了我们的网络中的每个元素的有效性，并探讨了一些重要的参数对性能的影响，在ABC数据集的L2- CD和正常的一致性。MeshP神经牵拉我们GTMeshP神经牵拉我们GT数据集DSDFAtlasPSRP2sIGRNP我们ABC著名8.4110.084.694.692.491.671.801.410.511.650.480.220.2000.044是说9.254.692.081.611.080.350.1226333(a)ConvOcc(b)LIG(c)神经牵拉(d)我们(e)GT图9.与3D场景数据集下的最新技术水平进行视觉比较。Burghers卢恩葛版权声明oom石壁图腾极L2CDL1CD规范误差L2CDL1CD规范误差L2CDL1CD规范误差L2CDL1CD规范误差L2CDL1CD规范误差MPU775.040.4560.720894.95203.870.2060.817203.8729.180.0620.832110.36680.860.4280.800486.701652.250.6710.7631328.80ConvOcc26.690.0770.865354.608.680.0420.85773.2010.990.0450.84879.6819.120.0660.866120.611.160.0160.92521.56LIG0.8390.0180.90428.700.7890.0170.91028.200.9060.0180.91030.501.080.0200.92833.651.370.0230.91738.90DeepLS---5.74---7.38---10.09---6.45---8.97NP1.760.0100.88311.2339.710.0590.85798.030.510.0110.8848.760.0630.0070.8686.840.190.0100.76510.21我们0.2670.0080.9149.280.0610.0060.9286.760.0760.0070.9187.760.0610.00650.8886.330.100.0080.7848.36表8.三维场景下的曲面重建. L2-CD×1000.Norm是normal consistency的缩写误差单位为mm。消融研究。 我们报告消融研究表。10个。首先，我们通过从网络中删除预测移位的有效性来强调预测移位的有效性。 我们首先尝试直接使用全局坐标系中的查询qg作为ql′。 我们发现，性能急剧退化，如“无“所示。然后，我们推动神经查询网络直接预测ql′。 但是，正如“直接问“所示，性能仍然下降。 这两个结果说明了学习者的智商在学习中的重要性。因此对高精度的曲面重建起着重要的作用。我们首先通过删除图3（a）中所示的训练过程来强调局部上下文先验的重要性。我们通过同时优化神经查询网络中的参数θ3和图1所示的神经隐式网络中的参数θ2来过拟合全局点云G3（b）款。选项卡中的“无先验”结果11显示，性能显着下降相比，此外，即使在学习到本地上下文之前，此外，我们通过去除2.221.81.61.4× 10- 3作为初始化，如果我们同时调整θ2和θ3，如图3（b）所示，“调谐θ 2 + θ 3“的结果这些实验证明了专业化在利用学习到的先验知识方面的重要性。它 从 的 输出神经查询网络。我们首 先 利 用 类 似 于DeepSDF的自动解码[58]来学习1.210.80.6020406080100120140160180 200时代表11. ABC下的专业化效果。L2-CD×1000。规范地方政府。 我们发现正常化fl′。结果“fl′图10.损失与先前从不同地区学习。局部区域ti在T中的位置稍微影响本地上下文优先。如前所述，我们将不能很好地与可学习的学习者互动。然后，我们尝试使用训练好的PointNet中的fl来代替fl′，但“No f l ′ + f l“的结果 这些实验表明，可学习条件fl′只有在与其对应的查询ql′一起优化时才有效。不，不，直接ql′没有fl′无fl′+fl我们L2-CD正常3.130.9242.780.9354.030.9084.210.9012.0900.945表10. ABC下的消融研究。L2-CD×1000。专业化上下文优先级。我们发现，将局部上下文先验专门化为预测上下文先验，ti通过在局部坐标系中居中和缩放它透射电镜我们报告的效果，居中和缩放的性能在选项卡。12，这表明居中和缩放都有助于提高性能。无标准化仅定心唯规模我们L2-CD正常2.830.93602.130.94102.670.93802.090.9446表12. ABC下的正常化效果。L2-CD×1000。获取本地区域ti。我们还探讨了局部区域的大小如何影响局部上下文先验的学习。我们尝试将训练集中的每个点云拆分为不同数量的部分，例如{03，43，63，83}，来自所有训练形状的局部区域来自单个测试形状损失没有事先调节θ2+θ3我们的专长L2-CD4.043.602.09正常0.92000.92500.94466334客厅浴室卧室厨房办公室是说L1CD规范FScoreL1CD规范FScoreL1CD规范FScoreL1CD规范FScoreL1CD规范FScoreL1CD规范FScore20个/平方米LIGNP0.0320.0680.7190.8270.7900.7180.0300.0720.7370.7160.8070.6580.0290.0440.7350.7820.8180.7400.0290.0690.7270.7200.8170.6890.0330.0660.7370.8340.8050.6630.0300.0370.7300.7760.8080.693我们0.0270.8350.8560.0320.7490.8010.0280.8000.8420.0330.7370.8260.0290.8610.8290.0290.7960.831100个/平方米LIGNP0.0190.0690.9220.8830.9190.7990.0180.0280.9300.9070.9150.8930.0170.0320.9180.8900.9200.8780.0160.0420.9200.8960.9360.8380.02