无向点云形状重构中的发散引导图像表示学习方法

19323DiGS：无方向点云Yizhak Ben-Shabat1，2，3*Chamin Hewa Koneputugodage2，3*StephenGould2，31 Technion以色列理工学院2澳大利亚国立大学澳大利亚机器人视觉中心Australian Centre for Robotic Vision{yizhak.benshabat，chamin.hewa，stephen.gould} @ anu.edu.au摘要形状内隐神经表征（INRs）在形状分析和重构任务中是有效的。现有的INR需要点坐标来学习形状的隐式水平集。当法向量可用于每个点时，可以学习更高保真度的表示，但是法向量通常不作为原始数据提供。此外，该方法在本文中，我们提出了一种发散引导的形状表示学习方法，不需要法向量作为输入。我们表明，将软约束的距离函数的发散有利于顺利的解决方案，可靠地定向梯度匹配未知的正常在每个点，在某些情况下，甚至比直接使用地面真实法向量的方法。此外，我们还介绍了一种新的几何初始化方法的正弦INR，进一步提高了收敛到所需的解决方案。我们评估了我们的方法在表面重构和形状空间学习任务上的有效性，并与其他无方向方法相比显示了SOTA代码和模型参数可在我们的项目页面https://chumbyte.github.io/DiGS-Site/网站。1. 介绍从三维点样本重构曲面是计算机视觉和计算机图形学中的一个研究热点最近，神经网络已被用于学习隐式神经表示（INR），其可用于重建底层表面[2，3，16，17，29，34，36，37，42]，我们将其称为形状INR。这些方法通常使用回归设置中的估计或已知体积隐式表示[16，29，34]或使用*同等贡献图1.玩具2D的例子。给定在形状上采样的无方向输入点云，我们使用几何初始化和发散惩罚损失来训练形状隐式神经表示，该发散惩罚损失来自于观察到在大多数位置中符号距离函数的发散应该是低的。具有或不具有额外3D监督的表面3D点（例如，正常数据）[2，3，17，37]直接回归函数。由于难以优化回归模型以拟合高保真度曲面，大多数方法使用法向数据。然而，来自扫描的原始3D点云通常是无定向的，因此不具有法向量，因此需要预处理估计阶段。虽然有些方法允许正常的监督缺席[17，37]，但我们表明，如果没有它，它们的性能会显着下降。虽然在正常估计算法[5，6，19，25]中已经有了显著的进步，但所有这些算法都产生了无方向和有噪声的预测。这对现有的基于法线的形状INR学习方法提出了很大的挑战。在这项工作中，我们介绍了一种发散引导的形状隐式神经表征学习方法（DiGS INR），它使用原始3D点数据进行监督，而无需任何预处理阶段。我们的方法的动机是观察，如图1所示，即有符号距离函数（由网络产生）的梯度向量场几乎在任何地方都具有低发散性我们将此几何先验作为损失函数中的软约束，并在训练过程中对其进行退火。这需要一个具有连续二阶导数的网络架构，例如SIREN [37]（我们使用），而不是19324许多以前的作品使用ReLU多层缓存器（MLP）。此外，我们提出了两种新的几何驱动的初始化方法，这种架构设置初始零水平集（即，估计形状我们在表面重建和形状空间学习的任务上测试DiGS ， 并 使 用 来 自 表 面 重 建 基 准 （ SRB ） [7] ，DFAUST [10]和ShapeNet [15]数据集的形状，这些数据集由具有挑战属性的形状组成，例如，拓扑复杂性、非均匀采样、配准错位、缺失数据和不同特征尺寸（细节层次）。我们表明，我们的方法遭受很少，如果有的话，没有正常的监督和执行标准杆，有时比国家的最先进的方法，使用法线。重要的是，它的性能显着优于其他方法，工作在无方向的点云。本文的主要贡献是：• 引入发散引导的形状INR学习，其结合软二阶导数约束来引导INR学习过程。• 推导出两种新的几何初始化方法，用于基于正弦曲线的形状INR网络，从而获得更好的表示。2. 相关工作表面重建。从点云数据重构曲面是一个研究了多年的难题。其主要挑战包括（1）不均匀的点采样，（2）由于采样不准确、扫描配准未对准和法线估计误差而导致的噪声点位置和法线，以及（3）由于遮挡而导致的表面部分中的数据缺失重建方法试图克服这些挑战，并推断未知的下垫面。用于重建的经典组合方法包括三角测量方法[13，24]，α形状[9]和Voronoi图[1]。基于经典隐式函数的方法包括分段多项式函数[32，33]、求和径向基函数[12]以及求解泊松方程以找到全局指示函数[22，23]。对于经典的表面重建方法更深入的调查，我们建议读者伯杰等人。[8]的一项建议。最近，与这项工作更相关的是，已经提出了基于学习的神经网络方法。这些方法包括学习从参数空间到表面区域的映射的参数方法[18，44]，学习规则网格上的隐式体积函数的方法[21，40]，学习形状的隐式神经表示（INR）的方法以及最近的可区分点到网格优化层[35]。塑造内隐神经表征（INRs）。神经网络已经被证明是非常有效的代表形状作为隐函数[2，3，17，26，29，30，34，37，39，45，46]，和场景[4，20，36，38]。 这些网络经过训练为了输出带符号距离函数[234，37，38，45，46]，占用函数[29，36，39]，或者最近统一两者的表示[26]。我们的方法使用一个符号距离函数（SDF）来表示形状。DeepSDF推广了SDFs的形状INR [34]。然而，对于离面点，它们需要地面实况以确定它们是否在形状内部/外部（即SDF的符号），这是不真实的。tic.SAL [2]通过使用不需要额外3D监督的符号不可知训练方法对此进行了改进，SALD [3]表明使用表面上点的地面真实法线IGR [17]引入了一个重要的基于程函方程的损失项，以将学习函数正则化为SDF，可以使用或不使用法线。NSP [45]将任务框架为内核回归问题，其中所选择的内核FFN [39]和SIREN [37]证明，使用传统MLP的INR偏向低频解决方案，因此明确将高频引入其架构中。FFN（学习占用隐式函数）使用具有傅立叶特征层的ReLU MLP，而SIREN使用周期性（特定正弦）激活函数。后者的好处是，二阶导数（实际上是所有阶数）是定义和连续的，这允许我们在本文中使用的高阶监督。另一方面，DeepSDF，SAL使用ReLU进行激活，因此这些方法无法做到这一点。地面真实正常信息通常在真实世界、原始扫描数据中不可用，并且必须进行噪声估计。请注意，除SAL（和使用其他不切实际的地面实况信息的DeepSDF）外，所有这些方法都报告了具有地面实况正常信息的结果。从技术上讲，IGR和SIREN可以在没有这些信息的情况下运行，方法是在它们的总损耗中去掉相应的损耗项，但我们在第6节中的实验结果表明，在没有这些信息的情况下，per-total显著下降。另一方面，我们表明，如果没有正常的信息，我们的方法不会显着降低性能，实际上并不等同于使用法线的方法。并行工作包括IDF [46]和PHASE [26]。IDFs扩展SIREN以明确地分解学习形状的高频和低频，并且通过将局部高频作为低频SIREN的法线方向上的位移来组合。PHASE引入了一个损失，它学习一个密度函数，其极限是一个概率，其对数变换是一个SDF。他们还介绍了一个没有地面实况正常监督的版本，PHASE+FF，它使用FFN的傅立叶特征[39]。初始化形状INR。因为找到好的形状隐式表示是困难的，这是由于19325n√›→TERSθ=≈ ∥ ∥w n，bn，W n−1，b n−1，. -是的- 是的 w1，b1其中Wi∈∈ ∈∈任务[8]，许多方法引入初始化或正则化以偏向有利的解决方案[2，3，17]。SAL [2]介绍了ReLU MLP的几何初始化，它仔细选择特定层中的初始权重（或初始权重的分布），以使初始函数近似为到r半径球体的有符号距离函数。 这种初始化已被证明具有有利于重建的特性，例如对象内和对象外符号的一致性。对于SIREN，为了训练更深层次的一般INR网络，Sitzmannet al. [37]提出了一种初始化，通过其层保留激活的分布然而，对于形状INR，这种初始化缺乏几何基础，有时会导致不需要的重影几何。在本文中，我们提出了两个新的SIREN的初始化，扩展了几何初始化的概念，周期性激活，并表明，高频率的初始化是捕捉细节的重要。3. 发散引导形状INR我们使用平滑到锐化的方法，使梯度向量场在训练过程中保持高度一致（见图2）。特别是，它允许我们在没有正常信息的情况下学习一个好的隐式表示。拟议的培训程序包括以下四个步骤，将在后续章节中详细介绍：• 几何初始化。 初始化为球体，偏置-使函数以正的SDF开始图2. DiGS（上）和SIREN（下）的四个不同训练迭代（从左到右）的结果。4. SIREN的几何初始化我们现在详细介绍SIREN的两个几何激励初始化，如图3所示。变成一个球体。我们的方法的一个关键组成部分是一个几何上有意义的初始化SIREN的参数，使初始的有符号的距离函数近似是一个r-半径球。让我们考虑一个由下式指定的SIREN：Φ（x; θ）= wT（n− 2. - 是的- 是的 （x）+bn，其中n（xi）= sin（Wixi+ bi）（1）其中：RMi→RNi 是网络的第i层，w i.th输入xi∈RMi（所以x0=x）和parame-远离物体，在物体对象具有高频率（以可控的方式）。• 高发散阶段。 引导模型朝向粗糙形状的平滑重建。重要的是，这可以防止模型过早地拟合到细节。• 退火发散阶段。慢慢地允许细节出现，同时仍然学习一个函数，平滑地改变法线。• 低发散阶段。允许出现非常精细的细节，如尖角，并使函数尽可能多地插值原始数据（点云样本）（同时最小化Eikonal项）。发散损失的高权重产生非常平滑的SDF函数，导致过度平滑的重建。然而，学习这种平滑表示可以RNi×Mi，biRNi，wnRMn，bnR.而不是...使用平滑SIREN近似范数，我们改为ap.接近更易处理的有符号平方范数[43]，并将以下函数应用于SIREN的输出：v（d）= sign（d）|D|+ ε。（二）因此，我们开发了网络参数的初始化，θ = θ 0，使得ν（Φ（x ;θ 0））在单位球内x等于x注意单位球的平移和缩放是点云的标准，因此我们只对该区域内的INR感兴趣。然后我们手动减去r，初始化为一个半径为r的球体.下面的命题显示了一个单一的隐藏层SIREN，其中我们近似z z2使用translated正弦波（见补充证明）。4.1号提案设Φ是维度Mn的单个隐藏层SIREN（在等式 1 中 n= 1 ） ， 并 且 设 x 是 单 位 球 内 的 点 。 设Wn−1=πI，bn−1=π1，快速而有力地。 在补充材料中，我们w=-1，b2=M。那么，ν（Φ（x））2x100。提供一个视频，展示这一过程对n n n的影响≈ ∥2在不同迭代步骤的重建。我们将迭代总数分别分为50%、25%和25%，用于高、退火和低发散阶段。为了将其扩展到具有任意层数的网络，我们设计了保持期望w.r.t. 层的权重：E[i（xi）2]=xi2，所以xi+12xi2。我们通过对Siren wo n我们的DiGS19326n×n个权矩阵，W=w∈R，WR得双曲余切值.4WR≈得双曲余切值.IJ1ΣΣcwr，cwr0≤j≤kr，0≤i≤kr联合−sc1，sc1否则，WRWR.Σ−CWRCWR[37]第37话我的世界图3. 拟议几何图形的SDF可视化元素达到np个周期。然后，为了使我们的几何初始化仍然有效，我们缩小了1N1M1IJ将向量的多周期部分乘以因子s= 10−3。这可以概括为：0的情况。联合−c000≤j≤kr初始化和多频几何初始化（MFGI）与Sitzmannet al. [37 ]第37段。wijwijU −np0，np0否则. 联合-11米WRWR（三）图4.我们的几何初始化和MFGI的插图。在范围[cii]（定义如下）内均匀加权矩阵，这使得行近似正交。这也保留了所有层中激活的分布类型（参见Sitzmannet al. [37]）。将命题4.1应用于最后两层，得到以下命题（见图4）。提案4.2. 设Φ是n-隐藏层SIREN（等式1）从RM0映射 →R. 且dx2≤1。设置WR得双曲余切值.WRWR在我们的实验中，我们发现，0就足够了。初始化的可视化。图3显示了与SIREN [37]中针对每层128个节点的4层SIREN提出的初始化相比引入的两个初始化。请注意，SIREN的初始化具有几乎处处为零的SDF和梯度向量范数。另一方面，我们的几何初始化具有类似球体的水平集，这提供了平滑和理想的程函项和发散项（参见这些组件的可视化补充）。 我们的MFGI初始化是我们的几何初始化的噪声版本，其中噪声量可以通过np，kr和s进行调整。5. DiGS损失5.1.现有损失函数组件和设置著名的神经隐式表示方法[2，3，17，34，37]训练具有参数θ的神经网络以输出我也是。−ciii，ci=3Mi+1，bi= 0为一个SDFΦ（x;θ）到底层（未知）0≤i≤n−2且Wn−1=πI，bn−1=π1，wn = −1对每个给定的点x ∈ R3都有形状。他们需要几个2 2且bn=Mn。则ν（Φ（x））x2。我们用小的高斯噪声扰动命题4.2中的所有常数参数以促进学习。然而，由于这种初始化将所有激活保持在正弦的第一 周 期 内 ， 因 此 实 际 上 以 这 种 方 式 初 始 化 的SIRENSitzmann等人[37]也注意到这个问题，并特别将第一层的权重矩阵缩放ω0= 30，以达到30个周期，从而通过网络提供多个频率。为了克服这个问题，我们提出了多频几何初始化（MFGI）。多频几何初始化（MFGI）。 我们使用命题4.2的几何初始化进行初始化，并以受控的方式将高频引入第一层（该方法的说明见图4）。具体地说，我们保持权矩阵W0=w0∈RN0×M0的前kr行的初始化−损失函数在训练时以某些方式约束学习函数：（A）流形约束：表面流形上的点应该在函数的零水平集上注意，（A）和（C）是必要的，（B）和（D）用于改善结果。我们的方法使用与SIREN [37]相同的网络架构和给定域φ和曲面流形φ0，他们将上述损失函数定义为：∫∥ ∥根据命题4.2，对于最后N0kr行，我们将初始化值缩放np= 30。这意味着第一层后的输出，x1∈RN0，有它的第一个kr元素只命中一个周期，其余的N0−krLA=LB=Φ（x;θ）2dx（4）Ω0（1−xΦ（x;θ），nGT（x）<$）dx（5）Ω0∫193272∇· ∇∇ ∇ × ∇\divXX我们使用λdiv = 100，τ是退火因子，LC2=0∫LD=|简体中文（CN）|dx(6)exp（−α |Φ（x; θ）|），α_1。（七）这导致我们提出的DiGS损失，由下式给出：LDiGS=LSIREN wo n+τλdivLdiv（11）总之，SIREN的最终损失由上述所有项的加权和给出：LSIREN=λALA+λBLB+λC2LC2+λDLD（8）其中（λA，λB，λC2，λD）=（3000，100，50，100），如Sitzmann et al.[37 ]第37段。对（B）和（C1）的监督要么不太可能在实践中实现，要么成本很高。Gropp等人[17]然而，证明（C1）可以被（C2）代替，这是PDE理论中的一个流行约束，称为Eikonal方程，它不需要额外的数据。事实上，给定连续的（并且充分良好表现的）边界约束（A），求解由Eikonal方程定义的PDE的粘性解将是唯一的（即，只有（A）和（C2）在第3节讨论。请注意，我们的方法只能用于具有非零二阶导数的激活函数（如SIREN）的架构。基于ReLU的网络不会受到发散约束的影响。5.3.最大限度地减少分歧作为正规化我们现在通过证明它等价于正则化学习函数来证明等式10中的损失是合理的。我们可以通过使用Dirichlet能量来量化学习函数空间上函数Φ的狄利克雷能量给出了函数光滑或可变程度的概念[11]（其中较低意味着更光滑），定义为是必要的）。然而，实践中的困难在于，约束（A）仅在离散点处被定义，导致无穷多个解，因此需要其他解。E[Φ] =12Φ（x）（十二）Ω约束，以指导有利的解决方案（特别是（B））。我们观察并处理了另一个问题（我们在5.3节中强调了这个问题）：我们的损失函数（以及约束）只能在域内有限的离散点上进行计算。因此，我们的解决方案的质量在很大程度上取决于我们的方法的采样密度，以及我们的损失如何有效地约束周围区域。虽然我们不能增加我们作为（A）的监督而得到的离散点的数量，但（B）通过添加更高阶的信息（但需要额外的监督）极大地限制了函数空间。我们现在对（C）做同样的事情，而不需要额外的监督，并表明它甚至可以消除对（B）的需要。请注意，为了与没有正常监督的基准进行比较，（B）我们也可以定义LSIREN=λALA+λ C2 L C2 + λDLD.（九）5.2.二阶无监督约束我们转向二阶信息，以进一步限制SDF围绕每个样本的范围。给定梯度向量场Φ，我们可以计算它的旋度Φ和散度Φ：=Φ（注意，这也被称为底层标量场Φ的拉普拉斯算子）[28]。任何梯度向量场的旋度处处为零，所以它不给我们任何信息。然而，我们可以观察到，对于地面实况SDF，在该领域的大多数区域，分歧的幅度因此，我们可以对发散的大小施加惩罚，即，L=∫|φ（x; θ）|dx =0| n·nΦ（x; θ）|DX.∫联系我们Ω19328×-∈ {}{}为了最小化关于我们的约束（A）-（D）的这一点足以找到满足我们的条件的函数，其发散的幅度尽可能小，即，最小化方程10中的发散项Ldiv（参见补充材料以获得证明）。为什么不把狄利克雷能量作为损失函数显式地最小化呢？事实上，这样做是多余的，因为我们的Eikonal项（6）：如果梯度被约束为在采样点上具有单位范数，那么狄利克雷能量，只要可以从这些采样点确定，就已经确定了。然而，我们认为，增加我们的发散项比只增加Eikonal项更能减少我们在整个空间中学习函数的可变性。这样做的原因是，由于其二阶性质，它更多地约束局部区域。这也可以由发散定理[31]（见补充的详细讨论）。我们用下面的玩具问题来证明这一点。考虑学习SDF的问题y= 0，其中线以下为负，即Φ（（x，y））=y。我们用点约束（A）和Eikonal项（C2）训练一个2层SIREN，然后添加我们的发散约束进行比较。对于点约束，我们采样10点的线y= 1，y=0和y= 1（x0，1），并为Eikonal和发散约束，我们采样的nn网格。我们对n20，200重复实验，并在更精细的mm网格（m= 1000）上评估我们的学习函数我们用不同的随机初始化重复这四个实验20次。结果见表1，我们报告了平均Dirichlet ener gyE<$=f2，平均梯度-联系我们联系我们（十）ent范数2f. 我们19329XSX损失网格大小E= f¯22A+C2∥∇f∥2σ（σfσ2）A+C2 + Div20x20 3.37± 3.89 1.46± 0.76 0.69± 0.4320x20 4.32± 3.07 1.63±0.51 1.05 ± 0.56A+C2 200x200 3.58± 3.55 1.51±0.54 0.85 ± 0.52A+C2 + Div 200x2001.37±1.35 1.04±0.390.22 ± 0.33表1.玩具问题的结果。比较平均Dirichlet能量和平均梯度范数。发散项显著提高了性能。10.506.1. 曲面重构无方向点云的曲面重构任务具体如下。给定一个输入点云R3，找到从中采样的表面点集通常由3D扫描仪获取，3D扫描仪引入各种类型的数据损坏，例如，噪声、遮挡、非均匀采样。我们在表面重建基准上评估了我们的方法[7]和ShapeNet [15]。我们将我们的结果与最近的主要方法进行了比较，其中大多数方法的性能优于经典方法，包括SAL [2]，IGR [17]，SIREN [37]，DGP [44]-0.5−10 0.5 1.50 0.5 1NSP [45]。请注意，除了SAL之外，这些方法使用正常矢量监督报告结果，因此为了公平比较，我们在没有法向量损失项（注意，不能做图5.在200x200网格上为玩具问题绘制SDF轮廓线。有（右）和无（左）发散损失项。还可以在图5中可视化其中一个重复的学习SDF。结果表明，加入发散约束后，不仅降低了平均Dirichlet能量，表明学习函数的变量更少，而且使学习函数更忠实于Eikonal约束.这也可以在可视化中看到，其中水平集轮廓变化较小并且具有更一致的间距。补充中提供了更多的可视化6. 实验我们评估我们的方法上的表面重建和形状空间学习的 任 务 。 我 们 在 Surface Reconstruction Benchmark（SRB）[7]、ShapeNet [15]和Sitzmann等人的场景[37]而后者则是在《浮士德》[10]上。在这两个任务中，我们使用行进立方体算法提取表示形状INR的零水平集的网格[27]。我们遵循与IGR [17]中相同的网格生成过程，并使用最短轴为512个元素的网格，紧密贴合形状（使网格范围适应输入扫描边界框）。除非另有说明，否则我们使用与SIREN相同的架构（5层，256个单元）和超参数[37]。在补充材料中，我们提供了完整的实施细节，扩展结果，消融，额外的实验和额外的可视化。评估指标。为了比较两个点集，我们使用Chamfer（dC）和Hausdorff（dH）距离。我们遵循IGR [17]并在重建上采样1M个点，并与GT和扫描点云进行比较。对于ShapeNet，我们遵循NSP [45]并报告平方倒角和交集（IoU）。有关定义和更多详细信息，请参见附录。与DGP和NSP）。此外，我们将结果与并行工作阶段[26]报告的结果进行了比较，后者对SRB进行了评估。虽然PHASE使用法线信息，但它们也提供了一个使用傅立叶特征的无法线版本PHASE+FF，以及无法线信息的IGR基线IGR+FF。表面重建基准（SRB）。我们使用Williams等人提供的模拟扫描和地面实况数据。[44]（免费供学术使用）。数据集包含五个形状，每个形状都有自己的挑战性特征，例如，复杂的拓扑结构、高级别的细节、缺失的数据和不同的特征尺寸。在表2中，我们报告了形状的平均倒角和Hausdorff距离，并且由于形状具有不同的难度，我们还报告了每个形状与最佳执行方法的平均偏差。它表明，当正常信息不可用时，我们的方法在这两个指标上始终优于SoTA方法数据集子集的定性结果如图6所示。在没有正常信息的情况下，SIREN和IGR努力收敛到正确的零水平集并产生不希望的伪影（鬼几何）。另一方面，DiGS能够去除这些伪影。当与正常的超版本相比，增加了有没有太大的变化，比Digs是稍微平滑。事实上，DiGS设法获得与使用正常监督的方法相似的结果。对于扩展结果（每个形状的结果，具有正常监督和更多指标的结果），所有形状的可视化和从多个角度显示形状的视频，请参阅补充材料。ShapeNet 。 ShapeNet 数 据 集 包 含 各 种 对 象 的 3DCAD模型。 这些形状的-其中十个具有内部结构、不一致法线和非流形网格。我们使用Williams等人的预处理和分裂。[45]，他们在13个类别中的每个类别中评估20个形状，并进行预处理以使法线一致和内部结构成为流形网格。再-1 110.50.50.5000-0.5-0.5−0−1−1−119330↓↑∼方法dCdHIGR wo n 1.38 16.33 1.20 12.84警报器，无0.42 7.67 0.23 4.18表2.表面重建基准的结果[7]。我们与没有正常信息的其他方法进行比较，对于所有方法，请参见补充。 我们报告了GT扫描的平均Chamfer dC和Hausdorff距离dH以及它们与最佳性能方法的平均偏差（ChamferdC和H a u s d o r f f 距离dH）。图8.场景重建的定性结果。SIREN（右）提供了高级别的细节，然而，当正常矢量不可用时（中），提出的发散约束（左）证明了显着的改进。方法方形倒角IoU是说中位标准平均值中位数 标准对于具有内部结构的某些形状（例如，扬声器内部具有部件或者沙发具有结构梁），我们得到显著的内部重影几何形状。因此，我们的均方倒角距离，而与其他竞争DiGS + n2.74e-42.32e-59.90e-40.92001992年Siren wo n 3.08e-4 2.58e-4 3.26 e-4 0.30850.29520.2014SAL [2] 1.14e-32.11e-43.63e-30.40300.3944 0.2722我们的DiGS 1.32e-42.55e-54.73e-40.93900.97640.1262表3. ShapeNet上的曲面重建结果[15]。线上的方法使用地面实况正常信息，而下面的方法不使用报告了所有260个形状的倒角距离平方和IoU的平均值、中位数和标准差我们的DiGSIGR wo nSIREN wo nOur DiGS + nIGR警报器图 6. 与 使 用 法 向 量 作 为 地 面 实 况 的 最 新 方 法 （ IGR 、SIREN）相比，来自表面重建基准[7]的锚和滴水嘴形状我们的DiGS SIREN wo n SAL NSP图7. ShapeNet上的曲面重建结果[15]。结果报告在表3中，我们在图7中提供可视化。当向DiGS添加正常监督时，我们的方法在260个形状中具有更好的中位平方倒角距离和中位IoU我们把这归因于我们的发散项平滑了空间，它在没有太多内部结构的形状然而方法，比SIREN等方法更差请注意，无论如何，ths不会影响IoU，我们的平均IoU仍然优于其他方法。当与-out法线比较时，DiGS在两个指标上的中位数与添加正常监督时的中位数相似，但它具有更好的均值。我们将此归因于当不尝试在内部点拟合法向量时具有较少的内部鬼几何。请注意，DiGS优于其他不对这两个指标使用正常监督的方法。IoU的改进是显著的，我们将其归因于其他方法未能包含重影几何并且与形状内部/外部的内容不一致。另一方面，DiGS通过其结构化的培训程序适当地应对这两现场重建场景重建的定性结果如图8所示。在这里，我们使用8个层，512个单元，并在Sitz- mann等人的场景上训练。[37]其中包括10 M定向点。我们训练SIREN有和没有正常的约束，和建议的DiGS方法。在这个实验中，我们没有使用几何初始化，因为与形状重建任务不同，目标表面与球体有很大不同，而是只增加频率。在没有正常监督的情况下训练SIREN时，我们观察到许多幽灵几何（SIREN won）。另一方面，DiGS能够在没有这些的情况下重建场景，尽管它会产生非常平滑的结果。这在大多数平面区域中是期望的，天花板、地板和桌子，然而，该特征具有使精细细节平滑的缺点，例如，沙发腿和相框。6.2. 形状空间学习形状空间实验需要训练单个模型来学习表示来自类的多个形状相关的形状。我们使用DFAUST数据集[10]，该数据集由10个人在多种类型活动期间的不同时间点的40k的SAL [2]0.367.470.183.99IGR+FF [26]0.9611.060.787.58[26]第二十六话0.224.960.041.48我们的DiGS0.193.520.000.04我们的挖掘警报器警笛SPSR [23]2.22e-41.70e-41.76e-40.63400.67280.1577IGR [17]5.12e-41.13e-42.15e-30.81020.84800.1519Siren [37]1.03e-45.28e-51.93e-40.82680.90970.2329FFN [39]9.12e-58.65e-53.36e-50.82180.83960.0989NSP [45]5.36e-54.06e-53.64e-50.89730.92300.0871193312×dC.（re g，recon）dC.（recon，re g）dC扫描（扫描，重建）dCT（重建，扫描）是说中值是说中值是说中值平均中值IGR [17] 一千零五十三0.5094.9160.5401.0540.5090.540DiGS+ n 0.5680.4580.4612 0 0 8 年12月31日IGR wo n3.7452.68912.149九点零二七2.68712.147九 点零二六我们的DiGS0.8560.70712.3189.20212.3199.204表4. DFaust的定量结果[10]。我们比较了地面实况配准网格（reg）、重建和重建之间单侧倒角距离（报告为10）的平均值和中位数。结构（重建）和原始输入扫描（扫描）。Ground Truth IGR我们的DiGS+ nIGR wo n我们的DiGS图9. DFaust数据集上形状空间实验的定性结果[10]。每一行是来自测试集的不同人类的单个姿势。扫描是有噪声的并且经常是不完整的（包含丢失的物体表面）。该数据集还提供了每次扫描的地面实况寄存器。遵循IGR因此，在训练时间，利用针对每个姿势的单独的潜在向量来学习人类的多次扫描，并且在测试时间，通过联合估计合适的潜在向量来重建请注意，这是一个比表面重建困难得多的问题，模型必须学习能够适应给定不同（可学习的）潜在代码的多种形状，从而扩展模型容量的测试表4显示了单侧倒角距离1的定量结果。特别是，对于重建的配准扫描，DiGS+n具有比IGR更低的平均值，表明它更好地拟合地面实况和输入表面，并且不会错过地面实况区域。对于重建到配准扫描，IGR和DiGS+n的平均距离都增加，表明两种模型都会创建重影几何结构，而DiGS+n创建的重影几何结构要少得多。面）它具有多个重影几何形状和重要的缺失部分（例如，前臂）。DiGS+n还实现了略小的中值距离。对于没有法线监督的方法，DiGS1对于IGR，我们使用[17]提供的代码和权重。请注意，某些方法报告平方倒角[2]。在与SAL和SALD [2，3]的作者通信后，我们无法重现他们的结果，因此省略了这些基线。明显优于IGR wo n，后者不能保证。这可以在图9中看到，其中的反射甚至不像最初的人类。另一方面，DiGS捕捉到了人类的形状，但过于平滑，并有大的幽灵几何框架的人。查看表4，配准扫描到重建的平均值和中位数仍然很小，表明尽管过度平滑，但DiGS学习的细节与不可见的测试表面拟合得很好。由于重影几何形状，对于重建到配准扫描距离DiGS具有非常大的值，类似于IGR won。6.3. 限制DiGS主要受限于两个方面：（1）捕获非常薄的结构，例如，图8中左侧沙发墙上的照片在图8中。这是预期的，因为这些区域仅包含非常少的点，并且在没有法向矢量信息的情况下，暴露底层表面更具挑战性。7. 结论我们介绍了DiGS，一个发散引导的形状隐式神经表示方法的原始无方向的点云没有任何预处理。此外，我们推导出一个几何动机的正弦表示网络的初始化，同时保持高频率。最后，我们证明了DiGS具有重建高保真形状的能力，但在平滑和薄特征重建方面存在一些限制。我们报告了与不使用正常监督的其他方法相比的最新结果，并表明我们的方法与使用这种监督的方法相比具有可比性。所有现有的方法，包括我们的方法，都在与丢失的数据和稀疏的特征作斗争未来的工作可以探索使用局部自相似性来更好地处理这些区域的扩展。点云密度也是表示能力中的重要因素，可以进行额外的工作来减轻密度效应。最后，形状表示网络高度依赖于初始化，这一方向还有待进一步研究。潜在的社会影响。所提出的DiGS方法能够在深度学习框架中从3D点云数据准确表示3D形状。许多下游任务可以由DiGS实现，包括化身创建和计算机辅助设计（CAD）。这些应用程序可能会产生积极和消极的结果。例如，DiGS可以被扩展用于生成任务，并且能够实现用于形状生成的新方法这有潜在的误用，包括未经同意的数字模仿和未经授权的机械设计复制这与DeepFakes有关，DeepFakes在最近关于神经渲染的评论中进行了深入讨论[41]。19332引用[1] 妮娜·阿门塔崔成熙和拉维·克里希纳·科卢里权力外壳，球的工会，中轴变换。计算几何，19：127-153，2001年。2[2] Matan Atzmon和Yaron Lipman。SAL：从原始数据中学习形状的符号不可知论。IEEE计算机视觉和模式识别会议（CVPR），第2565-2574页，2020年。一二三四六七八[3] Matan Atzmon和Yaron Lipman。SALD：Sign AgnosticLearning with Derivatives（符号不可知学习与衍生物）在proc 2021年国际学习表征会议（ICLR）。一二三四八[4] Dejan Azinovic ， Ricardo Martin-Brualla ， Dan BGoldman，Matthias Nießner，and Justus Thies.神经RGB-D表面重建。arXiv预印本arXiv：2104.04532，2021。2[5] Yizhak Ben-Shabat和Stephen Gould。DeepFit：通过神经网络加权最小二乘法进行3D表面拟合。 欧洲计算机视觉会议（ECCV），第20-34页。Springer，2020年。1[6] Yizhak Ben-Shabat 、 Michael Lindenbaum 和 AnathFischer。Nesti-net：使用卷积神经网络对非结构化3D点云进行正态估计在IEEE计算机视觉和模式识别会议上，第10112-10120页，2019年。1[7] Matthew Berger ， Joshua A Levine ， Luis GustavoNonato，Gabriel Taubin，and Claudio T Silva.表面重建的基准。ACM Trans. on Graphics（ToG），32：1- 17，2013. 二六七[8] MatthewBerger ， AndreaTagliasacchi ， LeeMSeversky ， Pierre Alliez ，Gael Guennebaud ，Joshua ALevine，Andrei Sharf，and Claudio T Silva.基于点云数据的曲面重构研究综述。在Computer Graphics Forum，第36卷，第301-329页中。Wiley Online Library，2017.二、三[9] FaustoBernardini、JoshuaMittleman、HollyRushmeier、Claudio Silva和Gabriel Taubin。曲面重构的球轴算法。IEEE Trans. on Visualiza- tion and ComputerGraphics，5：349-359，1999. 2[10] Federica Bogo，Javier Romero，Gerard Pons-Moll，andMichael J Black.动态浮士德：登记人体运动。 在procIEEE计算机视觉和模式识别会议（CVPR），第6233-6242页，2017年。二、六、七、八[11] Michael M Bronstein，Joan Bruna，Yann LeCun，ArthurSzlam，and Pierre Vandergheynst.几何深度学习：超越欧几里得数据。IEEE信号处理杂志，34：18-42，2017。5[12] Jonathan C Carr、Richard K Beatson、Jon B Cherrie、Tim J Mitchell、W Richard Fright、Bruce C McCallum和Tim R Evans。用径向基函数重建和表示三维物体在Proc. of the Conference on Computer Graphics andI