神经隐函数应用于一般形状表示的新方法

12829GIFS：用于一般形状表示的神经隐函数叶江龙陈云涛2王乃彦2王小龙11加州大学圣地亚哥分校2TuSimple摘要神经隐函数的最新发展在高质量的三维形状重建方面取得了巨大的成功。然而，大多数作品都将空间划分为内部和外部的形状，这限制了他们的表现力单层和水密的形状。这种限制导致繁琐的数据处理（将非防水的原始数据转换为防水的）以及无法表示现实世界中的一般对象形状。在这项工作中，我们提出了一种新的方法来表示一般的形状，包括非水密形状和形状与多层表面。本文介绍了三维形状通用隐函数GIFS（GeneralImplicitFunctionfor3DShape），它描述的不是点与面之间的GIFS不是将3D空间划分为预定义的内外区域，而是编码两个点是否被任意曲面分隔。ShapeNet上的实验表明，GIFS在重建质量、渲染效率和视觉保真度方面优于以前的最先进的方法。项目页面 可 在 https://jianglongye.com/gifs 上 找到。内部外面(a) 以前的作品1类2类Class3(b) 一种可能的方法1. 介绍三维形状重建是计算机视觉、机器人和图形学中的一个基本问题。形状表示的选择对重建质量有很大近年来，神经隐函数（NIF）已经实现了具有紧凑表示的高质量和高分辨率重建[9，11，31，47，48]。大多数NIF方法采用神经网络来分类3D点是在表面内部还是外部[47]，如图1（a）所示，或者计算从3D点到一个表面的符号距离[48]。然而，现实世界中的大多数形状不能简单地由一个水密表面表示。考虑多层形状（例如，具有内侧座椅的汽车），3D空间的二进制分类是不够的。为了解决这个问题，一种可能的方法是将原始的二分类定义扩展到多类分类。我们以双层圆为例，在图1（b）中说明了这一想法林-图1. 不同方法的比较。以前的作品将空间分为内部和外部，如（a）。用于多层形状的一种可能的方法是执行多类分类，如（b）。我们的方法不再为点分配预定义的标签，而是对两个点是否被任何表面分开进行分类，如（c）所示。在（d）和（e）中，我们分别展示了一个演示形状和一个来自ShapeNet的重建总线。扩展的一个问题是具有不同层的形状需要不同的模型。因此，它不能以一种统一的方法来表示一般的形状该方法也将不能表示非防水形状（例如，服装），因为它们不能被划分成任何数量的区域。本文介绍了一种通用的三维显式函数GIFS。随着这种表示，我们进一步设计了一个算法，从GIFS中提取明确的表面而不是将3D空间划分为预定义的类别，表面Point1表面Point2Point3(c)我们(d)演示(e)ShapeNet总线12830图1（a）和（b）中，我们的表示侧重于每两个3D点之间的关系。特别是，我们定义了一个二进制标志，以表明是否两个点在物体表面的同一侧（见第二节）。3.1正式定义）。如图1（c）所示，三个点被不同的物体表面分开，我们的方法不再为点分配预定义的标签，而是在它们之间进行比较。我们将3D点嵌入到潜在空间中，并采用神经网络来近似基于其嵌入的二进制标志。通过这种方式，我们的方法仍然能够分离不同的区域，并且形状由二进制标志的决策边界隐与所有以前的NIF（对点和表面之间的关系进行建模）（占用[47]，有符号距离[48]和无符号距离[13]）相比，使用GIFS对不同点之间的关系进行建模允许表示一般形状，包括多层和非防水形状。为了从GIFS中恢复形状，我们修改了Marching Cubes算法，从采样的二进制标志中构建三角形面。我们在图1（d）中展示了我们的方法表示的演示形状，它是一个非水密平面上的双层球。切割较大的球（外表面）以更好地可视化。ShapeNet [10]上的实验表明，GIFS实现了最先进的性能，并且可以直接在原始数据上进行训练。直接在原始数据上训练不仅避免了繁琐的数据处理，还防止了预处理过程中的准确性损失。与NDF [13]相比，另一种广义的形状表示输出点云，由于简单的网格生成，我们的GIFS更有效，更直观。我们在图1（e）中展示了ShapeNet上的重建结果示例，这是一辆内部有多个座位的公共汽车。我们强调我们的主要贡献如下：• 我们介绍了一种新的广义形状表示点之间的空间关系的基础上。• 我们设计了一个基于学习的GIFS实现，并为它设计了一个表面提取算法。• 我们的方法在水密和更一般的形状的3D重建中实现了最先进的性能，并且在渲染效率和视觉保真度方面优于现有方法。2. 相关工作2.1. 学习明确的形状表示用于3D形状学习的显式形状表示可以大致分为三类：基于点、基于网格和基于体素的方法。基于点的方法。作为许多传感器的直接输出（例如，LiDAR、深度相机），点云是3D学习的流行表示。基于PointNet的体系结构[50，51]利用maxpool运算符来保持permu，站不变性，并广泛用于从点云提取几何特征。此外，最近的点云学习研究包括核点卷积[20，58，64]，基于图形的架构[42，61]，变换器[27，29]等。还提供点云 作为3D重建中的输出表示[13，19]。然而，与其他表示不同，点云不描述拓扑结构，并且需要非平凡的后处理步骤[5，8，36，37]来生成可渲染的表面。基于网格的方法。网格由一组顶点和边组成，可以定义为一个图。因此，图卷积可以直接应用于网格上进行几何学习[7，26]。网格也可以被认为是形状重建中的输出表示。大多数方法[34，44，52，60]使模板变形，从而限于固定拓扑。最近的方法直接预测顶点和面[16，23，25]，但不能保证表面连续性，并且易于生成自相交面。网格在人类表示中也很受欢迎，并用于估计人类形状，姿势[33，39，40]和服装[1，6]。底层网格模型[45，49]仍然限制拓扑和细节。基于体素的方法。体素是2D图像中像素的直观3D扩展。共同学习范式（即，卷积）可以自然地扩展到体素。因此，体素被广泛用于形状学习[30，32，35]。Occupational grid是体素表示的最简单用例。然而，由于体积增长的内存占用，网格的分辨率实际上被限制在一定的水平[14，43，65]。因此，基于体素的方法难以重建具有精细细节的高保真形状。更高的分辨率可以以有限的训练批次和缓慢的训练[62，63]或复杂的多分辨率实现[28，57]为代价来实现。用截断符号距离函数[15]代替占用进行学习[17，41]允许子体素精度，尽管分辨率仍然受到固定网格的限制。2.2. 学习内隐形状表征在过去的几年里，在神经内隐功能的3D形状学习方面取得了很多进展[11，21，24，47，48，53，54，66]。尽管产量有差异（OC-有符号距离[22，48]或无符号距离[13]），它们都学习连续函数来预测查询点（x-y-z）和表面之间的关系开创性的方法[11，47，48]用全局潜在代码表示形状。采用编码器[11，47]或优化方法[48然后用解码器从潜码中重建形状. 为了构建一个平滑的潜在空间，利用了一些技术，如课程学习[18]和对抗训练[38 以下作品[55，56]也使用周期性活动-12831|}{−∈∈⊂∈F∈vation函数用于将输入位置映射到高维空间以保留高频细节。与全局方法不同，局部方法将3D空间划分为均匀网格[9，12，31]或局部部分[21，22]，并且潜在代码随局部网格/部分而变化由于每个潜码只需要表示局部区域的形状，因此可以保留更好的细节，并且提高了泛化能力。以上所述的方法，依靠内外表面Point2Point3阴性标志点1位置标(a) 二进制旗标(b) 多层形状(c) 非水密形状分割，因此总是需要繁琐的数据处理来人为地关闭形状，这导致细节和内部结构的重要最近的作品[3，4，68]介绍了从原始数据中学习的符号不可知论学习。然而，输出再次是带符号的距离，因此不能重建一般形状。为了对一般形状进行建模，NDF [13]提出预测无符号距离场（UDF）来表示一般形状。然而，NDF的输出是点云，这不仅依赖于昂贵的后处理步骤，而且难以获得高质量的最终网格。以下工作[59，67]将法线和梯度合并以提高重建精度和效率。相比之下，我们建议预测两个不同的点是否被任何表面分开，它允许一般的形状表示。据我们所知，我们的方法是第一个利用神经网络来模拟形状表示中不同点之间的关系。由于不同的区域在我们的表示中是分开的，因此可以使用类似于Marching Cubes的算法将我们的表示直接转换为网格而不是点云。因此，我们在效率和视觉效果方面优于NDF。3. 方法3.1. 广义形状表示我们提出了一种新的形状表示，而不是像[13，22，47，48，53]那样对点和表面之间的关系进行建模，而是专注于不同点之间的关系。我们利用二进制标志来指示两个点是否被任何表面分开。具体地，如果点对的线段与任何表面相交，则认为点对是分离的。设物体的曲面是一个子集SR3. 给定两个点p1R3和p2R3，我们可以得到由这两个点组成的线段e：e（p1，p2）=p1+k（p2p1）k[0，1]。如果线段与曲面相交，是至少一个同时属于线段和图2. 广义形状表示。在（a）中，我们展示了二进制标志的示例。由曲面分隔的点的标志为正，否则为负。在（b）和（c）中，我们展示了如何表示双层圆和非水密曲线正面的标志用红色加粗。由任意表面分隔的点1和点2的标志为正（1），点1和点3的标志为负（0）。该定义不同于计算机视觉中的连通组件我们的二进制标志在3D空间中是不可传递的，即，b（p1，p2，S）=b（p2，p3，S）并不意味着b（p1，p2，S）=b（p2，p3，S）=b（p1，p3，S）.这是我们的定义允许表示非水密性的原因形状.与前面的隐式函数类似，形状仍然由决策边界表示。不同的区域被分开，并且当穿过表面时二进制标志改变。图2（b）和（c）显示了如何表示双层循环和非防水曲线。与圆和曲线相交的点的标志为正（图中红色加粗），其他标志为负（图中灰色）。注意，二进制标志的输入点不限于水平或垂直点，并且在提取表面时分辨率将高得多。3.2. 三维形状的广义隐函数学习我们建议学习3DS形通用隐函数（GIFS）来估计二进制标志b。它采用两个3D点p1和p2加上观测X作为输入。本文研究了稀疏点云X Rn×3的形状重建问题。为了完整起见，我们首先解释IF-Net [12]之后的编码模块然后，我们描述了我们的解码模块和学习过程。我们的方法概述如图3所示。点嵌入。首先将输入点云转换为离散体素网格。然后应用3D CNN来获得表面上 二进制标志b用于指示多尺度网格特征F，...，F，F∈FK×K×K，与曲面相交的线段定义为：哪里1n kkCb（p，p，S）=.1，<$p∈e（p1，p2），p∈S（一）K是网格大小随尺度而变化，是一个有C通道的深特征。参考IF-Net [12]120，否则图2（a）显示了二进制标志的示例：国旗以获取更多详细信息。给定一个查询点p，从多尺度编码中采样特征，并将其连接为嵌入z ∈F1×。- 是的- 是的 × Fn的128321S30LB（θ1，θ2，θ3）=点嵌入1UDF图层3自定义项分支第一层自定义项（UDF）1表面共享共享权重2权重Maxpool操作者{0，1}二进制标解码器2点嵌入第一层2自定义项（UDF）（2012年）自定义项分支图3. GIFS概述我们学习一个神经隐函数来分类两个点是否在物体表面的同一侧。首先，将两个3D点传递到嵌入层以获得相应的特征。然后利用最大池算子保持置换不变性。解码器将融合的特征作为输入，并近似点之间的二进制标志。可以使用额外的UDF分支来增强特征的空间感知。点我们将点嵌入层表示为：z= gθ（X，p）：Rn× R3<$→ F1×. - 是的- 是的 × Fn，（2）其中θ1是嵌入层r的可学习参数。图3中的块表示UDF层。UDF分支的消融4.4学习程序。 训练点嵌入图层gθ1（·）、解码器fθ2（·）和UDF层hθ3（·），{Xi，Si|i∈1，. -是的-是的，N}，并且对应于图3中的紫色块表示嵌入层。二进制标志预测。实现了一个解码器来预测点的二进制标志。为了保持置换不变，将maxpool运算符应用于点em，beddingsz1 andz2：zf=MAX（z1，z2），其中zf是两点的融合特征然后将融合特征zf传递到解码器以预测二进制标志b。解码器f是由θ2参数化的多层感知器：需要地面实况形状i，其中i是观察的索引，N是训练示例的数量。对于每个训练示例，我们对两个点的对{p1，p2}进行采样，并计算它们的地面真值UDF（p，S）以及二进制标志b（p1，p2，S）。在训练期间，利用两个损失项：Lb用于二进制标志预测，Lu用于UDF回归。Lb定义为：fθ2 （zf））b：F1 ×。- 是的- 是的× Fn›→[0，1]，（3）Lb（X，p1，p2）=|fθ2（MAX（gθ1（X，p1），gθ1（X，p2）− b（p1，p2，S X）|、图3中的粉色块表示解码器。UDF分支。虽然上述解码器足以进行形状重建，但我们还加入了一个UDF分支，以增强点特征的空间感知并加速表面提取（见第二3.3）。无符号距离函数（UDF）定义为查询点与其在物体表面上最近点之间的距离。因此，它没有引入传统的内部/外部分区。NDF [13]是第一个使用神经隐函数逼近UDF的方法。给定点p的嵌入z，UDF层h表示为：（五）其中，SX是ob-X的对应地面真值形状。Lu定义为：Lu（X，p）=|、（6）|, (6)其中δ >0是集中模型容量以表示表面的近空间的阈值。通过最小化以下小批量损失来优化参数：hθ（z）≠UD F（p）：F1×. -是的-是的×Fn<$→R+，（4）其中θ3是UDF层的可学习参数，X∈Bp1，p2∈PUDF（p）是点p的地面实况UDF。黄色λ（Lu（X，p1）+Lu（X，p2）），（7）Lb（X，p1，p2）+12833BP联系我们联系我们ΣΣΣ×其中是输入点云观测的小批量，是用于训练的采样对的子集，λ是Lu的权重。3.3. 从GIFS由于所提出的方法是从以前的NIF不同，它是不平凡的设计算法的表面提取。我们采用Marching Cubes[46]算法从隐式表示中提取显式曲面（网格）。“移动立方体”将空间划分为三维栅格，并定位与对象曲面相交的立方体对于相交的立方体，三角形是基于8个顶点的占用来创建的。一个查找表组成的28 =256不同的-ent分配是用来提高速度。虽然在我们的方法中没有占用，但我们假设在微观尺度上，表面附近的空间在此基础上，我们将空间划分为三维网格，并根据它们之间的二进制标志对每个单元中的8个顶点进行二进制然后我们利用MarchingCubes中的查找表来创建三角形。设ci0，1为verte xi0，1。-是的-是的7和bij[0，1]是顶点i和顶点j之间的标志。分配问题的成本函数为：L=|ci−cj||1−bi j|-是的（八）ij =i最优分配可以通过最小化成本函数来找到。我们简单地应用暴力算法在实现中，因为速度仍然是可以接受的。从粗到精的表面提取。 与OccNet [47]类似，采用粗到细的范例来加速提取过程。我们从一个低分辨率的网格开始，在每个立方体的中心评估UDF。如果UDF值小于立方体尺寸乘以某个阈值τ，我们假设立方体与曲面相交并将其细分为8个子立方体。在新的立方体上重复评估，直到达到所需的最终分辨率我们在最后的立方体上表演网格细化。通过自适应Marching Cubes提取的初始网格只是决策边界的近似，可以使用UDF值进一步细化。我们从输出网格的每个面随机采样N个点pi，并通过最小化损失来细化它：NL=|hθ3（gθ1（X，pi））|-是的（九）我基本上，我们通过最小化曲面的UDF值来进一步将网格曲面推到决策边界。我们报告了一个消融研究的网格细化。4.44. 实验我们专注于从稀疏点云的三维形状重建的任务，以验证GIFS。我们首先表明，GIFS可以重建水密形状与国家的最先进的方法在第二节。4.2，然后显示GIFS可以重建一般形状，包括多层，非防水形状。四点三。关于结构、网格尺寸和采样策略的消融研究见第2.2节。4.44.1. 实验设置数据集。在我们的实验中，我们遵循NDF的设置，并选择ShapeNet[ 10]数据集的“汽车”类别，该数据集由7498个合成对象组成。“汽车”系列拥有最多的多层形状以及非防水形状。对于水密形状，我们使用来自3D-R2 N2[14]的常见训练/测试分割和来自DISN [66]的处理过的水密网格。对于一般形状，我们使用NDF [13]的训练/测试分割。在训练和评估过程中，所有网格都被归一化并以单位立方体为中心。此外，我们使用MGN [6]数据集，其中包括307件服装，以显示我们的方法的代表性的权力。评估指标。为了测量重建质量，我们采用LDIF [21]中定义的既定指标：倒角距离和F分数。倒角距离测量所有点的平均误差，对异常值敏感F-Score测量良好预测的百分比。为了评估，我们从表面随机采样100k个点来计算所有度量。F分数的阈值为0.01（与LDIF相同）和0.005（为了更好的比较）。倒角距离越小越好; F分数越高越好。基线。对于水密形状的实验，我们将我们的方法与点集生成网络[19]（PSGN），Deep Marching Cubes [43]（DMC），Occupational Network [47]（OccNet）和IF-Net [12]进行了比较，这是形状重建的最新技术。对于一般形状的实验，我们将我们的方法与NDF [13]进行了比较。对于作者没有提供预训练模型的方法，我们重新训练它，直到达到最小验证误差。实作详细数据。点嵌入层中的体素网格的分辨率对于3000点输入为1283，对于10000点输入为256 3。二进制标志预测的解码器是一个5层多层感知器。所有内层都是256维的，并且具有ReLU非线性。UDF层与NDF中的解码器完全相同Eq. 6被设置为0.1，等式中的λ7设置为10。 在训练过程中，我们使用Adam优化器，学习率为1 10−4。在推理过程中，网格的初始分辨率为203，并细分3次。最终分辨率为1603。在SEC。3.3设置为2。在数据生成过程中，我们主要遵循相同的策略-如NDF [13]。具体来说，我们首先采样点12834∈我×我我 我我我我 我我我IF-Net（切割）NDF（切割）我们的（切）我们的（线框）输入PSGNDMCOccNetIF-Net我们GT图4. 在水密形状上训练的方法的比较。我们的方法可以重建水密的形状与国家的最先进的方法相同的精度。图5. 不同方法在一般形状上的重建结果。 我们的方法可以重建光滑，连续的表面，并取得更好的视觉效果比以前的方法。pSi∈R3，并将两个随机位移{n0，n1}<$N（0，<$）相加以产生对点{p0，p1}，即， p0= pS+n0，p1= pS+n1，其中ΣR3×3是一个对角协方差矩阵，试函数i，i=σ。我们采用3种不同的σ，分别为0.005、0.01、0.03。我们还随机抽取了3D网格中10%的数据。我们报告的性能与不同组合的σ在秒。4.4我们采用CGAL [2]中的交集算法来计算地面真值二进制标志。4.2. 水密管道我们首先展示了我们的方法在水密形状上的代表性我们使用DISN提供的处理数据进行训练和评估他们的数据处理步骤关闭形状并删除所有内部结构。在本实验中，所有方法的输入都是从ShapeNet“汽车”类别的防水数据中采样的3000个点为了公平比较，IF-Net和我们的方法中编码体素网格的分辨率为1283。图4表明，我们的方法可以重建一个水密的形状与国家的最先进的方法相同的精度请注意，OccNet使用全局代码来表示表1.水密形状的定量评价。我们在ShapeNet“汽车”类别的防水数据上训练和评估我们的方法我们报告了倒角距离的平均值和中值，以及不同阈值下的F分数。倒角距离的结果为10−4。我们的方法在除一个指标外的所有指标上都优于基线。整个形状，并输出一个更平滑的结果，这可能是错误的。如图所示，OccNet结果的汽车后视镜与GT形状有明显差异。我们还将我们的方法与表1中的基线进行了定量比较，结果表明GIFS在除一个指标外的所有指标上都优于基线方法输入PSGN [19]DMC [43]OccNet [47]IF-Net [12]NDF [13]我们倒角距离↓平均中值F评分↑F10.005F1 0.010.7822.2515.9633.2510.2600.1520.1460.7542.0183.6542.3860.1250.1250.11426.15美元4.33 24.3432.22 58.0628.75 65.4186.70 96.5085.7098.3288.7598.0912835×NDF（Crop）Ours（Crop）图6. 放大比较不同的方法对一般形状。NDF重建结果中的表面很不光滑，并且含有孔洞。图8. 其他类上非防水形状的重建结果。传统的内隐神经表征很难重建这种非水密性的形状。图7.其他类上多层形状的重建结果。我们的方法可以重建各种形状的内部结构。4.3. 一般曲面我们展示了我们的方法对一般形状，包括多层和非水密形状的重建结果。由于我们的方法不需要预处理步骤（例如，深度融合），它可以直接使用原始ShapeNet数据进行训练和评估。我们也不会因为这一步而失去准确性。在这个实验中，我们主要比较我们的方法NDF，以前的方法，旨在建模一般的形状。为了公平的比较，NDF和我们的方法中的编码体素网格的分辨率为2563。输入是从ShapeNet定性分析 图5显示了来自测试集的两辆多层汽车的重建结果。传统的隐式神经表示仅限于单层、防水的形状，因此汽车的所有内部结构都丢失在IF-Net结果中。NDF可以表示一般形状，但其网络输出是点云，并依赖于球旋转算法来获得网格。即使使用精心选择的阈值，NDF重建结果中的表面仍然远非光滑，并且具有许多孔。相比之下，我们的方法能够重建一个平坦，连续的表面，从而达到更好的视觉效果。这可以在图6中的放大比较中更清楚地观察到。请注意，NDF可视化代码还包括一个过滤器来关闭孔，而我们的方法不应用任何过滤器。图7显示了其他类上多层形状的重建结果。我们的方法可以重建公共汽车和飞机上的椅子或表2. 一般形状的定量评价。我们在ShapeNet“汽车”类别的原始数据上训练和评估我们的方法。我们的方法实现了与国家的最先进的方法相当的性能。crowave。图8示出了非水密形状的重建结果。我们的方法可以表示带孔和袋子的罐头，这是传统的隐式函数难以表示。我们还将我们的模型应用于服装重建。在没有重新训练或微调模型的情况下，我们直接在MGN [6]数据集上进行推理。重建结果如图9所示。从顶部视图，我们可以看到服装是不防水的。定量评价。如表2所示，我们还定量评估了我们的方法，发现GIFS实现了与最先进的方法NDF相当的性能。在这里，NDF的评估是在没有拓扑结构的点云而不是网格上进行的我们还从水密地面实况形状中采样点并报告其度量（表中的水密GT）。我们认为这是传统隐函数的上界。速度比较。NDF的局限性不仅在于表面上缺乏连续性，而且运行速度极这是因为NDF使用的球旋转算法[5]需要大量的最近邻搜索、法线计算和曲面拟合。在实验中，我们使用默认的1 106点和NDF提供的参数。1NDF平台1使用下采样点或不同的参数将减少运行时间，但也更有可能创建不平滑的表面和孔。我们我们的（切）我们我们的（切）我们GT我们GT方法倒角距离↓平均中值F1F评分↑0.005F1 0.01输入0.3630.35548.50 88.34水密GT2.6282.29368.82 81.60NDF [13]0.1260.12088.09九十九点五四我们0.1280.12388.05 99.3112836方法倒角距离↓平均中值F1F评分↑0.005F1 0.01无自定义项0.2270.20673.3897.42无优化0.1520.12187.9897.93完整模型0.1460.11488.7598.09我们的我们的（俯视图）GT图9. MGN [6]数据集上的重建结果。我们的方法允许非防水服装的重建。方法↓空间↓NDF [13]小行星259340.57 MB我们53 s2.43兆字节表3. 算法效率分析。我们的方法在时间和空间效率上比以前的方法有了巨大的提高，而不会失去准确性。网格转换是一台具有6核2.6 GHz CPU的PC，网络推理平台是RTX 2080 Ti。我们在表3中报告了NDF和我们的方法的运行时间。请注意，这里的运行时包括网络推理和网格生成。对于未优化的代码，我们的方法比NDF具有巨大的优势。空间对比。同样，大量的点或由球旋转算法生成的复杂网格也是空间效率低下的。我们统计两种方法生成的文件的平均大小，并将结果报告在表3中。4.4. 消融研究架构我们主要消融UDF分支和网格细化，并在表4中报告结果。实验是在不透水的ShapeNet数据上进行的，编码体素网格的分辨率为1283。我们观察到这两个模块在我们的框架中起着重要的作用一元UDF损失是对成对GIFS损失的补充.网格细化使生成的网格更接近决策边界。表面提取。我们评估了不同的三维网格尺寸在表面提取中的性能。表5显示了精度和速度如何随3D网格的不同分辨率而变化我们实现了更好的重建与更高的分辨率的三维网格。由于从粗到细的范例，内存和计算成本不会呈指数增长，而是只会增加一个合理的量。抽样策略。我们比较了数据生成过程中不同σ的性能（见第4.1节），并在表6中报告了结果。我们的方法对不同的采样策略是鲁棒的。表4. 消融研究。UDF分支和网格细化都提高了性能。ResCD↓平均中值F评分↑F10.005F10.01T效率↓时间空间8030.4450.23170.30 97.6612S0.43MB16030.1280.12388.05 99.3153S2.43MB24030.1250.12188.83九十九点三十六分121S7.00MB32030.1230.11989.10 99.36 182S 11.51兆字节表5. 表面提取。我们比较了不同的三维网格大小的表面提取的性能。我们的方法实现了更好的重建与更高的分辨率的三维网格。σ0.005，0.01，0.03倒角距离↓平均中值0.128 0.123F1F评分↑0.005F1 0.0188.05 99.310.003，0.01，0.030.131 0.12687.2299.370.01，0.030.137 0.13187.3698.90表6. 抽样策略。我们在数据生成过程中比较了不同σ的性能（参见第4.1节）。我们的方法是强大的不同的采样策略。5. 讨论结论 在本文中，我们介绍了一个广义形状表示和相应的神经网络GIFS。GIFS允许重建高质量的一般对象形状，包括水密，非水密和多层形状。我们还设计了一种直接从GIFS中提取网格的算法实验表明，GIFS不仅在防水和一般形状方面达到了最先进的性能，而且在效率和视觉效果方面也显示出优势我们相信GIFS向通用形状表示迈出了一步。局限性和今后的工作。我们描述两个限制：（i）在我们的表面提取算法中，存在一个假设，即在足够小的尺度上，表面可以分为两类。然而，对于一般形状，当网格的分辨率较低时，该假设并不能保证成立。（ii）我们的运行速度受到基于蛮力策略和简单循环的表面提取的限制最后指出了两个可能的研究方向。(i)使用隐式场的一阶和二阶梯度提高生成曲面（ii）使用并行计算加速网络推理鸣谢。这项工作得到了TuSimple的部分支持。12837引用[1] ThiemoAlldieck ， GerardPons-Moll ， ChristianTheobalt，and Marcus Magnor. Tex2shape：从单个图像中获得详细的完整人体几何形状。在IEEE/CVF计算机视觉国际会议论文集，第2293-2303页，2019年。2[2] PierreAlliez，St e'phaneTayeb，andCamilleWormse r. 3D快速求交和距离计算。在CGAL用户和参考手册中。CGAL编辑委员会，5.3版，2021年。6[3] Matan Atzmon和Yaron Lipman。 销售：从原始数据中 学 习 形 状 的 符 号 不 可 知 性 。In Proceedings ofIEEE/CVF计算机视觉和模式识别会议，第2565-2574页，2020年。3[4] Matan Atzmon和Yaron Lipman。Sald：使用导数的符号不可知学习。arXiv预印本arXiv：2006.05400，2020。3[5] FaustoBernardini、JoshuaMittleman、HollyRushmeier、Claudio Silva和Gabriel Taubin。曲面重构的球 轴 算 法 。 IEEE 可 视 化 与 计 算 机 图 形 学 汇 刊 ， 5（4）：349-359，1999。二、七[6] BharatLalBhatnagar ， GarvitaTiwari ， ChristianTheobalt，and Gerard Pons-Moll.多服装网：学习从图像中打扮3d人。在IEEE/CVF计算机视觉国际会议论文集，第5420- 5430页，2019年。二、五、七、八[7] Michael M Bronstein，Joan Bruna，Yann LeCun，ArthurSzlam，and Pierre Vandergheynst.几何深度学习：超越欧几里得数据。IEEE Signal Processing Magazine，34（4）：18-42，2017。2[8] 卡拉克里和加百列·陶宾。光滑有符号的距离表面重建。在计算机图形论坛，第30卷，1993-2002页。WileyOnline Library，2011. 2[9] Rohan Chabra ， Jan E Lenssen ， Eddy Ilg ， TannerSchmidt，Julian Straub，Steven Lovegrove，and RichardNewcombe.深局部形状：学习局部sdf先验，用于详细的3d重建。在欧洲计算机视觉会议上，第608-625页，2020年。第1、3条[10] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。二、五[11] 陈志勤和张浩。学习生成式形状建模的隐式字段。在IEEE/CVF计算机视觉和模式识别会议论文集，第5939-5948页一、二[12] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和补全。在IEEE/CVF计算机视觉和模式识别会议论文集，第6970-6981页三五六[13] Julian Chibane、Aymen Mir和Gerard Pons-Moll。用于隐函数学习的神经无符号距离场在神经信息处理系统进展，2020年。二三四五六七八[14] Christopher B Choy ， Danfei Xu ， JunYoung Gwak ，Kevin Chen，and Silvio Savarese. 3d-r2 n2：用于单视图和多视图3D对象重建的统一方法。欧洲计算机视觉会议，第628-644页二、五[15] Brian Curless和Marc Levoy。从距离图像建立复杂模型在Proceedings of the 23rd annual conference on Computergraphics and interactive techniques，pages 3032[16] 安吉拉·戴和马蒂亚斯·尼斯纳Scan2mesh：从非结构化范围扫描到三维网格。 In Proceedings ofIEEE/CVF计算机视觉和模式识别会议，第5574-5583页，2019年。2[17] Angela Dai ， Charles Ruzhongtai Qi ， and MatthiasNießner.使用3d编码器预测器cnns和形状合成的形状完成。在IEEE计算机视觉和模式识别会议论文集，第5868- 5877页，2017年。2[18] Yueqi Duan ， Haidong Zhu ， He Wang ， Li Yi ， RamNevatia，and Leonidas J Guibas.课程深度在欧洲计算机视觉会议上，第51-67页，2020年。2[19] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在IEEE计算机视觉和模式识别集，第605二、五、六[20] 范和合，于欣，丁宇航，杨毅，莫寒。Pstnet：点云序列上的点时空卷积。在国际会议上学习- ING表示，2020年。2[21] Kyle Genova 、 Forrester Cole 、 Avneesh Sud 、 AaronSarna和Thomas A.放克豪瑟三维形状的局部深度隐式函数。在CVPR中，第4856-4865页，2020年。二三五[22] Kyle Genova 、 Forrester Cole 、 Daniel Vlasic 、 AaronSarna、William T Freeman和Thomas Funkhouser。 使用结构化隐函数学习形状模板。在IEEE/CVF计算机视觉国际会议论文集，第7154-7164页，2019年。二、三[23] Georgia Gkioxari Jitendra Malik和Justin Johnson 网格r-cnn。在IEEE/CVF计算机视觉国际会议论文集，第9785-9795页，2019年。2[24] Amos Gropp、Lior Yariv、Niv Haim、Matan Atzmon和Yaron Lipman。用于学习形状的隐式几何正则化arXiv预印本arXiv：2002.10099，2020。2[25] Thibault Groueix，Matthew Fisher，Vladimir G Kim，BryanCRussell，andMathieuAubry. 一个学习3D表面生成的简单在IEEE计算机视觉和模式识别会议论文集，第216-224页，2018年。2[26] 阚国，邹东庆，陈小武。通过深度卷积神经网络进行3D 网 格 ACM Transactions on Graphics （ TOG ） ， 35（1）：1-12，2015. 2[27] Meng-Hao Guo，Jun-Xiong Cai，Zheng-Ning Liu，Tai-Jiang Mu ， Ralph R Martin ， and Shi-Min Hu. 点 云Transformer。Computational Visual Media，7（2）：187-199，2021。212838[28] 克里斯·蒂安·哈恩，舒伯姆·图尔西亚尼和吉滕德拉·马利克。三维物体重建中的高分辨率2017年国际3D视觉会议（3DV），第412-420页。IEEE，2017年。2[29] 乐辉 ，杨 航， 程明 美， 谢金， 杨建 。金 字塔 点云Transformer用于大规模地点识别。2021 IEEE/CVF计算机视觉国际会议（ICCV），第6078-6087页，2021年。2[30] Mengqi Ji，Juergen Gall，Haitian Zheng，Yebin Liu，and Lu Fang. Surfacenet ： An end-to-end 3d neuralnetwork for multi-view stereopsis.在IEEE计算机视觉国际会