3PSDF：学习任意拓扑的新型隐式函数表示

185223PSDF：用于学习任意拓扑魏凯陈诚林伟阳李伯阳腾讯游戏数字内容技术中心{weikaichen，arnolin，kimonoli，brandonyang}@ tencent.com图1.我们展示了由NDF [10]（青色）和我们提出的3PSDF（金色）生成的三组形状重建结果。分别我们的方法是能够忠实地重建高保真，复杂的几何细节，包括封闭和开放的表面，而NDF遭受的网格问题。每个NDF结果都是从包含100万个点的密集点云中重建的，而我们的结果是使用等效分辨率重建的。摘要最近的进展，在学习三维形状使用神经隐式函数取得了令人印象深刻的结果，打破了以前的障碍，分辨率和多样性的变化拓扑结构。然而，大多数这样的方法限于封闭的表面，因为它们需要空间被分为内部和外部。最近的作品基于无符号距离函数已被提出来处理复杂的几何包含开放和封闭的表面。然而，由于它们的直接输出是点云，因此从离散点稳健地获得高质量的网格结果仍然是一个悬而未决的问题。我们提出了一种新的可学习的隐式表示，称为三极符号距离函数（3PSDF），可以表示具有任意拓扑结构的非防水3D形状，同时使用经典的Marching Cubes算法支持轻松的场到网格转换。我们的方法的关键是引入了一个新的符号，空符号，除了传统的进出标签。空符号的存在可以阻止由内/外区域的平分线导出的闭合等值面的形成此外，我们提出了一个专用的学习框架，以有效地学习3PSDF，而不必担心由于空标签。实验结果表明，我们的方法优于以前的国家的最先进的方法在广泛的基准定量和定性。1. 介绍3D形状和表面表示的选择一直是有效3D学习的中心主题。各种3D表示，包括网格[18，41]，体素[36，42]和点云[31，32]，在过去几年中得到了广泛的研究最近，神经内隐函数（NIF）[6，20，26，29]的出现为基于学习的3D重建和建模的最新技术带来了令人印象深刻的经典的NIF方法建立在符号距离函数（SDF）的基础上;它们训练深度神经网络，通过占用预测或回归SDF将连续的3D位置分类为表面内部或外部然而，他们只能模拟封闭的表面，支持在/出测试水平表面提取。利用无符号距离函数（UDF）[10，39，40]的最新进展使得从点云学习开放但是，将这个字段实例化为显式网格仍然很麻烦，并且容易产生伪影。它需要基因-18523计算密集点云，并利用UDF这种过程易受复杂梯度景观的影响，例如，零件有很多细节，很容易卡在局部最小值上。此外，从UDF的网格重建必须使用球旋转（BP）算法，这有几个缺点。1)它对输入球半径非常敏感。 稍微大一点或小一点的半径会导致不完整的网格化结果。2)即使是中等复杂度的曲面，也很容易生成自相交和不连续的面片，这些面片具有不一致的法线（参见图3中的服装结果）。3)BP算法是非常耗时的，特别是处理密集的点云。最后，学习UDF变成了回归任务，而不是像SDF那样的分类，这使得训练更加困难。我们在图1的特写中显示，即使使用100万个采样点，NDF[8]也无法重建第一个字符的面部细节我们通过提出一种新的可学习的隐式表示克服了上述限制，称为三极点符号距离函数（3PSDF），它能够以高保真度表示包含闭合和开放表面的高度复杂的几何形状（见图1）。此外，3 PSDF使学习成为一项易于训练的分类任务，并与经典和有效的等表面提取技术兼容，例如Marching Cubes al-tax m。我们的方法的关键思想是引入一个无方向的符号，空符号，到传统的二进制双边签署的距离函数。具有空符号的点将被分配nan值，以防止在它们与它们的邻居之间形成决策边界。因此，通过在空间上适当地分布空符号，我们能够用任意拓扑来投射曲面（见图2）。与之前基于占用预测的工作类似[6，26]，我们训练一个神经网络将连续点分为3类：内部，外部和空。生成的标签可以使用简单的映射函数转换回3PSDF，以获得网格化结果。我们评估了三个不同的任务，逐步增加难度的3PSDF：形状重建，点云完成和单视图重建。3 PSDF可以在各种基准上持续优于最先进的方法，包括ShapeNet [5]，MGN [4]，Maximo [1]和3D-Front [16]，无论是定量还是定性。我们还进行了比较场到网格的转换时间与NDF和分析不同的分辨率和采样策略对我们的方法的影响。我们的贡献可概括为：• 我们提出了一种新的可学习的3D表示，3PSDF，可以表示高度复杂的形状与封闭和开放的表面，同时与现有的水平表面提取技术兼容。• 我们提出了一个简单而有效的学习范式3PSDF，使其能够处理具有挑战性的任务，如单视图重建。• 我们使用3PSDF在广泛的基准测试中获得了三个应用程序的SOTA结果2. 相关工作用外显表征学习。3D形状的显式表示通常是规则化和结构化的。基于体素的方法[11，17，19]与卷积神经网络兼容用于学习;为了降低高内存成本，采用基于八叉树的分区[23，36，42]。然而，对象的内部部分通常占据体素的大部分，由于内存限制导致3D精度受损。基于网格的方法主要使预定义的网格变形以近似给定的3D形状[14，18，28，41]。这种方法的一个关键限制是难以改变网格拓扑结构，限制了其3D表示能力。点云由于其简单性最近获得了很多关注[32，33，38，44]虽然这些方法便于形状分析，但生成具有高精度的3D形状仍然很困难。内隐功能学习。 随着深度学习的发展，近年来3D形状的隐式表示取得了很大的进展[6，8，15，24，27，35]。一个很好的例子是符号距离场（SDF），它在3D空间中创建一个连续的隐式场[29，30]，其中外部和内部点由正和负SDF表示。零等值面，即，物体这种表示支持无限分辨率，并且可以将SDF学习简化为二进制分类过程[26]。然而，SDF仅适用于具有闭合曲面的对象为了处理开放表面，提出了无符号距离场（UDF）[10]和深度无符号距离嵌入[40]。这些方法利用绝对距离来描述点的位置，零等值面的提取采用球旋转算法[3]。然而，它们有几个主要的局限性：1）学习UDF是 一 个 回 归 问 题 ， 比 SDF 更 难 ; 2 ） 球 旋 转 [3] 比Marching Cubes [25]更昂贵，更不稳定; 3）梯度在表面上消失，导致人为因素。Venkatesh等人[39]提出了最近表面点（CSP）表示，以防止梯度消失并提高速度。 Zhao等人[45]提出了锚定UDF以提高重建精度。然而，UDF类型方法的前两个限制仍然存在。18524（c）第（1）款（d）其他事项（en（qi）QIpi我我我里外Null图2.3PSDF的二维图示（a）传统的符号距离函数（SDF）只能表示闭曲面。（b）通过在SDF中引入空符号，3PSDF可以禁用指定的决策边界以投射包含开放表面的任意拓扑我们提出了基于局部单元计算3PSDF的实用框架（（c）和（d））。虽然3PSDF可能会为封闭在单元内的开放表面引入近似误差（（d）中的黄色虚线），但近似误差可以通过更精细的空间分解来显著降低我们提出了基于八叉树的细分方法（e），以提高近似性能与高计算效率。3. 三极点符号距离函数3.1. 定义防水3D形状可以通过带符号距离函数隐式地表示。给定一个3D查询点p∈R3，以前的工作应用深度神经网络来预测p的占用率为f（p）：R3<$→[0，1][20]或直接回归SDF为f（p）：R3<$→R[29，43]。 我们的主要观察者-封闭曲面的形成是不可避免的只要空间中存在正号和负号（注意，我们不考虑空间裁剪，其中仅在有限的边界区域中计算SDF）。为了重新解决这个问题，我们引入了第三方向无极点-到本地细胞的网格中。如图2所示，对于每个单元Ci，如果它不包含任何感兴趣的表面，则我们将其封闭空间设置为空区域，并且位于Ci内部的任何采样点pi与目标表面S的距离均为nan：如果pi∈ Ci且Ci <$S=<$（2），则<$（pi，S）=nan对于包围曲面片Si的局部胞元Ci，给定查询点pi∈Ci，我们在Si上找到pi的 最 近 点qi。 我们将q i处的表面法线设为n（qi）。 如果向量−q−→p与n（qi）对齐，即 n（qi） ·−q−→pi≥0，我们将pi到输入曲面S的距离设为正，否则为负。计算可以总结为：.d（p，S） 如果n（q）·−q−→p可以提升：在双表面处不可以形成等值面。n（pi，Si）= i i我我我（三）正/空或负/空对的扇区。因此，空符号作为一个表面消除器，消除了不需要的表面，从而可以灵活地铸造任意拓扑结构，包括那些开放的表面。形式上，对于3D点p∈R3，我们提出，在除了连续的有符号距离之外，它还可以映射到空值：R（p）：R3<$→ {R，nan}。因此，给定输入表面S，我们的目标是学习这样的映射函数，使得argmin|| S − M（n（p））||、（1）Ψ其中M是将结果场转换为显式曲面的网格化算子，||·||返回曲面到曲面的距离。 接下来，我们将介绍如何计算对应的3PSDF为一个给定的形状。3.2. 场计算对于没有闭合边界的非水密曲面，无法对查询点执行入/出测试。因此，我们利用曲面法线来确定距离的符号。特别地，我们分解3D空间−d（pi，Si）否则，其中d（p，Si）返回pi和Si之间的绝对距离。随着3D空间的更精细分解，包含几何形状的单元将仅分布在表面而空单元将占据大部分空间。这与传统的有符号距离场有很大的不同，在传统的有符号距离场中，整个空间都充满了正号或负号的距离。我们提出的3 PSDF更好地反映了任何拓扑的3D表面的性质表面近似能力。如果一个封闭的表面将其宿主细胞细分为几个封闭的子区域，我们的隐式表示可以忠实地近似原始形状而不会损失精度（图2（c））。如果一个局部细胞包含突出的开放表面，我们的方法容易产生细长的表面补丁（图2（d））。然而，这种近似误差仅发生在局部，并且仅限于局部单元的大小。因此，通过更密集的3D分解，我们可以显著降低近似误差。我们在第二节中提供了额外的实验(a)SDF(b)3PSDF≥0，18525θ图4.5示出了相对于变化的采样分辨率的不同重构性能。3.3. 学习框架虽然空符号的引入提供了消除不需要的表面的灵活性，但nan值禁止计算更新深度神经网络所需的有意义的梯度。为了解决这个问题，一个简单的方法是结合二进制分类（NANV.S.非NAN）和回归，其中前者在表面周围生成有效窄带的掩模，而后者在该窄带内回归表面。虽然我们通过实验验证了通过这种方法学习3PSDF是可能的，但在对齐来自二进制分类的窄带掩码和来自回归分支的回归决策边界时会出现额外的挑战两个分支结果的不对准因此，我们提出了一个替代的学习框架，将3PSDF的学习公式化为3路分类问题，如下所述。虽然我们在主要论文中提供了三向分类框架的方法和结果，但我们在补充材料中提供了两种学习方法之间的详细比较。类似于先前关于占用预测的工作[6，26]，3路分类方法提出用推断每个点标签的神经网络来近似目标函数（等式2和3）：{in，out，null}。我们使用离散数字表示标签语义，其中-失去一般性。形式上，我们的目标是学习一个映射函数o：R3<$→ {0，1，2}，其中标签{0，1，2}分别表示内部、外部和空。当基于对对象（例如，点云、图像等）的观察将这种网络应用于下游任务（例如，3D重建）时，网络必须是在输入上因此，除了点p∈R 3的坐标之外，网络还消耗对象x ∈ X的观测值作为输入。具体地，这样的映射函数可以由神经网络Φ θ参数化，该神经网络将一对（p，x）作为输入并输出其3类标签：Φ（p，x）：R3× X<$→ {0，1，2}.（四）训练 为了学习神经网络Φθ（p，x）的参数θ，我们使用批量点样本来训练网络。 对于一个训练批中的第i个样本，我们采样N个点pij∈R3，j=1，. -是的-是的 、N. 小批量损失LB为：基于八叉树的细分。由于3PSDF的计算是局部完成的，为了确保高重建精度，优选的是在一个单元中不包括太多复杂的几何细节和开放表面我们提出了一种基于八叉树的细分方法[37，42]，如图2（e）所示。我们只细分一个局部单元，如果它与输入形状相交。随着细分深度的增加，每个局部单元所包含的曲面片的复杂性此外，由于不包含形状的区域将不会被进一步划分，我们能够实现计算复杂度和重建精度之间的平衡在我们所有的实验中，除非另有说明，否则我们使用基于八叉树的我们在4.5节中的实验验证了基于八叉树的采样的性能优势。3.4. 表面提取一旦网络被学习，我们就能够用我们的预测来标记每个查询点为了提取等值面，我们首先将推断的离散标签转换回原始3PSDF表示。 标签为0、1和的点2分别被赋予SDF值为-1，1和nan。然后，重建的表面可以被提取为零级表面。请注意，由3PSDF表示的等值面可以使用经典的Marching Cubes（MC）算法直接提取空值的存在自然会阻止MC在不包含形状的位置提取有效的等值面。同时，在目标表面附近，等值面提取可以像传统的有符号距离场一样正常在MC计算之后，我们只需要移除由零立方体生成的所有nan顶点和面。剩余的顶点和面用作网格化结果。4. 实验4.1. 实验装置任务和数据集。我们验证建议的3PSDF使用，ING三种类型的实验。首先，我们分析了3PSDF的表示能力，通过检查3PSDF如何从学习的潜在嵌入重建复杂的3D形状。这给了我们一个在其他输入条件下可以实现的结果的上限。其次，我们的条件下学习的3PSDF稀疏点云，并测试其性能，通过提供3D功能。最后，我们使用图像特征作为输入，并提供对chal的验证。1LB= |B|NΣ|B|ΣNi=1j=1L（Φθ（pij，xi），yij），（5）单视图重建的并行任务。所有实验都与SOTA方法进行了比较，以便更好地验证。实验在广泛的3D上进行其中L（·，·）计算交叉项p y损失，xi是批次B的第i个观测值，y ij表示点p i j的真实值标签。数据集包括ShapeNet [5]，MGN [4]，3D-Front [16]和Maximo [1]。具体设置详见以下实验。18526[29]第29话我的世界图3.使用不同神经隐式表示的形状重建结果的视觉比较度量方法ShapeNetMGN米沙莫车平面船灯椅子NDF0.630.250.330.340.450.080.52CD（×10−5）↓DeepSDF2.710.580.611.990.910.091.82我们0.440.210.240.300.350.070.32NDF2.392.462.112.051.470.332.81EMD（×102）↓DeepSDF4.232.562.292.781.660.624.56我们2.102.232.041.921.380.212.55表1.使用不同神经隐式表征的形状重建的定量比较实作详细数据。对于从点云重建的任务，我们使用与NDF相同的点编码器（IF-Net）和超参数[10]。对于单视图重建，我们使用VGG16 [34]和批量归一化作为图像编码器。与DISN [43]类似，我们使用多尺度局部和全局特征来预测3PSDF值。我们根据可见性[13]重新定向地面实况曲面的法线，以使它们保持我们通过填充小孔和平滑表面来细化结果地面实况3PSDF值以分辨率1283生成，并使用分辨率2563评估结果。我们使用基于八叉树的重要性抽样的所有实验。为了简化3PSDF的学习，我们通过对所有样本使用统一的边界框来确保最小叶八叉树单元的大小在不同对象4.2. 形状重建为了评估3PSDF建模复杂几何形状的能力，我们进行了形状重建实验，并与其他SOTA神经隐式表示：DeepSDF [29]和NDF [10]进行了比较与[29]中的自动编码方法类似，我们用512维潜在代码嵌入每个训练样本，并训练神经网络从嵌入中重建3D形状。我们对五个具有代表性的类别进行评估，ShapeNet包含最复杂的几何体，以及两个具有开放表面的数据集：MGN [4]和Mixamo [1]。由于我们只对重建训练数据感兴趣，因此在本实验中我们不使用验证和测试集。由于DeepSDF无法处理开放曲面，因此我们使用[21]生成其地面实况SDF值，该值使用缠绕数将复杂的开放曲面转换为闭合曲面对于训练和评估，我们使用10作为基于八叉树采样的深度，DeepSDF的等效分辨率为1024。为了确保相似的采样密度，我们为NDF生成了100万个表面点。所有NDF结果（包括以下实验）均使用作者发布的后处理脚本生成，以确保公平比较。我们在图1和图3中显示了目视比较，在表1中显示了定量比较。虽然DeepSDF能够重建细节，但它无法处理头发、衣服和挡风玻璃等开放表面。NDF可以处理所有的拓扑结构，但遭受网格问题-我们的方法可以忠实地重建所有复杂的几何形状，同时在定量比较中实现最佳性能4.3. 点云数据的重构我们进一步验证了3PSDF的任务，从稀疏点云的形状重建。在NDF之后[10]，18527[10]第26话我的世界图4.在防水形状上训练的点云完成的比较（删除内部结构）。输入SAL [2] NDF [10]我们的GT图5.在非水密形状（具有内部结构和开放表面）上训练的点云完成的比较。第一行示出了第二行中的重构结果的内部结构。倒角-L23K300DMC1.2552.417OccNet0.9381.009IF-Net0.3261.147NDF0.1270.626我们0.1120.595倒角-L210K3KSAL6.397.39NDF0.0740.275我们0.0710.258表2.左图：封闭式水密汽车3000点和300点的点云完成结果.右：10000和3000点的未处理汽车的点云完成结果。倒角距离以× 10 −4为单位报告。本文首先对3PSDF在封闭曲面重构中的应用进行了评价，然后论证了3PSDF可以表示具有内部结构的复杂曲面和开放曲面。闭合形状的重建。为了与SOTA方法：OccNet [26]，IF-Net [9]和DMC [22]进行比较，我们在[43]预处理的ShapeNet汽车类别上进行训练，其中所有开放的表面都是封闭的，内部结构被删除。我们分别在图4和表2中定性和定量地显示了使用300和3000个点作为输入的重建结果。与其他方法相比，我们的方法可以更好地重建尖锐的几何细节，同时在定量测量上优于所有基线。复杂曲面的重建。 为了验证3 PSDF处理原始未处理数据的能力，我们训练3 PSDF在三个数据集上从稀疏点云重建复杂形状：ShapeNet的未处理汽车[5]，MGN的开放表面服装[4]和3D-Front的客厅场景[16]。我们使用NDF [10]和SAL [2]作为重建未处理汽车的基线。由于SAL是建立在传统的SDF，我们使用封闭的形状作为地面实况。我们在图5和图6中提供了重建结果的视觉比较。SAL努力为开放的表面建模，例如挡风玻璃和汽车的薄外部结构NDF可以生成接近目标表面的密集点云。然而，输出点很容易聚集（如图6的特写所示），这会阻止BP算法生成高质量的网格化结果。相比之下，3PSDF能够忠实地重建内部结构以及开放表面。表2和图6中的定量比较也验证了我们相对于基线的优势。4.4. 单视图3D重建在这个实验中，我们将3PSDF应用于单视图3D重建（SVR）任务，以进一步展示其代表性能力。我们在MGN数据集[4]和ShapeNet [5]上进行评估。我们使用Chamfer-L2距离和F分数（τ=1%体积对角线长度）作为评价指标。我们比较了使用隐式字段的代表性SVR方法，包括IMNet [7]，OccNet [26]和18528[10]第10话图6. MGN和3D-Front上的点云完成性能比较。倒角-L2（×10−4）比较：MGN：NDF -0.035;我们的-0.033; 3D-正面：NDF - 1.452;我们的-1.378。输入OccNet DISN Ours GT图7. MGN数据集与基于隐函数的最新单视图重建方法的定性比较。MGN测试集的CD（×10−3）和F-score（×10−2）指标的定量评价结果分别为：1.03和69.8（DISN）; 1.01和71.0（OccNet）; 0.98和71.2（Ours）。DISN [43].我们进一步实现了基于图像的NDF[10]估计器，但发现合理的结果不能通过单独使用图像特征来生成。由于这两个数据集中的模型通常包含基线方法无法直接处理的非水密表面，因此我们首先将这些模型转换为水密表面。请注意，我们的表示是直接在原始形状上训练的，而没有这个非常耗时的过程。MGN上的单视图重建。MGN数据集[4]中的模型被表示为具有单个片材的开放自由曲面，这对现有的具有隐式函数的单视图重建方法具有挑战性。我们使用每个服装模型的纹理网格渲染RGB图像，并训练一个以图像为条件的网络如图7所示，我们的结果捕获了原始的开放表面结构以及更多的高频几何特征，如皱纹。3PSDF表示在测试集上也实现了最佳的定量结果。ShapeNet上的单视图重建。 我们使用ShapeNet [5]的一个子集进行评估，从中我们选择5个类别（飞机，汽车，灯，椅子，船），输入IMNet OccNet DISN Ours GT Figure 8.与基于隐函数的SOTA单视图重建方法的定性比较结果。17803个形状。我们使用与Choy等人相同的图像渲染（每个形状24个视图）和训练/测试分割。[12]。图8显示了一组定性比较。尽管被设计用于处理开放表面，但 3PSDF 仍 然 是 一 种 通 用 的 表 示 方 法 ， 可 用 于 在ShapeNet中重建具有闭合或开放表面的各种3D形状。我们不仅忠实地保留了目标形状的原始结构相反，前隐式函数总是依赖于水密形状，这大大限制了它们的表示能力，并且通常导致过度平滑的几何形状、缺乏细节以及不一致的类型学。如表3所示，3PSDF实现了最先进的性能，18529CD（×10−4随机均匀八叉树）↓ 7.43 2.161.08表3.单视图重建的定量比较。倒角-L2和F分数以×10−3和×10−2报告。现有的方法，其中它有5个指标排名第一和可比的结果，其余的指标。4.5. 进一步讨论不同分辨率的重建精度/外观。由于3PSDF是在3D空间中连续定义的，因此可以使用任意分辨率表示形状。图9给出了一个由粗到细的形状近似结果，其中我们对体积空间进行了离散化，并使用不同的网格分辨率来表示3D形状。实验结果表明，3PSDF的逼近质量随着分辨率的增加而提高，从而使形状边界更加平滑，重建精度也更高。EMD（×103）↓ 3.28 1.551.12表4.使用不同采样策略的重建精度。3PSDF，我们评估的任务，形状重建从点云的未处理的汽车数据。采样点的生成采用三种策略：1）在空间中随机抽取采样点; 2）均匀采样，生成等距相邻采样点; 3）基于八叉树的采样，以叶八叉树单元的角点作为训练样本。 我们在所有策略中使用了大约1800万个采样点。表4显示基于八叉树的采样产生最佳结果。与其他方法相比，基于八叉树的采样能够密集地对具有内部/外部标签的点除非另有说明，否则我们所有的实验都使用基于八叉树的采样。限制. 3PSDF在重建彼此非常接近的多层表面时存在困难，特别是当分辨率较低时。这是因为与SDF相比，3PSDF此外，鉴于3 PSDF的增强的表示能力，它需要更多的信息特征来学习和更长的训练时间;例如，网络收敛得更快，并且在给定点云作为输入的情况下实现更好的几何形状，与单个图像进行比较。5. 结论和讨论我们引入了3PSDF，一个可学习的隐式距离函数来表示具有任意拓扑结构的3D形状。Dif-643128325635123图9.使用不同分辨率的形状重建结果。从左到右，这些形状的CD（×10−5）值分别为：14.49、2.52、2.21和2.12; EMD（×102）值分别为：3.42、0.336、0.267和0.227。场到网格转换的时间成本。我们定量地评估了在不同的输出采样密度下场到网格转换的时间成本当八叉树深度为6（643）、7（1283）、8（2563）和9（5123）时，单个形状的3 PSDF场-网格转换平均时间分别为0.006s、0.11s、0.54s和3.72s相比之下，NDF [10]的转换时间（给定可比的采样点数量）为：2.1s，15分钟，3小时，34小时，使用NDF提供的后处理设置（半径=0.005）。实验是在一台配备48核AMD EPYC CPU和64GB内存的机器上进行的不同的取样策略。我们进一步研究了不同采样策略对性能的影响，与广泛使用的隐式表示（如SDF）只能编码水密形状不同，3PSDF可以忠实地表示具有开放和封闭表面的各种形状3PSDF的关键见解是引入了NULL符号，以额外指示表面不存在我们进一步制定了一个基于分类的学习范式，有效地学习这种表示。因此，距离函数的代表能力显著增强。广泛的评估表明，3PSDF是一个通用的隐式表示，accommodates各种三维重建任务。今后的工作。我们已经在补充中表明，3PSDF可以通过组合二进制分类和回归的替代方法来学习。与三向分类相比，这种方法有可能在训练时用更少的采样点生成更光滑的表面然而，它不像3路对应物那样鲁棒，因为它需要两个分支的结果很好地对齐以防止孔和伪影。这将是一个有趣的未来途径来研究如何解决这个问题。方法ShapeNet车平面船灯椅子IMNet3.485.074.179.511.81CD↓OccNet1.741.743.4814.552.22DISN1.231.714.846.111.54我们0.761.663.277.673.29IMNet31.833.739.834.361.1FS↑OccNet54.459.744.950.659.6DISN65.877.257.850.463.8我们77.072.866.649.358.518530引用[1] Adobe https：//www.mixamo.com/，2017. 二、四、五[2] Matan Atzmon和Yaron Lipman。Sal：从原始数据中学习形状的符号不可知论。 在IEEE/CVF会议 计算机视觉和模式识别（CVPR），2020年6月。6[3] FaustoBernardini，JoshuaMittleman，HollyRushmeier，Cl a'udioSil v a，andGabrielTaubin. 曲面重构的 球 投 算 法 IEEE Transactions on Vi- sualization andComputer Graphics，5（4）：349-359，1999. 2[4] BharatLalBhatnagar ， GarvitaTiwari ， ChristianTheobalt，and Gerard Pons-Moll.多服装网：学习从图像中 打 扮3d 人 IEEEInternational Conference on ComputerVision（ICCV）IEEE，2019年10月。二四五六七[5] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimo Li，SilvioSavarese，Manolis Savva，Shuran Song，Hao Su，et al.Shapenet：An information-rich 3d model repository. arXiv预印本arXiv：1512.03012，2015。二四六七[6] 陈志勤和张浩。学习生成式形状建模的隐式字段。在IEEE计算机视觉和模式识别会议论文集，第5939-5948页一、二、四[7] 陈志勤和张浩。学习生成式形状建模的隐式字段。在IEEE/CVF计算机视觉和模式识别会议论文集，第5939-5948页6[8] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和补全。在IEEE/CVF计算机视觉和模式识别会议论文集，第6970-6981页2[9] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和补全。在IEEE计算机视觉与模式识别会议（CVPR）上。IEEE，2020年6月。6[10] Julian Chibane、Aymen Mir和Gerard Pons-Moll。用于隐函数学习的神经无符号距离场在神经信息处理系统（NeurIPS）中，2020年12月一、二、五、六、七、八[11] Christopher Choy，JunYoung Gwak，Silvio Savarese.4D时空卷积网络：Minkowski卷积神经网络。在IEEE计算机视觉和模式识别会议论文集，第3075-3084页，2019年。2[12] Christopher B Choy ， Danfei Xu ， JunYoung Gwak ，Kevin Chen，and Silvio Savarese. 3d-r2 n2：用于单视图和多视图3D对象重建的统一方法。在欧洲计算机视觉会议上，第628-644页施普林格，2016年。7[13] Lei Chu，Hao Pan，Yang Liu，and Wenping Wang.基于可视化驱动的全局优化的人工网格修复方法。ACMTransactions on Graphics（TOG），38（6）：1-18，2019。5[14] 安吉拉·戴和马蒂亚斯·尼斯纳Scan2mesh：从非结构化范围扫描到3D网格。InProceedings of theIEEE计算机视觉和模式识别会议，第5574-5583页，2019年。2[15] Yueqi Duan ， Haidong Zhu ， He Wang ， Li Yi ， RamNevatia，and Leonidas J. Guibas.课程DeepSDF。在欧洲计算机视觉会议（ECCV）的Proceedings中，第51-67页，2020年。2[16] Huan Fu，Bowen Cai，Lin Gao，Lingxiao Zhang，CaoLi ， Zengqi Xun ， Chengyue Sun ， Yiyun Fei ， YuZheng，Ying Li，et al. 3d-front：3d furnished rooms withlayout and seman- tics.arXiv预印本arXiv：2011.09127，2020。二、四、六[17] Rohit Girdhar，David F Fouhey，Mikel Rodriguez，andAbhi- nav Gupta.学习对象的可预测和生成矢量参见ECCV，第484-499页。施普林格，2016年。2[18] Georgia Gkioxari Jitendra Malik和Justin Johnson 网格R-CNN。在IEEE计算机视觉国际会议论文集，第9785-9795页，2019年。一、二[19] 本杰明·格雷厄姆、马丁·恩格尔克和劳伦斯·范德马滕。使用子流形稀疏卷积网络进行3D语义分割。在IEEE计算机视觉和模式识别会议论文集，第9224-9232页，2018年。2[20] Zeng Huang，Tianye Li，Weikai Chen，Yajie Zhao，JunXing，Chloe LeGendre，Linjie Luo，Chongyang Ma，and Hao Li.从非常稀疏的多视图性能捕获的深度体积视频。在欧洲计算机视觉会议（ECCV）的会议记录中，第336-354页，2018年。第1、3条[21] Alec Jacobson ， Ladislav Kavan ， and Olga Sorkine-Hornung. 使 用 广 义 缠 绕 数 的 鲁 棒 内 外 分 割 。 ACMTransactions on Graphics（TOG），32（4）：1-12，2013。5[22] Yiyi Liao，Simon Donne，and Andreas Geiger.深度移动立方体：学习显式表面表示。在IEEE计算机视觉和模式识别会议（CVPR）上。IEEE计算机学会，2018年。6[23] Lingjie Liu ， Jiatao Gu ， Kyaw Zaw Lin ， Tat-SengChua，and Christian Theobalt.神经稀疏体素场。神经IPS，2020年。2[24] Shichen Liu，Shunsuke Saito，Weikai Chen，and Hao Li.学习在没有3d监督的情况下推断隐含表面。神经信息处理系统的进展，32，2019。2[25] William E.作者声明：by Lorensen and Harvey E Cline.Marching Cubes：一个高分辨率的3D表面构造算法。ACM Transactions on Graphics （TOG），21（4）：163-169，1987. 2[26] Lars Mescheder，Michael Oechsle，Michael Niemeyer，Se- bastian Nowozin ， and Andreas Geiger.Occupancynetworks：Learning 3d reconstruction in function space.在IEEE/CVF计算机视觉和模式识别会议论文集，第4460-4470页一、二、四、六[27] Ryota Natsume，Shunsuke Saito，Zeng Huang，WeikaiChen，Chongyang Ma，Hao Li，and Shigeo Morishima.Sic- lope：基于剪影的穿着衣服的人。在IEEE/CVF计算机视觉和模式识别会议论文集，第4480-4490页，201918531年。2[28] Junyi Pan ， Xiaoguang Han ， Weikai Chen ， JiapengTang，and Kui Jia.单幅RGB图像的深度网格重建18532通过拓扑修改网络。在IEEE/CVF计算机视觉国际会议论文集，第9964-9973页，2019年。2[29] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。DeepSDF：学习用于形状表示的连续符号距离函数。在IEEE计算机视觉和模式识别会议论文集，第165-174页，2019年。一、二、三、五[30] PengSongyouPeng ， MichaelNiemeyer ， LarsMescheder，Marc Pollefeys，and Andreas Geiger.卷积占有网络。在计算机Springer，2020年。2[31] Charles R Qi， Hao Su ，Kaichun Mo ， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别集，第6521[32] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. PointNet++：度量空间中点集的深度层次特征学习。神经信息处理系统的进展，第5099-5108页，2017年。一、二[33] 东旭树，朴成宇，和权俊锡。基于树结构图卷积的3D点云生成对抗网络。在IEEE计算机视觉国际会议论文集，第3859- 3868页，2019年。2[34] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。5[35] Jia-Heng Tang，Weikai Chen，Jie Yang，Bo Wang，Songrun Liu，Bo Yang，and Lin Gao. Octfield：用于3D建模的分层隐式函数。在第三十五届神经信息处理系统年会（NeurIPS），2021年。