二进制空间划分网络：无监督学习多边形网格的紧凑表示方法

45BSP-Net：通过二进制空间划分西蒙菲莎大学谷歌研究张浩西蒙弗雷泽大学摘要多边形网格在数字3D领域无处不在，但它们在深度学习革命中只扮演了一个次要角色。Leading methodsfor learning genera- tive models of shapes rely on implicitfunctions, and gen- erate meshes only after expensive iso-surfacing routines.为了克服这些挑战，我们受到计算机图 形 学 中 的 经 典 空 间 数 据 结 构 二 进 制 空 间 划 分（BSP）的启发，以促进3D学习。BSP算法的核心是对空间进行递归剖分以获得凸集。通过利用这个特性，我们设计了BSP-Net，一个通过凸分解学习表示3D形状的网络。重要的是，BSP-Net是无监督的，因为训练不需要凸形分解。该网络被训练为使用从建立在一组平面上的BSP树获得的一组凸来重建形状。由BSP-Net推导出的凸体可以很容易地提取出来形成多边形网格，而不需要进行等值面绘制。生成的网格是紧凑的（即，低多边形）并且非常适合于表示尖锐的几何形状;它们保证是防水的并且可以容易地参数化。我们还表明，反射质量的BSP-Net是有竞争力的国家的最先 进 的 方 法 ， 同 时 使 用 更 少 的 原 语 。 代 码 可 在https://github.com/czq142857/BSP-NET-original获得。1. 介绍最近，人们对3D形状的表示学习和生成建模越来越感兴趣。到目前为止，用于形状分析和合成的深度神经网络主要针对体素网格[14，18，48，50]，点云[1，33，34，55，56]和隐式功能[5，13，22，28，52]。作为建模、显示和动画的主要3D形状表示，多边形网格在这些描述中并不突出。其中一个主要原因是三角形镶嵌的不均匀性和不规则性不自然地支持传统的卷积和池化操作[19]。然而，与体素和点云相比，网格可以提供更加无缝和连贯的视觉效果。图1：（a）通过BSP-Net的3D形状自动编码快速地重建紧凑的，即，低聚物，网格，可以很容易地纹理。网格边缘再现输入中的尖锐细节（例如，腿的边缘），但仍近似平滑的几何形状（例如，圆形桌面）。(b)最先进的方法回归的指示函数，这需要等表面，导致过度镶嵌网格，只有近似尖锐的细节与光滑的表面。表面表示法;它们更可控、更容易操纵、更紧凑，使用更少的图元获得更高的视觉质量;见图1出于可视化目的，所生成的体素、点云和隐式通常在后处理中被转换成网格通过March-ing Cubes的等值面提取[26]。很少有深度网络可以直接生成多边形网格，并且这些方法仅限于零格网格[17，27，44]，分段零格网格[12]，共享相同连接的网格[11，41]，或具有非常低数量顶点的网格[7]。基于面片的方法可以生成覆盖具有平面多边形[46]或曲面[16]网格面片的3D形状的结果，但其视觉质量通常会受到可见接缝、不连贯面片连接和粗糙表面外观的影响。很难对这种网格输出进行纹理处理或操作。在本文中，我们开发了一个生成式神经网络，输出多边形网格本机。具体来说，网络学习的参数或权重可以预测适合3D形状表面的多个平面，从而产生紧凑且防水的多边形网格;见图1我们将我们的网络命名为BSP-Net，因为每个面都与二进制空间分区（BSP）相关联，并且形状由这些分区组合而成。46图2：“神经”BSP树的图示BSP-Net学习一个隐式字段：给定n个点坐标和一个形状特征向量作为输入，网络输出指示点是在形状内部还是外部的值。该隐式函数的构造如图2所示，由三个步骤组成平面方程的集合意味着空间的p个二进制分区的集合;参见图2-top; 运算器 Tp×c将这些分区分组，以创建c个conevexshapeprimitiv es/ parts的集合;最后，合并部分集合以产生输出形状的隐式场。图3显示了对应于这三个步骤的BSP-Net的网络架构：1.在特征代码中，MLP在层L0中产生规范参数的矩阵 Pp×4 ， 该 矩 阵 定 义 p 个 平 面 的 隐 式 方 程 ：ax+by+cz+d=0;这些隐式函数在层L1中的n个点坐标xn×4的集 合上 求值;2.运算符Tp×c是一个二进制矩阵它强制执行从L1到下一个网络层L2的选择性神经元馈送，从而形成多个部分;最后，层L3通过求和或最小池化将这些部分组装成形状。在推理时，我们将输入馈送到网络以获得BSP树的组件，即，叶节点（平面P）和连接（二进制权重T）。然后应用经典的构造性实体几何（CSG）方法提取形状的显式多边形曲面.该网格通常是紧凑的，由直接来自网络的p个平面的子集形成，从而在推理过程中显著提高了先前网络的速度，并且不需要昂贵的等值面0.5每秒生成网格。此外，由网络生成的网格保证是防水的，可能具有尖锐的特征，与以前的隐式解码器产生的平滑形状形成对比[5，22，28]。BSP-Net是可训练的，其特征在于可解释的网络参数定义超平面及其形成重建的表面。重要的是，网络训练是自我监督的，因为不需要地面实况凸形分解。BSP-Net被训练为使用相同的集合从训练集重建所有形状图3：与图2对应的网络。在网络的L2因此，我们的网络提供了一个自然的对应之间的所有形状在凸的水平。BSP-Net尚未学习语义部分。可以手动获得将凸部分组为语义部分，或者以其他方式学习，因为语义形状分割是一个研究得很好的问题。这样的分组只需要在每个凸上进行一次，以将语义理解传播到包含相同语义部分的所有形状。捐款.• BSP-Net是第一个直接输出具有任意拓扑和结构多样性的紧凑和防水多边形网格的深度生成网络。• 学习的BSP树允许我们推断形状分割和部分对应。• 通过调整我们网络的编码器，BSP-Net也可以适用于形状自动编码和单视图3D重建（SVR）。• 据我们所知，BSP-Net是第一个实现结构化SVR的方法之一，它可以从单个非结构化对象图像重建分割的• 最后但并非最不重要的是，我们的网络也是第一个可以重建和恢复尖锐几何特征的网络。通过对形状自动编码、分割、部分对应和单视图重建的大量实验，我们展示了BSP-Net的最先进性能。使用传统的失真度量，视觉相似性，以及一个新的度量评估模型的能力，在表示尖锐的功能，形状分解和3D重建的领先方法进行比较。特别是，我们强调了我们的网络所表现出的良好的保真度-复杂性权衡。472. 相关工作ShapeNet [2]和Part-Net [30]等大型形状集合促进了3D数据处理学习技术的发展。在本节中，我们将介绍基于学习到的底层形状表示的表示方法，重点是生成模型。网格模型。早期的方法将2D卷积推广到3D [6，14，24，48，49]，并采用体积网格来表示粗略ocu-函数方面的形状，其中如果体素为BAE-NET中的指标函数[4]。我们的网络架构的灵感来自BAE-NET，它被设计为通过在网络的不同分支中重建其部分来分割形状对于每个形状部分，BAE- NET通过二元分类器学习隐式字段相比之下，BSP-Net显式地学习了一个基于平面细分的树结构，用于自下而上的零件装配。另一个类似的工作是CvxNet [8]，它将形状分解为凸图元的集合然而，BSP-Net在几个重要方面与CvxNet不同：我们的目标是具有尖锐特征的低多边形重建，而一个在外面，另一个在外面。 不幸的是，这些方法得到平滑重建;网络总是通常限于最多643的低分辨率，输出K个凸，而存储器需求的立方增长为gener-在我们的方法中自动学习我们的优化在更精细的结果中，已经提出了可微的行进立方体操作[26]，以及减轻影响密集体积网格的维数灾难的分层策略[18，36，42，45，46]。另一种替代方法是使用多视图图像[25，40]和几何图像[38，39]，它们允许标准的2D卷积，但这种方法仅适用于网络架构的编码器侧最后，最近在体素网格上执行稀疏卷积的方法[15]同样限于编码器。表面模型。 3D模型的语义 ELS由它们的表面（内部/外部空间之间的边界）捕获，已经提出了各种方法来以可微的方式表示形状表面在这些技术中，我们发现了由点网[33]开创的一类技术，该技术将表面表示为点云[1，9，10，33，34，53，56]，以及由PennasNet [16]开创的技术，采用2D到3D映射过程[47，39，44，53]。一个有趣的替代方案是将网格生成视为估计顶点及其连通性的过程[7]，但这些方法不能保证水密结果，并且难以扩展到超过100个顶点。隐式模型。最近的趋势是将形状建模为可学习的指示函数[5，22，28]，而不是像体素方法那样对其进行采样由此产生的网络将重建视为分类问题，并且是通用近似器[20]，其重建精度与网络复杂度成正比然而，在推理时，生成3D模型仍然需要执行昂贵的等值面操作，其性能在所需分辨率中按立方缩放。相比之下，我们的网络直接输出形状表面的低多边形形状分解BSP-Net使用基于部件的方法生成网格，因此学习形状分解的技术具有特别的相关性。有一些方法可以将形状分解为定向盒[43，31]，轴对齐高斯[13]，超二次曲面[32]或他们的套路完全不同，因为他们的成分不同。位置树结构是硬编码的。结构化模型。最近有关于学习结构化3D模型的工作，特别是零件边界框的线性[58]或层次[23，57，29，31]组织。虽然一些方法单独学习零件几何形状[23，29]，但其他方法联合嵌入/编码结构和几何形状[51，12]。所有这些方法的共同之处在于，它们是受监督的，并且是在具有部分分割和标签的形状集合上训练的。相反，BSP-Net是无监督的。另一方面，我们的网络并不是为了推断形状语义而设计的;它被训练以学习凸 分 解 。 据 我 们 所 知 ， 只 有 一 个 先 前 的 工 作 ，Im2Struct [31]，它从单视图图像推断零件结构。但是，这项工作只产生了一个盒子安排;它不像BSP-Net那样重建结构化形状。二进制和胶囊网络。 BSP-Net中树结构的离散优化与二进制[21]和XNOR [35]神经网络有一些相似之处。然而，只有一层BSP-Net使用二进制权重，并且我们的训练方法不同，因为我们在早期训练中使用连续松弛的权重。此外，由于我们的网络可以被认为是一个简化的场景图，它与胶囊网络的原理有着惊人的相似之处[37]，其中低级胶囊（超平面）聚集在更高（凸）和更高（形状）的胶囊表示中。尽管如此，虽然[37]解决了区分任务（编码器），但我们专注于生成任务（解码器）。3. 方法我们寻求一种可同时训练和解释的几何学的深层表达我们通过设计一种网络架构来实现这一任务，该网络架构提供了一种可扩展的二进制空间划分树（BSP树）表示1。这种表示在编码时很容易训练[1]虽然典型的BSP树是二叉的，但我们关注的是n叉树，BSP中的48JJ不=W几何通过隐式函数，和可解释的，因为它的输出是凸多面体的集合虽然我们一般的目标三维几何，我们采用2D的例子来解释的技术，不失一般性。我们通过一个包含三个主要模块的网络来实现我们的目标，这些模块作用于由编码器提取的与输入数据类型相对应的特征向量（例如，由ResNet产生的用于图像的特征或由3DCNN产生的用于体素的特征）。更详细地说，第一层提取以输入数据为条件的超平面，第二层以半空间的形式对超平面进行分组以创建部分（凸），第三层将部分组装在一起以重构整个对象;请参见图3。层1：超平面提取。 给定一个特征向量f，我们应用一个多层感知器P来获得平面参数Pp×4，其中p是平面的数量，即。P=Pω（f）。对于任何点x=（x，y，z，1），乘积D=xPT是到每个平面的有符号这 里 的 内 部 / 外 部 状 态 只 是 近 似 的 。 例 如 ， 当W=1，并且所有C+=0时。5、一个在所有凸体之外，但在它们的组成之内。两阶段训练。在（4）上评估的损失将是近似的，但比（3）具有更好的梯度。因此，我们开发了一个两阶段的训练方案，其中：在连续阶段，我们试图保持所有权重连续并通过S+（x）计算近似解-这将生成近似结果，如图4（b）所示;在下一个圆盘阶段，我们将权重重新分配并使用完美的并集通过精细计算生成准确的结果。在S_n（x）上调谐-这创建了如图4（c，d）所示的更精细的重构。我们的两阶段训练策略受到经典优化的启发，其中整数问题的平滑松弛被广泛接受，并且具有数学原理。3.1. 培训阶段1我们用σ = 0的随机零均值高斯噪声初始化T和W。02，并通过以下方式优化网络层2：超平面分组。将超平面分组为arg minL+ +L++ L+。（五）几何图元，我们采用二进制矩阵Tp×c。通过最大池化操作，我们聚合输入平面以形成ω，T，WrecT Wa set of c convexprimitives:C（x）= max（T）.<0内（一）给定查询点x，我们的网络被训练为将S（x）与由F（x）表示的地面实况指标函数相匹配|G），在最小二乘意义上：ii ij0外。+rec =ExGS+（x）−F（x|（G））、（6）注意，在训练期间，梯度将流过只有一个（最大）平面。因此，为了简化训练，我们采用了一个用求和代替max的版本：.其中xG表示特定于训练形状G的采样-包括单位框中的随机样本以及边界G附近的边缘ΣC+（x）=我relu（Di）Tij=0内部（二）0外。平面i和凸j之间的距离由Tij=1表示，并且否则条目为零。我们执行图邻接矩阵T的连续松弛，其中我们要求其第三层：形状装配。该层通过最小池化对凸形进行分组以创建可能的非凸形输出形状.在[0，1]范围内的值Σ ΣL+=max（−t，0）+max（t − 1，0）。（七）S（x）=min（C+（x））=0内部（三）t∈Tt∈Tjj>0外。请注意，在上述表达式中使用C+是国际性的。我们避免使用C*，因为在TensorFlow 1中缺乏对运算符的内存高效实现同样，为了便于学习，我们通过（加权）求和将梯度分布到请注意，这比使用sigmoid激活更有效，因为它的此外，我们希望W接近1，使得合并操作是求和：Σ+|W j− 1|.（八）JΣS+（x）=0J W1−C+（x）Σ[0， 1]LL49JJ。[0， 1]=1个单位[0，1）输出，（四）然而，我们提醒读者，我们初始化与W= 0，以避免在早期训练中梯度消失3.2. 培训阶段2在第二阶段，我们首先通过选择一个其中Wc×1是权重向量，[·][0，1]执行裁剪。在训练过程中，我们将强制W≈1。注意阈值λ=0。01并赋值t=（t>λ）？一比零。实验上，我们发现T的学习值很小，这导致50图4：在合成2D数据集上训练的2D自动编码器中的评估我们显示了自动编码结果，并用红色圆圈突出显示了第1阶段中的错误，这些错误在第2阶段中得到了解决我们进一步示出了启用（可选的）重叠损失的效果请注意，在可视化中，我们使用不同的（可能是重复的）颜色来表示不同的凸。图5：L2输出的例子注意有多少平面未使用。我们选择一个小的阈值。与经量化T，我们通过以下方式对网络进行微调：输入.所有编码器产生特征码|F|=256。稠密网络Pω具有宽度{512，1024，2048，4p}，其中最后一层输出平面参数。当训练3D形状的自动编码器时，我们采用[5]中的渐进式训练，从越来越密集的网格中采样点（163，323，643）。请注意，分层训练对于收敛不是必需的，但会导致约3倍的收敛加速在第一阶段，我们在16个3网格上训练网络，使用批量大小36进行800万次迭代，然后使用批量大小36进行800万次迭代，然后使用批量大小36穿12号的。在第二阶段，我们在64个3网格上训练网络，argminωL重建+L重叠，（9）批量大小为12的百万次迭代。对于单视图重建，我们还采用了列车-其中我们通过以下方式确保形状被很好地重建：在[5]中，即，首先训练自动编码器，然后仅∗Recon=ExG[F（x|G）·max（S（x），0）]（10）训练SVR模型的图像编码器来预测潜在代码，而不是直接预测输出形状。+Ex <$G[（1−F（x|G））·（1−min（S（x），1））]。（十一）上面的损失函数将S*（x）拉向0，如果x应该在形状内;否则它会将S（x）推到1以上。可选地，我们还可以阻止凸之间的重叠。我们首先计算一个掩码M，使得如果x包含在一个以上的凸函数中，则M（x）=1，然后计算：我们训练图像编码器1,000个epoch，批量大小为64。我们运行我们的实验工作站上的Nvidia GeForce RTX2080 Ti GPU。在训练自动编码器（13个 ShapeNet类别中的一个模型）时，第1阶段大约需要103天，第2阶段需要102天;训练图像编码器需要201天。∗重叠=−Ex <$G[M（x）S<$（x）]。（十二）4. 结果和评价我们在一个合成的2D模型上研究了BSP-Net的行为，3.3. 算法和训练细节在我们的2D实验中，我们使用p=256个平面和c=64个凸面。 我们使用一个简单的2D卷积编码器，其中每一层将图像降采样一半，并将特征通道的数量加倍。我们使用所有像素的中心作为样本。在我们的3D实验中，我们使用p=4，096个平面和c=256个凸面。体素的编码器是一个3D CNN编码器，其中每一层将网格下采样一半，并将特征通道的数量加倍。它需要一个大小为643的卷作为输入。图像的编码器是ResNet-18，没有池化层，它接收大小为1282的图像，LL51形状数据集（第4.1节），并评估我们的自动编码器（第4.2节），以及单视图重建（第4.3节）相比，其他国家的最先进的方法。4.1. 自动编码2D形状为了说明我们的网络是如何工作的，我们创建了一个合成的2D数据集。我们在64×64的图像上放置不同大小的菱形、十字形和空心菱形;见图4（a）。这三个形状的顺序被排序，使得菱形总是在左边，空心菱形总是在右边52图6：分割和对应-BSP-Net自动编码隐含的此处显示的颜色是对已学习的凸面进行手动分组的结果。颜色分配是在几个形状上执行的：一旦一个凸在一个形状中被着色，我们可以通过使用学习的凸id将颜色传播到其他形状CDNCLFD[43]第四十三话2.2590.6836132.74[32]第三十二话1.6560.7195451.44BAE [4]1.5920.7774587.34我们0.4470.8582019.26我们的+L重叠0.4480.8582030.35表1：3D形状自动编码的表面重建最佳结果以粗体标记平面车椅子灯表是说[43]第四十三话37.641.964.762.262.156.9[32]第三十二话48.949.565.668.377.766.2BAE [4]40.646.972.341.668.259.8我们74.269.580.952.390.379.3我们的+L重叠74.569.782.153.490.379.8BAE*[4]75.473.585.273.986.481.8表2：分割：按标签IoU的比较。例如ShapeNet [2]。经过第一阶段的训练，我们的网络已经实现了一个很好的近似S+重建，但是，通过检查我们的推理输出S+在第二阶段的微调之后，我们的网络实现了近乎完美的重建。最后，重叠损失的使用显着提高了表示的紧凑性，减少了每个部分的凸起数量;见图4（d）。图5显示了用于构建各个凸的平面图7：分割和重建/定性。在推断的凸体之间创建自然的语义对应。例如，图4（d）中的空心菱形总是由处于相同相对位置的相同的四个凸部制成-4.2. 自动编码3D形状对于3D形状自动编码，我们将BSP-Net与其他一些形状分解网络进行了比较：体积素元（VP）[43]，超级二次曲面（SQ）[32]和分支自动编码器（BAE）[4]。请注意，对于分割任务，我们还评估BAE*，BAE版本使用预测的隐式函数的值，而不仅仅是分类边界-由于所有这些方法的目标形状分解任务，我们训练单类网络，并评估分割以及重建性能。我们使用ShapeNet（零件）数据集[54]，并专注于五个类别：飞机，汽车，椅子，灯和桌子。对于汽车类，由于没有一个网络分离表面（因为我们执行体积建模），我们从（车轮，车身，引擎盖，车顶）→（车轮，车身）减少部分;并且类似地用于灯（底座、杆、灯罩、遮篷）→（底座、杆、灯罩）和桌子（顶部、腿、支撑件）→（顶部、腿）。作为重建任务的定量度量，我们报告了在4k个表面采样点上计算的对称倒角距离（CD，缩放×1000）和法线一致性（NC）。我们还报告了光场距离（LFD）[3] -计算机图形学中最着名的视觉相似性度量。对于分段任务，我们报告我1我 2我 3忽略具有接近零梯度平面请注意BSP-Net典型的平均每标签交集对并集（IOU）。53细分表2显示了每个类别的细分结果。由于我们在数据集中有点云的地面真实部分标签，在训练每个网络之后，我们通过投票获得每个基元/凸的部分标签：对于每个点，我们识别离它最近的基元，然后该点将在相应的部分标签上为该基元投票。之后，对于每个原语，我们将具有最高投票数的部分标签我们使用数据集的20%来分配部件标签，并使用所有形状进行测试。在测试时，对于点云中的每个点，我们找到其最近的图元，并将图元的部分标签分配给该点。在与BAE的比较中，我们采用了他们的一次性训练方案[4，第3.1节]。请注意，BAE-NET* 专门用于分割任务，而我们的工作主要针对基于部件的重建;因此，表2中的IoU性能是分段性能的上限。图6显示了BSP-Net自动编码所隐含的语义分割和部分对应，显示了各个部分（左/右臂/腿等）匹配。在我们的方法中，所有的形状都对应于原始（凸）级。为了揭示形状语义，我们手动分组属于相同语义部分的凸，并为它们分配相同的颜色。请注意，颜色分配在每个凸上完成一次，并传播到所有形状。重建比较。BSP-Net实现了显著更好的重建质量，同时保持了高分割精度;参见表1和图7，其中我们根据其推断的部分标签为每个图元BAE- NET是为分割而设计的，因此产生质量差的基于部件的3D重建。请注意，BSP-Net如何能够表示复杂的部件，如图7中的转椅腿，而其他方法都不能。4.3. 单视图重建（SVR）在 单 视 图 重 构 任 务 上 ， 我 们 将 我 们 的 方 法 与JumasNet [16] ， IM-NET [5] 和 OccNet [28] 进 行 了 比较。我们在表3和表4中报告了定量结果，在图8中报告了定性结果。我们使用ShapeNet [2]中的13个类别，每个类别有超过1，000个形状，以及来自3D-R2 N2 [6]的渲染视图。我们在所有类别上训练一个模型，使用80%的形状进行训练，20%用于测试，与Atlas- Net类似[16]。对于其他方法，我们下载作者发布的预训练模型。由于预训练的Oc-cNet [28]模型具有与其他模型不同的训练测试分裂，因此我们在测试分裂的交集上对其进行评估。边缘倒角距离（ECD）。为了衡量模型表示尖锐特征的能力，我们引入了一个新的度量。我们首先通过生成均匀分布在模型表面上的16 k个点S = { s i }来计算表面的图8：单视图3D重建-中间一列显示了重建的网格镶嵌;最后一列显示了在ECD度量中使用的边缘采样。图9：BSP-Net的结构化SVR用相应的凸形重建每个形状。属于相同语义部分的凸被手动分组并被分配相同的颜色，从而导致语义部分对应。σ（si）= minj∈Nε（si）|ni·nj|其中，Nε（s）提取S中在距离s的距离ε内的样本的索引，并且η是样本的表面法线。 我们设ε=0。01，以及通过保留点来生成边缘采样，σ（si）<0. 1;见图8。给定两个形状，它们之间的ECD只是对应边缘采样之间的倒角距离。分析. 我们的方法在倒角距离方面实现了与最先进的性能相当的性能。至于视觉质量，我们的方法也优于大多数其他54倒角距离（CD）边缘倒角距离（ECD）光场距离（LFD）公司简介中国人25OccNet32IM-NET32我们公司简介中国人25OccNet32IM-NET32我们公司简介中国人25OccNet32 IM-NET32我们飞机0.5870.4401.5342.2110.7590.3960.5751.4940.8150.4875129.364680.377760.427581.134496.91板凳1.0860.8883.2201.9331.2260.6580.8572.1311.4000.4754387.284220.104922.894281.183380.46内阁1.2311.1731.0991.9021.1883.6762.82110.8049.5210.4351369.901558.451187.081347.97989.12车0.7990.6880.8701.3900.8411.3851.2798.4286.0850.7021870.421754.871790.001932.781694.81椅子1.6291.2581.4841.7831.3401.4401.9514.2623.5450.8723993.943625.233354.003473.622961.20显示1.5161.2852.1712.3701.8562.2672.9116.0595.5090.6972940.363004.442565.073232.062533.86灯3.8583.24812.5286.3873.4802.4582.6908.5104.3082.1447566.257162.208038.986958.526726.92扬声器2.3281.9572.6623.1202.6169.1995.32411.2719.8891.0752054.182075.692393.501955.401748.26步枪1.0010.7152.0152.0520.8880.2880.3181.4631.8820.2316162.036124.896615.206070.864741.70沙发1.4711.2331.2462.3441.6452.2533.81710.1798.5310.8692387.092343.111956.262184.281880.21表1.9961.3763.7342.7781.6431.1221.7163.9003.0970.5153598.593286.053371.203347.122627.82电话1.0480.9751.1832.2681.38310.45911.58516.02114.6841.4771817.611816.221995.981964.461555.47容器1.1790.9661.6912.3851.5850.7820.88912.3753.2530.5884551.174430.045066.994494.143931.73是说1.4871.1702.5382.3611.4321.8662.0696.2454.6170.7433644.913436.143795.233700.222939.15表3：单视图重建P25表示具有25个正方形面片的P25网络，而P250使用单个球形面片。OccNet和IM-NET的下标显示采样分辨率。为了公平比较，我们使用分辨率323，以便OccNet和IM-NET输出具有可比数量的顶点和面的网格CDECDLFD#V#F公司简介1.4871.8663644.91744614888中国人251.1702.0693436.1425004050OccNet322.5386.2453795.2315113017OccNet641.9506.6543254.55675613508OccNet1281.9456.7663224.332727054538IM-NET322.3614.6173700.2212042404IM-NET641.4674.4262940.56500710009IM-NET1281.3871.9712810.472050441005IM-NET2561.3712.2732804.7782965165929我们1.4320.7432939.1511911913表4：低聚分析-单视图重建中的数据集平均度量。我们突出显示预测网格中的顶点#V和三角形#F的数量。方法，这反映在光场距离方面的优越结果。与图6类似，我们手动为每个凸形着色以显示图9中的部分对应关系。我们在图8中可视化了输出网格的三角剖分：我们的方法输出的网格多边形数量比最先进的方法少。注意，这些方法不能生成低多边形网格，并且它们的顶点总是准均匀分布的。最后，请注意，我们的方法是测试中唯一能够表示尖锐边缘的方法-这可以在边缘倒角距离方面定量观察到， 其中BSP-Net 表现 得更好。Note that At- lasNetcould also generate edges in theory, but the shape is notwatertight and the edges are irregular, as it can be seen凸分解的形式。我们的网络学习建立在同一组平面上的BSP树，反过来，同样的一组凸，以最大限度地减少训练形状的重建损失。这些平面和凸面由网络学习的权重定义。与现有的方法相比，BSP-Net生成的网格具有更高的视觉质量，特别是当采用相当数量的基元BSP-Net的主要限制是它只能将形状分解为凸的并集。凹形，例如，茶杯或戒指必须被分解成许多小的凸块，这是不自然的，并且导致浪费了相当数量的表示芽（平面和凸块）。表示此类形状的更好方法是进行差分运算而不是并集运算。如何推广BSP-Net来表示各种CSG操作是未来工作的一个有趣方向。BSP-Net目前的培训时间相当长：6天，4096架飞机和256个凸形，用于SVR任务，训练了所有类别;然而，推理很快。虽然大多数形状只需要少量的平面来表示，但我们不能减少平面的总数，它们需要很好地表示大量的形状。如果网络能够基于输入形状的复杂性来适应基元计数，则将是理想的;这可能要求对网络进行体系结构改变。虽然它对RGBD数据的适用性可以利用在图8的放大中。我们还分析了表4中整个测试集上汇总的这些指标。 在最后的分析中，我们还包括OccNet 128和IM-NET 256，这是作者使用的原始分辨率。请注意，我们的方法推断出的多边形的平均数量是655（回忆多边形网格中的多边形数≤三角形数5. 结论、局限性和未来工作我们介绍了BSP-Net，一种无监督的方法，可以生成紧凑和结构化的多边形网格在自动解码器的想法探索[22]，推广我们的方法超越了策展数据集[2]，并且仅从RGB图像进行训练的能力至关重要。确认我们感谢匿名评论者的宝贵意见。这项工作得到了NSERC赠款的部分支持。611370）、Google FacultyResearch Award和Google Cloud Platform研究学分。55引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas J Guibas.三维点云的学习表示与生成模型。在ICML，2018。第1、3条[2] 天使XChang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimo Li ， SilvioSavarese ， Mano-lis Savva ， Shuran Song ， Hao Su ，Jianxiong Xiao，Li Yi，and Fisher Yu.ShapeNet：一个信息 丰 富 的 3D 模 型 存 储 库 。 arXiv 预 印 本 arXiv ：1512.03012，2015。三六七八[3] Ding-Yun Chen，Xiao-Pei Tian，Yu-Te Shen，and MingOuhyoung. 基于视觉相似性的三维模型检索研究。计算机图形学论坛，2003年。6[4] Zhiqin Chen，Kangxue Yin，Matthew Fisher，SiddharthaChaudhuri，and Hao Zhang. BAE-NET：用于形状共分割的分支自动编码器。ICCV，2019。三六七[5] 陈志勤和张浩。学习生成式形状建模的隐式字段。CVPR，2019年。一、二、三、四、五、七[6] Christopher B Choy ， Danfei Xu ， JunYoung Gwak ，Kevin Chen，and Silvio Savarese. 3d-r2 n2：用于单视图和多视图3D对象重建的统一方法。在ECCV，2016年。三、七[7] 安吉拉·戴和马蒂亚斯·尼斯纳Scan2mesh：从非结构化范围扫描到三维网格。在CVPR，2019年。第1、3条[8] Boyang Deng、Kyle Genova、Soroosh Yazdani、SofienBouaziz 、 Geoffrey Hinton 和 Andrea Tagliasacchi 。Cvxnets：可学习的凸分解。在CVPR，2020年。3[9] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在CVPR，2017年。3[10] Matheus Gadelha，Rui Wang，and Subhransu Maji.用于三维点云处理的多分辨率树网络。在ECCV，2018。3[11] Lin Gao，Yu-Kun Lai，Jie Yang，Ling-Xiao Zhang，Leif Kobbelt，and Shihong Xia.稀疏数据驱动的网格变形 。 IEEE Transactions on Visualization and ComputerGraphics，2019。1[12] Lin Gao，Jie Yang，Tong Wu，Hongbo Fu，Yu-KunLai，Hao Zhang. SDM-NET：用于结构化变形网格的深度生成网络。ACM Trans. on Graphics（TOG），2019年。第1、3条[13] Kyle Genova ， Forrester Cole ， Daniel Vlasic ， AaronSarna，William T. Freeman和Thomas Funkhouser。使用结构化隐函数学习形状模板。在ICCV，2019年。第1、3条[14] Rohit Girdhar，David F Fouhey，Mikel Rodriguez，andAb-hinav Gupta.学习对象的可预测和生成矢量表示。在ECCV，2016年。第1、3条[15] 本杰明·格雷厄姆、马丁·恩格尔克和劳伦斯·范德马滕。基于子流形稀疏卷积网络的三维语义分割。在CVPR，2018年。3[16] 放 大 图 片 作 者 ： David G. Kim ， Bryan Russell ，andMathieuAubry. 一个学习3D表面生成的方法在CVPR，2018年。一、三、七[17] Heli Ben Hamu ， Haggai Maron ， Itay Kezurer ， GalAvineri和Yaron Lipman。多图生成式曲面造型。ACM Trans. on Graphics（TOG），2018年。1[18] ChristianH¨ ne，ShubhamTulsiani，andJitendraMalik. 三维物体重建中的高分辨率表面预测。在3DV，2017年。第1、3条[19] Rana Hanocka、Amir Hertz、Noa Fish、Raja Giryes、Shachar Fleishman和Daniel Cohen-Or。MeshCNN：一个边缘网络。ACM Trans. on Graphics（TOG），2019年。1[20] 科特·霍尼克多层前馈网络的逼近能力。神经网络，1991年。3[21] Itay Hubara、Matthieu Courbariaux、Daniel Soudry、RanEl-Ya