LSD-StructureNet: 3D零件层次结构中的结构细节建模

StructureNet, an augmented version of the StructureNet[13] architecture that can efficiently re-generate arbitrarysub-hierarchies of hierarchically structured 3D objects. Oursolution consists of learning one latent space for each depthof an output hierarchy. We term the structure and geome-try of elements at the same depth LSD (Level of StructuralDetail), and generate these elements by sampling from thecorresponding latent space and decoding the sample con-ditionally on the element’s parent. We can thus regeneratemultiple varying sub-hierarchies of an object without modi-fying the remainder of the hierarchy by simply re-samplingfrom the latent spaces at and beyond the appropriate hi-erarchy depths. In contrast, re-generating a sub-hierarchywith existing generative models cannot be achieved withoutre-generating the entire hierarchy from scratch and withoutany guarantee the remainder of the re-generated structure58360LSD-StructureNet: 对3D零件层次结构中的结构细节进行建模0Dominic Roberts 1 Ara Danielyan 2 Hang Chu 2 Mani Golparvar-Fard 1 David Forsyth 101 伊利诺伊大学香槟分校 2 Autodesk AI实验室0{ djrbrts2,mgolpar,daf } @illinois.edu { ara.danielyan,hang.chu } @autodesk.com0摘要0基于零件层次结构的3D形状的生成模型可以生成逼真且多样化的输出集。然而，现有模型存在一个关键的实际限制，即对形状进行整体建模，因此无法进行条件采样，即无法在生成的形状的个别部分上生成变体而不修改其余部分的形状。这对于涉及多个细节层次上调整创建的形状的3DCAD设计等应用来说是有限制的。为了解决这个问题，我们引入了LSD-StructureNet，这是StructureNet架构的一个增强版本，可以重新生成其输出层次结构中任意位置的部件。我们通过为每个层次深度学习单独的概率条件解码器来实现这一点。我们在PartNet数据集上评估了LSD-StructureNet，这是一个由零件层次结构表示的最大的3D形状数据集。我们的结果表明，与现有方法相反，LSD-StructureNet可以进行条件采样，而不会影响推理速度或输出的逼真性和多样性。01. 引言0计算机辅助设计（CAD）涉及根据零件层次结构创建3D对象的结构和几何。这个过程可以通过从训练在具有层次结构的对象数据集上的生成模型中进行采样来模拟。虽然现有模型能够产生新颖、多样化和逼真的输出，但它们只能通过控制其输出的几何和/或结构的单个潜在空间来整体建模层次结构。这使得它们不适合在CAD中使用，因为创建对象涉及在多个细节层次上做出决策。例如，设计一个椅子既涉及高层次的设计选择，如决定椅子是否应该有扶手，也涉及低层次的设计选择，如决定扶手的几何形状和位置。在本文中，我们通过引入LSD-0图1.我们对现有的基于层次结构的3D形状生成方法进行了增强，使得每个结构层次的细节都使用自己的生成过程进行建模。这使得我们能够通过从学习到的潜在空间的子序列重新采样和解码，并在子树的根节点上进行条件采样（例如对应于椅子的底座、座椅或靠背），而不修改输出层次结构的其余部分，从而生成输出层次结构的任何子树的变体。58370将使用我们的策略生成的子层次集合在语义、结构和几何方面应该既真实又多样。这是一个挑战，因为公开可用的分层结构3D对象数据集中的数据样本彼此非常不同，因此不包含我们希望学习的子部分的广泛条件分布。我们展示了LSD-StructureNet如何克服这一挑战，产生比现有方法更真实和多样的输出。此外，LSD-StructureNet能够生成仅在某个特定LSD之后有所不同的输出变体。我们还展示了这样的输出与从StructureNet获得的最接近的近似输出相比同样优越，并且可以更快地获得。02. 相关工作02.1. 非结构化形状生成0生成模型可以以整体点云的形式产生逼真的形状（例如：[19,22,27]）；网格模型（例如：PolyGen [16]和TM-Net[7]）；体素（例如：SAG-Net[31,29]）；八叉树[24]；3D表面[9]；较小的代理形状的聚合[6]；以及有符号距离函数[18]。与这些模型不同，我们的形状模型具有分层结构，允许条件采样，这在设计等应用中是常见需求，其中对象按照标准化结构组织。02.2. 结构化形状生成0最近的工作中出现了层次结构，包括形状程序（从非结构化形状中提取结构化表示[25]；将部分组装成整体[33]）。[11,17,20]引入了分配给形状部分的个体概率分布的框架，这些部分遵循了扁平化的层次结构。类似地，[5]中学习的潜变量根据形状的各个组成部分进行了分解，[30]引入了用于扁平化对象层次结构的Seq2Seq模型。相比之下，最近的许多工作都集中在对具有不同深度的n叉树层次结构的3D形状进行建模[15,12]。这些方法通常建立在递归神经网络[23]的基础上。StructureNet [13]和StructEdit[14]分别学习生成和编辑这种分层表示。[10]提出了一个能够生成分层结构3D形状的组装程序的VAE模型；但是这项工作使用了单一的潜空间，意味着在分层结构形状集合内的变化方面存在交织。最近，[32]使用单独的VAE对点云的结构和几何进行编码，这意味着可以在结构和几何之间进行条件采样。0图2.PartNet部分层次数据样本的示例。P中的部分与几何形状（例如，这里的边界框）和语义标签相对应，通过H中的边连接起来，形成一个n叉树结构（黑线），并通过R中的边（橙色双向箭头）连接起来。0虽然这在某种程度上使得可以在现有输出特征的条件下进行采样，但是输出层次结构的几何和结构特定于所有子树仍然纠缠在同一潜空间中。0相比之下，我们学习了一系列与分层结构的3D形状的每个LSD相对应的个体概率分布的序列，允许通过从某个选择的级别开始进行采样和解码来重新生成子层次结构。02.3. 顺序潜空间模型0对于本质上是顺序的数据的生成模型，通常将每个输入项与相应的潜变量相耦合（例如：[8]；在图像字幕中的应用[1,4]；在对话生成中的应用[21]；在手写中的应用[2]）。通过引入序列，这些模型可以应用于其他类型的数据，包括图像的拉普拉斯金字塔级别[3]、分辨率序列[28]、多尺度特征表示[26]等。0受到这些方法的启发，我们将分层结构的3D对象的生成过程建模为一系列几何部件的生成，这些部件的生成取决于它们的父节点。根据层次结构的深度，将每个输入节点映射到潜在变量。每个潜在变量负责输出层次结构的给定深度的生成过程。58380图3.左：我们通过将输入层次结构编码为一系列潜在空间的序列来扩展StructureNet编码器。通过图形编码器genc（浅灰色箭头），将输入形状编码为特征向量F的层次结构，中间节点的几何特征根据其在层次结构中的深度进行汇集，并转换为从深度特定近似后验分布中采样的潜在代码序列。右：我们通过首先将这些代码通过LSTM来获得控制输出层次结构每个深度的几何的向量来解码一系列潜在代码。在将它们通过MLPgdec（浅灰色箭头）之前，将它们与前一个深度的每个节点的几何特征连接起来，以获得其子节点的几何。03. 方法03.1. 形状结构0我们保留了StructureNet中使用的3D形状表示，如图2所示。形状被表示为一组部件P和两组边缘（H，R）。H连接部件形成n叉树结构，其根节点对应整个形状，每个节点的子节点对应构成其父节点的部件。R中的边连接同一父节点的子节点，并表示可以是以下类型之一的几何关系：邻接或旋转、平移或反射对称。每个部件与语义标签和几何形状相关联，可以是定向的3D边界框或3D点云。最后，与层次结构H中的叶节点相关联的几何形状构成了对象的直接可观测几何。03.2. StructureNet0StructureNet是一个分层图形网络VAE，用于构建此类形状的生成器。通过自下而上的过程，将输入编码为潜在向量：MLP将H的叶节点的几何编码为特征向量。通过图卷积网络（GCN）genc对由特征向量和R中的边组成的图进行编码，创建与H中的父节点相关联的特征向量。按照H进行递归此过程，创建一组特征向量F，其中特征向量集与部件集P一一对应。与H的根节点相关联的最终特征向量f用于获得潜在向量z，如标准VAE架构中所示，即从N（µ（f），σ（f））中采样，其中µ（.）和σ（.）是两个MLP。0解码潜在向量包括通过递归GCN解码器gdec将特征向量逐层解码为图形，其边缘是输出R的一部分。使用单独的MLP来预测每个特征向量的几何和语义标签；另一个MLP预测特征向量是否与输出层次结构H中的叶节点相关联。如果预测为叶节点，则递归停止。03.3. LSD-StructureNet0虽然StructureNet和其他方法可以生成逼真且多样化的部件层次结构，但它们无法重新生成给定输出的子层次，因为整个输出形状S =(P，H，R)受到一个整体生成过程p(S|z)的控制。换句话说，给定的潜在向量z控制整个输出S，而没有任何自然的分区z，可以在不修改整体形状的情况下修改输出的部分。0我们通过学习几何和结构Sd =(Pd，Hd，Rd)在深度d的形状的每个深度的单独生成过程，该生成过程取决于先前深度的几何和结构Sd-1，即p(Sd|zd，Sd-1)。正如我们所示，这将使我们能够重新生成子层次结构。0在接下来的内容中，令z0来建模这种可能性。因此，我们可以将联合分布分解为Learning. We train our encoder and decoder end-to-end,by encoding an input shape S into a sequence of latent vec-tors z which is decoded back into a shape. We choose aprior p(z) that factors over hierarchy depths, i.e. p(z) =�d≥0 p(zd|zD)中抽样（将第j个这样的条件生成形状记为Sci,j），从而得到一组1000×100个输出层次结构。0通过以下拒绝抽样过程，我们可以从StructureNet获得与之类似的一组层次结构：对于每个Sci，从p(S|z)中重复抽样S，直到找到满足以下条件的100个S：a）S

下载后可阅读完整内容，剩余1页未读，立即下载