8859StructEdit：学习结构形状变化开春莫言1保罗·格雷罗2李毅3郝苏4彼得·旺卡5尼洛伊·J·米特拉2、6列奥尼达斯·吉巴斯1、71斯坦福大学2Adobe Research3谷歌研究4加州大学圣地亚哥分校5KAUST6伦敦大学学院7Facebook人工智能研究摘要学习对普通对象的形状的几何形状和（拓扑）结构中的差异进行将形状编码为高维潜在特征空间中的点的常见方法建议将形状差异视为该空间中的向量相反，我们将形状差异视为主要对象，并建议将其编码在自己的潜在空间中。在一个设置中的形状本身编码的细粒度的部分层次结构，我们证明了一个单独的编码的形状增量或差异提供了一个原则性的方式来处理形状空间中的不均匀性，由于不同的- ent组合部分结构，同时也允许紧凑的表示，以及编辑抽象和转移。我们的方法是基于一个有条件的变分自动编码器的编码和解码的形状三角洲，源形状的条件。我们证明了我们的方法在多个形状修改和生成任务中的有效性和鲁棒性，并在PartNet数据集（最大的公开可用3D数据集之一）上提供了兼容性和消融研究。1. 介绍3D物体的形状表现出显着的多样性，无论是在其组成结构的部分，以及在几何形状的部分本身。然而人类在想象有意义的形状变化方面非常熟练，即使是从孤立的物体实例中。例如，看到一把新椅子，我们可以很容易地想象它的自然变化，不同高度的靠背，更宽的座位，有或没有扶手，或者有不同的底座。在本文中，我们将研究如何直接从3D数据中学习这种形状变化。具体来说，给定一个形状集合，我们对两个子问题感兴趣：首先，对于任何给定的形状，注：表示贡献相等。图 1. 使 用 StructEdit 编 辑 生 成 和 传 输 。我 们 提 出 了StructEdit，这是一种学习结构化对象之间形状差异分布的方法，可用于生成各种各样的编辑（第一行）;并在不同对象之间以及跨不同模态（第二行）准确地传输编辑。编辑可以是几何编辑和拓扑编辑。我们希望发现编辑的主要模式，这些模式可以直接从形状集合中推断出来;第二，给定一个形状上的示例编辑，我们希望将编辑转移到集合中的另一个形状，作为基于类比的编辑转移的形式。此功能在多个设置中非常有用，包括设计单个3D模型、一致修改3D模型族以及将CAD模型拟合到有噪声和不完整的3D扫描。在捕捉形状变化的空间方面存在若干挑战。首先，单个形状可以具有不同的表示，如图像、点云或表面网格;第二，需要用于表示连续变形以及结构变化的统一设置（例如，添加或删除部分）;第三，形状编辑不被直接表达，而是仅隐式地包含在形状集合中;最后，学习可应用于多于单个形状的结构变化的空间相当于学习不同形状编辑分布之间的映射，因为不同形状具有不同类型和数量的部分（例如，带/不带腿杆的桌子）。在现有的关于3D机器学习的文献中，源形状StructEdit推断主要编辑模式源编辑StructEdit传输类似的编辑88603D形状被映射到表示空间中的点，其坐标编码每个形状的潜在特征。在这样的表示中，形状编辑被编码为同一空间中的向量-换句话说，作为表示形状的点之间的差异。同样地，我们可以把形状看作是以原点为根的“锚定”向量，而形状差异是可以在形状空间中传输的“浮动”向量。这种类型的向量空间算术通常用于[42，1，38，14，44，37]，例如，在执行类比时，其中作为潜在点A与点B的差的向量被添加到点C以产生类似点D。在我们的环境中，这种观点的挑战在于，虽然欧几里得空间是完全齐次的，向量可以很容易地传输和添加到任何地方的点，但形状空间远没有那么好。虽然对于连续变量，向量空间模型具有一定的可解释性，但对于结构变量显然不是这样：“添加扶手”向量对于表示已经具有扶手的椅子的点没有意义。我们采取不同的方法。我们考虑将形状差异或增量直接嵌入到它们自己的潜在空间，与一般的形状嵌入空间分开。编码和解码这种形状差异总是通过变分自动编码器（VAE）完成这有许多关键优势：（i）允许形状增量的紧凑编码，因为通常我们的目标是描述局部变化;（ii）鼓励网络在形状空间中抽象形状变化的共性;以及(iii)使编辑适应所提供的源形状，抑制语义上不可信的模式。我们已经广泛评估了StructEdit公开可用的形状数据集。我们引入了一个新的合成数据集与地面真相形状编辑，以定量评估我们的方法，并与基线替代品进行比较。然后，我们提供PartNet数据集[26]的评价结果，并提供消融研究。最后，我们证明了我们的方法的扩展允许处理图像和点云作为形状源，可以从单个形状示例预测合理的编辑模式，并且还可以将一个形状上的示例形状编辑转移到集合中的其他形状（参见图1）。2. 相关工作3D深度生成模型最近吸引了越来越多的研究工作。与2D图像不同，3D形状可以表示为体积表示[42，15，47，9，17]，八叉树[34，39]，点云[11，1，22，36，48，31]、多视图深度图[2]或表面网格[32，16，18]。除了低级别的形状表示，对象结构可以与几何结构一起建模[27，38，35]，以关注对象的部分分解或跨对象族的层次结构在生产过程中[43，23，25]。与Struc-tureNet [25]类似，我们利用PartNet [26]中定义的3D形状的分层零件结构。然而，我们的生成模型直接编码结构三角洲，而不是形状，正如我们所证明的，更适合于显著的形状修改和编辑传输。结构感知的三维形状编辑是形状分析和操纵领域的一个长期研究课题。早期的作品[20，46]通过利用局部但自适应的变形来分析单个输入形状的结构约束，全局约束随后以平行性、正交性[13]或高级对称性和拓扑变化[41，6]的形式使用。然而，孤立地分析形状可能导致虚假检测到的结构约束，并且不能容易地推广到处理大量的形状。因此，后续工作[28，12，50]分析了一系列3D形状，以破译共享的潜在几何原理。最近，利用深度神经网络，Yumer和Mitra [51]学习如何通过3D体积卷积生成由一些高级意图引导的变形流，而自由形式变形被学习[21，19]以捕获形状如何倾向于在类别内变形，或预测3D网格变形[40]以输入目标图像为条件，通过网络编码的高级变形先验。然而，通过保留输入形状拓扑，这些工作极大地限制了可能的编辑空间。相反，我们开发了一个深度神经网络来捕获形状集合中的常见结构变化，并实现了几何和拓扑变化的通用编辑形状变形转移旨在将施加到源形状的变形转移到目标形状上。这需要解决如何表示形状编辑，以及如何连接源和目标对，以便编辑可传输。早期的作品使用变形流或分段仿射变换来表示具有显式对应信息的形状编辑[33]，或者通过函数空间来表示形状差异[10，30]。对应关系可以逐点建立[33，49，52，24]，或者使用更高级别的抽象（如笼[5，8]，补丁[3]或部件[45]）来关联形状。最近的努力通过潜在向量空间适应形状的神经表示，然后通过直接获取潜在形状表示之间的差异来生成用于形状编辑的代码它们要么在相同的潜在空间中表示源和目标形状并直接传输编辑代码[42，1，38]，要么学习将编辑代码从源形状域转换到目标形状域[14]。形状编辑转移也与运动重定向有关[44，37]，其中形状变形通常限于拓扑保持变化。相比之下，我们直接编码形状增量，导致更一致的编辑传输，即使有显着的拓扑变化。8861− + −+KKK3. 方法形状差异或增量Sij被定义为源形状Si到目标形状Sj的变换的描述。我们的目标是学习一个条件分布p（εSij ） 的 生 成 模 型|Si），其准确地捕获数据集中的所有数据集S i j，并且具有高度的不同源形状的条件分布之间的一致性（见图5）。3.1. 代表团我们将形状表示为捕获形状的几何形状和结构的零件装配体被建模为n叉树S：=（P，H），由一组零件P：=（P1，P2，. . . 描述形状的几何形状的一组边H，以及描述形状的结构的一组边参见图2（左）中的示例。每个部件由定向边界框P：=（c，q，r，τ）表示，其中c是中心，q是定义其定向的四元数，r是框沿每个轴的范围，并且τ是从预定义的类别集合中选择的部件的语义。这些部分形成由n元树的边H从由整个形状的边界框组成的根节点开始，部件被递归地划分为它们的组成部分，边缘将父部件连接到子部件。例如，一把椅子被分成靠背、座位和底座，然后依次分成它们的组成部分，直到叶子处的最小部分。3.2. 表示形状增量给定源形状Si和目标形状Sj，我们首先基于参数、语义和层次结构在两个形状中找到对应的部分我们找到了P∈Si之间的部分级变换目标零件、一组删除零件P-和一组添加零件P+。附加边H+描述添加的零件与其父零件之间的边。请注意，父母也可以是其他添加的部分。源形状中的每个部件都可以与部件增量相关联，也可以被删除（参见图2）。零件增量Δ ΔP=（Δc，Δq，Δr）定义源零件和对应目标零件之间的参数差异。非目标零件P-是未指定给任何目标零件的源零件。添加的部分P+与它们的结构H+一起形成扩展源形状的n叉树的零个、一个或多个子树注意，不与所添加的部分相邻的边H不存储在形状三角洲，但从源形状推断。将形状增量应用于源形状，我们表示为Si+Sij的操作Sj：=S i+S ij=（二）（{P+ P|P ∈ P\P}<$P，（H\H）<$H），其中P+<$P=（c+<$c，<$q<$q，r+<$r，τ）是一个修改部分，H−是与任何删除部分相邻的边的集合请注意，我们的形状delta表示en-编码所涉及的两个形状之间的结构和几何差异，并表示用于将源形状转换为目标形状的最小3.3. 条件形状Δ VAE我们训练了一个条件变分自动编码器（cVAE），它由一个编码器e和一个解码器d组成，编码器e将形状增量编码为潜在代码z：=e（Si，Sij），解码器d将潜在代码解码回形状增量Sij：=d（Si，z）。编码器和解码器都以Si为条件。提供对源形状的访问鼓励cVAE学习以源形状为条件的增量的分布。编码器e和解码器d都使用形状编码器P′∈Sj，从根部分的子部分开始，然后重新-粗略地匹配匹配部分的子项，直到达到树叶我们只匹配具有相同语义的对，使用基于零件边界框之间距离的线性分配作为两个部分之间相似性的度量，我们不能直接使用它们的框参数之间的距离，因为多个参数集描述同一个相反，我们测量边界框上采样的点云之间的距离：δbox（Pk，Pl）=δch（X（Pk），X（Pl）），（1）其中，X是对具有一组点的边界框进行采样的函数我们使用倒角距离[4，11]来测量两个点云之间的距离。给定分配M，形状ΔS：=（ΔP，P−，P+，H+）由三组分量组成：一组部分Δ P={ΔP1，ΔP2，. -是的- 是的}，它对从源零件到对应的z s：=f（Si）以生成z s和源形状Si的中间特征。编码器和解码器是专门的网络，其对部分或形状增量分量的树进行操作，并且递归地应用于相应的树。我们将编码器和解码器计算的潜在代码z和所有中间特征向量的维数设置为256。源形状编码器。编码器为源形状中的每个部分计算两个特征向量，分别编码关于该部分及其子树的信息。使用编码器fbox为源形状的每个部分的几何计算框特征vbox：vbox：=fbox（[ck，qk，rk]），（3）其中[ck，qk，rk]表示部分Pk的盒参数的级联。用递归编码器计算每个部分的子树特征v树对于叶子部分，8862棒条棒腿腿杆杆+KKK源形状修改形状f（S）腿腿...座椅基地座椅臂SI回来三角形SJ基地座椅臂回来我e（Si，<$Sij）...zsd（Si，z）腿腿腿基地座椅伊斯伊杰臂回来棒腿酒吧酒吧酒吧z图2. 形状增量和条件形状增量VAE。在左侧，我们显示了源形状和修改后的形状。两者都表示为各个零件的分层组件，其中每个零件由边界框和语义类别定义（参见颜色）。形状增量描述了源到具有三种类型的组件的修改形状的变换：零件增量、删除的零件和添加的零件。我们学习这些增量的分布，以源形状为条件，使用右侧所示的条件VAE形状增量是递归编码和解码的，遵循它们的树结构，每个子树产生一个特征（红色圆圈）。对源形状的调节是通过递归地对源形状进行编码，并将得到的子树特征（橙色圆圈）馈送到编码器和解码器的相应部分来实现的。我们定义vtree=vbox。对于非叶子部分，我们递归地将y_box设置为零。v框是描述k k k将它们的子特征与编码器f树合并：vtree：=ftree（{[vtree，τl]}P∈C），（4）源部件的盒几何形状，在等式中定义。3 .第三章。 最后，子组件的特征由编码器k llkC树：树其中Ck是子部件的集合，τ是yk= c树（{yl}Pl∈C+）.（七）部分，方括号表示连接。编码器f树使用具有最大池的小PointNet [29]作为对称操作。PointNet架构可以编码任意数量的子节点，并确保f树对于子节点的排序是不变 的 。有 关 体 系 结构 的 详 细 信 息， 请 参 见 Supple-Cable。形状增量编码器。形状增量编码器计算形状增量S ij的集合P iP、P-、P+中的每个分量的特征y i。 每个特征描述组件及其子树。根分量的特征被用作形状增量的特征向量z。我们递归地对形状delta进行编码，遵循由添加的部分扩展的源形状的树结构部件组中的组件编码器c树被实现为一个小的PointNet，并为没有子节点的叶子节点返回零。形状增量解码器。形状增量解码器为源形状的每个部分重建部分增量P或删除P-，并恢复任何添加的节点P+及其边缘H+。从源形状的根部分开始，递归地解码形状增量我们使用两个解码器来计算特征向量;一个解码器用于部分增量和删除部分，另一个用于添加部分。对于部分增量Δ P和删除部分P-，解码器d树从父特征和源零件计算xkxk：=dtree（[z，xp，vbox，vtree，τk]），（8）加法P+和它们的边H+类似于k k进行编码源形状编码器：yk：=f树（{[yl，τl]}P∈C+），（5）其中，xp是父零件的特征向量，vbox，v树是描述源码的特征部分和源码在等式3和4中定义的k部分子树。我们包括其中C+是P k的子部分，包括新添加的部分，并且yk= fbox（P k）用于添加的部分是叶子。零件增量P和删除P-修改现有零件每个解码器中的形状增量的潜在代码Z，以提供更直接的信息路径。然后，我们将特征xk分类为两种类型之一（delta或删除），使用分类器ρ′ =dtype（xk）。 对于部分三角洲，我们重建源形状的。 对于这两个集合中的分量，k′ ′ ′ ′我们使用编码器C部分对关于部分增量和相应的源部分的信息进行并排编码：箱差参数Pk=（ck，qk，rk）=dxbox（xk）与解码器dxbox。 对于已删除的部件，否需要重构另外的参数。y：=c（[y_box，y_tree，ρ，v_box，τ]），（6）添加的部分P+的特征向量由k部分kKKKK解码器dadd，它将父要素作为输入并输出其中ρ是形状delta分量类型（delta或缺失）的独热编码，并且y_box=c_box（p_P）是描述部分delta的特征。部分增量P源特征vk删除的部分P-增量特征xkyk添加的部分P+编码器/解码器......K8863对于删除的部分，我们子功能列表。这个列表有一个固定的长度n，但我们也预测列表中每个特征的存在概率pk p k<0的特征。5被抛弃在我们8864KKM′IJ）ijIJKkmk实验中，我们解码10个特征和概率每个家长。解码器dadd定义为：分类损失Lρ被定义为交叉熵分量类型ρ和重构类型ρ′之间的H：（xk1，的。-是的-是的，xkn，pk1，的。-是的-是的，pkn）：=d添加（xp），（9）Lρ（ρk，ρ′）：=ΣH（ρ k，ρ′）。（十一）其中x p是父特征，x ki是具有对应的存在概率pki的子特征。我们将解码器实现为单层感知器（SLP），其输出n个级联特征，随后是另一个SLP，其应用于具有共享参数的n个中的每一个，以获得n个特征和概率。一旦计算出添加部分的特征xk，我们就重建添加部分P′附加部分损失LP+测量附加部分的重构误差。与零件增量和删除的零件不同，添加的零件不对应于源形状中的任何零件使用推断的赋值MP+×P′+（参见第3.2节）所述重构形状增量中的添加部分的集合P′=（c′，q′，r′，τ′）=dbox（xk），解码器为dbox。KKKK有一个匹配我们停止递归时，存在概率为所有子部件都低于0。五、 为了提高鲁棒性，我们ΣLP+（Sij，S）：=Lm+ Σ H（p′′+，pk），另外，将部件分类为叶部件或非叶部件，并且不将添加应用于叶节点。我们使用两个实例，ijPk∈PmP′∈P′+P′∈P′+（十二）这个解码器不共享参数，一个用于添加一个用于作为部件增量的子部件的部件，另一个用于作为其他添加部件的子部件的添加部件。3.4. 损失与训练我们用（Si，Sij）对的数据集训练cVAE。每个形状增量S i j是源形状S i的编辑，其产生目标形状Sj=S i+S i j。源形状和目标形状都是同一形状数据集的一部分形状第一项定义了所有匹配部分的重建损失，而第二项定义了匹配和不匹配部分的存在概率pk的损失第9段）。对于匹配的零件，指示器函数返回10表示不匹配的部分。配套件损耗Lm测量框重建误差、零件语义，以及零件的叶片/非叶片分类：Lm（Pk，P′）：=μ δbox（Pk，P′）+增量表示本地编辑，因此我们可以通过以下方式创建形状增量：K KH（τk，τ′）+γH（τP∈P，l′），（十三）计算局部邻域中的形状对之间的差异：{S j− S i|Sj ∈Ni}，其中Ni表示形状Si的局部邻域（见第4节）。我们训练cVAE以最小化输入形状增量ΔSij和重建形状增量ΔS′=d（Si，e（Si，ΔSij））之间的重建损失：kk叶 K其中τk是部分Pk的语义标签，lk是部分Pk是叶部分的预测概率，并且Pleaf是叶部分的集合。我们把（μ，γ）设为（20，0）。1）。4. 实验Ltotal：=E（Si，Sij′）p（Si，Sij[LS（Sij，S′）]我们用三种类型的实验来评估我们的主要主张。为了更准确地展示编码形状增量L<$S（<$S ij，<$Sij）= λL<$P+ LP++ Lρ+βLv. （ 十）捕获增量p（ΔSij）的分布|S i) compared to重建损失由四个主要项组成，分别对应于分量类型（P+，P+），损失Lρ的预测组件到组件类型之一，和变分正则化Lv。由于我们不对删除部分P-的参数进行解码，除分类损失外，这些组成部分没有损失术语根据经验，我们设置（λ，β）：=（10，0. 05）的情况。部分Δ损失LΔ P测量重建边界框delta的误差：编码形状，我们执行重建和生成的修改后的形状，使用我们的方法，并比较直接编码形状的最先进的方法为了表明编码形状增量为我们提供了在不同源形状之间更一致的分布，我们执行编辑传输并测量传输的编辑的一致性此外，我们展示了几个应用程序。消融研究见补充资料。形状距离测量。我们使用两个距离测量LP（Sij，S′）：=Σδbox（Pk+<$Pk，Pk+<$P′），两个形状之间。两个形状之间的几何距离dgeo定义为两个形状之间的倒角距离δch。8865KP′∈其中，δbox是在等式中定义的边界框距离1.一、大小为2048的两个点云在每个形状的边界框上随机采样。结构距离dst输入部分ΔPk′和定义为首先找到部件之间的匹配M两个形状（第3.2节），然后计算总数已知重构的部分增量，因为每个部分δ正好对应于源形状的一部分。两个形状中不匹配的零件数，按第一个形状中的零件数标准化。8866IJR数据集。 我们在包含源形状和形状增量对（S i，Sij）的数据集上进行训练和评估。 为了创建这些数据集，我们首先使用结构化形状的数据集作为源形状，然后将其与相邻形状的差异创建增量。我们用于训练和评估的第一个数据集是PartNet数据集[26]，它是从ShapeNet [7]的一个子集生成的，每个对象都有注释的分层分解为标记的部分（见第3.2节）。我们分别训练椅子、桌子和家具。共有4871把椅子，5099张桌子和862个橱柜。我们使用[25]中使用的官方训练和测试分割。根据两个不同的度量，我们将邻域N定义为k• 基于几何距离dgeo的几何邻域包含具有结构变化的编辑。• 基于结构距离dst的结构邻域Ns包含具有几何变化的编辑N GS源形状N插图示出了对于源形状具有大小k= 3的两个邻域。我们在训练集中设置k= 100，并为测试集选择ktest= 20，以获得近似相同的邻域半径。为了评估我们的条件形状增量分布在不同源形状之间的一致性，我们需要不同源形状的编辑之间的地面真实对应。由于没有合适的基准，我们源形状修改形状SNSENgNs椅子餐桌炉avg.椅子表炉 a v g .ID1.000 1.000 1.001 1.000 1.000 1.000 0.999千RR图3. 编辑重建。我们比较了邻域Ng和Ns 上的身份基线（ID）、StructureNet（SN）和StructEdit（SE）的几何和结构重建误差。上面显示了一些直观的例子重建三角洲比绝对形状更精确的重建。手工制作的编辑转换方法使得能够在不同的源形状之间进行结构或几何编辑的语义有效的转换。4.1. 编辑重建为了衡量重建性能，我们在PartNet数据集上训练我们的架构，而不使用变分正则化，评估基于几何距离dgeo和结构距离dst：引入一个新的合成数据集，其中源形状和编辑是按程序创建的，通过构造给我们提供编辑之间的合成数据集由三个形状组组成：凳子、沙发和椅子。这些组相对于编辑是关闭的在每个组中，所有编辑都有对应关系。在组之间，只有某些编辑具有对应关系。例如，凳子与修改靠背的编辑没有有关程序生成的详细信息，请参见补充文件。基线。我们将我们的方法与StructureNet [ 25 ]进行了比较，StructureNet [25]是一种学习具有与我们的模型相同层次结构的形状的潜在空间的方法，但不会显式地对编辑进行编码。我们将编辑表示为潜在空间中的差异向量，我们可以将其添加到不同的源形状（请参见supp.材料详情）。作为我们的错误度量的上限，我们还将其与仅对身份编辑进行建模并始终返回源形状的基线进行比较。StructEdit相对于这些基线或任何为了公平起见，我们在这里不使用StructureNet的关系边补充材料表明，有边缘的结果相似。Er=rNd（Si+Sij，Si+Sij），（14）其中，ΔS ij是输入增量，ΔS ′是重构增量。我们通过给定数据集中的邻居与源形状的平均距离rN来归一化距离图3中给出了两个度量和两个邻域的结果。几何邻域Ng具有大的结构变化，但低的几何变化。因此，对于几何距离，源形状已经是一个很好的应用，邻域的近似，并且表中的身份基线的执行接近于其他方法。相比之下对于结构邻域Ns，大多数邻域具有相似的结构。这里，StructureNet的源形状变得明显，显示出结构误差Est可比的身份基线。另一方面，StructEdit只需要对局部形状增量进行编码。我们受益于不同源形状的三角洲之间的高度一致性，使我们能够更准确地编码这种益处的效果也可以在图3的上半部分中通过视觉确认。E地理 SN 0.886 0.972 0.875 0.9110.656 0.492 0.509 0.553SE0.755 0.805 0.798 0.7860.531 0.414 0.4340.459ID0.946 0.940 0.951 0.9451.107 1.341 1.124 1.191EStSN 0.264 0.370 0.388 0.3400.734 1.469 0.915 1.039SE0.082 0.151 0.139 0.1240.136 0.246 0.1830.1888867源形状生成修改NNGG......N S...IJKLIJIJQCKLNgNs椅子餐桌炉 avg.椅子表炉avg.QCQC图4. 编辑生成。可视化结果显示应用于源形状的生成的增量，并且该表将增量的学习分布与地面真实分布进行比较。使用几何距离和结构距离示出了聚合的我们的方法受益于delta分布的一致性，从而提高了性能。4.2. 编辑生成。接下来，我们比较我们学习的分布p（εS′|S i）到地面真值分布p（Sij|（1）采用两种措施。覆盖误差Ec测量的是地面真实样本到最接近的生成样本，而质量误差Eq测量从生成样本到最接近的地面真实样本的平均距离。将每个源形状的增量分布与分布模式附近的单个样本匹配。Struc-tureNet和StructEdit更准确地近似分布。由于在StructureNet中，我们不能显式地学习邻域，因此我们从以源形状为中心的潜在空间中的高斯样本中采样，σ为0。2，0。5和1。0的情况。较大的sigma以质量为代价提高覆盖率。StructEdit明确地对delta进行编码，使我们能够学习不同类型的邻域，并利用不同源形状的delta分布之间的相似性。 这反映在几乎所有情况下的误差都明显较低。补充条款为每个条目提供单独的质量和覆盖范围。图4顶部显示了为几个源形状生成的多个编辑的示例学习形状增量的准确我们的方法可以学习不同类型的邻域，对应不同类型的编辑。我们可以看到这些邻域的属性在我们学习的分布中得到了保留：几何邻域Ng保持源形状的总体比例，并且具有各种各样的结构;而对于结构邻域Ns则相反。 我们显示插值补充资料中的编辑之间4.3. 编辑传输Edit transfer将形状增量S i j从源形状S i映射到不同的源形状S k。首先，我们以第一个源形状为条件对形状delta进行编码，并以另一个源形状为条件对其进行解码：S′=d（S k，e（S i，S ij））。由于两个源形状通常具有不同的几何形状和结构，因此需要由解码器使编辑适应于新的源形状。两∗1Σ Σ编辑应该在两个形状上执行类似的操作′Ec：=rN|S|K米马尔斯S∈SS∈Nijd<$（Si+<$Sij，Sj）我们的合成数据集为类似的形成三角洲。此数据集中的数据集分为多个组E=1Qi j iΣ Σ min d∈（Si+<$S′，Sj），IJ96个形状，并且在一个组中的任何一对形状（Si，Sj）之间的形状ΔSi jRN|S|N<$S∈S <$S′ SJ I∈N伊伊季其中，根据所学习的分布ΔS′p（ΔS ′ p）对所生成的形状增量进行采样|S i）。我们使用N=其他各组在传输编辑时，我们测量几何距离dgeo和结构距离dst。每个源形状100个样本，所有源的平均值为101“测试集S中的形状。ktest是测试集中每个邻域Ni我们用几何距离dgeo和结构距离dst来评估质量和覆盖误差。覆盖率和质量度量可以通过为每个源形状，给出生成的样本与每个源形状的真实样本之间的倒角距离，表示为E，其中E可以是geo或st。图4将我们的方法的结果与基本方法进行了比较。线在该表中，身份基线具有低质量误差，但具有极高的覆盖误差，因为它近似于Et=rNd<$（Sk+<$Skl，Sk+<$Skl），（15）其中，kl是地面真值类比，kl是预测类比。 如果编辑是不可转移的，例如将扶手添加到已经有扶手的形状，我们定义一个保持源形状不变的标识编辑。图5比较了我们的方法与基线的传递误差。在缺少PartNet的真实编辑对应的情况下，我们在顶部行中定性地比较了Part-Net上的编辑传输。我们传输的编辑更好地反映了给定的编辑，无论是在源形状的属性，它测试ID1.822 1.763 1.684 1.7561.629 1.479 1.446 1.518SN 0。2 1.760 2.076 1.626 1.8211.308 1.208 1.243 1.253E geo SN0. 5 1.722 2.068 1.558 1.7831.241 1.103 1.135 1.160SN 1. 0 1.768 2.189 1.554 1.8371.232 1.057 1.017 1.102SE1.593 1.655 1.561 1.6031.218 1.000 1.015 1.078ID1.281 1.215 1.288 1.2611.437 1.303 1.442 1.394SN 0。2 1.081 0.878 1.015 0.9911.466 3.484 1.414 2.121EstSN 0.50.871 0.729 0.873 0.8241.373 3.300 1.204 1.959SN 1. 0 0.751 0.667 0.726 0.7151.763 3.622 1.167 2.184SE0.559 0.524 0.741 0.6080.609 0.451 0.676 0.5798868：：：：：：SNSE：：：：：：SNSE：：：：：：SNSE----：：：：：：：：：：源改性源改性源改性不图5. 编辑传输。我们使用PartNet上的StructureNet（SN）和StructEdit（SE）将顶部行中的源形状的编辑转移到其余行中的类似编辑。该表量化了合成数据集的同一组（列1 - 3）或不同组（列4和5）之间的形状之间的传递误差。我们对编辑的显式编码提高了传输质量。修改，并在其保留的属性。该表提供了对合成数据集的定量评价我们显示了同一组内的传输和不同组之间的传输，其中某些编辑不适用，需要映射到身份。我们的方法受益于三角洲之间的一致性，并实现了较低的误差。4.4. 原始点云和图像。我们的形状增量的潜在空间可以用于几个有趣的应用程序，例如我们之前展示的编辑传输在这里，我们演示两个额外的应用程序。首先，我们探索原始的，未标记的点云的变化。我们可以使用现有的方法[26]将点云转换为我们的形状表示，生成和应用编辑，然后将更改应用回点云。详情请参阅补充资料。从ShapeNet [7]网格采样的几个原始点云的结果如图6所示。其次，我们创建跨模态类比，图像和点云之间。图像可以使用StructureNet转换为我们的形状表示[25]。这允许我们从一对图像定义编辑，并使用与先前描述的相同的方法将该编辑转移到点云。详情见补充资料。图7显示了ShapeNet数据集数据上的几个点云和图像对的结果。图6. 探索点云变化。通过将形状变换为点云、应用编辑并将更改传递回点云，可以创建点云的编辑。源编辑transferred edit源编辑transferred edit图7. 跨模态类比。我们可以通过将不同的形状模态转换为我们的结构化形状表示来在模态之间转移编辑。5. 结论我们提出了一种方法来编码形状编辑，表示为形状增量，使用专门的cVAE架构。我们已经表明，编码形状增量而不是绝对形状具有几个好处，如更准确的编辑生成和编辑传输，这在3D内容创建中具有重要的应用。在未来，我们希望探索更多的邻域类型，添加稀疏约束以仅修改稀疏的部分集，并对编辑链虽然我们证明了形状三角洲在其潜在空间中的一致性，但我们的方法仍然限于类特定的传输。尝试在不同的紧密相关的形状类之间进行集体训练会很有趣。确认这项研究得到了NSF资助CHS-1528025，VannevarBush教师奖学金，KAUST Award No. OSR-CRG 2017 -3426 ， ERC 启 动 补 助 金 （ SmartGeom-ESTG-2013-335373），ERC创业补助金（SemanticCity），Google教师奖，Google博士奖学金，皇家社会高级牛顿奖学金，以及Adobe，Autodesk，Google和达索基金会的礼物。源点云生成修改NNNnNGGGSSN椅子沙发凳子C.→s。 C.→圣。avg.身份geo1.002 0.938 0.8920.8920.9380.932EtStructureNet 0.868 0.764 0.7210.8881.3070.910StructEdit0.586 0.566 0.5990.5720.6980.604身份0.941 1.328 0.3330.3331.3280.853EstStructureNet 0.208 0.161 0.0250.6710.8710.387StructEdit0.005 0.001 0.0030.0020.1230.0278869引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.三维点云的学习表示与生成模型arXiv预印本arXiv：1707.02392，2017。2[2] Amir Arsalan Soltani，Haibin Huang，Jiajun Wu，TejasD Kulkarni，and Joshua B Tenenbaum.利用深度生成网络通 过 建 模 多 视 图 深 度 图 和 轮 廓 来 合 成 3d 形 状 。 在Proceedings of the IEEE conference on computer vision andpattern recognition，第1511-1519页，2017年。2[3] 伊利亚·巴兰，丹尼尔·弗拉西奇，埃坦·格林斯彭，和乔·沃·波普·沃·伊奇。语义变形迁移。ACMTransactionson Graphics（TOG），第28卷，第36页。ACM，2009年。2[4] H. G.巴罗特南鲍姆河C. Bolles和H. C.狼参数对应和倒角匹配：图像匹配的两种新技术。第五届人工智能- 第2卷，IJCAI美国，1977年。摩根考夫曼出版公司3[5] Mirela Ben-Chen，Ofir Weber，and Craig Gotsman.空间变形传递2009年ACM SIG-GRAPH/Eurographics计算机动画研讨会论文集，第67-74页。ACM，2009年。2[6] Martin Bokeloh，Michael Wand，Hans-Peter Seidel，andVladlen Koltun. 参 数 化 形 状 编 辑 的 代 数 模 型 ACMTransactions on Graphics （ TOG ） ， 31 （ 4 ） ： 78 ，2012。2[7] Angel X Chang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimming Li ， SilvioSavarese ， Manolis Savva ， Shuran Song ， Hao Su ， etal.Shapenet：一个信息丰富的三维模型库。arXiv预印本arXiv：1512.03012，2015。六、八[8] 陆辰，金煌，孙汉秋，虎君豹。基于笼的变形转移。Computers Graphics，34（2）：1072[9] Christopher B Choy ， Danfei Xu ， JunYoung Gwak ，Kevin Chen，and Silvio Savarese. 3d-r2 n2：用于单视图和多视图3D对象重建的统一方法。在欧洲计算机视觉会议上，第628-644页。施普林格，2016年。2[10] Etienne Corman 、 Justin Solomon 、 Mirela Ben-Chen 、Leonidas Guibas和Maks Ovsjanikov。本征和非本征几何的功能表征。ACM Transactions on Graphics（TOG），36（4）：59a，2017. 2[11] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在IEEE计算机视觉和模式识别会议论文集，第605-613页，2017年。二、三[12] Noa Fish、Melinos Averkiou、Oliver Van Kaick、OlgaSorkine-Hornung、Daniel Cohen-Or和Niloy J Mitra。形状 族 的 Meta 表 示 。 ACM Transactions on Graphics（TOG），33（4）：34，2014。2[13] Ran Gal ， Olga Sorki
我的内容管理
展开
