DeepMetaHandles: 3D条件生成模型-学习和解开的元句柄

12DeepMetaHandles：学习具有双调和坐标Minghua Liu1 Minhyuk Sung2 Radomir Mech3郝苏11加州大学圣地亚哥分校2KAIST3 Adobe Research图1：单个椅子的学习元句柄每列指示一个元控制柄，并沿该元控制柄的方向显示三个变形我们的方法以一种无监督的方式学习直观的和解开的元句柄，它分解了形状的所有可能的变形。摘要我们提出了DeepMetaHandles，一个基于网格变形的3D条件生成模型。给定一个类别的3D网格及其变形手柄（控制点）的集合，我们的方法为每个形状学习一组Meta手柄，这些元手柄表示为给定手柄的组合。解开的元控制柄分解了形状的所有可能变形，而它们中的每一个都对应于直观变形。然后可以通过对特定范围内的元句柄的系数进行采样来生成新的变形采用双调和坐标作为变形函数，使控制点的平移平滑地传播到整个网格。为了避免学习零变形作为元句柄，我们加入了一个目标拟合模块，该模块使输入网格变形以匹配随机目标。为了增强变形我们的实验证明了所生成的变形的优越性以及所学习的元句柄的可解释性和一致性。该代码可在https://github.com/Colin97/DeepMetaHandles上获得。1. 介绍3D网格可以存储尖锐的边缘和光滑的表面复杂。然而，学习生成3D网格是由于网格数据结构的不规则性以及设计损失函数来测量几何和拓扑特性的困难，由于这些原因，为了创建新的网格，而不是从头开始生成网格，最近的工作假设几何形状的连接结构是已知的，使得创建空间被限制为在不改变结构的情况下改变几何形状。例如，[37，36，48]通过一个模板网格的变形然而，它们将形状生成的范围限制为模板网格的可能变体因此，我们提出了一个三维条件生成模型，可以采取任何现有的网格作为输入，并产生其合理的变种。我们的方法集成了一个目标驱动的拟合组件和一个条件生成模型。在测试时，它允许变形输入形状以适应给定的目标形状，并在没有目标的情况下探索输入形状的可能变体。我们的主要设计目标是双重的：提高输出形状的可解释性和增强学习的潜在空间的可解释性要实现这些目标，关键是选择合适的变形参数化。一种选择是遵循最近的目标驱动变形网络[39，9，46，35]，其将变形参数化为所有网格顶点的新位置。然而，如此大的自由度通常导致细粒度的几何细节的损失，并且倾向于引起不期望的失真。而不是遵循上述工作，我们利用计算几何中的经典思想，命名为13变形控制柄，以参数化低自由度的平滑变形。具体来说，我们建议采用一小组控制点作为变形控制柄，并利用在控制点及其双调和坐标上定义的变形函数[41]。并不是所有的控制点的平移都会导致合理的变形。基于控制点句柄，我们的目标是为每个形状学习一个低维变形子空间，我们希望这个子空间的结构具有可解释性。与典型的生成模型相比，其中形状变化隐式地嵌入到潜在空间中，我们的方法显式地将形状的所有具体来说，对于我们的输入相关潜在空间的每个轴，我们分配一个变形函数，该变形函数由给定的一组控制点和偏移向量定义由于每个轴都与多个控制点句柄有明确的链接，因此我们称它们为元句柄。我们强制网络学习解开的元句柄，在这个意义上，元句柄不仅应该利用控制点句柄的相关性，而且还应该对应于一组根据数据集倾向于完全变形我们希望解开的元处理允许我们在下游应用中独立地变形每个部件组。除了选择变形的参数化，我们还必须克服检查可行性的挑战。在流行的对抗学习框架中，一种简单的方法是将输出网格转换为体素或点云，并利用基于体素或点云的判别器。然而，转换可能会丢弃一些重要的几何细节。在我们的方法中，我们使用可区分的软光栅化器[25]将形状投影到2D空间中，并使用2D光栅。我们发现，这种架构可以更鲁棒地训练，并且它可以捕获合理形状的局部细节。我 们 基 于 变 形 的 条 件 生 成 模 型 ， 名 为DeepMetaHandles，在训练过程中将随机的源和目标形状对作为输入。对于源形状，通过最远点采样从其网格顶点采样控制点，并预先计算控制点手柄的双调和坐 标 [41 我 们 的 网 络 由 两 个 主 要 模 块 组 成 ：MetaHandleNet和DeformNet。MetaHandleNet首先预测源形状的一组元句柄，其中每个元句柄表示为控制点偏移的组合。还预测了每个元句柄的变形范围，描述了沿该方向的合理变形范围。所学习的元控制柄与相应的范围一起定义源形状的变形子空间。然后，DeformNet预测系数乘以元句柄，在预测范围内，所以利用系数变形的源形状可以匹配目标形状。为了确保学习子空间内变量的可扩展性，我们然后在预测范围内随机采样系数，并将几何和对抗正则化应用于相应的变形。图1示出了学习的元手柄的示例，有趣的是，其类似于语义部分的自然变形，例如抬起扶手或弯曲椅背。我们的实验还表明，学习的元句柄在各种形状上是一致的，并且很好地解开了形状变化空间。最后，我们将我们的方法与其他目标驱动变形技术[13，39，9，46]进行了比较，并证明我们的方法可以产生更好的拟合结果。主要贡献：• 我们提出了DeepMetaHandles，一个基于网格变形的三维条件• 我们使用一些控制点作为变形控制柄。结合它们的双调和坐标，我们可以产生平滑但足够灵活的变形。• 我们建议用少量的解纠缠元句柄来分解变形空间，每个元句柄通过利用控制点之间的相关性。• 我们通过开发一个可微分渲染器和一个2D渲染器来提高变形的可扩展性。2. 相关工作学习3D形状变形。 三维形状变形是计算几何中的一个经典课题，已经被广泛研究了几十年。该问题通常被公式化为最小化从源到目标形状的拟合误差以及一些正则化误差（例如，局部刚性）。然而，最近的工作已经证明了如何在形状变形中利用神经网络，不仅可以提高拟合精度，还可以用于多种其他目的，例如：将源形状拟合到部分目标形状[11]或2D图像[15，22，39]，通过变形[8，9]找到逐点对应，预测每个输入形状的定制变形句柄[46]，对给定集合的形状进行聚类[27]，学习语义变形[47]，以及转移变形[44，35]。虽然我们的方法也可以执行目标驱动的变形，但我们的主要目标是不同的：学习基于变形的条件生成模型。我们还注意到，我们的方法不利用任何语义监督，如部分分割，如最近的一些作品[35，45]所做的。3D形状生成模型。鉴于在在2D图像的情况下，深度生成模型也已被广泛研究用于3D数据。Wu等[42]是第一个提出三维GAN体素表示，14Achlioptas等[1]和他们随后的工作[38，34]也提出了基于点云的GAN。然而，由于分辨率的限制，这些方法不能产生细粒度的几何细节。虽然网格是一种优选的表示，但生成网格非常困难，特别是在防止生成非流形面或不连通分量时[30]。因此，以前的工作，如一个谭等。[37，36]认为通过变形给定的模板网格来产生新的形状，将产生的范围限制在模板形状的可能变化。我们建议克服这个限制，我们的条件生成模型，它需要任何三维网格作为输入变形。 还研究了3D形状的生成模型，以了解具有或不具有语义注释的组成结构的可能变化[7，33，4，43，45，23，29]。在这项工作中，我们专注于学习给定形状的几何变化，同时保持其拓扑结构。3. 方法在 这 区段，我们 将 第一 简要 审查控制点C∈Rc×3，它们之间的线性映射W ∈Rn×c（V=WC）常称为“广义重心坐标”[28，21，20，26]。Wang等人[41]提出了一种基于双调和函数定义W的方法这被称为双调和坐标，我们将其作为我们的变形函数。无需控制点形成包围输入形状的框架，我们的变形控制柄灵活直观。具体来说，我们采样C控制点从网格顶点的最远点采样（FPS）的测地线距离。还预先计算了双调和坐标W 然而，变形函数f：Rc×3→定义在给定控制点C上的Rn×3，f（C）=WC具有3个C自由度。它可以覆盖似然形状变化空间，这意味着如果我们随机地平移控制点，可能会有许多不合理的变形（见图2）。此外，可能存在强相关性-从移动的个体到移动的个体 控制点。基于控制点的变形和我们使用的双调和坐标[41]技术，并介绍如何使用控制点句柄定义Meta句柄（第3.1节）。然后我们将介绍如何学习Meta-对于特定形状（例如，一把椅子），所有的合理的变量可以驻留在一个较低维的子空间，并可以因式分解图2：两个变形的结果，从移动红色控制点沿箭头方向。以无监督的方式处理，我们的神经网络架构（第3.2节）。最后，我们将介绍我们的损失函数，它指导合理变形和直观因子分解的出现（3.3节）。3.1. 双调和坐标和Meta句柄直接移动单个顶点进行网格变形是一种繁琐的方法，而且容易导致不必要的畸变。因此，我们利用变形控制柄来参数化具有低自由度的变形。基于变形理论的变形方法的关键是定义一个合适的变形函数，该函数具有几个所需的特性。例如，不改变手柄不产生变形;每个手柄产生局部的、光滑的变形;变形函数用封闭形式表示许多以前的工作已经介绍了不同的基于变形函数的变形函数。它们中的许多是基于求解在具有边界约束（由控制柄给出）的网格上定义的双调和方程。这些方法得到的变形函数满足许多期望的性质[16，19]。此外，封闭形式的表达式相对于句柄可以很容易地计算后，预先计算。（参见Jacobsonet al。[17]更多详情在我们的方法中，我们采用了一个子集的网格顶点作为变形控制柄（控制点），并将控制柄的变换限制为纯平移。给定网格顶点V∈Rn×3（n个顶点）和一组c-分成几个有意义的变形方向（例如，缩放所有椅子腿并弯曲椅子靠背）。为此，我们建议找到一个更小数量的Meta句柄因式分解的子空间，覆盖所有的合理变形。具体地，每个元句柄Mi∈Rc×3表示为c个控制点上的偏移Mi=[→ti1，···，→tic]T，（1）其中→tij∈R3表示第i个元句柄的第j个控制点的集合。与单一控件点，主要影响网格的局部区域，每个元句柄被期望提供更直观的变形方向，其甚至可以对应于一些语义意义（参见图1A和1B）。1和8）。我们现在使用元控制柄的线性组合来表示变形。具体地说，定义了一个新的变形函数g：Rm→Rn×3，元句柄{Mi}i=1···m及其线性组合系数α=[α1，···，αm]：布勒姆g（a;{Mi}i=1···m）=W（C0+aiMi），（2）i=1其中C0∈Rc×3表示给定控制点的静止位置。在条件生成模型的上下文中，它可以被解释为每个形状具有m-三维输入相关的潜在空间，其中每个轴对应于描述3D空间中的特定变形函数 因此，潜在代码a可以是15MLP源形状控制点手柄双调和坐标Meta-手柄网元处理随机w/范围样品采样变形变形预测净变形目标形状倒角距离重塑规格化i=1点云p×3双调和坐标p×c控制点手柄c×3p×64p×c×68p×c×64c×67范围预测模块Meta-处理m×c ×3c×3m系数范围m×2图3：MetaHandleNet的架构：它通过构建3D张量来整合来自形状（点云）、控制点句柄和双调和坐标的信息，并预测一组具有形状对应系数范围的元句柄解开- Regent几何对抗Reg.控制点和预先计算的双调和坐标作为输入，并预测一组元句柄以及相应的系数范围。然后，DeformNet预测元控制柄的系数，以便源形状的变形结果与目标形状匹配。为了简化编码，在MetaHandleNet中，我们通过在网格表面上均匀采样p个点来将输入的源网格转换为点云（表示为P∈Rp×3预先计算的双调和坐标也从网格顶点插值到点云（即，W ∈Rp×c）图4：我们的方法概述。 我们学习元句柄，一种无人监督的方式。直接解码为输入网格的变形作为元句柄的线性组合。与元句柄一起，我们的方法还预测与每个元句柄相关联的系数的范围{[Li，Ri]}i=1···m 这些范围描述了沿每个元句柄方向的可能变形的范围。范围{[Li，Ri]}i=1···m内的任何系数集合因此预期产生合理的变形。我们利用少量的元句柄来学习低维紧致变形空间。变形函数g的自由度通常比变形函数f的自由度小得多，即，m3C. 因此，元句柄不仅需要利用控制点句柄的相关性，但是还发现形状结构的潜在性质（例如，椅腿是对称的，因此应该一起变形）。3.2. 网络架构我们建议以无监督的方式学习元句柄，而不将形状之间的如图4.我们的方法主要包括三个网络：Meta-HandleNet，DeformNet和一个可重构网络（在3.3节中讨论）。以同一类别内的一对随机采样的形状作为输入，该方法预测源形状的变形空间，并在该空间内找到与目标形状匹配的变形根据重心坐标。 图3示出MetaHandleNet的架构它首先使用PointNet [31]对点云进 行 编 码 ， 并 获 得 每 个 点 的 64 维 特 征 ， 表 示 为D∈Rp×64。 然后点特征D、双调和坐标W以及控制点C0∈Rc×3的静止位置被合并到一个三维张量中（图3中的紫色体积）。具体来说，3D张量的大小为p×c×68，第一个p×c×64填充点特征D（对控制点重复），下一个p×c×1填充双调和坐标W，最后一个p×c×3填充控制点C0的其余位置（对点云重复）。因此，在这个张量中，P中的点，并且控制点具有68维特征，其用MLP处理然后，我们通过对称函数（即，最大池化）以产生每个控制点的64维特征。控制点特征再次与控制点的静止位置组合，然后通过另一个MLP转换为3m维向量，其成为m个元句柄的偏移。然后，我们将每个金属手柄归一化为单位长度，以便于培训。然后，将预测的元句柄和67维控制点特征馈送到范围预测模块中，该范围预测模块输出每个元句柄的系数范围[Li，Ri]。有关本单元的详细信息，请参阅补充材料。对于DeformNet，它将源形状、目标形状、具有系数 范 围 的 预 测 元 句 柄 以 及 控 制 点 特 征 （ 从 Meta-HandleNet提取）作为输入，并预测系数向量a∈具体来说，MetaHandleNet采用源形状，其conRm在预测范围[Li，Ri]. 前-点网MLPMLP展开ConcatMLP最大池连接16形状w/随机变形形状（无变形）微分渲染（随机相机姿势）渲染的2D轮廓2D鉴别器网络变形还是不变形？如图5所示，我们将随机变形的形状和未变形的形状都送入软光栅化器[25]。渲染器从随机视图中为每个形状捕获柔和的轮廓图像然后将图像输入到一个简单的2D卷积神经网络中，以预测它们是否来自变形的形状。该2D神经网络是由MetaHandleNet和Deform-Net联合训练的，并带有分类损失函数。变形形状的输出概率用于惩罚不合理的图5：我们使用软光栅化器[25]和2D光栅化器网络来惩罚不切实际的变形。然后，将所述指定的系数向量和元句柄馈送到变形函数g（等式2）中，以对源形状的变形进行解码，期望源 形 状 与目 标 形 状 匹 配 。与 MetaHandleNet 类 似 ，Deform-Net也构建了一个3D张量来合并所有信息，并利用共享权重MLP和最大池来处理和聚合特征。详见补充资料。3.3. 损失函数在培训我们的网络时，我们考虑三个目标1）变形的输入（源）形状匹配给定的目标形状; 2）从学习范围采样的任何变形都是合理的; 3）学习的元句柄适当地解开变形空间。因此，我们用以下联合损失函数训练我们的网络：L=Lfit+Lgeo+Ladv + Ldisen。（三）在这四项中，拟合损失Lfit对应于第一个目标，并最小化变形源点云和目标之间的倒角距离[5点云Lgeo和Ladv分别是针对第二目标添加的几何损失和对抗损失。在每一次迭代中，我们在预变形中随机采样一个变形的范围，并应用这两个损失来惩罚不合理的变形。具体地，Lgeo被进一步分解为：Lgeo=Lsymm+Lnor+LLap，（4）其中Lsymm是对称损失，最小化变形点云与其重新定义的点云之间的倒角距离[5]沿x轴的弯曲（也用于以前的作品[39，46]）。给定网格连通性，计算法向损失Lnor和拉普拉斯损失LLap以防止失真。Lnor最小化源网格和变形网格的面法线之间的角度差。L-Lap最小化了余切拉普拉斯算子差的l1仅仅用几何正则化来保证合理的变形是不够的因此，我们利用对抗性损失Ladv，其用软光栅化器和2D光栅化器定义。（Li等人也引入了使用2D投影的类似对抗训练思想。[24]）作为变形对于第三个目标，我们引入了一个解纠缠损失Ldisen 。 灵 感 来 自 Aumentado-Armstronget al. [2] ，Ldisen定义为四个术语：Ldisen=Lsp+Lcov+Lortho+ LSV D。（五）具体地，Lsp通过惩罚元句柄Mi和系数向量a的11范数来鼓励它们是稀疏的Lcov惩罚系数a的协方差矩阵（针对每个批次计算）。Lortho鼓励Meta句柄覆盖控制点偏移的不同部分。通过惩罚元句柄之间的“点积”。LSVD鼓励控制点在每个元句柄内沿单方向关于L disen的详细信息，请参见补充材料。请注意，我们没有为系数范围引入任何显式损失函数。虽然L 拟 合促使系数范围扩大以覆盖更合理的变形，但Lgeo和Ladv通过惩罚不合理的变形来防止范围过度扩大该公司-有效范围因此被激励以学习折衷。4. 实验4.1. 目标驱动变形我们在ShapeNet数据集上评估了我们的方法[3]。我们从数据集中选择了15，522个模型，其中包括三个类别：椅子，桌子和汽车。将球面归一化以适合单位球面。 对于每个形状，我们采样c=FPS的50个控制点手柄，以便通常覆盖大部分表面并允许灵活变形。我们统一采样大小为p=4096的点云来表示形状。我们将元句柄的数量设置为m=15。 这应该是一个上限，因为网络可以通过将某些范围设置为零来使用其中的一部分。由于需要四面体网格作为输入来计算双调和权重[40]，因此所有ShapeNet [3]三角形网格首先被馈送到Huang等人。s algo- rithm [14]成为水密流形，然后送入TetWild [12]生成四面体网格。我们使用libigl对于可微渲染器，我们使用Pytorch3D [32]的实现。我们保留10%的模型用于测试，其余的用于培训。为17图6：我们的方法与其他变形方法的定性比较[13，39，10，46]。我们的方法允许灵活的变形和细粒度的细节保留。我们的结果也更合理，特别是当源-靶对不共享相同的结构时（见第二列和第四列）。请放大查看详细信息。图7：目标驱动变形的定量比较。每个2D点代表一种方法。坐标对应于对准误差和失真，原点是理想的。‘NoDef’indicates undeformed source对于每个类别，我们训练一个单独的模型，并在3000个样本上进行测试。随机抽样的源-目标对。我们将我们的方法与非刚性ICP（NRICP）[13]进行比较，这是一种非神经配准技术，通过最小化平滑变形能量来对齐两个点云; 3D变形网络（3DN）[39]和周期一致性变形（CC）[10]，这两种基于学习的方法直接推断每个顶点的位移;以及神经笼[46]，一种可学习的基于笼的变形方法。定性结果如图6所示。虽然NRICP [13]，3DN [39]和CC [10]在大多数情况下确实将源形状与目标形状对齐，它们无法保留源形状的细粒度细节并引入大量失真。神经笼[46]的结果看起来更令人满意，但基于笼的变形比我们基于控制点的变形灵活性低。与神经笼[46]相比，我们的方法可以实现局部区域的更详细变形，例如调整座椅的厚度（第一列和第五列）和扶手此外，当源形状和目标形状不共享类似结构时，大多数替代方法会产生不切实际的变形例如，假设源形状有四个椅子腿，目标形状是转椅（第二列和第四列）。在这种情况下，替代方法倾向于在配合损失的影响下使四个椅腿朝向中心变形，从而导致不期望的变形。由于我们采用了对抗性正则化，我们的方法可以避免这种难以置信的变形，同时仍然将输出与目标对齐受神经笼[46]的启发，我们还利用变形形状和目标形状之间的Cham- fer距离[5]（在100，000个均匀采样点上计算）来测量对准误差;并使用源形状和变形形状的余切拉普拉斯算子之间的差（l1范数）来测量失真。的18图8：在不同形状上学习的元句柄。该图包括六个元句柄，每种颜色表示不同的颜色。对于每个元控制柄，该图演示了三个不同形状上的相应变形，红色箭头突出显示变形方向。元控制柄在各种形状中是一致的。定量结果如图所示7 .第一次会议。如图所示，尽管NRICP [13]、3DN [39]和CC [10]实现了较低的对准误差，但失真要高得多。与神经笼[46]相比，我们的方法使用类似的余切拉普拉斯算子实现了4.2. Meta手柄变形空间我们的方法的另一个主要贡献是，对于每个形状，我们学习了一组具有相应系数范围的可解释元句柄，这些元句柄分解了形状的所有图1展示了一些学习的单一形状的元句柄。每列显示沿元句柄方向的变形，变形尺度在相应的系数范围内均匀采样红色箭头突出显示每个元控制柄的变形方向。如图所示，学习的Meta-表1：不同方法之间的覆盖率（越高越好）和MMD（×100，越低越好）比较。椅子车表COV↑MMD↓COV↑MMD↓COV↑MMD↓3DN [39]32.0%4.5646.6%2.9130.6%4.26CC [10]51.0%4.26百分之五十点三2.79百分之五十点二3.88NC [46]百分之五十四点四4.23百分之六十六点六2.65百分之四十四点七3.85我们百分之六十四点六4.28百分之七十六点五2.97百分之五十四点九3.70手柄被解开并分解形状的所有可能的变形。虽然我们没有采取任何语义注释或不同形状之间的对应关系作为输入或监督，但我们的方法能够学习一些直观的元句柄。具体地，学习的Meta句柄不限于全局缩放。其中许多与一些局部语义部分相一致，如调整椅座的厚度（第一列）、扶手的高度（第四列）、四条椅腿的长度（第七列）和椅背的高度（第八列）。此外，它们中的许多涉及某些部件的非刚性变形，例如弯曲椅背（第五列）和两个后腿（第六列），这不能通过先前方法[6，35]提出的刚性边界盒手柄来实现为了构建低维紧凑变形空间，学习的元句柄不仅杠杆控制点句柄之间的相关性，而且还发现潜在的硬约束（例如，对称性）的形状结构。同时，系数范围学习底层的软先验（例如，部分比例），并为元句柄提供合理的变形范围。我们假设，对于不同的形状，由于MetaHandleNet的结构特征，具有相同索引的元句柄共享类似的变形。如图8所示，我们学习的元句柄在不同的形状上是一致的尽管几何细节甚至全局结构是不同的，每个元句柄可以在各种形状中找到对应的区域并预测类似的变形，这是有趣的，因为我们不提供任何语义注释或对应信息。灵感来自Achlioptaset al。[1]，我们还采用覆盖率（COV）和最小匹配距离（MMD）来评估我们的生成模型。对于一组生成的形状A和一组地面实况形状B，覆盖率测量可以在A内粗略表示的B中的形状的分数，而MMD测量B中的形状可以由A中的形状表示的程度。对于这两种度量，使用倒角距离计算接近度[5]。对于每个类别，我们分离出500个形状来构建集合A，其余的形状被视为集合B。对于我们的方法，我们在每个形状的学习变形空间内随机抽样20个变形。对于基线方法3DN [39]，CC [10]和神经笼[46]，我们为A中的每个形状随机采样20个目标形状，以生成目标驱动的变形。定量再-19表2：不同消融版本之间的倒角距离（×100）和余切拉普拉斯算子（×10）（椅子类别）。为强L也不（第四栏）可能限制性太大这两个指标，越低越好。DoF表示自由度。Meta-handle /手柄DOFLadvCD↓科特拉普↓手柄50 ×3W/O4.785.60元句柄15W/O5.768.61手柄50 ×3w/7.987.69元句柄15w/6.285.75结果如表1所示。虽然所有方法都具有相似的MMD，但我们的方法实现了更高的覆盖率，这表明我们的方法生成更多样化的变形，因此可以在我们的变形空间内表示更多的地面真实形状4.3. 消融研究Meta-Handles。代替预测一组Meta控制柄，我们可以通过直接预测每个控制点控制柄的偏移量（变形函数f）来变形形状。我们将我们的方法与此变体进行比较。如表2所示，当没有对抗性损失（第一和第二行）时，直接使用50个控制点手柄可以实现更好的拟合误差和更小的失真，因为它允许更大程度的变形自由度。然而，当应用对抗性损失（第三和第四行）时，对于变形，而Ladv 实现更真实结果仍然允许柔性变形。当应用Ladv时，拟合误差增加（第二行和第四以换取更合理的变形。如表3所示，在没有Ladv的情况下，覆盖和MMD都变得更差，这表明Ladv对于生成多样化和真实的变形是重要的。解纠缠正则化。我们使用Ldisen来加强变形空间的直观因式分解如图10所示，当没有Ldisen时，沿着每个学习的元句柄的变形仍然是合理的，因为Lgeo和Ladv仍然被应用于空间内的随机样本以惩罚不切实际的变形。然而，学习的元句柄是纠缠的，每个元句柄可能变形沿着不同方向的多个部分，并且在不同的元手柄之间存在重叠。相比之下，图1中的元手柄提供了更直观和更轻松的变形。表3定量验证Ldisen对于网络来说，基于50个控制点句柄找到合理的变形，而我们学习的元句柄提供直观的变形，从而获得更好的结果。不影响变形空间的多样性和可扩展性。图10：不含Ldisen的结果，每一行指示学习的元句柄。而且，如果没有Meta句柄，我们就不能直接对输入形状的合理变体进行采样.目标驱动的变形在生成不同变形和覆盖所有可能的变体方面不太有效（参见表3的第一行）。对抗规则化。我们使用对抗损失Ladv和正常损失Lnor（几何损失Lgeo的一部分）来鼓励似是而非变形图9展示了它们之间的定性比较。当没有Ladv时，变形可能会丢失为了匹配目标形状。虽然Lnor也可以缓解这个问题，表3：不同消融版本的覆盖范围 （ 越 高 越 好 ） 和 MMD（×100，越低越好）（椅子类别）。COV↑MMD↓无元句柄48.4%4.69不含LADV百分之五十六点三4.64不含Ldisen64.1%4.14我们百分之六十四点六4.28图 9 ： Lnor 和 Ladv 之 间 的 比较。第三列和第四列都没有Ladv，但第四列对L nor具有更高的权重。5. 结论提出了一种基于网格变形的三维条件生成模型DeepMetaHandles。我们的方法采用自动生成的控制点与双调和坐标作为变形处理，并学习每个输入网格变形的潜在空间空间的每个轴都与多个变形控制柄显式关联分离的元控制柄分解了形状的所有可能变形，而它们中的每一个都符合直观变形。我们通过结合目标驱动的变形模块来无监督地学习元句柄。我们还采用了可微渲染和2D渲染来增强变形的可扩展性。在我们的方法中，变形的可表达性受到给定控制点的限制。从技术上讲，大量增加输入控制点的数量将导致一个理论问题，使网络训练更加困难。一个有趣的未来方向是开发另一种网络，它可以在适当的位置自适应地对控制点进行采样致 谢 。 这 项 工 作 的 部 分 支 持 来 自 Adobe ， Kwai ，Qualcomm和Vivo的礼物。20引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.学习3d点云的表示和生成模型。2018年在ICML上发表。第三、七[2] T. Aumentado-Armstrong，S. Tsogkas，A. Jepson和S.迪金森生成潜在形状模型的几何解纠缠。在ICCV，2019年。5[3] 天 使 X 作 者 ： Thomas A. Funkhouser ， Leonidas J.Guibas ， Pat Hanrahan ， Qi-Xing Huang ， Zimo Li ，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，Jianxiong Xiao，Li Yi，and Fisher Yu. Shapenet：一个信息丰富的3D模型库，2015年。5[4] 阿纳斯塔西娅·杜布罗茨，飞侠，帕诺斯·阿克里奥普塔斯，米拉·沙拉，拉斐尔·格罗斯科特，列奥尼达·吉巴斯.基于潜在空间分解的复合形状建模。在ICCV，2019年。3[5] 范浩强，苏浩，列奥尼达斯·古巴斯。一种从单幅图像重建三维物体的点集生成网络在CVPR，2017年。五、六、七[6] Matheus Gadelha ， Giorgio Gori ， Duygu Ceylan ，Radomir Mech ， Nathan Carr ， Tamy Boubekeur ， RuiWang，and Subhransu Maji.学习形状手柄的生成模型。在CVPR，2020年。7[7] Lin Gao，Jie Yang，Tong Wu，Yu-Jie Yuan，HongboFu，Yu-Kun Lai，Hao Zhang.Sdm-net：用于结构化可变形网格的深度生成在ACM SIGGRAPH Asia，2019。3[8] 放大图片创作者：Thomas G.作者：Brian C.罗素和马修·奥布里3D-CODED：深度变形的3D对应在ECCV，2018年。2[9] 放大图片创作者：Thomas G.作者：Brian C.罗素和马修·奥布里深度自我监督的周期一致性变形，用于少数镜头形状分割。在2019年的Eurographics几何处理研讨会上。一、二[10] 放大图片创作者：Thomas G.作者：Brian C.罗素和马修·奥布里深度自我监督的周期一致性变形，用于少数镜头形状分割。在2019年的Eurographics几何处理研讨会上。六、七[11] Rana Hanocka ， Noa Fish ， Zhenhua Wang ， RajaGiryes ， Shachar Fleishman ， and Daniel Cohen-Or.ALIGNet：通过无监督学习实现部分形状不可知对齐。ACM Transactions on Graphics，2018。2[12] Yixin Hu，Qingnan Zhou，Xifeng Gao，Alec Jacobson，De- nis Zorin， and Daniele Panozzo. 四面 体网 格在野外。在ACM SIGGRAPH，2015年。5[13] 黄 海 滨 ， Evangelos Kalogerakis ， Siddhartha Chaud-huri，Duygu Ceylan，Vladimir G. Kim和Ersin Yumer。从多视图卷积网络的部分对应中学习局部形状描述符。ACM Transactions on Graphics，2017。二、六、七[14] 黄精卫，苏浩，列奥尼达斯·古巴斯。适用于ShapeNet模型的强大防水歧管表面生成方法5[15] 多米尼克·杰克，乔尼·K. Pontes，Sridha Sridharan，Clinton Fookes，Sareh Shirazi，Frederic Maire和AndersEriksson。学习3D对象反射的自由形式变形。在ICCV，2018年。2[16] 亚历克·雅各布森，伊利亚·巴兰，乔·沃·波普·维西，还有奥格·索金。 实时变形的有界双调和权重。ACMSIGGRAPH，2011年。3[17] Alec Jacobson ， Zhigang Deng ， Ladislav Kavan 和 JPLewis。蒙皮：实时形状变形。ACM SIGGRAPH 2014课程，2014年。3[18] Alec Jacobson，Daniele Panozzo，et al. libigl：一个简单的C++几何处理库，2018。https://libigl.github.io/的网站。5[19] 亚历克·雅各布森蒂诺·温考夫和奥尔加·索金具有受控极值的平滑形状感知函数。2012年欧洲图形学几何处理研讨会。3[20] Pushkar Joshi，Mark Meyer，Tony DeRose，Brian Green和 Tom Sanocki 。 字 符 发 音 的 调 和 坐 标 。 ACMSIGGRAPH，2007年。3[21] 陶菊，斯科特·谢弗，乔·沃伦。闭合三角形网格的平均值坐标。ACM SIGGRAPH，2005年。3[22] Andrey Kurenkov ， Jingwei Ji ， Animesh Garg ， VirajMehta，JunYoung Gwak，Christopher Bongsoo Choy，and Silvio Savarese. DeformNet：自由形式变形网络，用于从单个图像重建3D形状。在WACV，2018年。2[23] Jun Li，Kai Xu，Siddhartha Chaudhuri，Ersin Yumer，Hao Zhang，and Leonidas Guibas. Grass：用于形状结构的生成递归自动编码器。在ACM SIGGRAPH，2017年。3[24] 小李、岳东、皮特.皮尔斯、心瞳。使用多投影生成对抗网络从剪影图像集合合成3d形状。在IEEE/CVF计算机视觉和模式识别会议论文集，第5535-5544页，2019年。5[25] Shichen Liu，Tianye Li，Weikai Chen，and Hao Li.软光栅化器：一个基于图像的三维推理微分渲染器。在ICCV，2019年。第二、五条[26] 乔赛亚·曼森和斯科特·谢弗移动最小二乘坐标。2010年，欧洲图形学几何处理研讨会。3[27] Eloi Mehr，Ariane Rupdan，Nicolas Thome，MatthieuCord，and Vincent Guitteny.DiscoNet：在不连接的流形上学习3D编辑。在ICCV，2019年。2[28] 马克·迈耶，艾伦·巴尔，李海恩，马修·德布伦.不规则多边形上的广义重心坐标。J. Graph.工具，2002年。3[29] Kaichun Mo ， Paul Guerrero ， Li Yi ， Hao Su ， PeterWonka ， NiloyJ.Mitra ， andLeonidasGuibas.Structurenet：用于3D形状生成的层次图形网络。在ACM SIGGRAPH Asia，2019。3[30] 查理·纳什，雅罗斯拉夫·甘宁，S. M. Ali Eslami和Pe- terW.巴塔利亚PolyGen：3D网格的自回归生成模型。2019年，在ICML中。3[31] Charles Ruizhongtai Qi ， Hao Su ， Kaichun Mo ， andLeonidas J. Guibas. Pointnet：对点集进行深度学习，用于3D分类和分割。在CVPR，2017年。4[32] Nikhila Ravi 、 Jeremy Reizenstein 、 David Novotny 、Taylor Gordon、Wan-Yen Lo、Justin Johnson和GeorgiaGkioxari。用pytorch3d加速3d深度学习，2020年。521[33] Nadav Schor ， Oren Katzir ， Hao Zhang ， and DanielCohen- Or. CompoNet：学习通过部分合成和合成来生成看不见的东西在ICCV，2019年。3[34] 东旭树，朴成宇，权俊锡。基于树结构图卷积的三维点云生成对抗网络。在ICCV，2019年。3[35] Minhyuk Sung，Zhenyu Jiang，Panos Achlioptas，NiloyJ. Mitra，and Leonidas J. Guibas. DeformSyncNet：通过同步形状变形空间进行变形传输，2020年。一、二、七[36] Qingyang Tan，Lin Gao，Yu-Kun Lai，Jie Yang，andShihong Xia.用于局部变形分量分析的网格自动编码器。在AAAI，2018年。第1、3条[37] Qingya