1用于保持细节的3D变形的王一凡1诺姆·艾格尔曼2弗拉基米尔·G.Kim2 Siddhartha Chaudhuri2，3 Olga Sorkine-Hornung11 ETHZurich2 Adobe Research3 IIT孟买摘要我们提出了一种新的可学习表示细节保持形状变形。我们的方法的目标是扭曲源形状，以匹配目标形状的一般结构，同时保留源的表面细节。我们的方法扩展了传统的基于笼的变形技术，其中的源形状是封闭的粗控制网格称为笼，和翻译预定的笼顶点上的插值到源网格上的任何点通过特殊的权重函数。使用这种稀疏的笼状支架能够保留表面细节，而不管形状Ourkey contribution is a novel neural network architecture forpredicting deformations by controlling the cage.我们在我们的架构中引入了一个可微的基于笼的变形模块，并训练我们的网络端到端。我们的方法可以以无监督的方式使用3D模型的常见集合进行训练我们证明了我们的方法用于合成形状变化和变形转移的实用性。1. 介绍3D形状的变形是一项普遍存在的任务，出现在许多视觉和图形应用中。例如，变形传递[25]旨在从 给定的一对形状，并将相同的变形应用于新的目标形状。作为另一个例子，来自给定类别的形状的小数据集（例如，椅子）可以通过合成变化来增强，其中每个变化将随机选择的形状变形为另一个形状的比例和形态，同时保留局部细节[29，32]。变形技术通常需要同时优化至少两个竞争目标。第一个是与目标对准，在将一个人的形状变形为不同姿势的另一个人的同时匹配肢体位置。第二个目标是坚持质量指标，如失真最小化和保存局部几何特征，如人脸这两个目标是矛盾的，因为变形源形状与目标的完美对准排除了源的原始细节。图1：我们基于神经笼的变形方法的应用。上图：复杂的源椅子（棕色）变形（蓝色）以匹配目标椅子（绿色），同时精确地保留细节和风格，并通过非均匀的变化以不同的方式适应不同的区域。在任何 阶 段 都 不 使 用 对 应 关 系 。 下 图 ： 一 个 基 于 笼 的 变 形 网 络（SMPL）可以将新目标的各种姿势（SCAPE，骨架，X-Bot，绿色）转移到一个非常不同的机器人上，其中只有一个中性姿势可用。需要机器人和中性SMPL人类之间的一些匹配SMPL人类之间的密集对应仅在训练期间使用。由于这些相互冲突的目标，优化技术[17]需要参数调整来平衡两个竞争项，并且严重依赖于源和目标之间的推断或手动提供的对应关系。这些参数根据源和目标之间的形状类别、表示和相异性水平而变化。为了解决这些限制，最近的技术训练神经网络来预测形状变形。这是通过预测模板形状[26]的所有顶点的新位置或通过隐式地将变形表示为3D中所有点的映射来实现的，然后将其这些方法中的一些方法的结果的示例可以在图4中看到，图4展示了这些方法的局限性：预测的变形破坏特征并表现出失真，特别是在具有薄结构、精细细节或微结构的区域中。75目标来源培训域目标（SMPL）中 性姿 势 的 稀 疏 对应76来源和目标之间的重大差异。这些人为因素是由于神经网络在捕获、保存和生成高频方面的固有局限性。在本文中，我们通过一种称为基于笼的变形[14，15，18]（缩写为CBD）的经典几何处理技术来规避上述问题。在CBD中，源形状被封闭在称为笼的非常粗糙的支架网格中（图2）。通过内插框架顶点的平移，框架的变形被传递到封闭的形状。恰当地说，这些经典作品中的插值方案都经过精心设计，以保留细节并最大限度地减少失真。我们的主要技术贡献是一种新的神经架构，其中，给定源网格，优化可学习参数以预测源形状周围的笼的定位以及该笼的变形，其驱动封闭形状的变形以匹配目标形状。通过一个新的，可微的，基于笼的变形层，确定性地从笼顶点的表面点的新位置插值的源形状管道在从训练集中随机选择的形状对的集合上进行端到端的训练。我们的方法的第一个关键优势是，融合器为预测变形提供了更自然的空间：CBD通过构造保持特征，变形自由度仅取决于粗笼上的顶点数。简而言之，我们的网络在高度规则变形的低维空间中进行预测。第二个关键优点是，我们的方法不依赖于单个源形状，也不依赖于单个网格拓扑。正如本文中的许多例子所证明的那样，经过训练的网络可以预测和变形训练期间未观察到的类似形状的笼子目标形状可以是粗糙和有噪声的，用廉价的扫描硬件获得的形状或从图像重建的形状。此外，通常不需要源和目标形状之间的密集对应，尽管当训练集具有非常不同的发音时它们可以有所帮助。因此，该方法可以在没有共同配准并且没有一致标记的地标的大型数据集上训练。我们展示了我们的方法在两个主要appli-阳离子的效用。我们通过使用其他形状以及图像作为目标来变形3D模型来生成形状变化。我们还使用我们的方法来提出一个人根据目标的人形人物，并给予一些稀疏的对应，执行变形转移和构成一个任意的新的人形。示例见图1、7、9和42. 相关工作现在，我们回顾以前的工作，学习变形，trans-performance方法的形状变形，和应用。学习3D变形。最近许多学习3D几何的工作都集中在生成任务上，例如非结构化几何数据的合成[8，20]和编辑[36]这些任务是特别具有挑战性的，如果一个人的愿望，高保真度的内容与复杂的细节。生成复杂形状的常见方法是使现有的通用[28]或特定类别[7]模板变形。早期的方法将变形表示为模板的顶点位置的单个向量[26]，这将它们的输出限制为通过变形特定模板可构造的形状，并且还使架构对模板tesellation敏感另一种方法是预测3D体素上的自由变形场[9，13，34];然而，这使得变形的分辨率依赖于体素分辨率，并且因此具有有限的适应特定形状类别和源形状的能力。或者，一些架构学习一次映射一个点，条件是目标形状的一些全局描述符[7]。这些架构也可以通过调节变形场对源和目标的特征来用于新源不幸的是，由于网络容量的限制，这些技术难以表示复杂的细节，并且往往模糊高频特征。传统的网格变形方法。在几何处理领域中，关于细节保持变形的研究已经持续了几十年，并贡献了各种公式和优化技术[24]。这些方法通常依赖于一组稀疏的控制点，其变换被内插到形状的所有剩余点;挑战在于以保留细节的方式定义这种插值。这可以通过解决优化问题来实现，以减少变形的失真，如[23]。然而，将输出变形定义为对复杂的非凸优化问题的解决方案显著地限制了网络学习该变形空间的能力。相反，我们使用基于笼的变形作为我们的表示，其中源形状被粗略的笼网格包围，并且所有表面点被写为笼顶点的线性组合，即，广义重心坐标已经为这些坐标函数提出了许多设计，使得形状结构和细节在插值下得以保留[2，14，15，18，21，27，31]。形状合成和变形传递。在保留细节的同时自动将源形状与目标形状对齐是一项常见任务，用于合成形状的变体，以放大库存数据集[11]或将给定变形转移到新模型，目标是动画合成[25]。为了推断变形，需要考虑两个形状之间的对应性，或者通过显式推断对应点[12，16，17]，或者通过隐式地将变形场调节到目标形状的潜在代码[6，9，29]。我们的工作建立77φCDJJJJp′= ΣφC（p）v′.（一）J J0≤ j<|VC|关于CB D的先前工作。我们设计了各种各样的公式，赋予权重函数C特定的性质，例如图2：概述。 源Ss和目标St由同一PointNet编码器EPN分别编码成潜在码fs和ft。一个CagesNet风格的解码器DAN将fs解码为笼模块Nc中的源笼Cs。另一个解码器DAN在变形模块中创建Cs的偏移Nd从fs和ft的连接中，产生变形的笼Cs→t。给定源笼和形状，我们的新MVC层计算均值坐标φCs（Ss），其用于从笼变形C s → t产生变形源形状Ss→t。基于后者的基于学习的框架，但使用笼来参数化变形的空间。Gao等人[4]使用循环生成对抗网络自动化未配对形状一些现有技术专注于在为形状生成而训练的各种潜在空间之间传输和插值属性[5，33]。这些生成模型不能完全保留局部几何特征，特别是如果源没有预先分割成简单的基元（如[5]所假设的）。一般来说，只有当输入形状与训练时观察到的形状相对相似时，才期望这种方法表现良好。3. 方法现在，我们详细介绍我们的方法来学习笼为基础的变形（CBD）。我们首先简要概述CBD的原理，然后解释如何训练网络来控制数据的变形。该实现可在https://github.com/yifita/deep cage上获得。3.1. 基于笼的变形CBD是一种自由空间变形。空间变形不是仅在表面S上定义变形，而是扭曲形状S嵌入其中的整个环境空间。特别地，CBD通过称为笼C的粗糙三角形网格控制这种扭曲，笼C通常包围S。在给定笼的情况下，对周围空间p∈R3中的任意点，坐标，作为笼形V e的加权平均。rticesvj：如插值、线性精度、平滑度和失真最小化。我们选择均值坐标（MVC）[15]因为它们的特征保持和插值特性，以及相对于.源和变形笼3.2. 基于学习笼的变形由于我们的目标是一个用于变形形状的端到端管道，因此我们训练网络来预测源笼和目标笼，以优化导致变形。给定源形状Ss和目标形状St，我们设计了一个深度神经网络，它预测将Ss扭曲到St的笼形变形，同时保留Ss的细节。我们的网络由两个分支组成，如图2所示：笼预测模型Nc，其预测S s周围的初始笼Cs，以及变形预测模型Nd，其预测从C s的偏移，从而产生变形笼Cs→t，即Cs=Nc（Ss）+C0，Cs→t=Nd（St，Ss）+Cs（2）由于这两个分支都是可区分的，因此它们可以以端到端的方式共同学习。分支Nc和Nd仅预测笼，并且不直接依赖于笼的详细几何特征输入形状。因此，我们的网络不需要高分辨率的输入，也不需要对网络架构进行调整。事实上，Nc和Nd都遵循非常流线型的设计：它们的编码器和解码器是在MPEGASNet [8]中使用的编码器和解码器的简化版本。 我们把这批标准化和减少通道尺寸，而不是将2D表面补丁馈送到解码器，我们将模板笼C0和预测的初始笼Cs分别馈送到笼预测器和变形器，并让它们预测偏移。默认情况下，C0是一个42顶点的球体。3.3. 损失条款我们的损失包括三个主要方面。第一项优化源笼，以鼓励积极的平均值坐标。后两项优化变形，第一项通过测量与目标的对准，第二项通过测量形状保持。这些项共同构成了我们的基本损失函数：L= αL+ L+ αL。（三）p=φC（p）vj，其中权函数Cde-MVCMVC对齐形状形状取决于pw.r.t.到框架顶点{vj}。环境空间中任意点的变形通过简单地偏移笼顶点并用预先计算的权重插值它们的新位置v′来获得，即，我们使用αMVC= 1，αshape= 0。1在所有实验中。为了优化源cage的平均值坐标，我们惩罚负权重值，当源cage高度凹陷，自重叠，或者当一些形状的点位于cage之外时，会出现负权重值Def.笼：s→tC笼网：NcEPN一个DcφCs（Ss）副本共享权重} D一个DEPN+Deform Net：Nd来源：Ss→tDef.Src笼： Csftfs目标： St资料来源：Ss重量：CBDMVCfsφ78源|B|我我Sq∈B（ p）目标变形前后PCA法线的差异L正常=1Σ|Ss|（1 −nTn′），（6）|我我|ii我图3：通过变形源形状以匹配目标形状（绿色）来合成源形状的变化（棕色）。其中n′表示变形后的PCA法线。如稍后所展示的，该正常惩罚显著地改善了变形的感知质量。第二，类似于Wanget al. [29]，我们还使用对称性损失Lsymm，测量为倒角距离be-在x=0平面周围的形状和它的反射我们将这种损失应用于变形形状Ss→t以及笼Cs。因此，我们的最终形状保持损失为：对于人造形状，L形=Lp2f+L法线+L对称，对于字符，L形=Lp2f。4. 应用我们现在展示两个应用程序的训练笼为基础的变形网络.LMVC=1|Ss||Ss|Σ|Ss|Σ|Cs|i=1j =1|第二条、第四条|2, (4)4.1. 通过变形的创建高质量的3D资产需要大量的时间，其中，αMVC是损失重量，φji表示坐标。pi∈ Ssw.r.t.vj∈ Cs。L对齐在无对应的非监督情况下经由倒角距离测量，或者作为L2距离测量当监督与通信。上述两个损失驱使变形朝向与目标对准，但这可能以偏好对准而不是特征保留为代价。因此，我们增加了鼓励形状保持的条款。也就是说，我们从拉普拉斯正则化器[7，19，29]中获得灵感，但建议使用点到表面的距离作为方向不变的二阶几何特征。具体来说，对于源形状上的每个点p，我们拟合一个PCA平面到局部邻域B（我们使用单环），然后计算点到平面的距离为d=nT（p-pB ）<$，w<$，其中n表示网格的法线PCA平面，pB=1q是PCA平面的质心周围的邻居P。然后我们惩罚曲面上每个顶点的距离di的变化：技术专长和艺术天赋一旦创建了资源，艺术家通常会使模型变形以创建它的几个变体。受自动库存放大的现有技术的启发[29]，我们使用我们的方法在同一类别内的形状集合上学习有意义的变形空间，然后使用源和目标形状的随机对来合成艺术家生成的资产的合理变化。培训详情。我们在ShapeNet [3]中的椅子、汽车和桌子类别上训练我们的模型，使用与Grouiex等人相同的训练集和测试集。[6]的文件。然后，我们从测试集中随机抽取100对。每个形状被规格化以适合单元边界框，并且由1024个点表示。变分合成示例。图3显示了从各种源-靶对产生的变化，展示了笼的调节能力：即使我们的训练省略了所有的语义监督，如部分标签，这些变化是合理的，并且不表现出特征失真;精细de-Lp2f=1|Ss|Σ|Ss|i=1第102章：我是你的女人（5）保留了诸如椅子板条的尾部比较。我们比较了我们的目标驱动变形方法与其他方法，努力实现相同的其中d′是变形后的距离。与均匀拉普拉斯算子相比，均匀拉普拉斯算子考虑到到质心的距离，因此每当局部邻域不均匀分布时产生非零值，所提出的点到表面距离更好地描述了局部几何特征。对于人造形状，我们使用两个额外的损失，利用这个形状类的先验首先，常态一致性对于，从而保持像桌面这样的元件的平面性。为了鼓励这一点，我们惩罚有棱角目标. 结果示于图4中。虽然在许多情况下，替代技术确实将变形形状与目标对齐，但在所有情况下，它们都会在变形网格中引入显著的伪影我们首先比较了一种基于非学习的方法：非刚性ICP [10]，这是一种经典的配准技术，可以在对应性估计和非刚性变形的优化之间进行更改，以最佳对齐对应点。我们展示了最佳配准参数的结果，我们发现，以实现细节保护。很显然，79ICP CC 3DN ALIGNet我们的[10]第六届全国政协副主席、全国政协副主席。图4：我们的方法与其他非均匀变形方法的比较。与基于优化的[10]和基于学习的[6，9，29]技术相比，我们的方法实现了源形状的出色细节保留，同时仍然将输出与目标对齐。椅子表车我们的技术。与我们的方法相反，粗体素网格不能捕获避免大伪影所需的表面的精细变形。我们的训练设置与CC相同，我们使用作者建议的参数使用相同的设置重新训练了3DN和ALIGNet。在图6中，我们将我们的结果与最简单的变形方法0的情况。030的情况。020的情况。060 1倒角距离0的情况。0050。007重新缩放源边界框以匹配源目标我们的各向异性缩放图5：我们的方法与替代方法的定量评估。每个点代表一种方法，根据其平均对齐误差（倒角距离）和失真（CotLaplacian）嵌入。靠近左下角的点更好。ICP对错误的对应关系敏感，错误的对应关系导致收敛到伪影缠身的局部最小值。我们还比较了基于学习的方法，这些方法直接预测每点变换并利用循环一致性（CC）[6]或特征保持正则化（3DN）[29]来学习低失真形状变形。这两种方法都模糊和省略目标虽然局部结构得 到 了 很 好 的 保护，但这种方法不能考虑不同区域所需 的 不 同 比 例 变化，突出了最优方法图6：我们的方法与各向异性缩放的比较。我们的方法更好地匹配相应的语义部分。特征，同时也通过拉伸小的零件.我们还比较了ALIGNet [9]，这是一种预测体素网格上的自由变形的方法，产生了类似于周围空间的体积变形。变形在这种情况下。定量比较。在图5中，我们使用两个度量来定量评估各种方法：到目标形状的距离和细节保留，通过CotLaplacian10−210−110010−210−110010−2 10−180目标图像目标代理[8]示例1源输出示例2源输出目标1 变形1目标2 变形2目标3 变形3图7：我们使用我们的方法来变形3D形状以匹配真实的2D图像。我们首先使用MesquasNet [8]来重建3D代理目标。尽管代理的质量很差，但它仍然是我们的网络生成匹配输出的有效目标，保留了源的细节。倒角距离（在5000个均匀采样点的密集集上计算）和余切拉普拉斯的差异。请注意，这些指标不支持任何方法，因为所有方法都针对倒角距离的变量进行了优化，并且没有一种方法针对余切拉普拉斯算子的差异进行了优化。图中的每个2D点表示一种方法，其中关于两个度量规定了点这一数字证实了我们的定性意见：我们的方法在形状保持方面比大多数替代方案更有效，同时仍然捕获目标的总体结构。以图像为目标。通常，3D目标不可读。图像更丰富，更容易获得，因此提出了一个有吸引力的替代方案。我们使用基于学习的单视图重建技术来创建选择一个代理目标，与我们的方法一起使用，以找到合适的变形参数。我们使用公开可用的真实对象的产品图像，并执行MogasNet图7显示，即使代理具有粗糙的几何形状和许多伪影，这些问题也不会影响变形，并且结果仍然是源的有效变化。4.2. 变形传递给定一个新的3D模型，自动使其变形以模仿现有的示例变形比让艺术家直接使新模型变形要省时得多。这个自动的任务被称为变形转移。变形的例子是通过一个模型在休息姿态Ss，以及变形姿态St中的模型。新的3D模型在相应的静止柱Ss′中给出。目标是将新模型变形到位置St′，使得变形Ss′→St′类似于Ss→ St。该任务可能是相当具有挑战性的，因为示例变形St可能具有非常不同的几何形状，或者甚至来自自组织扫描，并且因此Ss和St之间的密集对应是不可用的，从而防止使用传统的几何形状。图8：变形模型，经过训练将固定源（左）变形为各种关节。网格优化技术，如[25]。此外，由于新角色Ss'可能与训练期间观察到的所有模型显著不同，因此不可能先验地学习Ss'的变形子空间，除非Ss'的足够姿态变化可用，如Gao等人所述。[4]的文件。我们证明，我们的学习为基础的方法可以用来执行任意humanoid模型的变形转移。该网络推断从源Ss到目标St的变形，而没有任何给定的对应关系，然后基于优化的方法将该变形转换为新的形状Ss'，以获得所需的变形St′。 因此，给定任意复数新的字符，所有我们的方法需要是稀疏相关-在两个静止姿态Ss和Ss′之间提供必要对准的共振。现在，我们将概述我们学习的基于笼的人体变形模型的细节以及用于传输变形的优化技术。学习基于笼子的人体变形。为了训练我们的人类特定变形模型，我们使用使用SMPL模型[1]生成的数据集[7]，其中包含各种姿势的各种人类的230K模型。由于我们的应用程序假设样本变形是由单个规范字符产生的，因此我们在数据集作为S。随后，由于我们仅具有一个静态源形状Ss，所以我们使用手动创建的具有77个顶点的静态笼Cs，并且因此不需要笼预测网络Nc并且仅使用变形网络Nd。我们训练Nd使用静态Cs将静态Ss变形为来自数据集的样本St（目标不一定来自与Ss相同的人形模型）。然后我们用（3）中的损失进行训练，但有一个修改：在培训期间，我们使用地面真实对应，因此用相对于已知对应的L2距离来代替请注意，这些对应关系在推理时不最后，在训练过程中，我们还通过将其顶点视为自由度并直接优化它们来优化静态源笼Cc以减少损失，从而获得更优化的，但在训练后仍然是静态笼。图8示出了针对测试目标预测的人类特异性笼变形的示例（在训练时未观察到请注意，我们的模型如何成功地匹配姿势，即使在推理时不知道对应关系，同时保留精细的几何细节，如面部和手指。81新的源JSsJ模板源测试目标模板源新的源传递变形：笼形几何细节图10：在变形转移中，通过优化对齐标志稀疏集的MVC，将模板形状（最左侧）的手动创建笼拟合到新的源形状（左侧第二个）学习的变形可以直接应用于拟合的源笼（第3-4列），保留丰富的几何特征（右）。实施例1实施例2图9：变形转移。我们首先学习具有已知姿势和体型变化的模板源形状（左上）的笼变形空间。然后，我们在中性姿势的新角色上注释预定义的地标（左列，第2-4行）。在测试时，给定与模板没有已知对应关系的新目标姿势（顶行，绿色），我们将其姿势转移到其他角色（蓝色）。转移笼子变形。经过训练后，我们可以使用变形网络Nd和静态Cs，Ss。我们假设给定一个新的字符Ss'，该字符具有83个将其与Ss对齐的界标对应关系，以及一个示例目标姿态St。我们的目标是将Ss′变形为一个新的姿态St′，它类似于Ss变形为St。我们首先为字符Ss′生成一个新的笼Cs′。代替基于网络的预测，我们简单地优化静态笼Cs，尝试匹配S，S'的对应点之间的平均值坐标：Σ Σ′CsC2源目标选购配件我们源目标选购配件我们图11：我们的方法比每对优化产生更合理的形状间对应和变形。5. 评价在本节中，我们将研究我们的方法中最相关的组成部分的效果和必要性。为了测量匹配误差，我们使用在5000个均匀重采样点上计算的倒角距离，并且为了测量特征失真，我们使用余切拉普拉斯算子之间的距离。所有模型都被规范化为一个单位边界框。从数据中学习CBD的好处与其从一系列数据中学习CBD，(3) 对于一对形状，它本质上是一个由cage参数化的非刚性迭代最近点（ICP）L一致性=j（p，q）nφj（p）−φs（q）（七）顶点如图11所示，当正确的对应性估计变得具有挑战性时，优化交替地进行。其中（p，q）是对应的界标。我们还将-关于笼的余切拉普拉斯算子larizetive产生不合理的输出。 相反，学习者方法利用嵌入在网络中的领域知识，Σ。LClap=10L0≤j<| C s|cotvj−LΣ2cotv'each.（八）工作然后，我们通过最小化L=Lconsisten c y+0来计算C s ′。05LClap，以Cs作为初始化，通过Adam优化器求解，步长为5·10−4，迭代次数最多为104次（或直到L一致性为<10−5）。最后，给定n个特征的笼Cs′，我们使用我们训练的变形网络，通过将预测的偏移应用于优化笼：Cs′→t′=Nd（St，Sc′）+Cs′. 最终变形形状St′通过使用笼Cs′→t′通过（1）变形S s ′来计算。该过程在图10中示出，而更多示例可以在补充手册中找到材料。由于笼形变形对底层形状的不可知性，我们能够将机器学习和传统几何处理无缝结合起来，以推广到从未观察到的字符。为了展示我们的方法的表现力，我们在图1和图9中展示了非常不同的目标字符的示例。变形 学习的领域知识可以生成-适应新的数据。如第4.2节所示，即使我们的网络是用地面实况对应进行训练的，它也能够在推理过程中自动将源形状与新目标相关联，而不需要对应关系，而优化方法需要对每个新目标进行准确的对应关系负MVC惩罚的效果，LMVC。在图12中，我们示出了惩罚负平均值坐标的效果nates。我们在COSEG [30]的300个花瓶形状上训练我们的架构，同时改变权重αMVC∈ {0，1，10}。增加该项会使笼更接近形状的凸包，从而导致更保守的变形。表1a中的定量结果也表明，权重αMVC有利于形状保持而不是对准精度。完全消除这一项会损害收敛，并进一步增加对准误差。82保持器CαMVC= 1αMVC= 10源Ss目标St源S变形变形椎间融合器Cs→tSs→t源变形变形融合器Cs 保持架Cs→tSs→t图12：L的影响变形MVC . 更高的正则化产生更保守的图13：不同形状保持损失的影响，注意所有结果包括L对称。CotLaplacian消融CDαMVC= 01.64 9.04αMVC= 11.44 8.74αMVC= 102.65 8.27(a) MVC损失的影响，LMVC源Ss目标St源变形变形源变形变形L形状=L搭接+L对称5.16 4.75L形状=Lp2f+L对称4.86 4.70L形=L正常+L对称5.45 4.33融合器Cs保持架Cs→tSs→t融合器Cs保持架Cs→t Ss→t(b) 形状保持损失的影响，L形Nc=鉴别3.27 5.65Nc=源不变3.11 12.05Nc=我们的3.06 10.45(c) 笼形预测网络的设计选择，Nc图14：源笼预测的效果。我们比较了我们对Nc的每个实例预测与（1）静态球形笼（右上）和(2)在整个训练集上的单个优化笼预测（右下）。我们的方法实现了与目标形状更好的对齐。重量计算和基于笼的变形不同，表1：我们评估了不同损失（L）的影响MVC ，L形 ）和compo-网络层，可以用于其他领域，建筑我们的方法成功地生成了特征-我们的管道相对于倒角距离（CD，比例为102）和余切拉普拉斯（缩放103）。形状保持损失的影响，L形。在图13中，我们比较了完全损失（L形状=Lp2f+L法线+L对称）产生的变形与仅前两个损失项之一虽然我们没有像[29]中那样使用拉普拉斯正则化子Llap，但它似乎具有与Lp2f等效的效果。正如预期的那样，L法线防止刚性形状的我们定量评估这些表1b中的正则化子，这表明Lp2f稍微好一些，因为变形的形状比Llap更与目标对准，即使形状保持没有被牺牲。L法线进一步减少失真。笼形预测网络的设计选择，Nc。笼形预测网络Nc对模板笼形网格进行变形（一个42顶点的球体）到初始的笼子里，源形。在图14和表1c中，我们比较了该模块的两种替代设计选择：身份模块保留模板笼，以及源不变模块，其中我们相对于数据集中的所有目标优化模板笼学习源特定的笼子产生最接近目标的变形，牺牲最小的细节。正如预期的那样，固定模板笼会产生更大的刚性变形，以较少对齐的结果为代价产生更低的失真。6. 结论我们表明，经典的基于笼的变形提供了一个低维的，细节保留的变形空间，可直接用于深度学习环境。我们实施笼保持变形，用于合成形状变化和变形转移，并且比竞争方法更好地保持显著的几何特征。我们的方法的局限性在于，我们专注于预测笼产生的变形质量：因此，笼的几何形状本身并不设计成可与3D艺术家专业创建的笼相比。第二，我们的损失不足以确保人造形状的直链/平面/平行结构得到完美保留（图13）。第三，对于某些类型的变形，其他参数化可能是更自然的选择，例如关节的基于曲率的变形，尽管如此，本文提出的想法也可以类似地采用。我们的方法提供了一个可扩展的和通用的框架工作的数据驱动生成高细节的三维几何。在未来，我们希望纳入替代笼重量计算层，如绿色坐标[18]。与MVC不同，这种技术不是仿射不变的，因此对于大的关节会引入较少的仿射失真我们还计划在其他应用程序中使用我们的方法，如注册，部件装配和生成动画。致谢我们感谢拉纳·哈诺克和多米尼克·杰克的大力帮助。图1和图9中的机器人模型来自SketchFab，在CC-BY下授权。这项工作得到了Adobe、Facebook和Snap的部分支持。源Ss目标StL型搭接Lp2fL生理Nc=鉴别Nc= OursNc=源不变Nc= Ours83引用[1] Federica Bogo ， Javier Romero ， Matthew Loper ， andMichael J Black. FAUST：3D网格配准的数据集和评估。在CVPR，第3794-3801页[2] 史蒂芬·卡尔德隆和艾米·布贝。形状近似的边界接近。ACM事务处理图表，36（4）：57，2017.[3] 天使XChang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimo Li ， SilvioSavarese ， Mano-lis Savva ， Shuran Song ， Hao Su ，Jianxiong Xiao，Li Yi，and Fisher Yu.ShapeNet：一个信息丰富的3D模型存储库。技术报告arXiv：1512.03012[cs.GR]，2015。[4] Lin Gao，Jie Yang，Yi-Ling Qiao，Yu-Kun Lai，Paul LRosin，Weiwei Xu，and Shihong Xia.自动不成对形状变形转移。SIGGRAPHAsia，2018.[5] Lin Gao，Jie Yang，Tong Wu，Yu-Jie Yuan，HongboFu ， Yu-Kun Lai ， and Hao （ Richard ） Zhang.SDM-NET：用于结构化可变形网格的深度ACM事务处理图表，38（6）：243：1[6] Thibault Groueix 、 Matthew Fisher 、 Vladimir Kim 、Bryan Russell和Mathieu Aubry。用于形状匹配的无监督周期一致变形。在SGP，2019年。[7] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。3D-CODED：通过深度变形的3D对应。在ECCV，2018。[8] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。学习3D表面生成的一种纸上方法。在CVPR，2018年。[9] Rana Hanocka ， Noa Fish ， Zhenhua Wang ， RajaGiryes ， Shachar Fleishman ， and Daniel Cohen-Or.ALIGNet：通过无监督学习实现部分形状不可知对齐。ACM事务处理图表，38（1）：1，2018.[10] 黄 海 滨 ， Evangelos Kalogerakis ， Siddhartha Chaud-huri，Duygu Ceylan，Vladimir G Kim和Ersin Yumer。从多视图卷积网络的部分对应中学习局部形状描述符。ACM Trans. Graph. ，37（1），2018.[11] Qixing Huang，Hai Wang，and Vladlen Koltun.通过图像和形状集合的联合分析的单视图重建。ACM事务处理图表，34（4）：87：1[12] Qi-Xing Huang ， Bart Adams ， Martin Wicke ， andLeonidas J. Guibas.等距变形下的非刚性配准《小额赠款方案》，2008年。[13] Dominic Jack 、 Jhony K Pontes 、 Sridha Sridharan 、Clinton Fookes、Sareh Shirazi、Frederic Maire和AndersEriksson。学习3D物体反射的自由变形。在ACCV，2018年。[14] Pushkar Joshi，Mark Meyer，Tony DeRose，Brian Green和Tom Sanocki。字符发音的调和坐标。ACM事务处理图表，26（3），2007.[15] 陶菊，斯科特·谢弗，乔·沃伦。闭合三角形网格的平均值坐标。ACM事务处理图表，24（3）：561[16] Hao Li，Linjie Luo，Daniel Vlasic，Pieter Peers，Jovan Pop o vic'，MarkPaul y，andSzymonRusinki e wicz. 时间84集会连贯完成动态形状。ACM事务处理图表，31（1），2012.[17] 作者：Robert W.萨姆纳和马克·保利深度扫描的非刚性配准的全局对应优化《小额赠款方案》，2008年。[18] Yaron Lipman ， David Levin ， and DanielCohen-Or.绿色坐标。ACM事务处理图表，27（3），2008.[19] Shichen Liu ，Tianye Li，Weikai Chen，andHao Li.Soft Ras- terizer：一个基于图像的3D推理的可区分渲染器在ICCV，2019年。[20] Lars Mescheder ， Michael Oechsle ， MichaelNiemeyer，Se- bastian Nowozin，and AndreasGeiger.Occupancy networks：学习函数空间中的3D重建。在CVPR，2019年。[21] 列奥纳多·萨赫特，艾蒂安·萨加，亚历克·雅各布森。嵌套的笼子。ACM事务处理图表，34（6）：170：1-170：14，2015.[22] Tamar Rott Shaham ， Tali Dekel 和 TomerMichaeli。单根：从一个单一的自然图像学习生成模型.在ICCV，2019年。[23] 奥尔加·索尔金和马克·亚里克萨。尽可能刚性的曲面建模。《小额赠款方案》，2007年。[24] 奥尔加·索金和马里奥·博奇交互式形状建模和变形。《欧洲地理》，图季曼，2009年。[25] RobertW. 萨姆纳和乔v一个流行的。三角形网格的变形传递ACM事务处理图表，23（3）：399-405，2004.[26] Qingyang Tan ， Lin Gao ，Yu-Kun Lai ，andShihong Xia.用于变形3D网格模型的可变自动编码器。在CVPR，2018年。[27] Jean-Marc Thiery ， Julien Tierny ， and TamyBoubekeur. CageR：基于Cage的3D动画形状逆 向 工 程 。 Computer Graphics Forum ， 31（8）：2303[28] Nanyang Wang，Yinda Zhang，Zhuwen Li，Yanwei Fu ， Wei Liu ， and Yu-Gang Jiang.Pixel2Mesh：从单个RGB图像生成3D网格模型。在ECCV，2018。[29] Weiyue Wang ， Duygu Ceylan ， RadomirMech，and Ulrich Neumann. 3DN：三维变形网络。在CVPR，2019年。[30] 吴子昭，寿汝阳，王云海，刘新国。通过标签传播的交互式形状共同分割。计算机图形，38：248[31] Chuhua Xian ， Hongwei Lin ， and ShumingGao.利用改进的OBB方法自动生成笼形网格。The Visual Computer，28（1）：21[32] Kai Xu ， Honghua Li ， Hao Zhang ， DanielCohen-Or ， Yueshan Xiong ， and Zhi-QuanCheng.通过各向异性的部分尺度分离样式-内容。ACM事务处理图表，29（6）：184：1[33] Kangxue Yin ， Zhiqin Chen ， Hui Huang ，Daniel Cohen-Or，and Hao Zhang.潜超完备空间中的不成对形变换. ACM事务处理图表，38（6）：198：1[34] M. E. Yumer和N.J. 米特拉使用3D卷积网络学习语义在ECCV，2016年。[35] Matthew D Zeiler和Rob Fergus。可视化和理解卷积网络。2014年，在ECCV[36] Chenyang Zhu，Kai Xu，Siddhartha Chaudhuri，RenjiaoYi，and Hao Zhang.得分：形状组成与递归子结构先验。ACM事务处理图表，37（6），2018.
我的内容管理
展开
