双流图卷积网络的综合性状表皮预测

18593SkinningNet：基于双流图卷积神经网络的综合性状表皮预测Albert Mosella-Montoro and Javier Ruiz-Hidalgo阿尔贝·摩塞拉-蒙托罗和哈维尔·鲁伊斯- 伊达尔戈{albert.mosella，j.ruiz} @upc.eduhttps://imatge-upc.github.io/skinningnet摘要这项工作提出了SkinningNet，这是一种端到端的双流图神经网络架构，可以从输入网格及其相关骨架计算蒙皮权重，而无需对所提供网格的形状类和结构而以前的方法，ods预先计算手工制作的功能，涉及的网格和骨架或假设一个固定的拓扑结构的骨架，所提出的方法提取此信息，在一个端到端的学习方式，通过共同学习网格顶点和骨架关节之间的最佳关系。所提出的方法利用了新颖的多聚合器图卷积的优点，该多聚合器图卷积在消息传递方案的汇总步骤期间组合了不同聚合器的结果，从而帮助操作针对看不见的拓扑进行一般化实验结果证明了我们的新架构的贡献的有效性，与SkinningNet优于当前国家的最先进的替代品。1. 介绍制作一个3D角色是一个复杂而耗时的过程，动画师们花了好几年的时间来学习如何高效地完成。在典型的动画流水线中，艺术家首先创建网格模型并指定骨架拓扑，然后手动绘制蒙皮权重。在这个过程中，动画师遵循两个主要步骤。首先，它们执行蒙皮绑定，其中包括定义网格的哪些部分将受到特定关节移动的影响。最后，它们决定描述传递到蒙皮的移动量的蒙皮权重SkinningNet是一个双流图卷积网络，给定输入网格及其相应的子节点，执行皮肤绑定，然后计算每个网格顶点的皮肤权重，如图所示1.一、以前的方法依赖于预先计算的手工有限元分析，图 1. 拟 议 管 道 概 述 。 给 定 输 入 网 格 及 其 相 关 骨 架 ，SkinningNet预测线性混合蒙皮[26]算法使用的蒙皮权重，以创建一组动画。创建网格和骨架关系的方法。该方法自动提取最佳特征，将网格和骨架关联起来，预测关联的蒙皮权重。本文的主要贡献是：a）一个双流图神经架构，它可以学习从具有不同拓扑结构的网格和骨架中提取特征，b）一个多聚合器图卷积（MAGC）层，其扩展消息传递方案以使用更好地生成不可见图拓扑的多聚合方法，c）一种新的皮肤绑定方法，其使用骨架关节表示而不是骨骼表示，以及d）一种网格-骨架图卷积网络，其利用该骨架关节表示来找到输入网格和骨架之间的最佳关系。所有这些贡献使所提出的方法优于当前的最先进的网格变形误差超过20%的改善。实验结果表明，该方法具有较强的泛化能力，可以适用于不同领域的复杂网格和骨架结构。2. 相关工作本节回顾与用于几何学习的图神经网络解决方案相关的技术，然后过渡到用于皮肤的更具体的技术18594权重预测2.1. 图神经网络Graph Neural Networks can be divided into two sub-sets: the ones that generalize the convolution operation us-ing a spectral approach [3, 6] and the ones that use a spa-tial approach [9, 17, 27].绝大多数新提出的图卷积可以被 视 为 消 息 传 递 方 案 的 适 应 [11] 。 图 卷 积 网 络（GCN）[17]是流行的消息传递实现之一，它提出使用由邻域度归一化的权重矩阵来变换邻域的节点。使用加法运算符聚合变换的节点特征。另 一 种 被 广 泛 采 用 的 图 卷 积 是 图 注 意 力 网 络（GAT）[34]，它提出使用边缘属性学习注意力系数，边缘属性边缘卷积网络[35]是3D几何任务中广泛采用的实现之一，其包括使用非对称函数定义图形的边缘属性每个邻域的边缘属性被馈送到共享的多层感知器（MLP）中，并使用最大或加法聚合器进行聚合。残差连接[5，21，28]也被证明有助于在深度图神经网络上实现最近，多邻域图卷积[29]引入了多个邻域的组合来创建丰富的节点描述符。大多数先前描述的作品使用平均值，最大值和加法聚合器，这不能区分具有相同特征但基数不同的邻域，如Xu等人所证明的。[38]第30段。为了解决这个问题，Dehmamyet al. [7]建议使用多个聚合器。我们提出了一个扩展的多聚合器计划，使用互补的聚合器，并学习如何合并它们，而不仅仅是连接或添加每个结果。使用多个缩放器的动机是为了改善卷积对于看不见的拓扑的泛化，同时避免当邻域的度增加时每个聚集的值爆炸。在SkinningNet中，这个扩展允许网络泛化为更复杂和不可见的网格和骨架拓扑。2.2. 剥皮重量预测在视频游戏等实时应用中，通常需要对合成人物的皮肤变形进行计算线性混合蒙皮（LBS）[26]或双四元数蒙皮（DQS）[14]等方法由于其简单性和计算效率而被广泛使用这些技术基于一组蒙皮权重计算网格的变形，分配给每个网格顶点。蒙皮权重可以由动画师手动绘制，也可以自动生成。自动结皮重量预测技术可以分为两个不同的类别：基于几何的方法[1，8，12，14，15，18，19，30，33，36]和数据驱动的解决方案[13，16，20，25，31]。基于几何的方法依赖于网格和骨架之间的几何特征。最早的自动生成蒙皮权重的方法是为了开发热扩散[2]和照明[37]模型。或者，其他方法使用能量函数进行估计，例如弹性能量[15]或拉普拉斯能量[12]。后来，Dionne等人。[8]提出了Geodesic Voxel Binding来处理非防水网格。所有这些方法都依赖于根据关节和顶点之间的距离分配蒙皮权重的函数。然而，这个假设在实际中对AAA游戏角色并不适用，因为这些角色通常具有复杂的拓扑结构，其中多个独立的组件可以相交。数据驱动方法通常需要网格或不同网格的多个姿势作为输入，以学习如何计算蒙皮权重。新的方法，如[4，22，32]估计从运动捕捉数据蒙皮权重。他们专注于寻找类人机器人的蒙皮权重，并假设一个固定的骨架拓扑结构，使网络无法对具有不同骨架的角色进行通用化。NeuroSkinning [24]是最早提出的使用神经网络自动计算合成字符的蒙皮权重的方法之一该方法利用图卷积来计算新网格的蒙皮权重。NeuroSkinning使用骨骼表示，这意味着网络预测每个骨骼而不是每个关节的蒙皮权重。它还依赖于创建一个超级骨架，该骨架由训练集中可以找到的所有骨架的融合组成。这个超级骨架是需要处理网络的固定输出的。 作为结果，这种假设使得网络不适合于与不能适应超骨架结构的骨架一起RigNet [39]试图使用k- NN方法克服这一限制。该网络仅预测距离网格顶点最近的k个骨骼此功能允许网络使用不可见的骨架拓扑，但仍使用骨骼表示。根据定义，骨架驱动网格的移动来自关节的旋转。在每个关节都有一个关联骨骼的理想情况下，两种表示是等效的。但是，该假设不适用于复杂网格，其中关节具有多个关联骨骼。RigNet中使用的骨骼表示在管理这些场景时存在问题，这在风格化角色中很常见。为了克服这个问题，我们的建议直接使用骨架关节表示，可以管理COM-18595第一阶段第二阶段第三阶段第四图2. SkinningNet架构由四个主要阶段组成。阶段1负责从输入网格及其相关骨架构建所需的图形。阶段2负责为网格和骨架独立地提取特征第3阶段结合了前面的网格和骨架特征，以提取与这两种结构相关的描述符。阶段4预测蒙皮权重。每个关节可以有多个骨骼的丛骨架拓扑。此外，RigNet和Neu- roskinning都依赖于手工制作的特征来学习网格及其相关骨架之间的我们的建议包括一个双流图神经网络，它在训练时学习网格和骨架之间的关系，自动选择最佳特征集，而不必依赖于选定的手工特征。3. SkinningNet本节详细介绍了建议的SkinningNet架构。秒3.1概述了拟议架构的四个阶段。秒3.2解释了如何在图形的创建步骤中从输入网格及其相关骨架中选择秒3.3提出了一种新的图卷积层，多聚合器图卷积（MAGC），其中多个聚合器用于允许网络区分具有相似特征但基数不同的邻域最后，SEC。3.4解释了SkinningNet中不同的图卷积块是如何基于所提出的MAGC构造的。3.1. 体系结构概述SkinningNet是一个双流图卷积神经网络，它将网格及其对应的骨架作为输入，并预测一组蒙皮权重，每个网格顶点一个。它由四个不同的阶段组成，如图所示。二、第一阶段：图的构建和皮肤绑定（在第二节中详细解释）。3.2）。图形构造步骤将网格和骨架输入转换为两个独立的图形。蒙皮绑定步骤决定哪些关节将影响每 个 顶 点 ， 并 创 建 表 示 此 关 系 的 图 形 。 GraphConstruction的输出被输入到第2阶段，而Skin Binding的输出被用于第3阶段。第二阶段：网状和骨架网络。这些网络通过使用MLP实现的输入变换将节点属性转换为特征向量。每个网络负责为网格和骨架独立地提取特征。网状网络由三个残余MAGC层组成，而骨架网络由三个MAGC层组成，进一步的细节在第2.3.3和3.4。这种差异主要是因为骨架通常比网格简单得多，并且不需要深度网络来学习其几何结构的特征。两个网络的输出将在第三阶段合并阶段3：网格骨架网络，基于单个网格骨架MAGC层。该块使用蒙皮绑定步骤的输出将网格和骨架关联起来该块的输出是一个单独的图，其中每个节点可以表示网格的顶点或网格的关节。但是，只有代表网格顶点的节点才用于以下阶段。此外，为了帮助阶段4中的最终蒙皮权重预测，提取对网格和骨架图的全局信息进行编码的全局形状描述符并将其与网格节点关联。阶段4：剥皮预测网络。为网格的每个顶点预测最终顶点蒙皮权重。 它由三个多邻域图卷积（MUNEGC）层和一个MLP层组成。在这里，MAGC被利用在多邻域的方式，结合网格拓扑和局部形状信息，以提取用于预测蒙皮权重的丰富的描述符。更多细节见第二节。三点四分。3.2. 街道建设识别节点的邻居是图卷积网络的一个重要步骤，因为节点（边）之间的连接充当卷积网络上的感受野网状网络图形输入残差构造变换网格-骨架网络全局形状特征结皮预测网络蒙皮绑定骨架网络图建设输入变换MAGCMAGCMAGC全局形状特征网格骨架MAGCConcatMUNEGCMUNEGCMUNEGCMLP18596CIMMMFij∈N（i）一CNN的。 SkinningNet使用不同的策略来创建邻域，具体到每种类型的图：即网格、骨架和网格-骨架图。在网格图形中，面被转换为无向边。另外，在网格结构上创建基于半径的邻域节点的边界i.Amax=max（Eji）j∈N（i）Amin=min（Eji）其中半径r内的k-随机节点连接A=平均值j∈N（i）=平均值（Eji）（一）到社区的中心基于半径的该社区由MUNEGC业务使用。 在在骨架图中，骨骼被转换为无向边。j∈N（i）Astd=stdj∈N（i）（鄂记）最后，使用皮肤绑定步骤创建的关系以确定网格骨架图中的连接。蒙皮绑定步骤负责指定哪些关节将影响每个顶点。如相关工作部分所述，以前的工作[24，39]基于骨骼表示的皮肤绑定过程，其中每个顶点都分配了一组骨骼。这种分配是使用k-NN方法完成的，该方法将k个最近的骨骼与每个顶点相关联。在这项工作中，建议的皮肤绑定是基于一个关节表示，这是更自然的骨骼表示。它使用最接近的骨骼来选择哪些将成为影响每个顶点的关节。特别地，对于网格的每个顶点，找到骨架的最接近的骨骼，并且每个聚合器的结果都使用一组对数度数换算器的 拟议的定标器为：i）身份，聚合器的值不变; ii）放大，聚合器的价值被放大，以及iii）衰减，每个聚合器的值被衰减。当量2形式化了所提出的缩放器，其中dtrain是指整个训练分割的平均程度。使用不同对数缩放器的动机是为了提高卷积对未知拓扑的泛化能力，避免当邻域度增加时每个聚合的值爆炸。电流Samp=log（d）选择每个骨骼的相关根关节。最后，该选择被细化，仅留下k个唯一关节。整个算法在算法1中描述。S=0对数（d列）Satt=log（dtrain）log（d）Siden=1（二）算法一：最近骨骼的k-唯一关节输入：顶点位置，关节位置和骨骼输出：每个顶点的每个顶点的选定关节计算距离d（顶点，骨骼）排序距离% d用关联的根关节替换选择k个唯一关节端前最后，将每个缩放器应用于每个聚合器的结果操作被馈送到学习如何融合信息的MLP中。当量3定义了聚合和缩放器的组合，A是聚合操作的集合，S是缩放器操作的集合两组操作的组合被描述为所有缩放器与所有聚合器的组合。A={Amax，Amin，Amean，Astd}整数3.3. 多聚合器图卷积（MAGC）S={Siden，Samp，Satt}M=SA（三）多聚合器图卷积（MAGC）是消息传递方案[11]的扩展，其中多个聚合器用于让图卷积层区分具有相同特征但具有不同基数的邻域MAGC的工作流程如图所示。3.第三章。第一步是计算每个邻居发送到邻居中心节点的消息。这些消息是基于每条边的属性的函数Eji=（Xj，Xi），其中Xj和Xi表示节点j和i的特征。使用不同的聚集器来组合消息。在这项工作中提出的聚合器通常定义在方程。1，其中N（i）表示相邻的所得的MAGC层描述于等式（1）中。图4所示，其中使用MLP网络融合所有组合以产生前馈神经网络中的节点i和层lXl=MLP。中文（简体）3.4. 图卷积块提出的结构扩展了先前定义的MAGC，产生三种类型的图卷积块：残差MAGC，网格骨架MAGC和多邻域图卷积（MUNEGC）。18597−P--.Σ我我我我[1]，Xl. concat. [0]，X<$ifi∈ meshi∈骨料规模聚合器比例尺1第2级第3在[ 1，1]之间缩放，并面向相同的方向。骨骼关节的数 量 在 3 到 48 之 间 ， 平 均 为 25 。 此 外 ， ParagonCollection[10]中的另外两个资产已用于第二节的性别化研究。四点八这两个资源已被简化，因此生成的网格包含约6k个顶点和50个关节，并按照RigNetv1进行了规范化。Paragon Collection数据集允许用于非图3.多聚合器图形卷积工作流。其中Eji是从节点j发送到节点i的消息。残差MAGC基于[5，21，28]中提出的思想。每个剩余MAGC由两个MAGC通过短连接堆叠在一起组成。在输入和输出具有不同维度的情况下，短连接包含将输入特征空间投影到输出特征空间的函数残差MAGC在方程中形式化。其中MAGCs表示对应块内的s个堆叠MAGC层Xl={MAGCs}+PXl−1（5）互动线性媒体产品在一个非排他性和不可转让的许可。4.2.实现细节表1显示了每层中使用的过滤器数量的详细架构。选择几个属性作为网格和网格结构中节点的初始特征，以帮助网络学习两种结构之间的关系。用于描述网格的节点属性是顶点的归一化3D坐标、到距最近骨骼的k=5个唯一关节的测地线距离、那些关节的骨骼的开始和结束位置以及指示关节是否为网格-骨架图卷积采用MAGC的修改来处理其中邻域由异构节点组合组成的图要组合网格和骨架节点，将独热向量连接到节点特征。以这种方式，可以通过图形操作将对应于网格节点的特征当量6显示了为组合提出的独热级联：LXl =浓度第1006章：第一次的见面（6）包括关节的归一化3D位置。秒4.6讨论了使用测地线距离相对于欧几里德距离的优点和缺点。为了计算关节和顶点之间的测地线距离，采用[39]中提出的体积版本，其中计算从顶点到关节穿过内部网格体积的最短路径蒙皮预测网络中使用的第二邻域的半径为r=0。06.从半径r内的所有节点中，随机抽样最多10个节点以创建邻域。的最终输出SkinningNet是独特K= 5多邻域图卷积是基于[29]的MAGC的扩展，其中使用两种邻域来获得新的节点特征。当量7定义了MAGC到多邻域方法的扩展。其中K是邻域类型的集合：每个顶点最近骨骼的关节。在蒙皮预测网络的每个全连接层之前添加dropout层，概率为p=0。五、网络以端到端的方式训练200个时期。修正亚当（RAdam）[23]优化器的学习率为1×10−4，权重衰减为1×10−4，Xl=MLP。concat. MLPM.中国（7）批量大小为4。 Kullback-Leibler发散损失是我4. 结果4.1. 数据集k∈K纪（j）∈Nk（i）用于最小化所预测的剥皮权重分布与地面真实分布之间的距离。4.3. 与最新技术水平的SkinningNet与最近的两个数据进行了比较所提出的方法已经在RigNetv1[39]数据集上进行了训练和评估，该数据集可供非商业用途公开访问。该数据集由2703个不同类别的操纵字符组成。数据集的原始分割如下，其中2163个资产用于训练，270个用于验证，270个用于测试。所有训练资产都包含1k到5k个顶点，驱动方法：[24]第39话：你的未来这两个网络都是按照 各 自 论 文 中 描 述 的 程 序 从 头 开 始 训 练 的 在NeuroSkinning的情况下，原始的欧几里得距离已经被测地线距离所取代，这将在第2节中演示。4.6是防水网片的更好选择。不过，为了保证公平的比较，同样的输入-MLP一个端接头或没有。在骨架的情况下，18598×网状网络层N.Filters输入变换MLP（64，128）残留MAGC128残留MAGC256残留MAGC512骨架网络输入变换MLP（64）MAGC128MAGC256MAGC512网状-骨架网络网格全局形状中文（简体）骨架全局形状中文（简体）Mesh-Skel MAGC512Concat512 + 256 + 256皮肤网络MAGC256MAGC128MAGC64MLP(64，32，k）表1. SkinningNet架构详细说明了每层中使用k是可以影响每个顶点的关节数在SkinningNet中使用的贡品，并在SEC中描述4.2已经在两个架构中使用。这两种方法都提出了一种基于图卷积层的深度学习架构。在NeuroSkinning的情况下，使 用 Graph Attention 层 [34] ， 而 RigNet 使 用 EdgeConvolution层[35]。四个不同的度量已被用于评估结皮重量预测：1. 精确度和召回率找到显著影响每个顶点的关节集，其中影响对应于大于1 10−4的预测，如[24，39]所述。2. L1-预测的皮肤之间的差异的ning权重和网格每个顶点的地面真值向量。在整个测试分割中计算此度量的平均值3. 变形误差计算应用预测蒙皮权重后变形的顶点的位置与地面真实值之间的欧几里得距离。为了计算该度量，计算10个不同的随机姿势，其中骨架中的所有关节在±10度的范围内随机旋转。SkinningNet优于最先进的方法，在相同的召回率下，精度提高了5%以上，平均L1范数提高了15%表2总结了与最新技术水平的比较。图4显示了三种资产的蒙皮权重预测示例。为每个骨架关节指定一种随机颜色，并使用蒙皮权重在网格中的可以看出，例如在中间行的蝙蝠资产中，所提出的算法如何更好地预测具有相关联的颜色的蒙皮权重，更接近第一列中的地面实况方法精密度（%）Rec.（%）平均L1[24]第二十四话82.379.70.41[39]第三十九话82.380.80.39SkinningNet87.080.80.33表2. 预测结果与当前最先进的技术进行比较。(a) GT（b）NeuroSkinning（c）RigNet（d）SkinningNet图4.每种现有技术方法的表皮权重预测结果为每个关节指定一种随机颜色，并使用蒙皮权重在网格中的顶点之间混合尽管结果明显优于最先进的水平，但精度、召回率和L1范数指标不足以评估蒙皮权重预测。原因是，在精度和召回率的情况下，蒙皮权重的大小没有考虑在内。此外，在L1范数的情况下，它不能完全捕获蒙皮权重上的误差的重要性。两个相似的L1误差可能导致不同的变形误差，这取决于L1误差是来自每个相关关节上的小差异还是集中在单个关节上。由于这些原因，变形误差将用于其余实验。表3显示了平均和最大变 形 误 差 。 同 样 ， SkinningNet 的 平 均 误 差 提 高 了20%，最大误差提高了17%这个度量的定性结果可以在图中观察到5，其中SkinningNet能够在以前最先进的方法失败的情况下生成合理的结果。4.4. 建筑设计研究在本节中，研究了网络中每个组件的影响表4显示了去除的结果。18599方法Avg. Def最大Def[24]第二十四话0.0028430.2151[39]第三十九话0.0029210.2246SkinningNet0.0022880.1789表3.与当前最先进技术的变形误差比较 误差在[0，0. 2]，并在每个网格的归一化版本上计算。(a) 神经皮肤（b）RigNet（c）SkinningNet图5.三个不同的角色与随机生成的姿势的变形误差从原始SkinningNet中提取全局形状特征、剩余连接和MUNEGC。方法Avg. Def最大Def基线0.0022880.1789无全局功能0.0024520.1905无残余0.0023940.1862无MUNEGC0.0024270.2009表4. 架构研究，显示每个建议阶段对输出的影响。从网络中删除MUNEGC层会导致大约5%的性能损失。这些结果表明，MUNEGC有助于为每个顶点提供丰富的局部该描述符使网络能够知道顶点周围的局部结构。当删除全局形状特征时，会获得类似的性能损失，因为它有助于网络在进行预测时了解最后，将剩余连接添加到Mesh网络导致4%的改进，证明剩余连接有助于所提出的方法。4.5. 关节与骨骼代表性研究在本节中，关节与分析骨骼表示。蒙皮绑定步骤修改为在创建网格和骨架之间的关系时使用骨骼而不是关节。表5显示了这两种方法的结果。可以看出，骨架关节表示在平均变形和最大变形方面都给出了5%的改进这种改进是由于关节表示遵循自然方法的事实，其中每个关节表示负责定义每个骨骼的运动方法Avg. Def最大Def联合0.0022880.1789骨0.0024070.1893表5. 关节与骨骼表示研究，其中分析了每个表示的影响。4.6. 欧几里德与测地距离研究求出顶点到关节的距离是蒙皮预测方法的关键步骤。NeuroSkinning [24]提出使用欧几里得距离，而RigNet [39]提出使用测地线距离。两种距离都有其优点和缺点。测地线距离是为连接的组件定义的，两个非连接组件之间的距离是无穷大。这意味着测地线距离更适合于水密网格，而欧几里得距离可用于水密和非水密网格。在性能方面，使用测地线距离有助于网络预测比使用欧几里德距离更好的结果，如表6所示。方法Avg. Def最大Def欧氏0.0026630.4473测地0.0022880.1789表6. 测地线与Euclidean性能比较使用欧几里德距离时较高的最大误差的影响的一个例子可以在图中观察到6，其中松鼠的尾巴相对于测地线结果变形4.7. 图卷积研究在这项工作中，提出了使用多聚合器图为了研究该算子对预测输出的影响，MAGC已被三种不同的最先进的图形卷积所取代。表7详细说明了本研究的结果，18600高质量的动画没有强烈的错误，而其他方法在两个字符都有很高的错误。(a) 欧几里得（b）测地线图6. 欧几里德与测地线定性结果。可以观察到，欧几里德距离在尾部引入了大的变形误差。边缘卷积[35]实现了与所提出的MAGC最接近的结果。相对于边缘卷积的改进在平均变形上约为4%，在最大变形上约为6%，这表明MAGC有助于预测更好的蒙皮权重。方法Avg. Def最大DefMAGC0.0022880.1789EdgeConv [35]0.0023810.1921GAT [34]0.0025510.2098GCN [17]0.0027650.2533表7. 图形卷积研究，其中MAGC已与三种不同的最先进的运营商进行了比较。4.8. 泛化研究泛化研究进行评估，如果所提出的方法具有良好的泛化能力，是适合AAA游戏人物。使用RigNetv1 [39]训练的网络已应用于Paragon Collection [10]中的两个高质量资产。方法Avg. Def最大Def神经皮肤0.0037240.1213里涅0.0033980.1051SkinningNet0.0026660.0664表8.对最先进方法的概括性研究。使用Paragon Assets [10]的归一化版本计算变形误差。表8中的结果表明，SkinningNet优于以前的作品，平均变形改善超过28%，最大变形误差改善36%，证明所提出的方法比以前的方法更好地推广了看不见的复杂字符。在图7中，可以观察到，所提出的方法正在生成良好的(a) 神经皮肤（b）RigNet（c）SkinningNet图7.使用Paragon集合中的Aurora和Rampage资产进行泛化研究[10]。5. 结论和局限性这项工作提出了SkinningNet，一个双流图卷积神经网络，自动生成蒙皮的输入网格和其相关的骨架的权重 。 SkinningNet 架 构 基 于 新 颖 的 Multi-AggregatorGraph Convolution层，该层允许网络更好地概括看不见的拓扑。此外，提出的基于关节的皮肤绑定和网格骨架网络学习找到网格和骨架之间的最佳所提出的架构优于目前的方法，超过20%的改进，- ment的网格变形误差，也能够更好地推广复杂的字符看不见的领域。尽管结果令人鼓舞，但仍有一些局限性需要解决。第一个是基于k-NN方法对将影响每个顶点的关节进行签名。 网络可以学习这些关节中的哪些关节将影响每个顶点，但是，如果应该影响顶点的关节不在初始kproximity内，则网络将无法找到它。为了克服这个问题，我们建议探索链接预测策略，让网络学习绑定策略。第二个问题是，当前配置使用标准测地线距离，根据定义，该距离在非连接区域上是无穷大，这意味着网络在非防水网格中的性能可能会下降为了克服这个限制，可以探索使用体素化的测地线距离的新近似最后，可以探索使用变形误差作为损失来改善当前方法的性能。鸣谢。 这项工作得到了部分支持由MCIN/AEI/10.13039/501100011033.作者要感谢Denis Tome在本项目开发期间提供的技术建议。18601引用[1] 方承熙和李承熙样条接口直观的蒙皮重量编辑. ACMTrans. on Graphics，37（5），2018. 2[2] IlyaBaran和J ov anPop o v ic'。自动索具和模拟的三维字符。ACM Trans. on Graphics，26（3），2007. 2[3] Joan Bruna ， Wojciech Zaremba ， Arthur Szlam ， andYann Le- Cun.图上的谱网络和局部连通网络CoRR，abs/1312.6，2013年。2[4] Xu Chen ， Yufeng Zheng ， Michael J Black ， OtmarHilliges，and Andreas Geiger. SNARF：用于动画非刚性神经隐式神经元的可区分向前皮肤化。2021年国际计算机视觉会议（ICCV）2[5] Lingwei Dang，Yongwei Nie，Chengjiang Long，QingZhang，and Guiqing Li. Msr-gcn：用于人体运动预测的多尺度残差图卷积网络ICCV，2021。二、五[6] MichaeülDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络在NIPS，2016年。2[7] NimaDehmam y，Albert-La'szl o'Barab a'si，andRoseYu. 理解图神经网络在学习图拓扑中的表示能力.在NIPS，2019。2[8] O. Dionne和M.德拉萨。使用稀疏体素化的退化字符几何的测地线绑定IEEE Trans.目视&Comp. Graphics，20（10），2014. 2[9] 大卫·杜沃诺、杜格尔·麦克劳林、豪尔赫·阿奎莱拉-伊帕拉吉雷、拉斐尔·戈麦斯·邦巴雷利、Timot h yHirzel、Al a'nAspuru-Guzik和瑞安·P。 亚当斯基于图的进化网络用于分子指纹的学习。2015年，在NIPS中。2[10] Epic Games.Paragon Collection.Epic Games，2018年。https://www.epicgames.com/网站。五、八[11] 放大图片作者：Justin Gilmer.帕特里克·舍恩霍尔茨Riley、Oriol Vinyals和George E.达尔量子化学的神经信息传递。ICML，2017。二、四[12] Alec Jacobson，Ilya Baran，Jovan Popovidefined，andOlga Sorkine.实时变形的有界双调和权重。ACM Trans.on Graphics，30（4），2011. 2[13] 道格湖James和Christopher D. Twigg蒙皮网格动画。ACM Trans. on Graphics，2005. 2[14] Ladis la vKav an、Stev enCollins、Jiˇr´ıZˇa´ra和Carol使用对偶四元数蒙皮。在I3 D，第39-46页，2007中。2[15] 拉迪斯拉夫·卡万和奥尔加·索金受弹性启发的变形器，用 于 角 色 清 晰 度 。 ACM Trans.on Graphics ， 31（6），2012. 2[16] Meekyoung Kim ， Gerard Pons-Moll ， Sergi Pujades ，Seung-Chung Bang，Jinwook Kim，Michael J.布莱克和李成熙人体软组织动画的数据驱动物理学。ACM Trans. on Graphics，36（4），2017. 2[17] Thomas N Kipf和Max Welling图卷积网络的半监督分类国际学习表征会议（ICLR），2017年。二、八[18] 马丁·科马里赞和马里奥·博奇。 投射皮肤。Proc. ACM计算Graph. 互动. Tech. ，1（1），2018.2[19] 马丁·科马里赞和马里奥·博奇。快速投影蒙皮。InProc.2019. 2[20] Binh Huy Le和Zhigang Deng。从网格序列中获得强大而准确的ACM Trans. on Graphics，33（4），2014. 2[21] GuohaoLi，MatthiasMüller，AliThabet，andBernardGhanem.Deepgcns：gcns能和cnns一样深吗？在ICCV，2019年。二、五[22] Peizhuo Li, Kfir Aberman, Rana Hanocka, Libin Liu, OlgaSorkine-Hornung, and Baoquan Chen. 使用神经混合学习SkillsTOG，40，2021. 2[23] Liyuan Liu ， Haoming Jiang ， Pengcheng He ， WeizhuChen，Xiaodong Liu，Jianfeng Gao，and Jiawei Han.关于自适应学习率的变化和超越。在ICLR，2020年。5[24] Lijuan Liu，Youyi Zheng，Di Tang，Yi Yuan，ChangjieFan，and Kun Zhou.神经皮肤：使用深度图网络实现生产字符的自动皮肤绑定。ACM Trans. on Graphics，2019。二四五六七[25] Matthew Loper， Naureen Mahmood ，Javier Romero ，Gerard Pons-Moll，and Michael J.黑色. SMPL：一个有皮 肤 的 多 人 线 性 模 型. ACM Trans. on Graphics ， 34（6），2015. 2[26] N. 马格嫩纳特-塔尔曼河 Laperri e`re和D. 塔尔曼手部动画和物体抓取的关节相关局部变形。在Proc.GraphicsInterface一、二[27] Federico Monti ， Davide Boscaini ， Jonathan Masci ，EmanueleRodo la`，JanS v oboda，andMichaelMBronstein.使用混合模型CNN对图形和流形进行几何深度学习。IEEE/CVF 会 议 论 文 集 计 算 机 视 觉 和 模 式 识 别（CVPR），2017年。2[28] 一辆摩塞拉-蒙托罗和J·鲁伊斯-伊达尔戈。用于几何3D场 景 分 类 的 剩 余 注 意 力 图 卷 积 网 络 。 在 ICCVW ，2019。二、五[29] 阿尔伯特·莫塞拉-蒙托罗和哈维尔·鲁伊斯-伊达尔戈。基于多邻域图卷积的2d-3d几何融合网络用于rgb-d室内场景分类。信息融合，76：46-54，2021。二、五[30] 向井智彦和栗山茂。使用低等级辅助骨骼控制器进行有效的动态蒙皮ACM Trans. on Graphics，35（4），2016.2[31] 乔怡玲，郜林，赖玉坤，夏世宏。学习双向lstm网络合成三维网格动画序列。arXiv：1810.02042，2018。2[32] Shunsuke Saito，Jinlong Yang，Qianli Ma，and MichaelJ.黑色. SCANimate：弱监督学习的皮肤衣服头像网络。IEEE/CVF 会 议 论 文 集 计 算 机 视 觉 和 模 式 识 别（CVPR），2021年6月。2[33] Weiguang Si ， Sung-Hee Lee ， Eftychios Sifakis ， andDemetri Terzopoulos.人体游泳的真实感生物力学模拟与ACM Trans. on Graphics，34（1），2015. 2[34] Pet a rVeli cko vi c' ， GuillemCucurull ， ArantxaCasan ova，AdrianaRomero，PietroLi o`，andYoeuvenBengio. 图注意力网络。ICLR，2018年。二、六、八18602[35] Yue Wang，Yongbin Sun，Ziwei Liu，Sanjay E Sarma，Michael M Bronstein，and Justin M Solomon.用于点云学习的动态图CNN。TOG，2019年。二、六、八[36] 里奇·韦翰和琼·拉森比骨骼发光：一种为网格变形分配权重的改进方法在proc 2008年第五届关节运动和可变形物体国际会议。2[37] 里奇·韦翰和琼·拉森比骨骼发光：一种为网格变形分配权重的改进方法在proc 2008年第五届关节运动和可变形物体国际会议。2[38] Keyulu Xu，Weihua Hu，Jure Leskovec，and StefanieJegelka. 图神经网络有多强 大？arXiv预印本 arXiv：1810.00826，2018。2[39] Zhan Xu ， Yang Zhou ， Evangelos Kalogerakis ， ChrisLan- dreth ， and Karan Singh. RigNet ： 神 经 操 纵 为articulated字符。TOG，39，2020. 二、四、五、六、七、八