GarSim：粒子模拟神经服装模拟器

4472GarSim：基于粒子的神经服装模拟器印度，Lokender Tiwari Brojeshwar BhowmickTCS研究所lokender. tcs.com，b. tcs.com图1：GarSim是一个学习的基于粒子的神经服装模拟器，可以模拟任意类型的服装，不同的面料，以及任意体型和姿势的拓扑结构。（左）GarSim将标准人体网格、模板服装网格、面料属性和目标人体网格作为输入，并生成服装顶点的位移，以获得最终的模拟服装。（右）GarSim在YouTube视频中估计的看不见的任意身体形状和姿势上的纹理结果示例注：GarSim只在上衣和裙子上训练，在看不见的服装类型（裤子，T恤和连衣裙）上也能很好地推广请参阅视频结果的补充材料。摘要我们提出了一个基于粒子的神经服装模拟器（称为GarSim），可以模拟模板服装上的目标任意身体姿势。 现有的基于学习的方法主要适用于特定的服装类型（例如，上衣、裙子等）或服装拓扑结构，并且需要针对新型服装进行再训练。 类似地，一些方法关注特定的布料，体型和姿势为了绕过这些限制，我们的方法从根本上学习以潜在的身体形状、运动和织物属性为条件的服装顶点的物理动力学，以概括服装类型、拓扑结构和织物以及不同的身体形状和姿势。特别地，我们将服装表示为图，其中节点表示服装顶点的物理状态，并且边表示两个节点之间的关系。服装图的节点和边编码服装和人体的各种属性，以通过学习的消息传递来计算顶点的动态。以潜在的身体运动和织物属性为条件的服装顶点的这种动态的学习使得我们的方法能够针对多种类型的服装（例如，上衣、裙子等），具有任意网格分辨率、变化的拓扑结构和织物属性。我们的经验-实验结果表明，在训练数据量较少的情况下，GarSim不 仅 在 定 性 和 定 量 上 都 优 于 SOTA 方 法 ， 而 且 在YouTube视频中获得的不可见姿态上也表现得很好，在训练过程中不存在的不可见服装类型上也得到了令人满意的1. 介绍在任意身体姿势上模拟服装对于与3D内容创建、虚拟试穿等相关的许多应用至关重要。基于物理的模拟（PBS）一直是一个去选择，以准确和逼真地模拟服装上的目标身体姿势。然而，PBS方法是计算昂贵的，需要具有良好的领域知识的专家来管理仿真质量。为了减少人工干预并提高速度，已经进行了几次尝试[21，28，7，6，29，9，12]，以使用地面实况PBS数据来学习服装变形。尽管有这些优点，但基于学习的 方 法 有 几 个 局 限 性 ， 例 如 ： 固 定 服 装 拓 扑 ：TailorNet [21]和 DeepDraper[28]代 表不同尺寸的 服 装（例如，T恤）具有相同数量的顶点，这限制了它们对于宽松衣服的4473表1：我们的方法与现有方法的特征比较。在GarSim中，我们考虑目标体相对于标准姿势中的身体的相对运动。* 虽然DeePSD在他们的原始论文中展示了裙子的结果，但他们在局限性部分也提到，由于他们在制定中没有考虑运动动力学，因此无法预测宽松服装的正确变形。身体因素服装因素变姿态形状相对身体运动多件服装/服装变拓扑变松服装服装织物网眼树脂（例如，长知道lutions裙子）[21]第二十一话✓✓✓✓✓✓✓✓✓✓✓✓✓✓*✓[28]第二十八话✓✓Garnet[10]✓✓[25]第二十五话✓✓PBNS[6]✓SNUG[26]✓✓[20]第二十话✓✓DeePSD[7]✓✓GarSim（我们的）✓✓✓因为它们需要更多的顶点来表示，服装表示：像[21，28]这样的方法在PCA空间中表示服装，在测试期间很难推广到其他复杂的服装。固定布类型：几种方法，如[21，9，28，6，25，26，20]，仅针对单一服装类型，固定体型和/或姿势进行训练：用于服装模拟的单一体型或姿势的训练限制了如[12，29，6，20]的方法的适用性。此外，大多数现有方法[21，7，28]已经显示出它们对于宽松服装的局限性，例如，长裙和特定的面料。与我们的现有方法的特点比较显示在表中。1.一、最近的工作，如DeePSD [7]和Garnet++[9]，不考虑身体动力学，本质上是静态的，在他们的论文中显示了处理松散服装的局限性，如图1所示的长裙。此外，Garnet++[9]是一种特定于服装的方法，并没有推广到服装的变化拓扑。本文认为服装变形是一种物理现象，它取决于服装面料的特性、人体的形状、姿态以及在标准姿态下目标人体相对于人体的相对运动由于相对身体运动也被认为是预测顶点位移，我们的方法可以有效地处理模拟宽松的此外，服装网格变形的关键属性这种相对感应偏置[4]特性已成功用于模拟复杂的物理现象，如流体动力学、可变形材料等。因此，我们将服装的状态表示为粒子（对应于gar-gar）。段顶点）并将其嵌入到潜在服装图中我们将影响目标人体姿势上服装变形的各种因素编码到图的节点和边中。我们利用关系归纳偏差属性，使用学习的消息传递模块来更新多步骤过程中的服装图的节点和边特征。这允许传播关系表示或将力传递到相邻节点。最后，更新的潜在服装图节点特征被解码为每顶点动态，即，位移早期方法面临的另一个问题是在高分辨率服装网格上学习，这增加了整体训练时间。降低分辨率会降低其结果的质量。由于我们的方法GarSim学习顶点级动态，因此它因此，我们在本文中的主要贡献是：• 一种统一的服装模拟器，其可以同时学习多种类型的服装（例如，上衣、裙子等）根据基本的身体形状、姿势和运动（相对于标准姿势）的不同拓扑和结构• 一种基于粒子的方法，利用服装数据中的关系归纳偏差[4]，并帮助生成不可见的体型、姿势和服装类型。• GarSim可以在任意分辨率的服装网格上进行训练和测试，因此，它可以适应底层计算硬件的限制，而精度没有任何显着变化。2. 相关工作传统的基于物理的模拟器[14，18，3，30]已成功用于获得逼真的布料变形。虽然这些模拟器输出高质量的布料模拟，但它们在计算上非常昂贵，需要专家干预。最近基于学习的模拟器[15，28，7，6，10，5，21，26，20，22，24]旨在减少计算时间和专家干预。为此，Lahner et al.[12]提出了一个学习的姿态空间变形[13]的服装条件的时间特征; LVTON [25]学习每服装非线性映射的姿态空间变形。然而，这种方法需要重新训练新的服装，并没有考虑面料的属性和相对人体运动的考虑。TailorNet [21]和DeepDraper[28]使用服装的参数化表示，并分层学习由于身体姿势、形状和服装风格引起的低频和服装特定的高频位移。这些方法中服装的表示方法限制了服装的拓扑性4474模板服装目标身体姿势服装变形优先级最终预测服装(b)服装变形优先级(a) GarSim概述图2：（a）GarSim将模板服装覆盖在标准身体姿势上，目标身体姿势作为输入，并输出目标身体姿势上的模拟服装。它在一个三步框架中运作，（1）。编码步骤Sec. 3.2，（2）. 处理步骤Sec.3.3和（3）。解码步骤Sec.三点四分。身体上的绿色遮罩对应于服装感知身体语义向量q，其由将影响相应服装的变形的身体的顶点（子集）组成（b）.服装变形之前估计使用线性混合蒙皮（LBS）[17]方法，如第第3.1条不变量此外，[21]和[28]都是特定于特定服装类型的，因此需要对每种新服装类型进行再培训CLOTH3D[5]，DeePSD[7]需要大量的数据来训练他们的模型。此外，这些方法不适用于宽松的服装（例如长裙），作者也概述了这些方法的局限性。PBNS[6]强调了在训练时需要大量数据，但他们的模型是特定于服装和身体的。SNUG[26]通过使其对人体不变而显示出对PBNS的改进。SNUG[26]和PBNS[6]仍然需要为每件新服装训练一个新模型，并且已经显示出它们对宽松服装的限制，例如，长裙方法[21，10]，其中主要训练损失是GT数据的L2[7，6]等方法也应用了一些物理启发的损失，相信底层网络（主要是MLP）将能够学习服装变形的物理学。这样的方法忽略了在变形期间服装顶点彼此物理地交互并且在变形中引起局部偏置的事实。这些方法在很大程度上忽略了服装数据的这种关系性质最近的一种方法[20]使用虚拟骨骼的概念，根据底层的身体序列制作宽松服装的动画。然而，这在一次处理一件衣服时也有限制，即，训练的模型是服装和人体。它不能处理服装网格的可变拓扑和分辨率。因此，对于每一个这样的变化，都需要重新训练一个新的模型。3. GarSim概述我们的方法GarSim学习使用基于粒子的概念来模拟任意身体姿势的服装。建模（Sec.第3.1节）。我们将服装的状态表示为粒子（对应于服装顶点），其对影响其动态的各种服装和身体特定因素进行编码。在我们的例子中，动态是顶点位移（方向和大小），这是基于粒子在其局部邻域内的相互作用来计算的GarSim将模板服装覆盖在标准身体姿势上，并将目标身体姿势作为输入，并生成覆盖在目标身体姿势上的服装它是一个单步模拟器，考虑到目标身体姿势相对于标准身体姿势（T姿势）的相对运动，如图所示。1.图2显示了我们的GarSim在三个步骤的过程中运行在第一个（编码）步骤（第二个）中，3.2），它将服装的基于粒子的状态表示嵌入到潜在服装图中。它对各种服装和身体特定因素进行编码（第二节）。3.2)服装图的节点和边。然后将编码的服装图传递到称为处理步骤的第3.3），其中学习的消息传递算法用于更新状态（节点特征）和它们的关系（边缘特征）（算法1），并输出最终更新的潜在服装图。换句话说，每个消息传递步骤都有助于将力传递到相邻粒子。我们使用多步消息传递进行远程效果传播[15，16]。最后，更新的潜在服装图被传递到称为解码步骤的第三步骤（Sec.3.4）预测动力学，即，每个服装顶点从最终更新的潜在服装图的相应节点的位移的方向和幅度在下文中，我们将详细描述基于粒子的建模以及编码、处理和解码步骤4475--我我之前EEIJEE我我我IJ−3.1. 基于粒子的服装动力学建模设G是覆盖在3D规范人体网格B上的模板服装网格的集合顶点。在时间t之后，物体已经移动，并且新的物体网格由B′表示。 人体运动将在服装G上引起第二运动，这导致新的变形的服装网格G′。时间t之后服装网格的顶点可以使用以下关系式来建模G<$i=Gi+di，其中di是顶点xi的位移在时间t之后。大多数最近的作品[21，28，25，27]都将服装蒙皮作为最终或后处理步骤。为此，他们假设服装紧密跟随潜在的身体运动，并从线性混合蒙皮方法[17]中借用混合变形权重，用于模板服装的每个顶点，这些顶点来自标准姿势中最近的身体顶点虽然这个假设简化了问题，并适用于紧身服装，但在长裙和连衣裙等宽松服装的情况下，它完全失败了。图中的前网第2段（b）分段）。此外，在最后做蒙皮通常会在最终变形的服装中留下工件。在我们的方法中，我们只使用这种策略来估计服装变形先验G先验，因为它有助于网络在其上学习校正因此，我们找到关于G先验的位移，而不是在本文中，我们只考虑将影响服装变形的人体子集，我们将其表示为顶点集q = q1，q2，.，qi，..q Nn（参见。图2）的情况。 面料类型：服装面料被编码为由f表示的独热向量。我们考虑四种面料：皮革，牛仔布，丝绸和棉花。身体特定因素：身体几何形状：类似于服装几何形状，我们使用相同的几何形状编码器对由q中的顶点子集表示的身体部分的几何形状进行编码。相对身体运动：我们计算规范（B）之间的相对身体运动而targetbody（B′）则作为相对运动矢量，下伏体顶点的矢量为δi=B<$qiBQI. 服装感知身体语义：服装在不同的身体各部分的变形不同。例如，具有类似几何形状的类似抹胸和裙部的服装不同地变形，因为与裙部相比，抹胸下方的铰接身体部分较少。因此，我们将服装变形的条件建立在人体语义学的基础上。我们通过将维度等于6890（SMPL[17]身体模型中全身顶点的数量）的二进制向量（1表示其索引是集合q的成员）传递到MLP并获得编码表示S来获得每种服装类型的潜在身体语义向量S模板服装G（等式1）①的人。G<$i=Gprior+di=Gprior+dimi（1）3.2.1服装图i i我们创建一个服装图，并将上述因素编码为这里，位移di被分为位移方向di和位移大小mi，即，di=dimi. 关于di分裂为di和mi对选择的烧蚀研究见第4.2节。 在图2（b）中，我们可以观察到强（G先验）中的伪影，例如裙子前面的大凸起，以及不切实际的碰撞扩散，以及我们的方法对其进行的校正。D和M都在-由几个服装和身体的具体因素，我们在下一节定义的影响。3.2. 编码步骤服装特定因素：服装几何：我们使用几何编码器将模板服装顶点映射到高维逐顶点几何特征。服装合身：类似[7，5]的方法使用二维向量来表示服装的松紧度。但是，在对新的未见过的数据进行测试时，节点和边缘特征。节点特征：我们通过使用节点特征编码器将服装感知潜在特征X与身体感知潜在特征μ融合来获得服装图节点特征η服装感知特征（X）：我们通过将级联的每顶点几何特征（Xgar）、织物（f）、服装试衣（p和p之前）传递到服装感知特征编码器来将所有服装特定信息嵌入到潜在特征空间（X）(see图2）的情况。身体感知特征（μ）：与上述类似，我们通过将级联的每顶点几何特征（X身体）、相对运动（δ）、潜在身体语义向量（S）传递到身体感知特征编码器，将所有身体特定信息嵌入到潜在特征空间（μ）边特征：设Gj和Gi是服装图的边的端点，我们计算相对位置为Eij=Gj−Gi。同样，我们也可以计算之前之前之前服装. 为了缓解这个问题，我们在通过测量服装顶点（Gi）与最近的身体（B）顶点的距离来确定顶点水平，该距离的相对服装顶点Gi相对于最近的身体顶点B qi的 位 置可以计算为pi= Gi− B qi。 类似地，我们可以计算p p rior=Gprior−B<$q。这里qi是Eij=Gj−Gi. 我们通过连接ij和ij到编码器以获得边缘特征π。具有学习的节点特征（η）和然后将边缘特征（π）传递到处理步骤。 利用ij和先验两者，网络将学习校正由于边缘的伸长等。在E之前。最接近衣服顶点Gi的身体顶点的索引。我们的方法学会预测方向和磁场-4476边缘更新节点更新N我|我|我我（1−Ii）||GGr d||2|我|我我NN算法一：消息传递1 对于l∈ {1. L} do动力学即，其位移的方向d_p_r_ed和幅度m_p_r_ed。然后 ，变形 的 第 i 个服 装 顶 点 x 的 位 置 被 计 算 为G_p_r_ed=G_p_r_r+d_p_r_d_m_p_r_d。2对于k ∈ {1. Ne}do我我我3πk′4端←n边（πk，ηrk，ηsk）3.5.培训损失我们以端到端的方式使用5对于i ∈ {1. Nn} do6λ′i={（πk′，rk，sk）}rk=i，k=1：N e监督和非监督损失的组合。监督损失：我们计算预测的（G<$p re d）和地面真实值向量之间的L2损失7π<$i′=adjedge→node（λ′i）（<$i8ηi′=πnode（π<$i′，ηi）9端部G i）在目标姿势中。 总L2损失是加权的非固定顶点和固定顶点的L2损失之和为：10πk<$πk′ <$k∈{1. {\fn方正黑体简体\fs18\b1\bord1\shad1\3cH2F2F2F}11η我（1−β）N −|我|我12端部（2）位移（和）每件衣服i=1+β-I||G¯-G？p red||（三）d，m←GarSim（B，B<$，q，δ，G，E，Eprior，f，p，p pprior）这里，I是长度等于to的二进制索引向量我我（二）3.3. 处理步骤我们通过一个消息传递网络处理编码的服装图，使服装变形的相关实体通过连接到它们的边从一个节点流到我们的信息传递网络使用了图形网络的抽象框架表示顶点/节点数量N。i= 1表示第i个模板服装顶点需要被固定，并且不应该移动得离身体太远。是固定顶点的总数，β平衡固定和非固定损耗之间的权重我们根据经验固定β = 0。4.第一章无监督损失：网格平滑损失：我们使用uni-形成拉普拉斯平滑损失[19]，以在预测的服装网格G¯pre d的表面上实施平滑。在这里，表示拉普拉斯平滑函数工作块[4]，具有两个更新和一个聚合功能。这种消息传递被证明是有效的，Lsm =（G<$pred）（4）[22，24]为物理系统建模。我们完整的消息传递算法如Alg所示。1.对每个边缘应用更新函数ALG_EDGE。1，第3行）。它取第k条边的边特征πk及其连接节点的节点特征（ηrk和ηsk）网格正常一致性损失：我们加强预测服装网格的相邻面之间的一致性，以防止极端变形，提高服装网格表面的质量。 给定F1和F2是衣服网格的两个相邻面，作为输入，并输出更新的边缘特征πk （visu-如图所示（3）第三章。我们累积更新的边中的边端节点的索引N_1和N_2是它们各自的面法线。不-这两个面之间的错误一致性损失由下式给出：N C（F，F）= 1−12.总的一致性损失′ ′1 2||氮素2||||Nˆ2||λi={（πk，rk，sk）}rk=i，k=1：Ne（Alg.1，第6行）。该ag-可以用Eq.5，其中，F是包含所有对λ′i应用聚集函数λedge→node，以聚集连接到第i个节点的边的更新的边特征相邻的面对，M是这样的对的数量。节点到π′i′（Alg.1，第7行）。更新功能节点L=1ΣN C（F，F）（5）是每个节点应用的（Alg.1，第8行），其中它采用聚合的边要素π<$i′，它是自己的NCMI jn（Fi，Fj）∈F更新后的节点特征ηk′（图2中可见（3）第三章。的过程重复L（在我们的实验中L= 5）次，则下一个消息传递采用更新的节点和边特征（Alg. 1，第10-11行）。更新函数Rightedge和Rightnode是使用MLP实现的。聚集函数edge→node是一个平均函数。N←ηi′i ∈ {1. Nn}图3：节点和边缘更新。LL2=德吉Mi我2顶点条件的上述因素使用方程。二、i=14477∼∼JNCol我NJ3.4. 解码步骤身体服装碰撞惩罚损失：为了确保预测服装网格不受身体服装碰撞的影响，我们应用这个惩罚损失，如等式2所示六、类似的惩罚损失在[28，7，29，10]中被发现是有效的。在我们的例子中，这减少了总碰撞，11%至0%的训练。在这里，B<$i是最接近于预测值的体向量xvert e xG′p re d，Ni为其法线。解码步骤将处理后的潜在服装图节点特征，并且对于每个顶点，它预测其dy，L=1Nmax（−N（B<$i=1-G¯pred），）（6）我4478图4：从YouTube视频中看到的（上衣和裙子）和看不见的（T恤和裤子）服装类型对看不见的体型和姿势的纹理定性结果通过看到，我们指的是训练集中可用的服装类型参见第4.1总训练损失是监督损失和非监督损失的加权和这里，αLtot=αL2LL 2+αsmLsm+αNCLNC+αcolLcol（7）4. 实验在本节中，我们展示了GarSim的定量和定性结果，并与SOTA方法进行了比较。数据集：我们在公开可用的CLOTH3D[5]数据集上评估GarSim它在服装款式、拓扑结构、体型、姿势和织物性能方面具有高度的可变性具体来说，我们使用CLOTH3D[5]数据集的官方训练和测试集的子集。我们选择具有至少50帧的序列，其中女性穿着裙子和不同织物（皮革、牛仔布、棉或丝绸）的上衣。我们的训练和测试子集分别由总共38k和10k帧组成。4.1. 泛化能力我们证明了GarSim的泛化能力（a）。看不见的身体形状、姿势和服装类型，（b）在任意服装网格分辨率下的预测。看不见的身体，姿势和服装类型：为了展示对看不见的体型，姿势和服装类型的概括，我们从随机的YouTube视频中选择了几帧，并使用PARE[11]估计体型和姿势。我们显示了GarSim的结果，宽松的裙子和顶部上看不见的身体形状和构成图。图4和图5示出了可见（上衣和裙子）和不可见（T恤和裤子）服装类型的纹理结果。4.对可见和不可见服装类型的物理上合理的令人满意的预测表明GarSim能够准确地学习顶点级动态。任意分辨率下的预测：在GarSim中，我们遵循基于粒子的服装建模。它可以灵活地以任意分辨率测试服装。正是由于学习消息的传递，作为潜在服装图中的节点的服装顶点能够以任意分辨率将力传递或将远程效果传播到通过网格边缘连接的邻域节点我们在表中报告了对任意分辨率的定性评价。3和图中的样品定性结果。六、图5：从YouTube视频中看不见的身体形状和姿势图6：GarSim的样本定性结果。注意衣服在身体上由于运动而对齐，以及腿周围裙子上的皱纹和褶皱。[X，Y]中的X和Y分别表示顶部和裙部的顶点数图7：结构感知预测（参见第4.2）。4.2. 分析和消融研究我们从两个角度分析了GarSim：（1）fabric- ricaware预测，（2）对变形先验的修正。我们还显示了替代建模选择的消融。结构感知预测：为了证明GarSim学习织物感知变形，我们从测试集中选择了3000帧裙子的子集，并在三种显著不同的织物类型皮革中模拟它们，4479∼∼方向+幅度直接位移直接顶点位置欧几里德误差（mm）40.0145.69564.695标准稠度0.080.095650.10165平滑度0.011250.012250.03225碰撞（%）2.354.910.9图8：在以下情况下，服装变形的校正图：请注意GarSim在大凸起周围所做的修正 。校正值范围为0~152 mm。牛仔布和丝绸。为了定量分析不同面料类型对服装变形的影响，本文计算了所有服装顶点到其各自最近的人体顶点的平均距离。根据织物的硬挺度，可以将其排序为皮革>牛仔布>丝绸，并且直觉地，预期服装到身体的平均距离也应该遵循该顺序。图中的图表。7empiri- cally验证此订单。预测丝绸裙子（橙色）上的皮革裙子（绿色），从视觉上验证了GarSim产生织物感知变形。先前对服装变形的纠正：服装变形先验G先验一般包含多个伪影，如图2（b）所示的G先验前面的大凸起。我们在图8中显示了GarSim在变形之前所做的逐顶点校正的大小。 对应的Gpror和Gpred的顶点绘制在G先验网格。请注意GarSim在大凸起伪影周围所做的高幅度校正。图2（b）中也显示了最终预测的G′p red。替代建模选择上的消融虽然我们分别预测每个顶点的位移幅度和方向，但存在两种替代选择。第一种是从解码器直接预测位移，第二种是通过对地面实况数据应用L2表2显示了对这两种备选方案的评价。我们发现，预测幅度和方向分别给出了更好的结果比其他的选择。这是由于在相同的身体语义下具有相似几何形状的两件服装的顶点可能具有相似的位移方向，但它们的大小可能取决于织物属性。例如，如图7所示，同一条裙子在两种不同织物类型下的顶点位移方向相似，但在丝绸织物下的顶点位移幅度平均小于皮革织物。4.3. 与DeePSD比较[7]最接近我们的SOTA方法是DeePSD[7]（参考表1）。因此，我们将详细比较表2：替代选择的消融研究对于低分辨率，值该方法它的代码1是公开发布的，没有预先训练的模型。因此，为了公平比较，我们使用与GarSim相同的训练数据子集来训练它。注：在他们的原始DeePSD是训练7500模拟序列与7个不同的服装类型。在这里，我们的训练子集仅由198个模拟序列组成，只有两种服装类型，上衣和裙子。GarSim和DeePSD都接受了上衣和裙子的联合训练。低分辨率服装网格的训练：与DeePSD，PBNS等方法相反，我们在低分辨率服装网格上训练GarSim，通过将原始服装网格简化[8]4倍，保留整体服装几何形状。我们在低分辨率和高分辨率服装网格上显示GarSim仅在高分辨率网格上评估DeePSD我们在表中分别报告了上衣和裙子的评价。 图3显示了紧身服装（上衣）和宽松服装（裙子）的改进评估指标：我们使用四个定量评估指标。1.欧几里德错误对地面真理。2.表面光滑度3.正常的一致性和4。碰撞百分比。对于平滑度和正常一致性得分，我们使用Eq。4和方程式5的比例。表3：在测试集上与DeePSD的比较。表中的结果3显示GarSim尽管是-在低分辨率网格上训练的ing在所有指标上都优于DeePSD（在高分辨率上训练 它表明，用少量数据训练的GarSim可以准确地学习服装变形的物理特性。这可能主要是由于相对身体运动的服装变形的条件，并学会了消息传递传播跨多个相邻顶点的远程效果这样，DeePSD公式中缺少约束，因此导致宽松和贴身服装的模拟结果较差此外，我们的基于粒子的顶点级建模的gar-1https://github.com/hbertiche/DeePSD前侧回来0mm的152毫米欧几里德误差低分辨率（GarSim）上衣Skeleton21.75 58.27高分辨率（x4）顶部GarSim DeePSD18.2939.63高分辨率（x4）SkeletonGarSim DeePSD56.4777.41标准稠度0.073 0.0870.0550.13780.0740.1399平滑度0.01120.01130.00260.00320.00390.0042碰撞（%）2.1 2.619.77年1.210.154480L∼∼变形使我们的方法的拓扑结构和网格分辨率不变。这使得GarSim可以在任意服装网格分辨率上进行训练和测试，并概括出看不见的服装类型，如T恤，连衣裙和裤子，如图所示。1和图4）.图中的定性比较。6进一步验证了DeePSD是数据饥饿的，并且如果用少量数据训练，则会导致与底层人体碰撞的不真实的服装变形。4.4. 与其他相关作品的图9：定性比较与PBNS[6]，在本节中，我们将GarSim与PBNS[6]，TailorNet[21]和DeepDraper[28]进行定性比较。关于PBNS [6]：PBNS为特定的人类主体和服装对训练单个模型，而GarSim为多个主体和多个服装类型联合训练单个模型。由于CLOTH 3D的高度可变性，针对每个可能的对象和服装对或不同拓扑服装训练PBNS是不可行的。因此，不可能进行公平比较。PBNS的预训练模型然而，为了参考定性比较，我们从Cloth3D测试集中挑选一个受试者和一条裙子（宽松服装），随机设置1000个显著不同的姿势，并使用其官方代码2训练PBNS。我们在图9中显示了两个任意选择的姿势的结果，其中我们可以观察到PBNS预测的布料质量不好（不规则网格表面）; PBNS中的带子漂浮在空中，衣服与身体碰撞，而GarSim产生明显更好的姿势感知变形，带子靠在身体上。这里报告的PBNS结果与他们的原始论文中的差异表明，需要一个非常大的姿势集才能获得更好的质量结果。然而，对于给定的服装和身体对，没有固定的规则来获得一组正确的姿势来训练PBNS。[21]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎！”由于以下原因，TailorNet和DeepDraper都不可行。1)两者都是单一服装类型的方法，而GarSim一次学习多种服装类型。2)它们假设固定的顶点顺序和拓扑，而我们假设一个rbitrary顶点顺序和拓扑。此外，由于其设计选择（例如，修正了TailorNet中的20个形状风格感知预测器而且也不可能在他们的TailorNet数据集上训练GarSim，因为织物属性和地面真实标准姿势（T-pose）模拟等关键信息我们仍然显示了与TailorNet和DeepDraper的参考定性比较，如下所示：我们使用TailorNet Skirt数据集的训练分割来训练TailorNet 3和DeepDraper [2]。 在训练DeepDraper的时候，2https://github.com/hbertiche/PBNS网站3https://github.com/chaitanya100100/TailorNet网站[28]第21话：“我的天，我的天，我的天。 注意PBNS和DeePSD中的非光滑表面、浮动条带和碰撞。注：为了公平比较，TailorNet的结果在后处理之前显示，因此与原始论文不同。参见第4.4TailorNet 建 议 的 建 模 策 略 。 在 测 试 时 ， 我 们 从TailorNet测试集中找到与GarSim使用的Skeleton相似的Skeleton，并使用测试姿势进行评估。为了进行公平的比较，我们在图9中显示了TailorNet和DeepDraper在后处理之前的结果。5. 实现细节我们使用PyTorch[1]实现GarSim。我们经验地固定αL2，α col等于1，α sm = 0. 01，α NC = 0。0001，并仅在其他损失转换后应用col几何编码器受到PointNet++[23]的启发，其他编码器使用MLP实现。请参考补充资料以了解详细的GarSim架构。对于顶 点 总数为600和2400的服装，GarSim的推理时间为0。1和1 .一、0秒，这可以通过优化代码和并行编码过程来进一步减少。6. 结论我们已经提出了一种新的基于粒子的服装模拟器，可以同时学习的变形的多个服装类型的条件下，潜在的身体形状，姿势，运动w.r.t的规范姿势，和织物属性。我们克服了SOTA方法的几个局限性，如不同的拓扑结构，不同的面料，宽松的服装，和任意分辨率的训练和测试的多个服装的联合训练。我们展示了利用服装数据的关系性质的好处，与其他SOTA方法相比，它显着改善了结果我们还展示了GarSim学习服装的面料和姿势感知变形虽然我们能够在很大程度上处理身体与衣服的碰撞，但我们在超长全长Skeleton中观察到了一些布与布的碰撞。这是我们与所有SOTA方法共享的GarSimPBNSDeePSDTailorNetDeepDraper4481引用[1] Pytorch https://pytorch.org/网站。[2] Tailornet数据集。https://github.com/zycliao/TailorNet_dataset.[3] 大卫·巴拉夫和安德鲁·维特金。布料模拟中的大步长。在Proceedings of the 25th annual conference on Computergraphics and interactive techniques，pages 43[4] Peter W Battaglia，Jessica B Hamrick，Victor Bapst，Al-varo Sanchez-Gonzalez ， Vinicius Zambaldi ， MateuszMa- linowski，Andrea Tacchetti，David Raposo，AdamSantoro，Ryan Faulkner，et al.关系归纳偏差、深度学习和图网络。arXiv预印本arXiv：1806.01261，2018。[5] Hugo Bertiche Meysam Madadi 和 Sergio Escalera 。Cloth3d：穿着衣服的3d人类。欧洲计算机视觉会议，第344-359页。Springer，2020年。[6] Hugo Bertiche Meysam Madadi和Sergio Escalera。Pbns：基于物理的无监督服装姿态空间变形神经模拟ACMTransactions on Graphics（TOG），40（6）：1[7] 雨果·伯蒂奇，梅萨姆·马达迪，埃米利奥·泰勒森，还有塞尔吉奥·埃斯卡莱拉. Deepsd：自动深度蒙皮和姿态空间变形的3D服装动画。在IEEE/CVF计算机视觉国际会议论文集，第5471-5480页[8] 保罗·卡西诺尼，克劳迪奥·蒙塔尼，罗伯托·斯科皮尼奥 。 网 格 简 化 算 法 的 比 较 Computers Graphics ， 22（1）：37[9] Erhan Gundogdu，Victor Constantin，Shaifali Parashar，Am- rollah Seifoddini，Minh Dang，Mathieu Salzmann，and Pas- cal Fua.Garnet++：通过曲率损失提高快速准确的静态3D布料悬垂效果。IEEE Transactions on PatternAnalysis and Machine Intelligence，44（1）：181-195，2020。[10] ErhanGundogdu 、 VictorConstantin 、 AmrollahSeifoddini 、 Minh Dang 、 Mathieu Salzmann 和 PascalFua。石榴石：一个双流网络，用于快速准确的3D布料悬垂。在IEEE/CVF计算机视觉国际会议论文集，第8739-8748页[11] Muhammed Kocabas ， Chun-Hao P Huang ， OtmarHilliges，and Michael J Black. Pare：用于3D人体估计的部分注意力回归器。IEEE/CVF计算机视觉国际会议，第11127- 11137页，2021年[12] 佐拉·拉纳丹尼尔·克里默斯托尼·董深皱纹：精确逼真的服 装 造 型 。 在 欧 洲 计 算 机 视 觉 会 议 （ ECCV ） 的Proceedings中，第667-684页[13] John P Lewis，Matt Cordner和Nickson Fong。姿势空间变形 ：形 状插 值和 骨架 驱动变 形的 统一 方法 。在Proceedings of the 27th annual conference on Computergraphics and interactive techniques，pages 165[14] 李洁、吉尔·达维特、拉胡尔·纳拉因、弗洛伦斯·伯泰尔斯-德库布、马修·奥弗比、乔治·E·布朗和劳伦斯·布瓦西厄。隐式摩擦接触求解器自 适 应 布 料 模 拟 。 ACM Transactions on Graphics（TOG），37（4）：1[15] Yunzhu Li ， Jiajun Wu ， Russ Tedrake ， Joshua BTenenbaum，and Antonio Torralba.学习粒子动力学，用于操纵刚体、可变形物体和流体。2018年国际学习表征会议[16] Yunzhu Li ， Jiajun Wu ， Jun-Yan Zhu ， Joshua BTenenbaum，Antonio Torralba，and Russ Tedrake.部分观测下基于模型控制的传播网络。2019年国际机器人与自动化会议（ICRA），第1205-1211页。IEEE，2019。[17] Matthew Loper、 Naureen Mahmood 、Javier Romero 、Gerard Pons-Moll和Michael J Black。Smpl：一个有皮肤的多人线性模型。ACM图形交易（TOG），34（6）：1[18] Rahul Narain，Armin Samii，and James F O'brien.用于布料 模 拟 的 自 适 应 各 向 异 性 网 格 重 新 划 分 。 ACMtransactions on graphics（TOG），31（6）：1[19] Andrew Nealen ， Takeo Igarashi ， Olga Sorkine ， andMarc Alexa. Laplacian网格优化 在2006年第四届澳大拉西亚和东南亚计算机图形和交互技术国际会议论文集，第381-389页[20] Xiaoyu Pan ， Jiaming Mai ， Xinwei Jiang ， DongxueTang ， Jingxiang Li ， Tianjia Shao ， Kun Zhou ，Xiaogang Jin，and Dinesh Manocha.使用骨骼驱动运动网络 预 测 宽 松 服 装 变 形 。 arXiv 预 印 本 arXiv ：2205.01355，2022。[21] Chaitanya Patel，Zhouyingcheng Liao，and Gerard Pons-Mol