快速准确的3D布料悬垂：GarNet深度网络

8739GarNet：一种用于快速准确的3D布料悬垂的Erhan Gundogdu1，Victor Constantin1，AmrollahSeifoddini2， Minh Dang2，Mathieu Salzmann1，PascalFua11 CVLab，EPFL，瑞士2Fision Technologies，苏黎世，瑞士{erhan.gundogdu，victor.constantin，mathieu.salzmann，pascal.fua}@ epfl.ch{amrollah.seifoddini，minh.dang}@ fision-technologies.com摘要虽然基于物理的仿真（PBS）可以准确地将3D服装覆盖在3D身体上，但对于实时应用（例如虚拟试穿）来说，它仍然太昂贵。相比之下，在深度网络中进行推理，只需要一次向前传递，速度要快得多。利用这一点，我们提出了一种新的架构，以适应3D服装模板的3D身体。具体而言，我们基于深度网络在3D点云处理方面的最新进展，以不同细节水平提取服装特征，包括逐点、逐块和全局特征。我们将这些特征与从3D身体中并行提取的特征相融合，从而对衣服-身体相互作用进行建模。由此产生的双流架构，我们称之为GarNet，使用基于物理建模的损失函数进行训练，并提供视觉上合理的服装形状，其3D点平均距离PBS方法不到1 cm，同时运行速度快100倍此外，当给定裁剪样板的参数作为网络的输入时，所提出的方法可以对具有不同裁剪样板的各种服装类型进行1. 介绍服装模拟有很多用途，如虚拟试穿，网上购物，游戏 和 虚 拟 现 实 。 基 于 物 理 的 仿 真 （ Physics-BasedSimulation，PBS）可以提供高度真实的仿真结果，但其代价是计算量大，不适合实时和基于Web的应用。如图在本文中，我们建议训练一个深度网络来产生视觉上合理的3D叠加结果，就像PBS所实现的那样，但速度要快得多。真实模拟布料覆盖在人体上需要考虑每个人的全局3D姿态，这项工作得到了CTI项目26455.1 PFES-ES的部分支持基于GarNet物理的仿真图1：覆盖一件毛衣和一件T恤。我们的方法产生的结果与PBS方法一样合理，但运行速度快100倍儿子和皮肤和布料之间的局部相互作用所造成的身体形状。为此，我们介绍了图所描绘的体系结构二、它由服装流和身体流组成身体流使用PointNet [36]启发的架构来提取关于3D身体的局部和全局服装流利用全局身体特征来计算服装网格的逐点、逐块和这些特征，以及从身体获得的全局特征，然后被馈送到融合子网络以预测合身服装的形状。在我们的方法的一个实现中，如图1所示。2a，局部身体特征仅隐式地用于计算全局身体特征。在一个更复杂的实现中，我们显式地将它们考虑在内，以进一步对皮肤-布料交互进行建模。为此，我们引入了一个辅助流，该辅助流首先计算每个服装顶点的K个最近的身体顶点，对逐点身体特征执行特征池化，最后将它们馈送到融合子网络。该过程由图1描绘。2b.我们将看到它比简单的方法性能更好，这表明局部特征池是有价值的。8740剥皮后的服装预测模拟服装服装融合河流网络靶体原片流剥皮后的服装预测模拟服装服装融合河流网络靶体原片流逐点特征最近邻池逐点特征(a) GarNet-GlobalCUPG逐点特征(b) GarNet-LocalCUPB.G.图2：GarNet的两个版本。两者都将目标身体和通过使用[20]与身体姿势大致对齐的服装网格作为输入。GarNet-Global：我们将全局身体特征与服装特征早期和晚期融合。GarNet-Local：此外，我们对局部身体特征使用最近邻池，并将结果馈送到融合网络以组合身体和服装特征。通过将适当的损失项纳入我们在训练期间最小化的目标函数中，在测试时，我们避免了额外的后处理步骤，以最小化PBS工具[31，39，32，12]，基于优化的[7]和数据驱动的[14，41]方法通常需要的布体相互渗透和过度紧密度。此外，通过重新依赖卷积和池化操作，我们的方法自然地扩展到任意分辨率的点云。这与依赖于低维子空间的数据驱动方法[14，41]相反，低维子空间的大小通常需要随着分辨率的增加而增长，从而强烈影响这些模型因此，我们的贡献是一个新的架构，静态服装模拟，提供拟合结果，在实时正确建模的身体和服装的相互作用，从而减少衣服和身体的相互渗透。出于训练目的，我们构建了一个数据集，它将成为pub-lic1。它包括一条牛仔裤，一件T恤和一件毛衣，来自SMPL数据集[26]的600个身体以各种姿势穿着。在我们的数据集上的实验表明，我们的网络可以有效地处理许多身体姿势和形状。此外，我们的方法还可以结合其他信息，如切割模式，当可用的.为了说明这一点，我们使用了最近发表的数据[41]，其中包含不同的服装类型，具有不同的裁剪模式。我们的实验表明，我们的方法在这个数据集上表现出最先进的[41]。最后，我们作为参考的PBS方法需要10秒以上的时间来预测一个图形的形状，而我们的方法需要不到70 ms，因此对于实时应用是实用的。2. 相关工作许多专业工具可以使用基于物理的仿真（PBS）[31，39，32，12]逼真地模拟布料变形。然而，它们在计算上是昂贵的，这排除了实时使用。此外，手册页-1 请 访 问 https://cvlab.epfl.ch/ research/garment-simulation/garnet/查看数据集。通常需要频率计调谐。首先，我们简要回顾最近的方法来克服这些限制。然后，我们总结了用于3D点云和网格处理的深度网络架构，以及用于3D人体/布料建模的相关工作。数据驱动的方法。至少在运行时，它们的计算强度和内存要求较低，并且已经成为PBS的可行竞争对手。早期的方法之一[22]依赖于生成一组服装-身体对。在测试时，在一个看不见的姿态的服装形状预测的线性插值数据库中的服装。早期的工作[28]提出了一种数据驱动的布料物理参数估计，而[21]构建了一个有限的运动图，用于详细的布料效果。在[18]中，每个身体关节的潜在皱纹被存储在数据库中，以便在各种身体姿势中对精细细节进行建模。然而，它需要对每个身体-服装对执行该操作。为了加快计算速度，在[10]中，布料模拟在低维线性子空间中建模[13]还对2D布料变形与低维空间中相应物体之间的关系进行了建模。[14]将这个想法扩展到3D形状，根据导致它们的原因分解布料变形，主要是形状和姿势。训练因子分解模型以预测服装的最终形状。[38]训练MLP和RNN通过将其分解为静态和动态褶皱来模拟布料变形。然而，[14]和[38]都需要一个后验细化来防止布体相互渗透。在最近的方法中，[41]依赖于深度编码器-解码器模型来创建身体，服装缝纫模式，2D草图和服装形状的联合这定义了任何一对这样的实体之间的映射，例如身体-服装形状。然而，它依赖于服装形状的主成分分析（PCA）表示，从而降低了准确性。与[41]相比，我们的方法直接在身体和衣服网格上操作，消除了对这种限制表示的需要。我们将证明我们的预测8741MLP（64，64）NX64STN1x1转换器（29）Nx29Nx512Nx32Nx64NX3网格转换子网络MLP（128，512，512）逐点特征MM图像块特征准确的结果。如[24，34]所示，使用4D数据扫描进行布料拟合。[34]在[ 34 ]中，服装随时间变形，使用4D数据扫描来重建，然后在不考虑基于物理的服装动态的情况下将反射重定向到其他身体。与[34]不同的是，我们的目标不仅是获得视觉上合理的结果，而且还模拟PBS用于布料拟合。在[24]中，细皱纹是由条件生成对抗网络（GAN）生成的，该网络将预测的低分辨率法线映射作为输入。然而，这种方法需要计算上要求很高的步骤来将模板布料与捕获的4D扫描配准，而我们的方法仅需要使用[20]的有效方法来执行模板服装形状的蒙皮。点云和网格处理。 使我们的方法变得实用的一个关键创新是最近出现的允许处理点云[36，37]和网格[40]的深度架构。PointNet [36，37]是第一个有效地表示和使用无序点云进行3D对象分类和分割的公司。输入服装NX3STNNX3Nx512NX64NX3Nx512最大池和重复Nx512全局特征第它已经产生了几种方法来点云上采样[46]，无监督表示学习[44]，3D描述符匹配[11]和寻找2D对应[45]。在我们的架构中，与PointNet一样，我们使用多层感知器（MLP）进行逐点处理，并使用最大池进行全局特征生成。然而，尽管其简单性和代表性，PointNet [36]中的逐点操作不足以产生视觉上合理的服装试衣结果，正如我们通过定性和定量分析实验证明的那样。给定点云的拓扑结构，例如以三角网格的形式，与PointNet [36]不同，图卷积方法可以产生局部特征，例如[6，27，29]中依赖于手工制作的补丁运算符的特征。FeastNet [40]通过学习如何将卷积滤波器权重与网格顶点处的特征动态关联来推广这种方法，并展示了3D形状对应问题的最新性能。与[40]类似，我们还使用网格卷积来提取对邻域几何结构进行编码的逐块服装特征然而，与其任务是3D形状分割[36，37]或3D形状对应[40，6，27，29]的方法相比，我们不使用单个点云或网格作为输入，而是使用两个：一个用于身体，另一个用于服装，它们在我们的双流体系结构中结合起来以考虑两种形状。3D人体/布料重建。 在[49，43，42，15，2，1，47，48]中，从RGB/RGBD相机对3D身体形状/布料进行建模，而在从图像进行表面/皱纹重建中解决了从图像进行服装和表面重建的方法[9，3，35]。图3：我们网络的服装分支。灰色的盒子，括号中的数字表示网络层及其输出信道尺寸。红色和蓝色分别代表服装和整体身体特征。 绿色框是网格卷积子网络，图中更详细地描述了它。4.第一章空间转换器网络（SpatialTransformer Network），用于PointNet [36]。MLP块由所有N个点共享。单个残差块图4：网格转换子网 残差块重复6次。红色虚线矩形表示信道级级联。N× 3维张量包含输入服装的3D顶点位置，这些位置通过跳过连接在不同阶段传递3. 3D服装试衣为了使服装适合特定姿势的身体，我们首先使用双四元数蒙皮（DQS）方法[20]，该方法产生取决于身体姿势的粗略初始服装形状。在本节中，我们将介绍GarNet深度网络的两种变体，以优化此初始形状并生成最终服装。图图2描绘了这两种变体。3.1. 问题公式化令M0是静止姿势中的模板服装网格， 并 且 令M=dqs（M0，B，J0，JB，W）是在蒙皮到身体B之后的服装，也此外，生成模型在[25，16]中重建布方法[20]。给你，J和JB是M0和+++NXDLeakyReLUNXDNXD网格转换NX3NXDLeakyReLUNXD网格转换NX3NXDLeakyReLUNXDNXDconcat.concat.concat.NX3NXDLeakyReLUNXD联系方式NXD网格转换NX3NXDLeakyReLUNXD网格转换NXDNX38742B，分别。W是M0的蒙皮权重矩阵。设fθ为网络，选择权值θ，使得给定M和B的预测服装GP尽可能接近地面真实形状GG。 我们表示M的第i个顶点，B，GG和GP分别由Mi，Bi，GG和GP∈R3表示.我我最后，设N为M，G，GP中的顶点数.由于预测变形从一个合理的初始形状比预测绝对3D位置更方便，我们训练fθ来预测翘曲服装M的每个顶点的平移向量，使其尽可能接近对应的地面实况顶点。换句话说，我们对θ进行优化，TP=fθ（M，B）<$TG，（1）其中TP和TG对应于从蒙皮服装M到预测和地面实况的平移向量，mesh，即GP−Mi和GG−Mi。在那里-图5：图5中的K最近邻池2b. 我们计算每个服装顶点的K个最近邻人体顶点，并最大池其局部特征。通过使用网格卷积操作[40]来计算每个服装顶点的邻域。换句话说，我们没有使用标准的PointNet架构，而是使用图1所示的更复杂的架构。3计算逐点，分片-我我最后，将网络预测的平移向量与蒙皮后的顶点位置相加，得到服装网格的最终形状。3.2. 网络架构我们依赖于双流架构来计算fθ（M，B）。第一个流或身体流将由3D点云表示的身体作为输入，而第二个流或服装流将由三角形3D网格表示的服装作为输入。它们各自的输出涉及依赖于一组MLP块来产生等式（1）的预测平移TP的融合网络。1.一、为了不仅生成粗略的服装形状，而且还预测褶皱和褶皱等精细细节，我们包括两个流之间的早期连接，允许服装流甚至在处理局部信息时也考虑到体型。如图2，我们实现了完整架构的两个不同版本，并在下面详细讨论它们。身体流。第一个流以类似于PointNet [36]的方式处理主体B（参见第二节）。3.4对于细节）。它有效地生成逐点和全局要素充分表现身体姿势和形状。由于在3D身体点和3D服装顶点之间没有直接对应关系，因此全局身体特征是在处理服装时结合这样的信息的关键我们没有观察到在这个流中使用网格卷积层的改进。服装流。第二流将翘曲的服装M和由身体流提取的全局身体特征作为输入，以也计算逐点和全局特征。功能.正如我们将在结果部分看到的，这足以粗略地近似服装形状，但不能预测皱纹和褶皱。因此，我们使用服装网格来创建分片特征，这些特征考虑了局部智慧和全球性的特点。 如图3、特点在每一级提取的数据通过跳过连接被转发到后面的级。因此，我们直接利用低级别的信息，同时提取更高级别的表示。融合网络。一旦服装流和身体流产生了特征，它们就会被连接起来，并作为融合网络的输入，如图2中的紫色框所示。二、它由所有点共享的四个MLP块组成，如PointNet的分段网络[36]中所做的那样。最后的MLP块输出3D平移TP等式1从翘曲的服装形状M。全局变量和局部变量。图2a描绘了我们架构的GarNet-Global版本。它摒弃了由身体流产生的逐点身体特征，只依赖于整体身体特征。然而，请注意，局部身体特征仍然被隐式地使用，因为全局身体特征依赖于它们。这使得网络能够处理服装/身体依赖性，而不需要身体点和网格顶点之间的显式对应关系在更复杂的GarNet-Local architec- ture描绘图。2b，我们明确地利用逐点的身体特征，通过引入最近邻池步骤来计算每个服装顶点的单独的局部身体特征。它以逐点实体有限元为输入构造并使用最近邻方法来计算广告特征，该广告特征捕获M到B的接近度，并将它们与身体和服装特征一起馈送到融合网络中。图中所示的步骤。5由于局部体的显式使用而提高了预测精度功能.3.3. 损失函数为了学习网络权重，我们最小化损失函数L（GG，GP，B，M）。我们将其设计为减少预测GP与地面真实GG的距离，k-NN最大池化投资者关系距离矩阵（排序）身体身体M服装N8743我我JJKKJJ我我J我我−���12还结合了从物理约束导出的正则化项。后者也取决于身体B和服装M。因此，我们将L写成：B.G.CUPL顶点+λ笔L笔 +λ范数 l2范数 +λ弯曲 L形弯曲、（二）Gi，kB.G.Pi，kCUP其中，λpen、λnorm和λbend是与下述各个项相关联的权重。我们将在结果部分研究这些术语的单独影响。数据术语。我们取L顶点为平均L2距离，GG和GP的顶点之间的距离，（一）B.G.G Pi，k i，k（b）第（1）款CUPΣN¨（3）i=1图6：互穿和弯曲损耗项。(a) 在-穿透项Lpen由于在对应的身体点Bi的错误侧上而惩罚服装顶点GP。（b）弯曲项Lbend惩罚两个相邻项之间的距离其中N是顶点的总数。互穿项。为了评估服装顶点是否在人体内，我们首先找到最近的人体顶点。在训练过程的每次迭代中，我们对所有服装顶点执行此搜索。这产生C（B，GP），一组衣服-身体索引对。我们把L笔写为Σ与真实情况不同。为了模拟NvCloth [31]的弯曲约束，我们使用PBS方法，这是[30]中的近似值。这里，N2表示由两条边的最短路径连接的顶点对的集合。该项有助于保持给定顶点的相邻顶点之间的距离{ReLU（−NT（GP−Bi））/N，（4）如图6b.尽管理论上可以J J{i，j}∈C（B，GP）tol}Bij考虑较大的邻域，对的数量将以惩罚身体内的服装顶点的存在。这里，NB是第i个身体顶点处的法向量，如图6a所示。该公式由于服装顶点GP不在其对应的身体顶点Bi的绿色子空间上而惩罚服装顶点G P，只要它距其地面实况位置小于距离dtol换句话说，只有当顶点足够接近其真实位置时，约束才起作用，以避免在优化开始时施加虚假约束损失项还惩罚身体和服装之间的三角形相交，这可能发生在两个相邻的服装顶点靠近同一身体顶点时。与[14]不同，我们不强制服装顶点位于身体的预定义距离内，因为在某些情况下，服装顶点可以合理地远离它。正常术语。我们将L范数写成呈指数增长3.4. 实现细节为了应用[20]的蒙皮方法，我们使用Blender [5]计算蒙皮权重矩阵W，给定服装网格的姿态信息。服装流采用图11中描绘的6个残差块。4遵循ResNet的常见做法[17]。 在每个街区，我们都采用在[40]中提出的网格卷积层，其使用1环邻居来学习每个卷积层处的分块特征。由于网格卷积运算符依赖于可训练参数来衡量相邻节点的贡献，因此我们总是将输入顶点3D位置连接到其输入向量，以便网络可以学习 拓 扑 相 关 卷 积 。 当 在 身 体 流 中 使 用 [36]的 精 确PointNet架构时，我们观察到所有逐点身体特征都收敛到相同的特征向量。1挪威克朗 .1−i=1. FGT我Σ2FP，（5）tor，这似乎是由于ReLU饱和。为了防止这种情况，我们使用斜率为0的泄漏ReLU。1，并从第一个空间Transformer的输出添加一个以惩罚地面实况和预测小平面法线之间的角度差。这里，NF，FG和FP是网络（MLP）到第二MLP块的输入。要在服装流中使用身体特征，如我面数，第i个面的法向量我地面实况图3、对512维全球人体特征进行了重新定义，每个服装顶点都有标记。 为了当地的尸体池面和对应的预测的一个，分别。弯曲术语。我们把L弯当作1Σ|GP− GP|、（6）|N 2|ikik{i，k}∈N2������°CUPB我JNBiNT（���P-Bi）B我N8744图为Fig.5，我们将3D身体点及其逐点特征缩小10倍。这通过应用于具有16个邻域大小的逐点身体特征的平均池化来完成。 对于图1中的身体特征5，邻居的数量是15。8745为了提高方程中互穿项的有效性（4）每个匹配的体点B1在其法向量的方向上延伸网格的平均边长的20%，以确保穿透被良好地惩罚，并且公差参数dtol被设置为0。05对于我们的数据集和[41]。补充材料中提供了更多细节。为了训练网络，我们使用Adam优化器[ 23 ]的PyTorch [ 33]实现，学习率为0。001。在以下章节中报告的所有实验2，λ法线，λ笔和λ弯曲为0。三一0和0。五、4. 实验在本节中，我们将定性和定量地评估我们的框架的性能。我们首先介绍了我们使用的评估指标，并进行广泛的实验，我们的数据集，以验证我们的架构设计。然后，我们将我们的方法与唯一的最先进的方法[41]进行比较，其中的训练和测试-31个姿势，分别。为了保证相似身体形状和姿势的可重复性，通过从输入服装的初始姿势开始执行每个模拟。定量结果。回想一下3.2节，我们实现了我们的网络的两个变体，GarNet-Global仅依赖于全局身体特征，GarNet-Local也通过执行最近邻池来利用局部身体特征，如图所示。五、作为第三种变体，我们实现了GarNet-Global的简化版本，其中我们删除了生成逐块服装特征的网格卷积层。因此，它只执行逐点操作（ 即 ， 1×1 转 化 率 ） 和 最 大 池 化 层 ， 我 们 称 之 为GarNet-Naive，它也可以被解释为具有额外跳过的双流PointNet [36]连接.我们还与通过双四元数蒙皮（DQS）[20]翘曲的服装进行了比较，这仅取决于身体姿势。数据是公开的。最后，我们进行了消融研究，以证明我们的损失条款的影响。1.00.80.61.00.80.64.1. 评估指标我们引入以下两项质量措施：1ΣN0.40.20.00.0000.0050.0100.0150.0200.0250.0300.0350.040距离阈值（米）距离牛仔裤0.40.20.00 5 10 15 2025角度阈值（度）标准牛仔裤E=GG−GP，（7）DistNi=11挪威克朗我.Σ（FG）TFP1.00.81.00.8Enorm=FArccos我我FG.（八）0.60.40.60.4i=1Edist是预测网格和地面实况网格之间的平均顶点到顶点距离，而Enorm是0.20.0距离阈值（米）0.20.0角度阈值（度）预测小平面法线的平均角度偏差到地面实况正如[7]中所讨论的，后者很重要，因为法线是渲染服装外观的关键1.00.8距离T恤常规T恤1.00.84.2. 分析我们的数据集我们创建了一个包含各种姿势和体型的大型数据集。我们首先解释我们如何构建它，然后在它上面测试我们框架的各个方面。数据集创建。我们使用了Nvidia基于物理的0.60.40.20.00.0000.0050.0100.0150.0200.0250.0300.0350.040距离阈值（米）远距离毛衣0.60.40.20.00 5 10 15 2025角度阈值（度）普通毛衣模拟器NvCloth [31]适合T恤，毛衣和一双由SMPL身体模型[26]生成的合成身体上具有10k个顶点的3D三角网格表示的牛仔裤，表示为具有6890个顶点的网格。为了结合各种姿势，我们使用CMU mocap[8]数据集的瑜伽、舞蹈和行走动作来动画SMPL训练集、验证集和测试集分别由500、20和80个身体组成。T恤、毛衣和牛仔裤平均有40、23和图7：顶点距离和小平面法线角度误差的平均精度曲线。在表1中，我们根据4.1节的Edist和Enorm报告了我们的结果。在图7中，我们绘制了T恤、牛仔裤和毛衣的相应平均精度曲线平均精度是误差低于给定阈值的所有测试样本的顶点/法线的百分比 GarNet-Naive比其他两个更差，GarNet-LocalGarNet-GlobalGarNet-NaiveDQSGarNet-LocalGarNet-GlobalGarNet-NaiveDQSGarNet-LocalGarNet-GlobalGarNet-NaiveDQSGarNet-LocalGarNet-GlobalGarNet-NaiveDQSGarNet-LocalGarNet-GlobalGarNet-NaiveDQSGarNet-LocalGarNet-GlobalGarNet-NaiveDQSavg. 精度avg. 精度avg. 精度avg. 精度avg. 精度avg. 精度0.0000.0050.0100.0150.0200.0250.0300.0350.0400 5 10 15 2025我N8746GarNet-LocalGarNet-GlobalGarNet-NaivePBSPBS†时间（ms）68590.2>19000> 7200GarNet-LocalGarNet-Global[41个]Dist. 百分比（%）0.891.153.01角度∢7.407.53N/AGarNet-NaiveGarNet-Global GarNet-LocalPBS图8：T恤上的比较。GarNet-Naive在肩部附近产生伪影，而GarNet-Local、GarNet-Global和PBS产生类似的结果。牛仔裤t恤毛衣E分布/ E范数E分布/ E范数E分布/ E范数GarNet-Local0.88/5.630.93/8.970.97/9.21GarNet-Global1.01/5.851.05/9.481.03/9.36石榴石-天真2.13/12.591.78/13.481.13/10.3DQS [20]11.43/22.09.98/30.746.47/24.64表1：PBS和预测顶点之间的平均距离（cm）和面法线角度差（度）。表2：计算时间的比较。我们为PBS和我们的网络使用了一个Nvidia TITAN X GPU。在我们的例子中，前向传播是以16的批大小完成的。PBS†代表PBS计算，不包括在将模板服装翘曲到目标身体姿势上。强调了拼接式服装特征的重要性。GarNet-Global和GarNet-Local 产 生 的 结 果 相 当 ， 总 体 上 优 于 GarNet-Local。最后，在表2中，我们报告了我们的网络和所采用的PBS软件的计算时间。请注意，我们的方法的两种变体都产生了100倍的加速比。测试看不见的姿势。T恤数据集被分割，使得50%（25%）的姿势（在每个运动中均匀采样）在训练集中;其余的在测试中集距离和角度误差增加到1。16（1. 68）cm和9. 71（11.88）由于我们的姿势都是经过仔细采样以确保多样性，因此上述分割的表现表示概括能力。定性结果。图8描述了GarNet-Local、GarNet-Global和GarNet-Naive架构的结果。GarNet-Global结果在视觉上与打印页面上的GarNet-Local结果相似;然而，GarNet-Global在身体和服装之间产生可见的间隙，而GarNet-Local覆盖的服装更类似于PBS。GarNet-Naive生成一些清晰可见的伪影，例如右肩附近的伪皱纹。相比之下，表3：[41]衬衫数据集上的距离%和角度误差。GarNet-Local的方法与PBS方法非常匹配，同时速度更快。我们在图中提供了进一步的证据。9种不同的服装类型。补充材料中提供了额外的目视检查结果。4.3. 数据集的结果[41]正如第2节所讨论的，[41]是唯一一个解决类似于我们的问题的非PBS方法，并且数据是公开的。具体而言，[41]的主要焦点是将服装悬垂在几种体型上，以用于不同的服装缝纫模式。他们的数据集包含7000个样本，包括T姿势的体型、缝纫参数和合身的服装。因此，网络的输入是体型和服装缝纫参数。为了将GarNet用于此目的，我们从训练集中取出一件合身的衣服作为我们网络的模板输入，并将缝纫参数连接到每个顶点特征，然后将它们馈送到我们网络的MLP层。修改后的体系结构在附录材料中有更详细的描述。我们使用与[41]中相同的训练（95%）和测试（5%）分割，并将我们的结果与他们的结果在归一化L2距离百分比方面进行比较，即，100× GG−GP<$/GG<$，其中GG和GP是矢量，torized地面实况和预测顶点位置正常-[01 -02][01 -02]我们在这里使用这个度量，因为它是[41]中报告的度量。如表3所示，我们的框架推广到使用服装参数，如缝纫图案，并显著优于[41]的最新技术水平。消融研究。我们对[41]的数据集进行了消融研究，以突出损失函数中不同项的影响。我们通过分别去除穿透、弯曲和正常项来训练网络。我们还报告结果，没有正常和弯曲的条款。如表4所示，使用法向项和弯曲项显著提高了角度精度。这在图中被描绘。10其中正常术语有助于去除假皱纹。虽然关闭渗透项对定量结果的影响有限，但它会导致更严重的相互渗透，如图所示10个。5. 结论在这项工作中，我们引入了一种新的双流网络架构，可以在许多不同的姿势下将3D服装形状覆盖在不同的目标身体上，同时运行速度比基于物理的模拟器快100倍其8747图9：几种姿势的GarNet-Local（上）与PBS（下）结果。请注意它们是多么相似，即使前者是在大约计算。70ms而不是20s。我们的方法成功地预测了中频的整体形状和细节损失函数东区E正常L顶点+L笔0.558.88L顶点+L笔+L弯曲0.679.90L顶点+L范数+L弯曲0.697.39L顶点+L笔+L范数1.087.40L顶点+L笔+L范数+L弯曲0.727.36没有阴茎。没有规范。全损失PBS图10：消融研究。在没有损失项的情况下进行重建，结果是在背部（左起第二个）出现相互渗透（左）或不同的皱纹。相比之下，使用完全损失产生的结果与PBS非常相似（右侧的两张图像）。关键要素是联合利用身体和服装特征的方法通过将不同的服装缝纫图案作为输入，我们的方法可以推广到准确地悬垂不同风格的服装。我们的模特能把衣服的形状悬垂到1厘米表4：[41]衬衫数据集的消融研究。与PBS方法的平均距离不同，同时限制了互穿和其他伪影。然而，它仍然倾向于去除高频细节，正如在[14，38]中所在未来的工作中，我们将探索条件生成对抗网络[19]，以添加微妙的皱纹，以进一步提高我们重建的真实感，如[24]。我们打算研究的另一种研究途径是中观尺度增强，如[4]中所做的那样，以增强重建的面部。8748引用[1] ThiemoAlldieck ， MarcusMagnor ， BharatLalBhatnagar，Christian Theobalt，and Gerard Pons-Moll.学习从一个单一的rgb相机重新构建穿着衣服的人在IEEE计算机视觉和模式识别会议上，2019年6月。3[2] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.基于视频的三维人体模型重建。在计算机视觉和模式识别会议上，2018年。3[17] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。计算机视觉和模式识别会议，第770-778页，2016年5[18] Huamin Wang 和 Florian Hecht ， Ravi Ramamoorthi 和James O'Brien。基于实例的服装动画褶皱合成。ACMSIGGRAPH，2010年。2[19] Philip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯图像到图像的翻译与条件广告网络。计算机视觉与模式识别会议，2017年。8[3]Jan Bednar 'ık，Mathieu Salzmann，and Pascal Fua. 学习[20]第二十话 卡万 史蒂文 Collins，JiriZamara'ra和Carol重建无纹理可变形表面。 在国际-2018年全国3D视觉会议。3[4] Thabo Beeler ， Bernd Bickel ， Paul Beardsley ， BobSumner，and Markus Gross.高质量的单镜头捕捉的fac-cial几何。ACM SIGGRAPH，29（3），2010. 8[5] Blender，2018. https：//www.blender.or g/. 5[6] Da videBoscaini ， JonathanMasci ， EmanueleRodola` ，andMichael Bronstein.用各向异性卷积神经网络学习形状对应。神经信息处理系统进展，第3189-3197页，2016年3[7] 雷米·布鲁埃，阿拉·谢弗，劳伦斯·布瓦西厄，玛丽·保尔 · 卡 尼 . 设 计 保 留 服 装 转 移 。 ACM Transactions onGraphics，31（4）：361-3611，2012年7月。 二、六[8] CMU 图 形 实 验 室 运 动 捕 捉 数 据 库 ， 2010 年 。http://mocap.cs.cmu.edu/。 6[9] RadekDanerek，EndriDibra，Cengizoéztireli，RemoZiegler和Markus Gross。DeepGarment：从单个图像估计三维服装形状。Eurographics，2017. 3[10] Edilson de Aguiar，Leonid Sigal，Adrien Treuille，andJes-sica K.哈金斯为实时服装提供稳定的空间。ACMTransactions on Graphics （ SIGGRAPH 2010 ） ， 29（3），2010. 2[11] Haowen Deng ， Tolga Birdal ， and Slobodan Ilic.PPFNet：Global Context Aware Local Features for Robust3D Point Matching. 计算机视觉与模式识别会议，2018年。3[12] 奇妙设计师2018年。网 址 ： //www.marvelousdesigner.com网站。2[13] 关鹏，奥伦·弗雷菲尔德和迈克尔·J·黑色.一个穿着本征服装的2D人体模型。欧洲计算机视觉会议，第285-298页，2010年。2[14] Peng Guan，Loretta Reiss，David Hirshberg.，AlexanderWeiss和Michael J.黑色.布帘：给任何人穿衣。 ACMSIGGRAPH，31（4）：351-3510，2012年7月。 二、五、八[15] MarcHabermann ， WeipengXu ， MichaelZollhofer ，GerardPons-Moll，and Christian Theobalt.Livecap：从单目视频中实时捕捉人类行为。ACM事务处理图表，38（2）：14：1-14：17，Mar. 2019. 3[16] Han Xintong，Zuxuan Wu，Zhe Wu，Ruichi Yu，andLarry S.戴维斯Viton：一个基于图像的虚拟试穿网络。在IEEE计算机视觉和模式识别会议上，2018年6月。3奥沙利文使用对偶四元数蒙皮。2007年交互式3D图形和游戏研讨会论文集，第39-46页，2007年。二三五六七[21] Doyub Kim、Woojong Koh、Rahul Narain、Kayvon Fa-tahalian、Adrien Treuille和James F.奥布莱恩次级布料效果的近乎穷举的预计算ACM事务处理图表，32（4）：87：1-87：8，2013年7月。2[22] 金泰勇和尤金·温德洛夫斯基DrivenShape -数据驱动的形状变形方法。在欧洲-图形/SIGGRAPH计算机动画研讨会，2008年。2[23] Diederik P. Kingma和Jimmy Lei Ba。亚当：一种随机优化方法。arXiv预印本，2014年。6[24] 佐拉·拉纳丹尼尔·克里默斯托尼·董深皱纹：准确而逼真的服装造型。在欧洲计算机视觉会议上，2018年9月。三、八[25] Christoph Lassner，Gerard Pons-Moll，and Peter.盖勒一个穿着衣服的人的生成模型。arXiv预印本，2017年。3[26] Matthew Loper， Naureen Mahmood ，Javier Romero ，Gerard Pons-Moll，and Michael J.黑色. SMPL：一个有皮 肤 的 多 人 线 性 模 型 . ACM SIGGRAPH Asia ， 34（6），2015. 二、六[27] 放大图片作者：Michael M.布朗斯坦和皮埃尔·范德海斯特。黎曼流形上的测地卷积神经网络。计算机视觉国际会议，第832-840页，2015年12月3[28] Eder Miguel，Derek Bradley，Bernhard Pastaszewski，Bernd Bickel，Wojciech Matusik，Miguel A. Otaduy和Steve Marschner。布料模拟模型的数据驱动估计Comput.Graph. Forum，31（2pt2）：519-528，May 2012. 2[29] Federico Monti ， Davide Boscaini ， Jonathan Masci ，EmanueleRodo la`，JanS v oboda，andMichael