TailorNet：预测3D服装变形的神经模型

1TailorNet：预测3D服装作为人体姿势、形状和服装风格Chaitanya Patel廖周英成Gerard Pons-Moll德国马克斯·普朗克信息学研究所萨尔信息学院{cpatel，zliao，gpons}@ mpi-inf.mpg.de图1：我们提出了TailorNet，这是一个模型，可以从输入的体型，身体姿势和服装风格中估计服装变形的细节从左边开始：前两个化身在同一形状上示出了两种不同的样式，后两个化身在另一形状上示出了相同的两种样式，最后两个化身说明了我们的方法适用于不同的服装。摘要在本文中，我们提出了TailorNet，这是一种神经模型，它预测3D服装变形是三个因素的函数：姿势、形状和样式（服装几何体），同时保留皱纹细节。这超越了现有的模型，现有的模型要么特定于一种风格和形状，要么一般化到不同的形状，产生平滑的结果，尽管是特定的风格。我们的假设是，（即使是非线性）组合的例子平滑高频成分，如细皱纹，这使得学习这三个因素共同困难。 我们技术的核心是是将变形分解为高频和低频分量。虽然低频分量是用MLP从姿势、形状和样式参数预测的，但高频分量是用形状样式特定姿势模型的混合预测的。混合物的权重是用窄带宽内核计算的，以保证只有具有相似高频模式的预测被组合。通过在规范姿势中计算变形的子空间来获得风格变化，该子空间满足诸如相互渗透和覆盖在身体上的TailorNet提供保留皱纹的3D服装*同等缴款。从基于物理学的模拟（PBS）中学习，同时运行速度快1000倍以上。与经典PBS相比，TailorNet易于使用且完全可重构，这对于计算机视觉和学习算法至关重要几个实验表明，TailorNet产生了比先前工作更真实的结果，甚至在AMASS [34]数据集的序列上生成时间相干变形，尽管是在来自不同数据集的静态姿势上进行训练。为了刺激在这个方向上的进一步研究，我们将制作一个由55800帧组成的数据集，以及我们的模型在https://virtualhumans.mpi-inf.mpg.de/tailornet/上公开。1. 介绍在服装中制作数字人的动画在3D内容制作、游戏、娱乐和虚拟试穿中具有许多应用。主要的方法仍然是基于物理的仿真（PBS）。然而，典型的PBS流水线需要用图案在2D中编辑服装形状，手动将其放置在数字角色上并微调参数以实现期望的结果，这是费力的、耗时的并且需要专业知识。此外，高质量PBS方法在计算上是昂贵的，实现和控制复杂，并且不简单。73657366可微的对于计算机视觉任务，穿着衣服的人类的生成模型需要是可区分的，易于部署，并且应该易于集成在CNN中，并使其适合图像和视频数据。为了使动画制作简单，一些作品从离线编译的PBS中学习有效的近似模型。至少有三个因素影响服装变形：身体姿势、形状和服装风格（所谓风格，我们指的是服装几何形状）。现有的方法要么对由于固定形状的姿势[10，29]、固定样式的形状和姿势[46，18]或固定姿势的样式[58]而导致的变形进行建模。上述方法启发了我们的工作;然而，它们并不共同模拟姿势、形状和风格的效果，尽管它们是交织在一起的。不同的服装会根据姿势和形状发生不同的变形，服装特定模型[46，29，17，10]（1种风格）的使用有限。此外，现有的姿势和形状的关节模型[17，8，18]通常会产生过于平滑的结果（即使是固定的风格），并且它们不是公开的。然而，现有的方法都没有具体化的模型，可用于解决计算机视觉和图形学问题。目前缺乏的是一个统一的模型，能够生成不同的服装风格，并在任何身体形状和任何姿势下对它们进行动画处理，同时保留皱纹细节。为此，我们引入了TailorNet，这是一种从基于物理的模拟中学习的神经网络（NN）的混合物，它将服装变形分解为风格，形状和姿势– 这有效地近似物理服装变形，从而允许对合成动画的直观控制与身体的SMPL [32]相同，TailorNet学习变形作为标准姿势中服装模板的位移，而关节运动由蒙皮驱动。TailorNet可以将真实的服装作为输入，也可以从头开始生成，并将其悬挂在SMPL身体的顶部，与[17]相反，我们的模型预测了服装在现实中的合身程度，例如，预计中等尺寸的衣服在大身体上是紧身的，而在瘦身体上是宽松的学习TailorNet需要解决几个技术挑战。为了在静态姿势中生成不同的服装样式，我们使用公开可用的真实静态服装的数字衣柜来计算PCA子空间[6]。为了在满足服装-人体物理约束的同时产生更多的风格变化，我们从PCA子空间中采样，对每个样本运行PBS，并重新计算PCA，以获得静态风格子空间。来自该子空间的样本在静态姿势中产生袖长、尺寸和适合度的变化。为了学习作为姿势和形状的函数的变形，我们通过在SMPL [32]主体上使用PBS为静态SMPL姿势和不同形状制作动画来生成半真实数据集（真实或来自静态样式子空间的样本我们的第一个观察结果是，对于固定的风格（服装实例）和体型，预测高频服装变形作为姿势的函数是可能的-也许令人惊讶的是，我们的实验表明，对于这项任务，一个简单的多层感知器模型（MLP）的性能与图神经网络[ 31，28 ]和UV空间上的图像解码器[ 29 ]一样好或与此形成鲜明对比的是，直接预测作为样式、形状和姿势的函数的变形导致过于平滑的不现实的我们假设，任何尝试组合训练样本的尝试都会平滑高频成分，这就解释了为什么以前的模型[46，17，18]，即使是单一风格，也缺乏精细的皱纹和褶皱。这些关键的观察激发了TailorNet的设计：我们用一个简单的MLP预测服装低频几何形状高频几何形状用高频样式-形状特定模型的混合来预测，其中每个特定模型由MLP组成，该MLP预测作为姿势的函数的变形，并且使用评估样式和形状的相似性的核来获得混合的权重具有非常窄的带宽的内核，防止平滑精细的尺度皱纹。几个实验表明，我们的模型很好地推广到新的姿态，预测服装适合依赖于身体形状，保留皱纹的细节，可以产生风格的变化，为服装类别（例如，对于T恤，它产生不同的尺寸、袖子长度和合身类型），并且重要的是易于实施和控制。总而言之，我们工作的主要贡献是：• 第一个服装风格、姿势和形状变化的联合模型，简单、易于部署，完全可区分，易于与深度学习集成。• 将网格变形简单有效地分解为低频和高频分量，再加上混合模型，可以保留高频皱纹• 比较不同的方法（MLP，图形神经网络和UV空间上的图像到图像转换）来预测姿势相关的服装变形。• 为了刺激进一步的研究，我们提供了一个数据集的20对齐的真实静态服装，模拟在1782个姿势，9个身体形状，共计55800帧。几个实验表明，我们的模型可以推广到AMASS数据集的全新姿势（即使我们没有使用AMASS来训练我们的模型），并因姿势，形状和风格而产生变化，同时比以前的风格特定模型更详细[46，18]。尽管是在静态姿势上训练的，但TailorNet仍然可以产生平滑的连续动画。73672. 相关工作服 装 动 画 有 两 种 主 要 方 法 ： 基 于 物 理 的 模 拟（PBS）和从离线PBS或真实捕获中学习的有效数据驱动模型。物理模拟（PBS）超逼真的动画需要模拟数百万个三角形[53，47，22]，这在计算上是昂贵的。许多工作都集中在通过向低分辨率模拟[15，25，26，55]添加皱纹来提高模拟效率[16]，或者使用简单的质量弹簧模型[43]和基于位置的动态[38，37]，从而牺牲精度和物理正确性以提高速度。调整模拟参数是一项繁琐的任务，可能需要数周时间。因此，几位作者试图从多视图视频[45，63，50]或人类的感知判断[49]中机械地推断物理参数[35，57]，但它们仅在受控设置中工作，并且仍然需要运行PBS。PBS方法通常需要在2D中设计服装，对其进行分级，将其调整到3D身体，并微调参数，即使对于训练有素的专家来说，这也可能需要数小时甚至数周数据驱动的布料模型。实现真实感的一种方法是从图像[6，5，3，4，19]、动态扫描[41，39]或RGBD[52，51]中捕获人类的真实服装，并将其重新定位到新的形状，但这仅限于在新的形状上重新动画化相同的运动。虽然从真实捕获[62，29，33]中学习姿势相关模型绝对是一条令人兴奋的路线，但准确捕获足够的真实数据仍然是一项重大挑战。 因此，这些mod-ELS [62，29，33]仅证明了对与训练数据类似的运动的泛化。另一种选择是使用PBS生成数据，并学习有效的数据驱动模型。早期的方法依赖于线性自回归或有效的最近邻搜索来预测姿势[10，26，56]，或姿势和形状相关的服装变形[17]。最近的基于深度学习，并根据建模的因素（风格或姿势和形状），数据表示和使用的架构而有所不同通过VAE [58]从用户草图预测风格变化，但姿势是固定的。对于单一风格，使用MLP和RNN [46，62]或处理身体和服装的Graph-NN [18]回归姿势和形状变化 姿势效应在UV空间中使用法线映射[29]或位移映射[23，60这些模型[10，18，17]倾向于产生过度平滑的结果，[29]除外，但该模型是针对单个服装和受试者进行训练的，并且如前所述，未证明泛化到野生运动（例如CMU [11]）。由于对于什么样的表示和学习模型最适合这个任务没有共识，对于固定的风格和形状，我们比较了表示和架构，发现MLP的性能与更复杂的Graph-NN或UV空间上的图像到图像转换一样好。虽然我们从以前的作品中汲取灵感，但与我们的模型不同，它们中没有一个可以共同建模风格，姿势和形状变化。基于像素的模型3D布料建模的替代方案是检索和扭曲图像和视频[61，9]。最近的方法使用深度学习来生成像素[20，14，13，64，66，68，21，44，54，67]，通常由2D扭曲引导，或平滑3D模型[30，65，59，48]，或学习将布料图像的纹理转移到3D模型[36]。它们在受控设置下产生（最好）照片般逼真的图像，但不能捕捉皱纹的3D形状，不能轻松控制运动，视点，照明，形状和风格。3. 与SMPL我们的基础服装模板与SMPL [32]对齐，如[4 1，6]中所做的那样。SMPL将人体M（·）表示为姿态（θ）和形状（β）M（β，θ）=W（T（β，θ），J（β），θ，W）（1）T（β，θ）=T+ Bs（β）+Bp（θ）。 （二）该算法由一个线性函数T（β，θ）构成，T（β，θ）在T-姿态下将位移加到基网格顶点T∈Rn×3上，然后学习蒙皮W（·）。具体而言，Bp（·）添加姿势相关变形，Bs（·）添加形状相关变形。W是骨架J（·）的混合权重。我们得到的服装模板拓扑作为一个子网格（与顶点TG∈Rm×3）的SMPL模板，与顶点T。形式上，若服装顶点i ∈{ 1}，则指示矩阵I ∈ Z m× n等于Ii，j= 1.- 是的- 是的 m}与身体形状顶点j ∈ {1. - 是的- 是的n}。编码以0姿态覆盖在M（β，θ）上的特定服装样式作为位移D在非定态的身体形状T（θ，β）上。由于服装与底层SMPL身体相关联，因此以前的作品[6，41]使用其相关的SMPL身体顶点函数使每个服装顶点变形。对于给定的风格D，形状β和姿势θ，它们使用未设定的SMPL函数Tθ，β）TG（β，θ，D）=IT（β，θ）+D， （3）接着是等式中的SMPL蒙皮函数。1G（β，θ，D）= W（T G（β，θ，D），J（β），θ，W）.（四）由于D是固定的，这就假设衣服的变形方式和身体的变形方式，这是一个实用但显然过于简单的假设。像以前的工作一样，我们也将变形分解为非刚性分量（等式10）。3）和铰接部件（Eq.3），但与以前的工作不同，我们学习非刚性变形D作为姿势，风格和形状的函数。也就是说，我们学习真正的服装变化，我们将在下一节中解释。7368Σ低频预测β剥皮（β1，β1）的高频（β2，β2）的高频（βK，βK）的高频混合物高频悬垂图2.概述了我们的模型，以预测具有姿态θ和形状β的身体上的具有样式γ的悬垂服装。 使用单个模型预测低频率的变形。分别计算K个原型形状样式对的姿势相关变形的高频，并使用RBF核混合以获得最终的变形的高频。低频和高频预测被添加以获得未设定的服装输出，其被设定为使用标准蒙皮来获得服装。方法静态/动态构成变化形状变化风格变化模型公共数据集公共Santesteban等人[46个]动态✓✓✗✗✗Wang等人[58个]静态✗✓✓✓✓[29]第二十九话动态✓✓✗✗✗窗帘[17]动态✓✓✗✗✗Garnet [18]静态✓✓✗✗✓我们静态✓✓✓✓✓表1.我们的方法与其他作品的比较。我们的方法是第一个模型的服装变形的姿势，形状和风格的函数。我们还公开了我们的模型和数据集，以供进一步研究。4. 方法在本节中，我们将布料的分解描述为非刚性变形（由于姿势，形状和风格）和铰接变形，我们称之为un-posing（第4.1节）。我们的模型的第一个组成部分是一个服装款式的子空间，它产生了A姿势的变化（第4.2节）。如在介绍中所解释的，姿势-特定于固定形状和样式的模型（在W（·）函数D=W−1（G，J（β），θ，W）−IT（β，θ），（5）并减去标准姿势中的身体形状，获得作为从身体y的位移的非姿势非刚性变形D。由于接头J（·）是已知的，因此计算W−1（·）在等式中5意味着不存在每一个顶点exvj=（WH（θ，J（β）−1v，哪里H（θ，J（β））∈kk，jkjk第4.3节），确实保留了高频，但结合不同风格和形状的模型会产生过于平滑的结果。因此，我们技术的核心是一个模型，它用直接的MLP预测低频，用混合模型预测高频我们的方法的概述如图所示。二、4.1. 取消服装变形给定一组给定姿态θ和形状β的模拟服装G，我们首先通过取消姿态将非刚性SE（3）是部分变换矩阵，v∈R3是未设定姿势的顶点。非刚体变形D受人体姿态、体型和服装的影响风格（尺寸，袖子长度，适合）。因此，我们建议学习变形D作为形状β、姿态θ和风格γ的函数，即D（β，θ，γ）：R |θ|×R |β|×R |γ|›→R m×3. 模型应该是现实的，易于控制和可区分的。4.2. 样式参数化模型的生成7369我们通过使用[6]的公共3D服装计算PCA子空间来生成A-pose中的风格变化γ。Al-7370我我φ，kφφk虽然Bhatnagar等人的方法，[6]允许将3D服装转换为标准姿势和形状（{G（θ0，β0，Di）}）中的身体形状，物理约束可能被忽略-为了在满足物理约束的同时产生风格变化，我们交替从PCA空间采样并对样本运行PBS。我们已经发现交替PBS和PCA两次的良好结果，以获得静态A姿势中的风格变化的子空间-具有PCA系数γ。图3显示了t恤的参数化样式空间。然而，这是一个固定A姿势和形状的模型。不同的服装风格将变形不同的姿势和形状的功能。在第4.3节中，我们解释了我们的姿势的风格-形状特定模型，在第4.4节中，我们描述了我们的各种形状和风格的联合混合模型。4.3. 单一样式形状模型对于一个固定的服装款式γ和一个固定的体型β对，记为φ=（γ，β）∈ X，我们取人体姿势和服装位移{（θi，Dφ）}的成对模拟数据，根据等式（1）计算。5、训练一个模型Dφ：R|θ|→−R m×3，预测与姿态相关的位移。在部分-通常，我们使用多层感知器（MLP）来训练Dφ，以最小化预测位移Dφ（θi）和地面真实位移Dφ之间的L1损失。我们观察到，D φ预测合理的服装合身以及精细尺度的皱纹，并很好地推广到看不见的姿势，但该模型是特定于特定的形状和风格。4.4. TailorNet为了简单起见，很容易将所有非刚性服装变形作为姿势、形状和风格的函数一起直接回归，即，学习D（θ，φ）：R |θ|×X <$→Rm×3直接与MLP。然而，我们的经验--数据显示，虽然这可以准确预测定量的、定性的结果过于平滑，缺乏真实性。我们假设，任何尝试结合几何形状的许多样品与不同的高频率（细皱纹）平滑的细节。这可能是一个潜在的解释平滑的结果在相关的作品[46，18，17]-即使是单一风格的我们的想法是分解服装网格顶点，在一个unposed空间G=W−1（G，J（β），θ，W），转化为光滑低频形状GLF和具有扩散流的高频形状GHF。 设f（x，t）：G → R是服装表面上的函数，然后用扩散方程对其进行平滑：f（x，t）= λf（x，t）（6）普雷特它说明函数随时间变化的标量图3. T恤风格空间概述。第一个组件（顶部）和第二个组件（中间）分别改变了整体尺寸和套筒长度。从这个风格空间采样生成了各种各样的T恤风格（底部）。对于前两排，对应的分量为-1。5σ，0，1。从左到右为5σ对顶点x坐标gi∈G的作用（它被解释为曲面上的离散函数gi=gi+λ gi，（7）其中λgi是应用于顶点gi的离散Laplace-Beltrami算子，λ和迭代次数控制平滑程度当量7也称为Laplacian平滑[12，7]。我们使用λ= 0。15和80次迭代，以获得平滑的低频网格GLF和高频残差GHF=G-GLF。 We然后减去身体形状IT（β，θ），如在等式中。5，并分别预测位移分量，ΣKD（θ，φ）=DLF（θ，φ）+D LF（φ，φk）DHF（θ），（8）k=1其中低频分量用MLPDLF（θ，φ）（平滑但准确）预测，而高频分量用姿态DHF（θ）的风格-形状φ=（γ，β）特定模型的混合预测。正如我们在实验中所展示的，风格-形状φ特定的高频模型保留了细节。我们推广到新的形状风格以外的原型DHF（θ）与凸com-具体型号的组合。混合权重使用具有窄带宽的核<$（φ1，φ2）：X × X <$→R计算，以仅组合相似的褶皱模式扩散系数λ乘以其空间拉普拉斯算子λf。为了平滑网格几何形状，我们应用扩散方程，φ（φ，φk）=exp.Σ−dist（g（φ），g（φk））σx、（9）7371其中g（φ）：X<$→Rm×3是一个浅MLP，它从款式形状映射到规范A姿势中的服装位移D理想情况下，内核应该测量simi-样式和形状的多样性，但是这将需要针对每个可能的姿势-形状-样式组合来模拟训练数据，这是低效的并且资源密集的。我们的关键简化假设是，如果两个不同人的两件衣服相对于他们各自身体的位移g（φ）=D虽然这是一个近似值，但在实践中效果很好。带宽σx是我们模型的自由参数，允许生成不同的高频细节。通过保持σx较小以便仅结合附近的样本，我们发现定性的良好结果。我们对输出进行后处理，以移除服装与身体的交叉点。选择K个样式-形状原型对于每个选择的样式-形状对，我们模拟各种各样的姿势，这很耗时。因此，我们找到K个原型形状样式φ，使得它们覆盖A姿态D（β，θ0，γ）中的静态位移空间。具体来说，我们希望选择K个样式-形状对，使得任何其他形状样式都可以近似为具有最小误差的原型的凸组合-这是一个没有全局最优保证的非凸问题。虽然像K-SVD [2]这样的迭代方法可能会产生更好的覆盖率，但在这里我们使用一种简单但有效的贪婪方法来选择好的原型。我们取X服装{D（θ0，φ）}i=1.不同风格的X γi以规范姿势覆盖在不同的身体形状βi上。我们从一个常见风格的9种体型开始，并尝试适合其他风格的每一种体型对作为这个池的凸组合然后，我们将具有最高近似误差的样式形状添加到池中我们重复这个过程，直到我们得到K风格-形状对的池我们发现当K>20时，所有的形状风格都可以很好地近似。因此，我们在这里使用K= 205. 数据集我们学习我们的模型从成对的数据参数和服装，我们从模拟获得。我们使用商业3D布料设计和模拟工具Marvelous Designer [1]来模拟这些服装。我们使用从真实世界数据中捕获的公开可用的数字衣柜[6]，而不是手动设计和定位服装虽然我们描述了我们的数据集生成参考T恤，方法仍然是相同的所有服装。5.1. 生成样式我们首先将3D服装从数字衣柜[6]重新定位[41]到规范形状（β0），然后慢慢地将它们模拟为规范姿势（θ0）。我们得到数据集{G（β0，θ0，Di）}的43件服装来学习风格空间，如第4.2节所述。然而，由于数据的有限变化，学习的样式空间可能不是直观的，并且可能包含登记过程造成的不规则图案和扭曲。因此，我们从这个PCA模型中抽取300个样式，再次模拟它们，以获得更大的数据集，具有更少的失真。通过PCA和模拟的2次迭代，我们生成了一致且有意义的风格变化。我们发现前2个PCA分量足以表示γ参数。参见图3。5.2. 形状、姿势和风格变化我们选择9形状手动如下。我们以4个相等的间隔对前两个形状分量β进行对于这些4×2 = 8的形状，我们添加规范零形状β0。我们以类似的方式选择了25种风格--通过对前两种风格的抽样，γ分量。我们模拟了规范姿势中所有形状和样式的组合，这导致了25×9 = 225个实例。我们从225个风格-形状对中选择20个原型作为训练风格-形状对，使用第4.4节。我们随机选择了20多个样式-形状对进行测试。5.3. 模拟细节对于姿势变化，我们使用1782个静态SMPL姿势，包括各种姿势，包括极端姿势。对于给定的风格形状φk和姿势{θi}，我们在一个序列中模拟它们。身体从规范姿势开始，greetly过渡到最近的姿势，直到所有姿势都被遍历。为了避免动态效果（在本文中，我们感兴趣的是准静态变形），我们插入线性插值的中间姿态，并让服装放松几帧。PBS模拟有时会失败，因此我们从数据集中删除具有自穿透的帧。对于训练样式-形状对，我们用插值姿势模拟SMPL姿势。为了测试样式-形状对，我们模拟SMPL姿势的子集，其中混合了可见和不可见的姿势。最后，我们得到如下4个分裂：（1）火车-火车：20个训练风格-形状对，每个有2600个训练姿势。(2)列车试验：20个训练风格-形状对，每个都有179个看不见的姿势。(3)测试训练：20个测试风格-形状对，每个有35个训练姿势。(4)测试-测试：20个测试风格-形状对，每个都有131个看不见的姿势。6. 实验我们评估我们的方法T恤定量和定性，并比较它与我们的基线，和以前的作品。我们的基线和TailorNet使用几个MLP-每个MLP都有两个带有ReLU激活的隐藏层，脱落层。我们通过以下方式获得最优超参数：7372φ调整我们的基线，然后保持不变，以训练所有其他MLP。更多详情见附录。6.1. 单一样式形状模型我们分别在K个风格-形状对上训练单个风格-形状模型DHF（θ）。每个模型的平均顶点检验误差取决于特定样式形状的难度。所有K模型的平均误差为8. 04mm，最大误差为14. 松配合为50mm，最小误差为6。56mm为合适的配件。对于单一样式形状模型，在工作的初始阶段，我们尝试了不同的3D网格学习模式：UV贴图，类似于[29]，以及服装网格上的图形卷积（图形CNN）。为了学习UV图，我们从输入的姿势参数训练解码器到服装位移的UV图。对于图CNN [27]，将输入θ放在图输入的每个节点上。我们在表2中报告了两个样式-形状对的结果，这表明简单的MLP足以学习固定样式-形状φ的姿势相关变形。图4.看不见的姿势，形状和风格的结果。 预报[46]（左），我们的混合模型（右）。请注意，我们的混合模型能够保留服装上更有意义的褶皱和细节款式造型MLPUV解码器图CNN松配合14.515.916.1紧密配合10.111.411.7表2. MLP、UV解码器和图形CNN针对两种样式形状的姿态相关预测的平均每顶点误差（mm）。6.2. TailorNet的结果我们定义我们的基线f BL（β，θ，γ）：|θ| +|β| +|γ|→Rm×3作为MLP实现，用于预测位移。表3显示了我们的混合模型在3个测试分割上的表现略优于图5.基线方法（左）平滑衣服上的细节。TailorNet（中）能够保留与PBS groundtruth（右）一样多图6.（左）直接混合原型的输出而不分解，可以平滑细节。（右）分解成高和低频率使我们能够预测良好的服装适合细节。分裂号款式造型设置构成设置我们基线我们的混合物模型2火车测试10.610.23测试火车11.711.44测试测试11.611.4表3.第5.3节中3个测试分割的平均顶点误差（mm）。我们的混合物在定量上比基线稍好，在定性上明显更好。在质量上，TailorNet优于基线和以前的作品。图4显示了Santesteban等人预测的服装。[46]和我们的混合模型。图5显示了TailorNet的输出和我们在相同数据集上训练的基线之间的定性差异为了验证我们选择分解高频和低频细节，我们考虑一个混合模型，其中单独的MLP直接预测风格形状相关的位移而不分解。图6显示，虽然它可以很好地近似整体形状，但它会松开细小的皱纹。TailorNet保留了精细的细节，并提供对高频细节的直观控制。AMASS的序列[34]：TailorNet概括（图中显示了一些姿势（7）尽管在训练中，7373图7.左：TailorNet对多种服装和完全看不见的姿势的预测右：TailorNet预测与真实纹理。完全不同的姿势。值得注意的是，尽管没有对动态进行建模，但结果在时间上是一致的。请参见suppl.video了解可视化。6.3. 多件服装为了展示TailorNet的通用性，我们分别训练了3件衣服-衬衫，裤子和裙子。由于裙部不遵循模板体网格的拓扑结构，因此我们将裙部模板附加到SMPL的根关节[41]。对于这些服装中的每一种，我们模拟了具有共同风格的9种形状的数据集，并训练了模型。图7显示了TailorNet的详细预测。由于我们使用来自真实数字衣橱的基础服装[6]，因此我们还可以将真实扫描的纹理转移到我们的预测上。6.4. 运行时性能我们使用PyTorch实现TailorNet [40]。在一台配备NVIDIA GeForce GTX 1060 GPU和Intel i7 CPU的游戏笔记本电脑上，我们的方法每帧运行1到2 ms，比训练它的PBS快1000倍。在CPU上，它的运行速度比PBS快100倍。7. 讨论和结论TailorNet是第一个数据驱动的服装姿势，形状和风格模型。实验表明，简单的MLP以11mm的精度近似服装变形，这与更复杂的图形CNN或UV空间中的位移预测一样好，但与现有方法共享相同的限制：当用不同的身体形状（在我们的例子中是风格）训练时，结果是过于圆滑，缺乏真实感。为了解决这个问题，我们提出了一个模型，预测低频和高频分别。几个实验表明，我们的窄带宽混合模型预测高频保留了比现有模型更多的细节，尽管有一个更难的任务，即建模姿势依赖变形作为形状和风格的函数。在未来的工作中，我们计划将模型与扫描，图像和视频相匹配，并将研究以自我监督的方式使用视频数据或使用真实的3D布料捕获来改进它[41]。我们还计划使我们的模型对布料和人体软组织的物理特性敏感[42]。我们的TailorNet比PBS快1000倍，可以轻松控制风格，形状和姿势，而无需手动编辑。此外，该模型是可微的，这是至关重要的计算机视觉和学习应用。我们将公开TailorNet和我们的数据集，并将不断添加更多的服装类别和款式，使其更广泛地使用。TailorNet填补了SMPL和ADAM等现有身体模型中的关键缺失部分[32，24]：逼真的服装，这是虚拟人动画所必需的，并解释了扫描，图像和视频中穿着的人的复杂性。鸣谢。 这项工作 是 部分 资助 由德国研究基金会（ DFG ， German Research Foundation ） - 409792180（Emmy Noether Pro-克 ， 项 目 ： Real Virtual Humans ） 和 Google Fac-Research Award 。 我 们 感 谢 Bharat Lal Bhatnagar 和Garvita Tiwari进行了富有洞察力的讨论，并感谢DanCasas为我们提供了[46]的测试结果。7374引用[1] https：//www.marv elousdesigner.com/. 6[2] Michal Aharon，Michael Elad，and Alfred Bruckstein. K-SVD：一种为稀疏表示设计过完备字典的算法。IEEE信号处理学报，54（11）：4311-4322，2006。6[3] ThiemoAlldieck ， MarcusMagnor ， BharatLalBhatnagar，Christian Theobalt，and Gerard Pons-Moll.学习 从 一 个 RGB 摄 像 机 重 建 穿 着 衣 服 的 人 。在IEEE/CVF计算机视觉和模式识别会议（CVPR），2019年。3[4] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.基于视频的三维人体模型重建。 在IEEE会议 计算机视觉和模式识别，2018年。3[5] ThiemoAlldieck ， GerardPons-Moll ， ChristianTheobalt，and Marcus Magnor. Tex2shape：从单个图像中获得详细的完整人体几何形状。IEEEInternationalConference on Computer Vision（ICCV）。IEEE，2019年10月。3[6] BharatLalBhatnagar ， GarvitaTiwari ， ChristianTheobalt，and Gerard Pons-Moll.多服装网：学习从图像中 打 扮3d 人 IEEEInternational Conference on ComputerVision（ICCV）IEEE，2019年10月。二三四五六八[7] Mario Botsch，Leif Kobbelt，Mark Pauly，Pierre Alliez和BrunoLe'v y。 Polygon网布处理。 AK彼得斯，2010年。5[8] 丹·卡萨斯，马可·沃利诺，约翰·科洛莫斯，阿德里安·希尔顿。用于交互式角色外观的4D视频纹理。Computer Graphics Forum，33（2）：371-380，2014. 2[9] 丹·卡萨斯，马可·沃利诺，约翰·科洛莫斯，阿德里安·希尔顿。4D视频纹理交互式字符外观。计算机图形学论坛（欧洲会议录）Graphics），33（2）：371-380，2014. 3[10] Edilson de Aguiar，Leonid Sigal，Adrien Treuille，andJes-sica K.哈金斯为实时服装提供稳定的空间。ACM事务处理图表，29（4）：106：1-106：9，2010. 二、三[11] FernandoDelaTorre ， JessicaHodgins ， JavierMontano，Sergio Valcarcel，R Forcada和J Macey。卡内基梅隆大学多模态活动数据库指南。卡内基梅隆大学机器人研究所，2009年5月。3[12] Mat hieuDesbrun ， MarkMe yer ， PeterSchr oéder ，andAlanHBarr.利用扩散和曲率流对不规则网格进行隐式光顺。在Proceedings of the 26th annual conference onComputer graphics and interactive techniques，pages 317-324，1999中。5[13] Haoye Dong ， Xiaodan Liang ， Xiaohui Shen ， BochaoWang，Hanjiang Lai，Jia Zhu，Zhiting Hu ，and JianYin.多位姿导引虚拟试穿网路之研究。在IEEE国际计算机视觉会议（ICCV）上，2019年10月。3[14] Haoye Dong ， Xiaodan Liang ， Xiaohui Shen ， BowenWu，Bing-Cheng Chen，and Jian Yin. Fw-gan：用于视频虚拟试穿的流动导航翘曲gan。在IEEE国际计算机视觉会议（ICCV）上，2019年10月。3[15] 罗素·吉列，克雷格·彼得斯，尼古拉斯·维宁，艾塞克斯·埃德·沃德，还有阿拉·谢弗.实时动态模拟7375粗糙的有生气的布料。计算机动画研讨会，2015年。3[16] Rony Goldenthal ， David Harmon ， Raanan Fattal ，Michel Bercovier，and Eitan Grinspun.可拉伸织物的有效模拟ACM Transactions on Graphics（Proceedings ofSIGGRAPH 2007），26（3）：to appear，2007. 3[17] 放 大 图 片 作 者 ： David A. Hirshberg ， AlexanderWeiss，and Michael J.黑色.披巾：给任何人穿衣。ACM事务处理图表，31（4）：35：1-35：10，2012. 二三四五[18] ErhanGundogdu 、 VictorConstantin 、 AmrollahSeifoddini 、 Minh Dang 、 Mathieu Salzmann 和 PascalFua。石榴石：一个双流网络，用于快速准确的3D布料悬垂。CoRR，abs/1811.10983，2018。二三四五[19] MarcHabermann ， WeipengXu ， ， MichaelZollhoefer，Ger- ard Pons-Moll，and Christian Theobalt.Livecap：从单目视频中实时捕捉人类行为。Trans-actions on Graphics（ToG）2019，Oct2019. 3[20] Xintong Han，Zuxuan Wu，Zhe Wu，Ruichi Yu，andLarry S Davis.Viton：一个基于图像的虚拟试穿网络。在CVPR，2018年。3[21] Wei-Lin Hsiao，Isay Katsman，Chao-Yuan Wu，DeviParikh，and Kristen Grauman.时尚++：最小的编辑，为适合改善.在IEEE计算机视觉国际会议（ICCV），2019年10月。3[22] Chenfanfu Jiang，Theodore Gast，and Joseph Teran.织物、针织物和毛发摩擦接触的各向异性弹塑性。ACMTransactions on Graphics（TOG），36（4）：152，2017。3[23] Ning Jin ， Yilin Zhu ， Zhenglin Geng ， and RonaldFedkiw.基于像素的数据驱动服装框架。CoRR，abs/1812.01677，2018。3[24] Hanbyul Joo Tomas Simon和Yaser Sheikh总捕获量：用于跟踪面部、手部和身体的3d变形模型。在IEEE计算机视觉和模式识别会议论文集，第8320-8329页8[25] 放大图片作者：Adam W.巴格泰尔和彼得·派克·斯隆受物理启发的上采样，用于游戏中的布料ACM Trans.Graph. ，30（4）：93：1-93：10，2011年7月。3[26] Doyub Kim、Woojong Koh、Rahul Narain、Kayvon Fa-tahalian、Adrien Treuille和James F.奥布莱恩近乎详尽的二次布料效果的预先计算。ACM Transactions onGraphics，32（4 ）：87：1-7，2013年7月。ACMSIGGRAPH 2013，阿纳海姆。3[27] 托马斯·N Kipf和Max Welling。使用图卷积网络的半监督分类。国际学习表征会议（ICLR），2017年。7[28] Nikos Kolotouros Georgios Pavlakos和Kostas Dani- ilidis卷积网格回归用于单幅图像的人体形状重建。在CVPR，2019年。2[29] 佐拉·拉纳丹尼尔·克里默斯托尼·董深皱纹：精