点的力量：基于隐形扫描拟合的人类服装模型

10974点的力量在服装中塑造人类马千里1、2杨金龙1唐思宇2Michael J.黑11德国图宾根马克斯·普朗克智能系统研究所y2苏黎世联邦理工学院{qma，jyang，black}@ tuebingen.mpg.de，{qianli.ma，siyu.tang}@ inf.ethz.ch隐形扫描拟合的POP（点云）具有姿势相关服装变形的图1：穿着衣服的人的点的力量（POP）模型。基于一种新的铰接密集点云表示，我们的交叉服装模型，命名为POP，产生的姿态依赖于形状的穿着人类连贯的全球形状和表现力的局部服装细节。经过训练的模型可以拟合到穿着看不见的服装的看不见的主体的单次扫描结果使用预测的点法线进行颜色编码，并使用简单的基于曲面的渲染器进行渲染。摘要目前，它需要艺术家创建3D人类化身与现实的衣服，可以自然移动尽管在人体的3D扫描和建模方面取得了进展，但仍然没有能够容易地将静态扫描变成可动画化的化身的技术。自动创建这样的化身将使游戏、社交网络、动画和AR/VR中的许多应用成为关键问题是代表性问题。标准的3D网格被广泛地用于对最少穿着的身体建模，但是不容易捕获衣服的复杂拓扑结构。最近的兴趣已经转移到隐式表面模型，为这项任务，但他们是计算繁重，缺乏与现有的3D工具的兼容性。所需要的是可以以高分辨率捕获变化的拓扑并且可以从数据中学习的3D表示。我们认为这种表示方法一直伴随着我们-点云。点云具有隐式和显式表示的属性，我们利用这些属性对人体上的3D服装几何形状进行建模。我们训练了一个神经网络与一个新的局部服装几何特征，以代表不同的服装的形状。该网络是从许多类型的服装的3D点云在许多身体上，在许多姿势中，并且学习对姿势依赖的服装变形进行建模。几何特征可以被优化以适合穿着衣服的人的先前看不见的扫描，使得扫描能够被逼真地放置。我们的模型在多服装建模和看不见的服装动画方面都表现出了卓越的定量和定性结果。该代码可 在 www.example.com 上 获得 以供 研究https://qianlim.github.io/POP。1. 介绍在许多用于3D内容生成的应用中需要可动画化的穿着衣服的人类化身。为了创建具有自然变形服装的化身，现有的解决方案要么涉及繁重的艺术工作，要么需要4D扫描来训练机器学习模型[55]。这些解决方案是昂贵的，并且通常不切实际。相反，我们能不能把一个静态的3D扫描--今天即使用手持设备也能以低成本获得--变成一个可动画化的化身？目前，没有现有的技术能够做到这一点，并产生逼真的服装变形。给定静态扫描，传统的自动装配和蒙皮方法[3，18，33]可用于对其进行动画制作，但无法产生姿势相关的服装变形。物理-10975的模拟可以产生逼真的变形，但需要从给定的扫描“逆向工程”一个模拟就绪的服装网格。这涉及专业知识，并不是完全自动的。采用数据驱动的方法，目标将是学习一种模型，该模型可以跨不同的服装类型和风格产生合理的姿势相关的服装变形，并且可以推广到看不见的服装。然而，尽管最近在建模穿着的人体形状变形方面取得了进展[22，31，36，37，44，55]，但大多数现有模型都是特定于服装的，因此不能推广到看不见的服装。迄今为止，由于若干技术挑战，不存在这样的交叉服装模型。第一个挑战在于3D形状表示的选择。为了一次处理不同类型和风格的服装，形状表示必须处理不断变化的拓扑，捕获高频细节，在推理时间快速，并且易于渲染。经典的三角形网格在渲染效率方面表现出色，但从根本上受到其固定拓扑结构的限制 隐式表面表示在拓扑上是灵活的，但是通常计算量大并且缺乏与现有图形工具的兼容性。因为点云是显式表示，所以它们渲染起来很有效，但它们也可以被视为隐式表示表面。因此，它们在拓扑学上是灵活的，并且随着点云的分辨率增加，它们可以捕获几何细节。虽然点云通常不用于表示服装，但它们被广泛用于表示刚性对象，并且存在许多方法来使用神经网络有效地处理它们[1，17，32]。在这项工作中，我们表明，看似老式的点云，事实上，是一个强大的代表性建模穿衣服的人。在最近的工作中，SCALE [36]表明，可以利用分组为局部补丁的点云来表示具有各种服装风格的穿着人类，包括具有薄结构和开放表面的那些。然而，SCALE中基于补丁的公式化经常会受到补丁之间的间隙等伪影的影响。在这项工作中，我们提出了一个新的密集点云的形状表示为了简单起见，我们避免使用最近在点云形状表示中广泛使用的补丁[4，15，16，21，36]，并表明补丁不是必需的。相反，我们在2D流形上引入平滑的局部点特征，该特征使点正规化并在推理期间实现跨服装建模的另一个挑战性方面涉及如何在单个统一模型中编码不同类型和风格的服装。在大多数现有的特定于服装的模型中，模型参数（通常是经训练的形状解码器网络的权重）需要表示穿着衣服的人的固有的、依赖于姿势的形状，以及该形状如何根据穿着衣服的人的固有的、依赖于姿势的形状而变形。摆姿势。为了解决这个问题，我们建议通过明确地用几何特征张量来隔离形状解码器的内在形状。几何特征张量以自动解码的方式学习[43]，具有在相同服装的所有示例中共享一致的内在形状的约束。因此，形状解码器可以专注于对姿势相关效果进行建模，并且可以利用跨服装的共同变形属性。在推断时间，几何特征张量可以被优化以适合于具有先前看不见的服装的穿着的身体的扫描，使得形状解码器可以基于所学习的服装变形属性来预测其姿势相关的变形。这些想法导致POP：我们的密集点云模型，产生姿势依赖的服装几何形状在不同的服装，并展示了点的力量建模的形状的人在服装。POP在捕获的和合成的数据集上进行评估，显示了服装建模和对看不见的服装的概括的最先进的性能。总的来说，我们的贡献是：（1）具有细粒度局部特征的新颖的密集点云形状表示，其产生具有各种服装风格的最先进的详细服装形状;（2）新颖的几何特征张量，其使得能够对看不见的服装进行跨服装建模和泛化;（3）利用合理的姿势相关变形来动画化静态扫 描 的 应 用 。 该 模 型 和 代 码 可 在https://qianlim.github.io/POP 上 获 得 以 供 研究。2. 相关工作服装人体建模的形状表示。表面网格是与图形管线兼容的高效3D表示，并且因此是建模衣服和穿着衣服的人的主导选择。对于网格，衣服可以通过变形一个未穿衣服的身体模板来表示[6，8，37，40，58，63]，或者使用单独定义的模板[22，23，31，44，56]。虽然最近 的 工 作 成 功 地 使 用 图 卷 积 [37] ， 多 层 感 知 器（MLP）[8，44]和UV映射卷积[28，31]产生了详细的几何学，但网格受到两个基本限制：固定拓扑和模板注册的要求。这限制了它们对超出预定义模板的服装样式的泛化，并且使得难以获得各种服装类别的共同表示。尽管最近的工作提出了修改网格连接的自适应模板[42，66]，但当涉及复杂的服装几何形状时，将训练数据配准到网格模板的需求另一方面，神经隐式表面[11，38，43]不需要任何预定义的模板，具有表面拓扑结构的灵活性，并且最近已经成为一种有前途的方法。10976重建选择[7，24，25，47，53，54，64，65]和建模[10，12，14，39，41，55] 3D人体形状尽管它们能够处理不同的服装拓扑结构，但现实地表示日常服装中经常存在的薄结构仍然是一个公开的挑战此外，再-表1：通过服装空间泛化分类的服装/穿着衣服的人的数据驱动模型。[13]第二十三话，我是你的朋友。[31]第三十六话：从隐式函数构造显式表面相对于分辨率花费三次时间，这限制了它们的许多实际应用。特定装备[40]第四十四章：我的天[56]第五十五章：你是我的女人Sizer [58]，Wang [61]，Yang [62].点云是另一种经典的3D表示，它支持任意拓扑结构以及薄结构。超越生成稀疏点集的先前工作[1，17，32]，最近的方法[4，15，16，21]使用深度学习来生成具有一组曲面片的结构化点云。利用补丁正则化，SCALE [36]提出了一种铰接的密集点云表示来对服装变形进行建模。然而，基于块的点云经常遭受块之间的重叠[21]或分离[36]，这降低了几何保真度和视觉质量。我们的模型，POP，遵循这些方法的精神来生成一个密集的，结构化的点云，但是，与以前的工作相比，我们不赞成补丁的概念，而是从细粒度的本地功能解码密集的点得到的穿着衣服的人类模型显示出高的几何保真度，对拓扑变化是鲁棒的，并且推广到各种服装风格。服装造型空间。我们将现有的衣服或穿着衣服的身体模型分为三个层次的提高泛化能力，总结在表。1.一、请注意，用于穿着衣服的人体重建的非参数模型[53，54，65]不在本分析的范围内。特定装备。 该类中的方法需要训练 每个服装实例的单独模型[13，23，31，36，40，55，56，62]或类别（例如，所有短袖T-衬衫）[22，44，58，61]。中基于网格的方法类别[13，22，31，40，44，58，62]，此特征源于需要手动定义网格模板：固定网格拓扑基本上禁止了对不同装备类别（例如，从裤子到裙子）。然而，这些方法可以处理模板定义的类别中的size [22，58]或style[44，61无模板方法[36，55]需要为每个服装训练单独的模型，即固有的、依赖于姿态的形状信息被存储在模型参数中;因此，对看不见的服装的测试时间概括受到限制。多功能装备。将多个预定义的网格模板与多头网络或服装分类器相结合，MGN模型[6]，BCNet [26]和DeepFashion3D [66]可以从图像中重建各种服装中的人类本着类似的精神，CAPE [37]使用预先标记的one-hot向量进行服装类型调节，并可以使用单个模型从四个常见类别中生成新服装。虽然为多个服装训练单个模型利用了训练数据中的互补信息，但这些方法[26]第27话：你是谁？[66]第66话：我的世界任意装备[12]，[13]，[14]，[15]，[16].没有显示出处理超出预定义类别的未看见的服装的能力。任意装备。为了克服网格的固定拓扑结构所带来的限制，最近的工作选择了其他表示，可以统一不同的服装类别和类型。Shen等人。[57]使用适用于任意布料类别的2D缝纫图案图像然而，最终的3D服装形状用单个流形网格表示，该流形网格不足以表现真实世界服装的复杂性和多样性。使用神经隐式表面，SM-PLicit [12]学习跨多个类别的服装的拓扑感知生成模型，并显示它们之间的连续插值。然而，服装几何形状往往是笨重的并且缺乏细节。相比之下，我们的POP模型忠实地产生各种服装的几何细节，可以推广到看不见的服装，并展示了国家的最先进的性能服装空间建模。3. 方法我们的目标是跨多个服装和主题学习人体上的高保真姿势依赖服装变形的单个统一模型。我们首先介绍了一个富有表现力的基于点的表示，它保留了几何细节，并灵活地模拟了各种拓扑结构（第2节）。第3.1节）。使用此，我们建立了一个交叉服装模型，该模型由一个新的几何特征张量（Sec. 3.2）。如示于图在图2中，给定未穿衣的身体，模型通过基于局部姿势和几何特征预测来自身体表面的位移场来输出3D穿衣的身体。经过训练的模型可以拟合到先前看不见的服装中的人的扫描，并且该扫描可以用姿势依赖的变形来动画化（第二节）。3.3）。3.1. 用点云基于点的表示[20，36]具有拓扑灵活性和快速推理速度，使其优于网格或隐式函数，用于建模关节人类。在这项工作中，我们制定了一个结构化的点云表示建模三维穿着人类通过学习从二维流形映射到三维变形。10977·我·我 我最近分配服装对个体体型的图2：POP概述。给定一个摆好姿势但未穿衣服的身体模型（可视化为蓝色2D轮廓），我们在UV位置图I上记录其表面点的3D位置pi，并将其编码为姿势特征张量P。服装几何特征张量G是与P像素对齐的可优化变量，并且以自动解码器方式学习每套服装。2D图像平面坐标ui描述身体表面流形上的点的相对位置。形状解码器查询这些位置并基于点的局部姿态和几何特征来预测位移向量ri类似于AtlasNet [21]的形式：（一）体基点R=f（u;z）：R2×RZ→R3，（1）查询点其中ri是位移向量，fw（）是具有权重w的多层感知器（MLP），ui是2D参数化表示其在身体表面上的相对位置的点i的局部特征码，并且zi是包含形状信息的点我们在两个关键方面偏离了其他最近的基于点的人类表示：1）我们使用细粒度的每点局部特征Z1，而不是先前工作中的单个全局特征[20，21]或每片特征[36]。2）我们预测了规范姿势身体顶部的服装变形场，而不是绝对的欧几里得点坐标[20]或局部补丁变形[36]。这两种设计选择都导致表示能力的显著改善，如下所述。连续局部点要素。 最近的工作显示了使用局部潜在形状代码优于全局代码的优点：这两个都是神经隐式表面[9，19，27，46]和点云[36]。从局部码解码形状显著地改善了几何质量。特别是对于人类建模，SCALE[36]成功地利用局部特征来表示姿势感知服装形状，并证明了相对于使用单个全局特征代码[20]的现有工作的显著定性改进。然而，SCALE中的局部特征仍然离散地分布在身体流形上的一组预定义基点上。每个特征码被解码成输出空间中的邻域（“补丁”）中的这等同于特征的最近邻（在身体流形上）分配，图。第3（a）段。这种离散特性限制了几何形状的质量如图3的[36]我的第一个。在图4.1中，面片通常彼此隔离，导致不均匀的点分布，因此网格重建质量差。双线性插值图3：身体基点之间的身体流形上的区域的点特征分配的2D图示。颜色表示特征。（a）SCALE [36]使用的最近邻分配导致“不完整”预测。（b）我们的双线性特征插值导致流形上平滑变化的特征。为了解决这个问题，我们以两种方式使局部特征更加细粒度。首先，我们在身体流形上定义一组更密集的基点U1以及它们的局部特征在实践中，这相当于简单地增加身体UV图的分辨率（参见第2节）。3.2）。其次，我们进一步将特征扩散到身体表面上：对于身体表面上的查询坐标，我们通过从其4个最近的基点双线性插值特征来计算其特征，图。3 .第三章。结果，通过用身体表面上的任何点查询解码器fw（），可以以任意高的分辨率来评估网络输出，从现在起，我们也用符号的轻微滥用将其表示为ui地方转型。方程中的服装变形矢量ri（1）被预测在标准姿势中的身体的顶部。因此，形状变化的大部分由身体关节来解释，使得网络可以专注于对残余形状进行建模。请注意，与服装的网格顶点偏移表示不同[6，37，49]，我们的公式不假设恒定的拓扑结构，因此可以对各种服装样式（如裤子和连衣裙）进行建模。为了在姿态空间中重建穿着的身体，我们根据由拟合的身体模型给出的ui处的变换矩阵Ti来变换ri点位置姿势编码器.中性体型自动解码形状解码器损失可训练网络可优化的几何特征已知刚体变换（W10978∈我我我我我∈我我∈我LLMN2我我MJ我J 2N我我J 2我我·∈∈····从服装的身体在构成的空间，然后给出：xi=Ti·ri+pi，（2）其中pi是ui在所述摆好姿势的未穿衣身体上的3D欧几里得坐标注意，我们对fw（）的最终层进行分支，使得它还预测每个点的法线n（xi），其用Ti的旋转部分进行变换。由于我们的局部点特征在身体表面上是连续的，因此我们还执行重心插值以获得连续变化的Ti，其方式与LoopReg [5]相同。3.2. 单模型利用我们的结构化点云表示，我们现在构建了一个系统，该系统使用单个模型对来自不同类别、不同形状和拓扑、穿着不同体型的各种服装的姿势相关变形进行建模。这是通过引入一个新的几何特征张量。实际上，我们在等式中分解局部特征zi（1）转化为姿势zP和服装几何形状zG，如图2所示。2，下面详细介绍。身体形状不可知的姿势编码。 我们首先用学习的局部身体姿势特征zP来调节我们的网络，使得输出的服装变形是姿势感知的。我们采用了基于[36]中使用的姿势身体的UV位置图的方法，因为它比传统的姿势参数条件[37，44，62]显示出更好的姿势生成。如图如图2所示，UV位置图 IRH×W×3是人体模型的2D参数化，其中每个有效像素对应于所设定的身体表面上的点。像素的2D图像平面坐标描述其流形位置：ui=（u，v）i。像素值记录点在R 3中的位置：pi = Iu。UNet [52]将I编码为姿态特征张量PRH×W×64，其中H，W是特征张量的空间维度，并且来自P的每个“像素”是64维姿态特征码：zP= PuR64。由于UNet的接收场，所学习的姿态特征可以在必要时包含来自较大邻域的全局姿态信息UV位置贴图自然包含有关体形的信息。为了推广到不同的主题，我们使用中性形状的姿势编码。而且，预测的服装变形被分别添加到每个对象几何特征张量。在大多数基于学习的、特定于服装/对象的穿衣身体模型[36，37，55，62]中，服装形状信息包含在参数中。训练的形状解码器网络的节点，将generalization限制到看不见的服装。跨装需要什么以便它可以集中于对形状如何随姿势变形进行建模。为此，我们建议用几何特征张量GRH×W×64显式地调节形状解码器，图12。二、几何特征张量遵循局部的精神，并且与姿态特征张量像素对齐它的每个“像素”表示身体点上的局部形状特征：zG=GuR64.与姿势特征不同，几何特征是在自动解码[43]中学习的。即，它们在训练期间被更新，使得服装几何形状的最佳表示由网络本身发现。重要的是，我们在所有训练样本中为每 件衣服使用一致的G （在不同的 姿势中）。以这种方式，G被强制为每个服装的几何形状的姿势不可知的规范表示我们的几何特征张量在许多基于网格的服装模型中扮演着与预定义服装模板类似的角色[23，44，56，59]。通过对几何特征的自动解码，摆脱了对人工模板定义的依赖。更重要的是，我们的解码器网络和神经几何特征是完全不同的。这使得能够在测试时推广到看不见的服装，这是通过优化G以适合目标穿着的身体扫描来完成的。参见第3.3详情共享服装形状解码器。利用引入的局部姿态和几何特征，我们可以重写Eq. （1）以更具体的形式：ri=fw（[ui，zP，zG]），其中[，，]表示级联。当针对每个服装优化zG并且从每个姿势获取zP时，对于所有服装和姿势的整个集合共享fw（）通过对许多服装和姿势进行训练，解码器学习服装变形的常见特性，利用该特性，解码器可以在测试时对看不见的服装中的扫描进行动画化，如下所述3.3. 训练和推理损失函数。 我们用多主题和服装数据训练POP。在训练期间，通过最小化损失函数来优化UNet姿态编码器、服装形状解码器和几何特征张量GLtotal=λdLd+λnLn+λrdLrd+λrgLrg，（3）其中λ首先，采用归一化倒角距离d来惩罚生成的点云X与地面实况表面的采样点集Y之间的平均双向点对点距离L2：1Σmin¨x−y¨2+1Σmin¨x−y¨，（4）i=1j=1建模是一种机制，它将内在的、姿态的、在来自解码器的穿着衣服的人的依赖形状中其中M、N分别是来自所生成的点云和地面实况表面的点的数量10979LM¨−¨1L·LMC2·Ln=Mn（xi）n（argmind（xi，yi）） ，（5）yj∈YM我2CM2¨正态损失η是每个生成点上的正态预测与其来自地面实况点集的最近邻居之间的平均L1差异数据集。我们在捕获的穿着衣服的人类数据集CAPE[37]和我们称为ReSynth的新合成数据集上训练和评估我们的方法和基线。从CAPE数据集，我们使用三个主题（00096，00215，03375）1Σ¨i=1包含最丰富的服装变化（14套服装总计）来比较不同方法的表示能力。合成ReSynth数据集是使用其中n（）表示给定点的单位法线一个L2正则化rd阻止预测点位移非常大。类似地，项rg惩罚向量化几何特征张量的L2范数以正则化服装形状空间：服装形状、风格和姿势的变化更大。我们与专业服装设计师合作，创建3D服装设计，忠实地反映了一组商业3D服装人体扫描（Renderpeople [51]）中的服装，产生了24套服装，包括裙子和夹克等具有挑战性的案例。然后我们用物理模拟把布料挂起来-Lrd=1Σ¨r¨2，Lrg=1Σ¨G¨，（6）i=1m=1在AGORA数据集的3D身体上执行[45]，我们制作动画以生成许多姿势。数据集的详细信息见SupMat.，我们会发布ReSynth其中C是训练中看到的服装数量。SupMat中提供了详细的模型架构、超参数和训练过程推理：扫描动画。在测试时，POP可以生成先前看到和看不见的服装的看不见的姿势对于看到的服装，我们使用其从训练中优化的几何特征张量，并通过网络的简单前向传递来推断看不见的姿势上的服装为了在穿着看不见的衣服的人的扫描Y上进行测试，我们首先固定UNet姿态编码器和形状解码器的权重，并且优化几何特征张量，使得针对扫描的总损失最小化：G=argminLtotall（Y ）。（7）在wards之后，估计的G被固定，然后被处理为在所看到的服装的情况下。与其他基于点的人体模型一样，POP生成的点云可以使用经典工具（如泊松表面重建（PSR）[29]）进行网格化，也可以使用最近的基于点的神经渲染技术[2，30，50]直接渲染成逼真的图像。然而，在这项工作中，我们不依赖于神经渲染来修补点之间的间隙。相反，我们使用一个简单的基于surfel的渲染器来显示定性结果，以更直接地突出由POP生成的平滑、高分辨率的人类点云的几何特性。4. 实验由于缺乏可比较的现有工作POP的两个关键功能，即交叉服装建模和单扫描动画，我们首先评估其代表性的权力上一个简单但相关的任务：服装特定的形状建模，并与两个国家的最先进的方法（第二。4.1）。然后，我们讨论了我们的交叉装备学习公式的有效性（第二节）。4.2）并演示单扫描动画（第4.3）。用于研究目的。基线。为了评估我们的模型的表示能力，我们首先比较 了 两 种 最 近 的 姿 势 相 关 的 人 体 形 状 建 模 方 法（Sec.[14]和SCALE [36]。为了评估我们的交叉装备建模公式的有效性4.2），我们比较我们模型的两个版本：每个服装训练和交叉服装模型训练来自所有服装的数据，两者都使用相同的架构。对于动画化不可见扫描（第4.3），我们使用SMPL [34]身体模型与经典的线性混合蒙皮进行定性比较。指标. 我们使用倒角距离（以m2为单位，等式1）定量地评 估 每 种 方 法 。 （ 4 ） ） 和 L1 正 常 离 散 度 （ Eq.（5）），在由我们的方法和SCALE生成的50K点上计算对于隐式表面基线NASA，从使用Marching Cubes[35]提取的表面中采样用于评估的点。为了评估生成结 果 的 视 觉 质 量 ， 我 们 对 Amazon Mechanical Turk（AMT）进行了大规模的用户研究，并报告了支持我们方法结果的用户百分比用户研究的详细信息见SupMat。4.1. 表示能力选项卡. 2总结了从不同的方法重建姿态相关的服装形状的数值结果，与看不见的运动序列上看到的服装进行了测试。由于形状建模的难度在不同的服装类型（例如，宽松夹克的变形比紧身T恤的变形复杂得多），我们报告了三种类型的统计数据，以全面反映每个模型的性能：来自所有装备的所有测试示例的平均误差、每装备计算的平均误差的中值（在表1中表示为“装备中值”）。2），以及每服装最大误差（与 SoTA 比 较 Tab的 上 部 。 2 显 示 了 与 NASA [14] 和SCALE [36]的比较NASA10980表2：对来自捕获的CAPE数据集和我们的ReSynth数据的看不见的测试序列的姿势相关变形预测的结果。最好的结果用黑体字表示。CAPE数据重新合成数据方法倒角-L2（×10−4m2）↓正常差异 （×10−1）↓倒角-L2（×10−4m2）↓正常差异（×10−1）↓表示具有每个身体部位定义的铰接占用功能的集合的身体形状。由于它需要预先计算占用值以用于训练，因此它通常不适用于我们的合成数据，其通常不包含防水网格。SCALE生成一个由穿着衣服的身体组成的点云，其中的点被分组到局部面片中。值得注意的是，这两种方法都需要为每个装备训练单独的模型。在相同的服装特定训练设置下，POP在所有指标下我们进一步进行AMT用户研究，以评估感知质量，比较POP并排对最强的基线，规模。在CAPE数据中，89.8%的被访者认为POP的结果比SCALE（10.2%）“视觉质量更高”;而在ReSynth上，84.8%的用户更喜欢POP而不是SCALE（15.2%）。感知质量的差异可以在图中看到。4.第一章所有方法都提供了明显的姿势依赖效应。然而，NASA在单独建模的身体部位之间存在非平滑过渡，并且无法处理薄结构和开放表面，例如ReSynth中的裙部。另一方面，SCALE产生具有局部细节的平滑全局形状，但是补丁之间的隔离相比之下，由POP生成的密集点云表现出连贯的整体形状和富有表现力的局部细节。这说明了我们的连续局部点特征的优点，相对于离散定义的补丁功能。4.2. 交叉服装建模POP的一个关键特征是能够使用单个模型处理不同类型的多套服装，而无需预先定义服装模板。如Tab.所示。2，我们用所有受试者和服装训练的交叉服装模型（尽管如此，在这两个数据集上，交叉服装模型始终优于上面分析的两个基线CAPE数据的结果揭示了交叉服装建模的优势：不同之间的信息美国航天局[14]比例尺[36] Meshed我们的Meshed[36]第三十六话图4：与SoTA在CAPE（上2行）和ReSynth（下2行）数据上的比较。POP（交叉服装模型）的密集点云是干净的，并保留了局部细节，而基线方法受到文物。请注意，点云根据预测的法线进行着色，并使用曲面进行渲染[48]。在彩色屏幕上放大观看效果最佳。但是可以共享相似的装备样式。CAPE数据集主要由简单且相似的服装组成，例如长/短T恤和裤子，但不同主体的动作不同。直观地说，训练a平均装备中位数衣服Max是说服装服装中位数最大值是说衣服中值装备平均值最大值衣服中值衣服Max美国航天局[14]6.087 1.19032.351.2751.277 1.497--–--比例尺[36]0.721 0.6890.9711.1681.170 1.3351.4910.6808.451 1.0411.0541.321我们的，每件衣服0.639 0.6070.8311.1461.150 1.2931.3560.6517.339 1.0131.0061.289我们的，多0.592 0.5500.7571.1151.116 1.2561.3660.6357.386 1.0221.0371.2801/2数据0.598 0.5600.7651.1221.127 1.2571.4050.6657.414 1.0321.0421.2991/4数据0.621 0.5860.8411.1341.142 1.2711.4060.6747.469 1.0321.0431.2961/8数据0.662 0.6230.9921.1651.176 1.3101.4900.7207.859 1.0501.0561.32610981交叉服装模型导致不同服装之间的姿态空间中的相互数据增强相比之下，对于具有很大变化的几何形状的所有装备类型，用一组一致的运动序列因此，装备间的知识共享是有限的，导致类似的性能之间的每装备和跨装备模型。针对有限数据的稳健性。在Tab的下部。2.我们评估了我们的交叉服装模型的性能，该模型是用从整个训练集中采样的子集训练的。即使只有来自每个服装的1/4的数据，我们的交叉服装模型也可以与使用完整数据训练的SCALE的特定于服装的模型相媲美。4.3. 单扫描动画一旦经过训练，我们的交叉服装POP模型可以适合于具有看不见的服装的看不见的主体的单次扫描，然后使用姿势依赖的服装变化进行动画，如第2节所述。三点三值得注意的是，这是一个非常具有挑战性的任务，因为它需要在服装形状空间和姿势空间两者中的泛化。图5定性地比较了我们的模型（在CAPE数据上训练）和经典的线性混合蒙皮（LBS）技术，该技术使用SMPL模型[34]来用看不见的运动动画给定的看不见的扫描在这里，我们使用CAPE数据集中提供的网格中的采样点作为目标扫描。由于LBS仅使用身体部位的简单刚性变换，因此它不能产生复杂的姿势相关形状变化。相比之下，POP产生合理而生动的服装变形，如掀起的下摆。在图6中，我们部署了POP（在ReSynth数据上训练），以分别对来自ReSynth的不可见扫描和来自真实世界捕获的扫描进行动画制作[51]。请注意，由于我们的合成训练数据和捕获的测试数据之间的域差距，后一个测试更具挑战性。POP在ReSynth测试示例上生成高质量的服装几何形状，并为具有挑战性的真实世界扫描生成合理的动画，这为从“一次性”观察中自动创建3D化身开辟了有前途的新方向5. 结论我们已经介绍了POP，一个密集的，结构化的点云形状表示的人在服装。无模板、几何表现力和拓扑灵活性，POP模型用单个模型为人类穿上各种服装风格，产生高质量的细节和逼真的姿势依赖变形。所学习的POP模型还可以用于对来自看不见的主体和衣服的单个人体扫描进行动画化我们对捕获数据和合成数据的评估表明了连续局部特征的有效性以及交叉服装模型相对于传统主题特定模型的优势使用LBS扫描适合POP动画与POP图5：使用POP和基于LBS的方法的动画比较。来自CAPE数据集的不可见扫描在不可见运动上被动画化。使用POP扫描拟合的POP图6：来自ReSynth的未见过示例的动画（上排）和具有未见过运动的真实世界捕获（下排）。POP假设给定衣服下的最小闭合身体，并且训练扫描没有噪声或丢失数据。处理部分的、有噪声的扫描并将其与自动身体形状和姿势估计[5，60]相结合是全自动扫描动画的有前途的未来方向。我们使用UV贴图进行身体姿势调节有时会导致输出中的“接缝”（请未来的工作应探索更连续的参数化的人体流形。此外，为了简单起见，我们在这里排除了服装变形对体型的依赖性。如果有足够的训练数据，这将很容易通过在UV位置图中用真实形状替换中性形状确认和披露：Q。Ma部分由DFG（德国研究基金会）-276693517 SFB 1233资助，并由Max Planck ETH Center forLearning Systems 提 供 支 持 。 MJB 的 利 益 冲 突 可 在files.is.tue.mpg.de/black/CoI/ICCV2021.txt上找到。10982引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.学习3D点云的表示和生成模型。在Proceedings of Machine Learning and Systems（ICML）中，第40-49页。PMLR，2018。二、三[2] Kara-Ali Aliev ， Artem Sevastopolsky ， Maria Kolos ，DmitryUlyanov和Victor Lempitsky。基于神经点的图形学。在欧洲计算机视觉会议（ECCV）的会议记录中，第696-712页，2020年。6[3] IlyaBaran和J ov anPop o v ic'。自动索具和-3D人物的模拟。ACM Transactions on Graphics（TOG），26（3）：72-es，2007. 1[4] Jan Bednaˇr´ık，Shaifali Parashar，Erhan Gundogdu，MathieuSalzmann和Pascal Fua.通过学习可微表面表示的形状重建。IEEE Conf. 计算机视觉和模式识别（CVPR），第4715-4724页，2020年。二、三[5] 巴拉特·拉尔·巴特纳加尔 克里斯蒂安·斯明基塞斯库Theobalt，and Gerard Pons-Moll. LoopReg：隐式表面对应、姿势和形状的自监督学习，用于3D人体网格配准。神经信息处理系统进展（NeurIPS），第12909-12922页，2020年。五、八[6] BharatLalBhatnagar ， GarvitaTiwari ， ChristianTheobalt，和杰拉德·庞斯-莫尔多服装网：学习从图像中打扮3D人物。在IEEE/CVF计算机视觉国际会议（ICCV）的会议记录中，第5420-5430页，2019年。二、三、四[7] Aljaz Bozic，PabloP alafox，Michael Zollh oüfer，JustusThies，安吉拉·戴和马蒂亚斯·尼斯纳用于全局一致非刚性重建的神经变形图。IEEE Conf.计算机视觉和模式识别（CVPR），2021年。3[8] Andrei Burov、Matthias Nießner和Justus Thies。动态人体表面功能网络。在IEEE/CVF计算机视觉国际会议（ICCV）的论文集，2021。2[9] 作者：Rohan Chabra Lenssen Eddy Ilg Tanner SchmidtJulian Straub，Steven Lovegrove和Richard Newcombe。深局部形状：学习局部sdf先验以进行详细的3D重建。在欧洲计算机视觉会议（ECCV）的会议记录中，第608-625页，2020年。4[10] Xu Chen ， Yufeng Zheng ， Michael J Black ， OtmarHilliges，和安德烈亚斯·盖格SNARF：用于动画非刚性神经隐式形状的可区分向前蒙皮。在IEEE/CVF计算机视觉国际会议（ICCV）的论文集，2021。3[11] Julian Chibane、Aymen Mir和Gerard Pons-Moll。神经用于隐式函数学习的无符号距离字段在神经信息处理系统（NeurIPS）的进展中，第21638-21652页2[12] EnricCorona，AlbertPumarola，GuillemAlen ya`，Ger-ardPons-Moll，andFrancescMoreno-Noguer.SMPLicit：面向穿着衣服的人的拓扑感知生成模型。IEEE Conf.计算机视觉和模式识别（CVPR），第11875-11885页，2021年。3[13] Edilson De Aguiar，Leonid Sigal，Adrien Treuille，andJes-sica K Hodgins.为实时服装提供稳定的空间。在ACM Transactions on Graphics（TOG），第29卷，第106页。ACM，2010年。3[14] Boyang Deng，JP Lewis，Timothy Jeruzalski，Gerard Pons-Moll ， Geoffrey Hinton ， Mohammad Norouzi ， andAndrea Tagliasacchi.神经关节形状近似。在欧洲计算机视觉会议（ECCV）的会议记录中，第612-628页，2020年。三六七[15] Zhantao Deng ， Jan Bednaˇr´ık ， Mathieu Salzmann ， andPascal呸更好的参数曲面重建的补丁缝合在3D视觉国际会议（3DV），第593-602页二、三[16] Theo Deprelle ， Thibault Groueix ， Matthew Fisher ，Vladimir金布莱恩·罗素马修·奥布里学习用于3D形状生成和匹配的基本结构在神经信息处理系统（NeurIPS）的进展中，第7433-7443页二、三[17] Haoqiang Fan，Hao Su，and Leonidas J Guibas. 点集图10示出了用于从单个图像进行3D对象重建的生成网络。IEEE Conf.计算机视觉和模式识别（CVPR），第2463-2471页，2017年。二、三[18] 安德鲁·冯丹·卡萨斯阿里·夏皮罗 头像重置-使用可变形模型进行装配和自动装配在2015年第8届ACM SIGGRAP