基于点的人体服装建模方法

14718基于点的人体服装Ilya Zakharkin1，2*，Kirill Mazur1*，Artur Grigorev1，VictorLempitsky1，21 Samsung AI Center，莫斯科2斯科尔科沃科学技术学院（Skolkovo Institute of Science andTechnology），莫斯科图1：我们的方法使用点云（顶行;随机点颜色）。点云是通过将SMPL网格（以灰色示出）和潜在服装代码向量传递通过预先训练的深度网络来获得的此外，我们的方法可以使用基于神经点的图形（底行）对服装外观进行建模。服装外观可以从视频序列中捕获，而单个帧足以用于基于点的几何建模。摘要提出了一种基于点云的人体服装建模方法。在这种方法中，我们学习了一个深度模型，该模型可以预测各种服装、各种人体姿势和各种人体形状的点云。值得注意的是，各种类型和拓扑的装备可以由同一模型处理。使用学习的模型，我们可以从一张图像中推断出新服装的几何形状，并以新的姿势对新的身体进行服装重定位。我们补充我们的几何模型与外观建模，使用点云几何作为几何脚手架，并采用基于神经点的图形来从视频中捕获服装外观并重新渲染所捕获的服装。我们验证了几何建模和外观建模方面的建议的方法对最近提出的方法，并建立基于点的服装建模的可行性。1. 介绍建模逼真的服装是一个很大的一部分，在3D中的人的真实感建模的overarch- ing任务其即时-14719最新的实际应用包括虚拟衣服试穿以及增强用于远程演示系统的人类化身的真实性。建模服装是困难的，因为服装在几何形状（包括拓扑变化）和外观（包括纺织品图案、印花以及复杂的布料反射率的广泛变化）上具有广泛的变化服装和人体之间的交互建模是一项特别艰巨的任务。在这项工作中，我们提出了一种新的方法来建模服装（图1）的基础上点云。使用最近引入的模拟服装的合成数据集[7]，我们学习了不同人类服装的联合几何模型。该模型描述了一个特定的服装与潜在的代码向量（服装代码）。对于给定的服装代码和给定的人体几何形状（我们使用最流行的SMPL格式[34]），深度神经网络（覆盖网络）然后预测点云，该点云近似覆盖在身体上的服装几何形状。我们的模型的主要优点是它能够再现不同的服装与不同的拓扑结构，使用一个潜在的空间的服装代码和一个单一的覆盖网络。 这是可能的，因为点云表示的选择和使用拓扑无关，点云特定的损失在学习的联合模型。在学习之后，模型能够概括为新的服装，从数据中捕获它们的几何形状，并将获得的服装覆盖使用我们的模型，获取服装几何形状可以从一个单一的图像。我们扩展我们的方法超越几何采集，包括外观建模。在这里，我们使用可微分渲染[36，51，31]和基于神经点的图形[2，40，60]的思想给定一个人穿着的服装的视频序列，我们使用连接到点云中的点的神经描述符和渲染（解码器）网络的参数来捕获服装的光度特性。神经点描述符和渲染网络（其捕获光度特性）的拟合与服装代码（其捕获服装几何形状）的估计在同一优化过程中联合执行。试穿后，服装可以在新的身体和新的姿势上以逼真的方式转移和重新渲染。在实验中，我们评估我们的几何模型的能力，以捕捉新的服装使用点云的可变形的几何形状。我们进一步测试了我们的完整方法的能力，以从视频中捕获服装几何形状和外观，并将学到的服装重新渲染到新的目标。实验比较表明，基于点的方法的可行性服装建模。我们将在https://saic-violet.github.io/point-based-clothing/上发布我们的代码和模型。2. 服装造型建模服装几何体。许多现有方法使用固定拓扑的一个或多个预定义服装模板来对服装几何形状进行建模。DRAPE [1]是早期的作品之一，它从基于物理的模拟（PBS）中学习，并允许每个学习的服装网格的姿势和形状变化。较新的作品通常以SMPL [35]网格的偏移（位移）形式表示服装模板ClothCap [48]采用了这种技术，并捕获了从4D扫描的新数据集中学习到的更细粒度的细节DeepWrinkles [30]还解决了使用条件GAN生成的法线贴图进行GarNet [15]结合了双流体系结构，使得在几乎与PBS匹配的真实感水平上模拟服装网格成为可能，同时速度快了两个数量级。TailorNet[46]遵循与[48，8]相同的基于SMPL的模板方法，但同时将服装变形建模为姿势，形状和风格的函数（与之前的工作不同）。它也显示出比[15]更快的推理速度。CAPE系统[38]使用基于图形ConvNet的生成形状模型，该模型能够在3D网格中调节、采样和保留精细形状细节其他几个作品恢复服装几何形状，同时与全身网格从图像数据。BodyNet[57]和DeepHuman [66]是基于体素的方法，其从单个图像直接推断体积着装体型在SiCloPe [44]中，作者使用了类似的方法，但合成了主体的轮廓，以重新覆盖更多的细节。HMR [26]利用SMPL身体模型从输入图像中估计姿势和形状。一些方法，如PIFu [53]和ARCH[19]，采用端到端隐式函数进行服装人体3D重建，并且能够推广到复杂的服装和头发拓扑结构，而PIFuHD[54]通过使用两级架构恢复更高分辨率的然而，这些SDF方法只能表示闭合的连接表面，而点云可以表示任意拓扑。MouldingHumans [12]从估计的“可见”和“隐藏”深度图预测最终表面MonoClothCap[61]在基于视频的时间相干动态服装变形建模中展示了有希望的结果。最近，Yoon et al.[64]为基于模板服装网格重定目标设计相对简单但有效的流水线。我们的几何建模与以前的作品不同，通过使用不同的表示（点云），这使我们的方法具有拓扑灵活性，能够将服装与身体分开建模，同时还为神经渲染的外观建模提供几何支架14720{我∈我∈JJ我×→我服装造型外观。大量的工作集中在绕过3D建模的服装的直接图像到图像的传输因此，[23，16，58，62，21]解决了将期望的服装物品转移到给定其图像的人的对应区域上的任务。 CAGAN [23]是提出利用图像到图像条件GAN来解决此任务的首批作品之一。VITON[16]遵循图像生成的思想，并使用非参数几何变换，这使得所有过程都是两阶段的，类似于SwapNet [50]，但任务语句和训练数据不同。 CP-VTON [58]通过结合完全可学习的薄板样条变换进一步改进了[ 16 ]，随后是CP-VTON+ [42]，LA-VITON [22]，Ayush等人。[6]和ACGPN [62]。虽然上述作品依赖于预先训练的人类解析器和姿态估计器，但Issenhuth等人最近的工作[21]通过采用教师-学生设置来提取标准虚拟试穿流水线，实现了有竞争力的图像质量和显著的速度提高。由此产生的学生网络不调用一个昂贵的人类解析网络在推理时间。最近引入的VOGUE [32]训练姿势调节的StyleGAN2 [28]并找到潜在代码的最佳组合以产生高质量的试穿图像。一些方法利用2D和3D信息进行模型训练和推理。Cloth-VTON [41]采用基于3D的扭曲来真实地重定位2D布料模板。Pix 2Surf [43]允许数字映射tex-Proach将多边形人体网格建模与神经渲染集成在一起，因此服装几何形状和纹理都被编码到神经纹理中[56]。与[20]类似，我们的外观建模方法也依赖于神经渲染，但是我们对几何形状的处理更加明确。在实验中，我们与[20]进行了比较，并观察到更明确的几何建模的优势，特别是对于宽松的衣服。最后，我们注意到，与我们平行，SCALE系统[37]探索了非常相似的想法（基于点的几何建模及其与神经渲染的组合），用于从3D扫描中建模穿着衣服的人。3. 方法我们首先讨论了点云叠加模型。该模型的目标是使用点云捕获覆盖在具有不同形状和姿势的人体上的不同人类服装的几何形状。我们提出了一个潜在的模型，这样的点云，可以拟合到一个单一的图像或更完整的数据。然后，我们描述了点云叠加与神经渲染的组合，使我们能够从视频中捕捉服装的外观。3.1. 点云叠加学习模型。我们使用生成潜在优化（GLO）[10]学习模型。我们假设训练集具有N套服装的集合，并且将每套服装与d维向量z（服装代码）相关联。我们这样跑了-在线零售店服装图像的真实性到3D表面，虚拟服装项目的表面，从而实现实时的3D虚拟试穿。其他相关研究扩展了domly初始化z1，. . . ，zN i = l，. . . 、N.}，其中z是∈Z<$Rd对于所有单模板布料重定向到具有未配对数据的多服装着装[45]，生成穿着定制服装的高分辨率时装模特图像[63]，或编辑输入图像中的人的风格[17]。与参考的服装外观重定位方法相比，我们的方法使用明确的3D几何模型，而不依赖于固定拓扑的单独模板缺点是，我们的外观造型部分需要视频序列，而一些参考作品使用一个或几个图像。几 何 和 外 观 的 联 合 建 模 。Octo- pus [3] 和 Multi-Garment Net（MGN）[8]基于SMPL+D模型恢复有纹理的衣服体网格。后一种方法将衣服网格与在训练过程中，对于每一套服装，我们观察它的形状一系列不同的人体姿势。目标形状由一组几何形状给出。在我们的例子中，我们使用合成CLOTH3D数据集[7]，它以不同拓扑的网格形式提供形状。在该数据集中，每个受试者都穿着一套服装并执行一系列动作。对于对应序列中的每个帧j的每个服装i，我们从该服装的网格中采样点并获得点云xjX，其中X表示固定大小的点云空间（在我们的实验中使用8192）。我们将第i套服装的训练序列的长度表示为Pi。我们还假设人体网格sjS是给定的，并且在我们的实验中，我们使用SMPL [34]网格格式工作（因此S表示用于改变身体形状参数和身体姿势参数的SMPL网格的空间）。将所有这些放在一起，我们就得到了数据集身体网片，它能把{（zi，s，x）}i= l.. N，j=1.. P装备代码SMPL网格适合另一个主题。Tex2Shape [5]提出了一个有趣的框架，将形状回归任务转化为图像到图像的翻译问题。在[55]中，引入了基于学习的参数生成模型，其可以支持任何类型的服装材料、体型和大多数服装拓扑结构。最近，StylePeople [20] ap-和服装点云。由于我们的目标是学习预测新姿势和新身体形状的几何形状，因此我们引入覆盖函数G θ：ZSX，其将潜在代码和SMPL网格（表示裸体）映射到服装点云。这里，θ表示可学习的参数。我14721GloMLP编码器Adain云TransformerM x 3Σ功能然后，我们通过以下目标的优化来执行学习：0min1Σ1个Pi我L3D.Gθ（zi，sj），xjΣ（一）θ∈ΘN{z1，…zN}Pi=1我我j=1在（1）中，目标是训练集上的训练点云的平均重建损失。损失L3D因此是3D重建损失。在我们的实验中，我们使用近似的地球移动器请注意，由于这种损失测量点云之间的距离并忽略所有拓扑属性，因此我们的学习公式自然适用于学习不同拓扑的服装我们对我们的覆盖函数Gθ的参数和潜在的服装代码zi进行联合优化，所有i= 1，. . . 、N. 在[10]之后，为了规范该过程，我们在优化期间将装备代码裁剪到单位球因此，优化过程建立服装潜在代码空间和覆盖函数的参数。覆盖网络。我们将覆盖函数Gθ（z，s）实现为神经网络，该神经网络采用SMPL网格s并将该点云转换为服装点云。在过去的几年中，点云已经成为深度学习世界中的（几乎）在我们的工作中，我们使用最近引入的Cloud Transformer架构[39]，因为它能够处理各种点云处理任务。云Transformer包括块，每个块顺序地光栅化、卷积和去光栅化学习到的数据相关位置处的点云因此，云Transformer将输入点云（从SMPL网格导出，如下面所讨论的）变形为多个块上的输出点云X我们使用一个简化版本的云Transformer与单头块，以减少计算复杂度和内存需求。否则，我们遵循[39]中提出的用于基于图像的形状重构的生成器的架构，在它们的情况下，将点云（从单位球体采样）和向量（由图像编码网络计算）作为输入，并输出图像中描绘的形状的点云。在我们的例子中，输入点云和矢量是不同的，分别对应于SMPL网格和服装更具体地说，为了将SMPL网格输入到云Transformer架构中，我们首先删除与头部，脚部和手部相对应的网格然后，我们将剩余的顶点视为点云。为了使该点云致密化，我们还将SMPL网格边缘的中点添加到该点云。生成的点云（由SMPL网格塑造M x 3图2：我们的覆盖网络将身体点云（左）和服装代码（上）变形为适应身体姿势和身体形状的服装点云。并反映姿态和形状的变化）被输入到云Transformer中。在[39]之后，通过AdaIn连接[18]将潜在服装代码z输入到云Transformer中，AdaIn连接[ 18 ]调制光栅化-去光栅化块内的卷积映射。每个AdaIn连接的特定权重和偏置是通过感知器从潜在代码z预测的，这对于基于样式的生成器是常见的[27]。我们注意到，虽然我们已经使用（简化的）云Transformer架构获得了良好的结果，但在点云上操作的其他深度学习架构（例如[49 ]第49话可以使用我们还注意到，由覆盖网络实现的变形是强非局部的（即，我们的模型不简单地计算局部顶点位移），并且在服装和姿势上是一致的（图3）。估计装备代码。一旦覆盖网络在大型合成数据集上进行了预训练[7]，我们就能够对以前看不见的服装的几何形状进行建模。可以针对单个或多个图像进行拟合对于单个图像，我们优化服装代码z*以匹配图像中服装的分割掩码更详细地说，我们通过将给定的RGB图像通过Graphonomy网络[13]并组合对应于clothing的所有语义掩码来预测二进制服装掩码我们还使用SMPLify方法[9]将SMPL网格拟合到图像中的人。然后，我们最小化服装分割掩模和预测点云到图像上的投影之间的2D倒角损失投影考虑了SMPL网格对服装的遮挡（例如，当从前面看时服装的后部）。 在这种情况下，执行优化在服装代码Z上，同时覆盖网络的参数保持固定，以避免过拟合到单个图像。对于复杂的服装，我们观察到优化过程中的不稳定性，这通常会导致不期望的局部优化。N14722×--−不--t=1不Σ图4：我们使用基于神经点的图形来模拟服装的外观。因此，我们学习了一组神经感知描述符和渲染器网络，这些描述符和渲染器网络允许将服装点云的光栅化转换为其逼真的遮罩图像（右）。图3：覆盖网络的更多颜色编码结果每行对应于一个姿势。最左侧的图像显示了叠加网络的输入。其余列对应于三个装备代码。颜色编码对应于SMPL网格表面上的光谱坐标。颜色编码揭示了覆盖变换是明显非局部的（即，覆盖网络不简单地计算局部位移）。此外，颜色编码显示了跨覆盖网络输出的服装点云的类似部分之间的对应关系还介绍了具有可学习参数ψ的绘制网络Rψ。 为了在给定身体姿势s和相机姿势C的情况下获得不适合的现实渲染，我们然后首先计算点云Gθ（z，s），并且然后使用相机参数和神经描述符t[m]将点云光栅化在分辨率为W θ H的图像网格上作为第m我们将光栅化的结果（其是p通道图像）与指示非零像素的光栅化掩模连接，并且然后将它们处理（转换）成服装RGB彩色图像和服装掩模（即四通道图像）。极小值为了找到一个更好的最优值，我们从几个随机初始化z1*，. . . zT*独立地（在我们的实验中，使用T=4个随机初始化）。经过几个优化步骤后，我们取平均服装向量z¯=1不z*，然后继续优化在光栅化过程中，我们还考虑到SMPL网格的身体，不光栅化的点所包含的身体。对于渲染网络，我们使用轻量级的U-net网络[52]。基于视频的外观捕捉。我们的方法允许从视频中捕获服装的外观做我们进行两阶段优化。 在第一阶段，z¯untilconnv e rgence. 我们发现这个简单的技术-nique始终提供准确的装备代码。通常，我们在优化T假设的同时进行100个训练步骤。在求平均值之后，根据服装几何形状的复杂性，优化需要50 400个3.2. 外观造型基于点的渲染。服装建模的大多数应用超出了几何建模，并且还需要对外观进行建模。最近，已经表明点云为神经渲染提供了良好的几何支架[2，60，40]。我们遵循基于神经点的图形（NPBG）建模方法[2]将外观建模添加到我们的系统中（图4）。因此，当用服装代码z对某个服装的外观进行建模时，我们附加p维潜在外观向量T=t[1]，. . .，t[M]中的每一个映射到对其几何形状进行建模的点云中的M个点。我们优化服装代码，最小化点云投影和分割遮罩之间的倒角损失，如前一节所述。然后，我们联合优化潜在外观向量T1和渲染网络Φ的参数。对于第二阶段，我们使用（1）掩蔽的视频帧和由我们的模型渲染的RGB图像之间的感知损失[25]，以及（2）分割掩码和由渲染网络预测的渲染掩码之间的Dice损失。外观优化需要一个人的视频，其身体的整个表面在至少一个帧中可见。在我们的实验中，每个人的训练序列由600到2800帧组成整个过程在NVIDIA Tesla P40GPU上大约需要10个小时。在优化之后，可以针对任意姿势的SMPL身体形状渲染所获取的服装模型，提供RGB图像和分割掩模。M x 3光栅化渲染器networ kM x 16掩模预测光栅化掩模RGB预测伪彩色图像外观描述符14723∈⊆--4. 实验我们在我们的方法中评估几何建模和外观建模，并将其与现有技术进行比较。另请参阅项目第1页上的补充视频，以获得更方便的定性比较演示。数据集。我们使用Cloth3D [7]数据集来训练我们的几何元模型。Cloth3D数据集具有11.3K不同几何形状的服装元素，这些服装元素被建模为覆盖在8.5K SMPL身体上的网格，这些身体正在经历姿势变化。拟合使用基于物理的模拟。我们将Cloth3D数据集分成6475个训练序列和1256个保留序列，其中序列因SMPL参数和服装网格而不同。我们评估两个阶段-几何和外观-使用两个数据集的人类视频。这些数据集不包含3D数据，并且在覆盖网络训练期间未使用。[4]中呈现的PeopleSnapsot包含24个穿着不同衣服的人以A姿势旋转的视频。在服装方面，它缺乏人们穿裙子的例子，因此没有揭示我们方法的全部优点。我们还对[20]中介绍的AzurePeople数据集的子集进行了评估。这个子集包含了8个人的视频，他们穿着不同的复杂服装，从5个RGBD Kinect摄像头拍摄。对于这两个数据集，我们使用Graphonomy方法[13]和SMPL网格使用SMPLify [9]生成为了在我们的比较中运行所有方法，我们还预测了Openpose [11]关键点，DensePose [14] UV渲染和SMPL-X [47]网格。对于外观建模，我们遵循StylePeople我们注意到，在覆盖网络的训练期间没有看到两个评估数据集（PeopleSnap- shot和AzurePeople）。此外，在给定先前不可见的装备分段的情况下，获得本节中的比较和补充材料中的所有可视化。姿势和身体形状也是从保持集合中采样的，并且在它们的训练期间没有被覆盖网络和渲染网络通过这一点，我们强调了我们的方法推广到新的服装风格，新的身体姿势和新的身体形状的能力4.1. 覆盖网络为了在服装上建立几何先验，我们的叠加函数Gθ在合成Cloth3D数据集上进行了预训练。我们将其分为训练和验证部分，得到N=6475个训练视频序列。由于大多数后续帧共享相似的姿势/衣服几何形状，因此仅每第十帧被考虑用于训练。所述1https://saic-violet.github.io/基于点的服装我们的v Tex2Shape我们的v MGN我们的v OctopusPeopleSnapshot38.1% vs 61.9% 50.9% vs 49.1%47.8% vs 52.2%AzurePeople65.6% vs 34.3% 74.5% vs 25.5%73.7% vs 26.3%表1：用户研究的结果，其中用户比较了3D服装几何形状恢复（拟合到单个图像）的质量。我们的方法在具有较宽松服装的AzurePeople数据集上是首选的，而先前提出的方法更适合固定拓扑的较紧服装节中3.1，我们随机初始化z1，. . .，z N，其中对于数据集中的每个身份i，z i ZRd。在我们的实验中，我们将潜在代码维度设置为相对低至d=8，以便避免在随后的单图像形状拟合期间的过拟合（如在第2.1.1节中所描述的）。第3.1节）。我们将服装代码Z1馈送到由5个全连接层组成的MLP编码器以获得512维潜在表示。然后将其传递到CloudTransformer网络的AdaIn分支。对于姿势和身体信息，我们将手、脚和头部顶点移除后输入SMPL点云，参见图1。叠加网络输出具有8. 192次实验。我们选择近似的地球移动器虽然我们的预训练提供了关于连衣裙和裙子的表现力先验，但模型产生更紧服装的能力我们推测，这种影响主要是由Cloth3D紧身衣类别中对连身裤的高度偏见造成的。4.2. 恢复装备几何形状在这一系列的实验中，我们评估的能力，我们的方法，以恢复从一个单一的pho- tograph的装备几何形状我们将我们的基于点的方法与以下三种方法进行比较：1. Tex2Shape方法[5]预测纹理空间中SMPL网格顶点的偏移它非常适合PeopleSnapshot数据集，而不太适合具有裙子和连衣裙的AzurePeople序列2. Octopus工作[3]使用SMPL身体模型顶点的位移来重建具有头发和衣服的全身人类化身。尽管作者注意到它并不理想地适合于基于单个照片的重建。3. 多服装网络方法[8]建立在Octopus基础上，并将上部和下部服装预测为单独的网格。它提出了一个虚拟的衣柜预先安装的服装，也能够适应新的服装从一个单一的形象。14724∼训练图像Tex2ShapeMGN章鱼我们的（pcd）我们使用服装网格的投影遮罩来拟合服装几何。 我们的方法更好地适应服装几何形状，在验证姿势（0。00121 vs 0. 0025）在200个随机选择的样品上。图5：我们示出了拟合到单个帧的验证姿势中的预测几何形状（左）。对于我们的方法（右），几何体由点云定义（如图所示黄色），而对于Tex2Shape和MultiGarmentNet（MGN），输出是基于网格的。 我们的方法能够重建衣服，而其他方法失败（底部行）。注意，我们的方法也能够重建更紧密的拟合（顶行），尽管Tex2Shape及其基于位移的方法在这种情况下实现了更好的结果。我们注意到，所比较的系统使用不同的格式来恢复衣服（点云，顶点偏移，网格）。此外，它们实际上解决 了 略 有 不 同 的 问 题 ， 因 为 我 们 的 方 法 和 Multi-garment net恢复布料，而Tex 2Shape恢复包括布料、身体和头发的网格但是，所有三个系统都支持重定向到新姿势。因此，我们决定通过一项用户研究来评估这三种方法的相对性能，该研究评估了服装重定向的现实性。我们向用户呈现了三组图像，其中中间的图像显示了源照片，而侧面的图像显示了两种比较方法的结果（以相同新姿势的阴影网格渲染的形式）。表1中示出了在1.5k个用户比较上聚集的这种成对比较（用户偏好）的结果。在包含裙子和连衣裙的AzurePeople数据集的情况下，用户强烈偏好我们的方法，而Tex2Shape和 MGN 在 具 有 固 定 拓 扑 结 构 的 更 紧 的 衣 服 的PeopleSnapshot数据集上更受欢迎图5显示了典型案例，而补充材料提供了更广泛的定性比较。注意，在用户研究中，我们将点绘制为灰色，以排除用户选择中的颜色因素由于我们的方法使用2D信息来适应服装代码，我们决定省略标准度量的定量比较，然而，我们将我们的方法与BCNet [24]数据集上的MGN进行了比较。对于这两种方法，图6：我们的方法还能够对分开的上衣和下装样式进行建模。这里显示了两种不同姿势的两种不同服装。4.3. 外观造型我们根据StylePeople系统[20]（多帧变体）评估我们的外观建模管道，该系统在许多方面与我们最接近。StylePeople在使用反向传播的人的视频的渲染网络旁边拟合SMPL-X网格的神经纹理。为了比较的目的，我们修改StylePeople生成服装面具以及RGB图像和前景 分 割 。 这 两 种 方 法 分 别 在 AzurePeople 和PeopleSnapshot数据集中的每个人然后，我们根据三个衡量视觉相似性的指标来比较为holdout视图生成的服装图像与地面真实图像，即学习感知相似性（LPIPS）[65]距离，结构相似性（SSIM）[59]及其多尺度版本（MS-SSIM）。比较结果如表2所示，定性比较如图7所示。在图1中，我们示出了我们的方法的附加结果。具体来说，我们展示了一些不同拓扑和类型的服装，这些服装被重定向到来自两个测试数据集的新姿势最后，在图8中，我们示出了在我们的方法中将服装几何形状和外观重新定位到新的身体形状的示例5. 总结和局限性提出了一种基于点云的人体服装建模方法。因此，我们已经建立了一个生成模型，用于各种形状和拓扑结构的服装，使我们能够捕获以前未见过的服装的几何形状，并将其重新定位为新的姿势和身体形状。我们的几何表示（点云）的无拓扑性质特别适合于建模服装，这是由于现实生活中服装的形状和组成的广泛变化。除了几何建模，我们还使用14725↓ ↑↑输入方式我们的人输入方式我们的人输入方式我们的人图7：我们将我们的方法的外观重定向结果与在我们的方法和StylePeople系统（多镜头变体）之间的拟合期间看不见的新姿势进行比较，StylePeople系统使用SMPL网格作为底层几何形状，并且仅依赖于神经渲染来在渲染中“生长”宽松的衣服。正如预期的那样，我们的系统产生更清晰的结果宽松的衣服，由于使用更准确的几何脚手架。强烈推荐放大。LPIPS SSIM MS-SSIMPeopleSnapshot我国的公司简介0.0569 0.938 0.972AzurePeople我们的风格人物0.0693 0.9230.946表2：使用常用图像测量法，在两个测试数据集上与StylePeople系统进行定量比较。我们的方法在大多数指标上优于StylePeople，这要通过目视检查定量结果验证了该优势（图7）。图8：我们的方法还可以将几何形状和外观重新定位到新的身体形状。外观重新定位对于均匀着色的衣服很好地工作，尽管详细的印花（例如，底部行中的胸部区域）可能会变形。基于神经点的图形的想法来捕捉服装外观，并以新的姿势在新的身体上重新渲染全套服装模型（几何几何限制我们的模型不考虑布料动力学，并且为了在该方向上扩展我们的模型，我们的方法与基于物理的建模（例如：有限元）可能是有用的。此外，我们的模型仅限于与Cloth3D数据集中表示的服装类似的服装数据集中不存在的服装（例如帽子）可以不会被我们的方法捕获。这个问题可以通过使用与Cloth3D相同的另一个合成数据集以及使用具有地面真实服装网格的真实3D扫描数据集来解决。外观限制我们当前的外观建模方法需要视频序列以便捕获服装外观，这可以通过以类似于来自[20]的生成神经纹理模型的方式将生成建模扩展到神经描述符来潜在地解决我们还发现我们的系统的结果容易出现闪烁伪影，这是基于点云的神经渲染方案的常见问题[2]。我们相信，这些人为因素可以通过引入更复杂的渲染方案或通过使用更密集的点云来减轻。14726引用[1] Dressing Any PErson 2[2] K. Aliev，A.Sevastopolsky，M.Kolos，D.Ulyanov和V.S.Lempitsky基于神经点的图形。以. 维达尔迪H. Bischof，T. Brox和J. Frahm，编辑，Proc. ECCV，计算机科学讲义第12367卷，第696-712页。Springer，2020年。二、五、八[3] T. Alldieck，M.马格诺尔湾L.巴特纳加尔角Theobalt和G.庞莫尔学习从一台rgb相机重建穿着衣服的人。在Proc. CVPR，2019中。三、六[4] T. Alldieck，M.马格诺尔Xu，C. Theobalt和G.庞斯-莫尔基于视频的三维人体模型重建。在Proc. CVPR，第8387-8397页，2018年。6[5] T. Alldieck ， G. 庞 斯 莫 尔 角 Theobalt 和 M. 玛 格 诺Tex2shape：从一个单一的图像详细的完整的人体几何形状。在Proc.3DV，2019中。三、六[6] K. Ayush，S. Jandial，A. Chopra和B.克里希那穆提通过辅助人类分割学习为虚拟试穿提供动力。在IEEE/CVF计算机视觉国际会议（ICCV）研讨会上，2019年10月。3[7] H. Bertiche，M. Madadi和S.埃斯卡雷拉Cloth3d：穿着衣服的3d人类。Proc. ECCV，2020。二三四六[8] B. L.巴特纳加尔湾蒂瓦里角Theobalt和G.庞莫尔多服装网：学习从图像中打扮3d人在Proc.ICCV. IEEE，2019年10月。二、三、六[9] F. Bogo、A.金泽角Lassner，P.诉Gehler，J.Romero和M.J.布莱克。保持它SMPL：从单个图像自动估计3D人体姿势和形状。芽孢杆菌中莱布J. Matas，N. Sebe和M. Welling，编辑，Proc. ECCV，计算机科学讲义第9909卷，第561-578页。施普林格，2016年。四、六[10] P. Bojanowski，A. Joulin，D. Lopez-Paz和A.斯拉姆优化生成网络的潜在空间 在procICML，2019年。三、四[11] Z. Cao，G. Hidalgo，T. Simon，S.- E. Wei和Y.酋长OpenPose：实时多人2D姿态估计使用部分亲和字段。IEEE Transactions on pattern analysis and machineintelligence，43（1）：172-186，2019。6[12] V. Gabeur，J. S. Franco，X.马丁角，澳-地Schmid和G.罗盖兹。塑造人类：单幅图像非参数三维人体形状估计。InProc. ICCV，2019. 2[13] K.贡，Y. Gao、X. Liang，X.沈，M。Wang和L.是林书Graphonomy：通过图迁移学习的通用人类解析。在Proc. CVPR，2019中。四、六[14] R. A. Guüle r，N. 我也是。 好的密度：野外密集的人体姿势估计。在Proc. CVPR，第7297-7306页，2018年。6[15] E. Gundogdu， 康斯坦丁 A. 塞福迪尼 M. 该死M. Salzmann和P.呸石榴石：一个双流网络，用于快速准确的3D布料悬垂。InProc. ICCV，2019. 2[16] X.汉 ， Z. Wu ， Z. 武 河 ， 巴 西 - 地 Yu 和 L. S.戴 维 斯Viton ： 一 个 基 于 图 像 的 虚 拟 试 穿 网 络 。 在 procCVPR，2018年。3[17] W.- L. 萧岛Katsman，C.Y. Wu，D.Parikh和K.Grau-man.时尚++：最小的编辑为装备改进。InProc. ICCV，2019. 314727[18] X. Huang和S.贝隆吉具有自适应实例规范化的实时任意样式传输。InProc. ICCV，2017. 4[19] Z. Huang，Y.黄氏Y. Xu，C. Lassner，H. Li和T.阿东拱门：一个可以模仿的穿着衣服的人的重建.在Proc.CVPR，2020中。2[20] K. Iskakov，A. Grigorev，A.亚尼纳河巴希罗夫岛Za-kharkin，A. Vakhitov和V. Lempitsky风格人物：人体化身的生成模型。 在procCVPR，2021年。三六七八[21] T. Issenhuth，J. Mar y和C. Calau ze`nes. 不要掩盖你不需要掩盖的东西：一个无解析器的虚拟试穿Proc.ECCV，2020。3[22] H.宰利河李，M。康，M。Cho和G.公园La-viton：一个网络，用于寻找有吸引力的虚拟试穿。在Proc.ICCV，2019年10月。3[23] N. Jetchev和U.伯格曼条件类比可以：在人物图片上交换时尚文章。在proc ICCV，2017年。3[24] B.姜建，张玉. Hong，J. Luo，L. Liu和H.豹Bcnet：从单个图像学习身体和衣服形状，2020。7[25] J. Johnson，A. Alahi和L.飞飞实时风格转换和超分辨率的感知损失。 在proc ECCV，2016。5[26] A. Kanazawa，M.J. Black，D.W. Jacobs和J.马利克端到端恢复人体形状和姿势。在Proc. CVPR，2018中。2[27] T. Karras，S. Laine和T.艾拉 A Style-Based GeneratorArchitecture for Generative Adversarial Networks. 在Proc. CVPR，第4401-4410页中。计算机视觉基金会/IEEE，2019。4[28] T. Karras，S. Laine，M. Aittala，J. Hellsten，J. Lehtinen和T. 艾拉分析并改善扫 描电镜的图像质量在Proc.CVPR，2020中。3[29] D. P. Kingma和J. BA. Adam：A method for stochasticoptimization，2017. 6[30] Z. Laehner，D. Cremers和T.阿东DeepWrinkles：精确和真实的服装建模。Proc. ECCV，2018。2[31] S.作者：J. Karras，Y. Seol、J.Lehtinen和T.艾拉用于高性能差异化渲染的模块化图元。ACMTransactions on Graphics，39（6），2020. 2[32] K. M.刘易斯，S。Varadharajan和我。克梅尔马赫-施利泽曼。Vogue：2021年，由stylegan插值优化试穿。3[33] M.柳湖，加-地Sheng，S. Yang，J. Shao和S.- M.胡变形和采样网络的密集点云完成。arXiv预印本arXiv：1912.00280，2019。四、六[34] M. 洛珀，N.Mahmood，J.罗梅罗湾Pons-Moll和M.J.布莱克。SMPL：一个多人皮肤线性模型。ACMTrans. Graphics （ Proc. SIGGRAPH Asia ） ， 34（6）：248：1- 248：16，Oct. 2015. 二、三[35] M. 洛珀，N.Mahmood，J.罗梅罗湾Pons-Moll和M.J.布莱克。SMPL：一个多人皮肤线性模型。ACMTrans. Graphics （ Proc. SIGGRAPH Asia ） ， 34（6）：248：1- 248：16，Oct. 2015. 214728[36] M. M. Loper和M. J.布莱克。OpenDR：近似可微渲染器 。 在 procECCV ， 卷 8695 的 Lec- ture Notes inComputer Science，第154-169页。Springer InternationalPublishing，Sept. 2014. 2[37] Q.马，S. Saito，J. Yang，S. Tang和M. J.布莱克。规模：建模与表面编解码器的关节局部元素穿着的人。IEEE/CVF 会 议 论 文 集 计 算 机 视 觉 和 模 式 识 别（CVPR），2021年6月。3[38] Q. Ma，J. Yang，A. Ranjan，S. 普哈德斯湾庞斯-莫尔S. Tang和M.