从服装图像到3D人体的虚拟试穿：一种简单而有效的方法

7023从服装图像到3D人体的Thiemo Alldieck1，2 Gerard Pons-Moll11马克斯·普朗克信息学研究所，萨尔信息学院，德国2计算机图形实验室，TU Braunschweig，德国@ mpi-inf.mpg.dealldieck@cg.cs.tu-bs.de图1：我们的模型Pix2Surf允许将在线零售商店服装图像的纹理数字化映射到虚拟服装项目的3D表面，从而实现实时3D虚拟试穿。摘要在本文中，我们提出了一种简单而有效的方法，可以实时地将服装图像（正面和背面）的纹理自动传输到穿在顶部SMPL上的 3D服装[42]我们首先使用自定义非刚性3D到2D配准方法自动计算具有对齐的3D服装的训练图像对，该方法准确但缓慢。使用这些对，我们学习从像素到3D服装表面的映射。我们的想法是单独使用形状信息，完全忽略纹理，从服装图像轮廓到3D服装表面的2D-UV图学习密集的对应关系，这使我们能够推广到广泛的网络图像。几个实验表明，我们的模型比广泛使用的基线（如薄板样条扭曲和图像到图像的转换网络）更准确，同时速度快了几个数量级我们的模型为虚拟试穿等应用程序打开了大门，并允许生成具有不同纹理的3D人体，这是学习所必需的。代码将在https://virtualhumans.mpi-inf.mpg.de/pix2surf/上提供。1. 介绍我们的目标是学习一个能够自动实时地将服装的两张照片（正面和背面）的纹理转移到服装模板的3D几何形状的模型。 这样的模型对于人类的照片级真实感渲染，用于学习的合成数据的各种生成，虚拟试穿，艺术和设计非常有用。尽管有许多应用，布料纹理到3D服装的自动转移很少受到关注。绝大多数最近的方法直接在图像空间中工作。大多数作品都集中在基于图像的人重新摆姿势[82，43，44，56，63，21，10，64]，或虚拟试穿[57、78、28、69、77、22、83]。重新摆姿势方法学习合成图像像素以产生人的新颖姿势这些方法的优点是它们可以在大规模数据集上训练。关键的缺点是它们在像素空间而不是3D中操作，它们不能合成困难的姿势，并且难以产生时间上一致的结果。 另一个工作线通过拟合3D来7024图2.给定常规的在线零售商店图像，我们的方法可以自动为预定义的服装模板生成纹理，这些模板可以用于在3D中虚拟地穿着SMPL [42人体模型（SMPL [42]）到图像[15，6，4]，但纹理质量迅速恶化复杂的姿态。其他作品通过3D扫描人员将纹理映射到3D网格[68，24，40，53]，但由于3D扫描耗时，服装纹理的数量和种类有限。为了打破缺乏3D数据的障碍，我们的想法是从互联网上无处不在的服装项目的图像直接学习到参数化服装模板的3D表面的密集映射[15]。然而，精确的纹理转移远非微不足道：web图像在纹理、服装尺寸和样式、姿势和背景方面变化。尽管如此，与人类穿着的衣服相比，网络商店图像的变化较小，我们利用这些变化来学习我们的模型。我们的想法是通过非刚性地将参数3D服装模板与图像对齐来收集训练对，而不是手动注释服装标志[85，8]我们利用MGN的参数化服装模型[15]，非刚性地使其表面适合图像轮廓。虽然我们的对齐通常会产生很好的结果，但它很慢（每个图像5-15分钟），并且在 5%的案件。 因此，委员会认为，仅使用成功的拟合，我们从图像像素学习直接映射，其在毫秒内运行，并且比基于优化的方法更鲁棒。我们的主要假设是，映射是由图像sil-houette形状单独，而不是由外观。因此，我们训练CNN来预测从服装表面的UV映射到像素位置的对应关系，仅将轮廓形状作为输入。由于模型学习形状和姿势的不变性，而不是外观，因此它可以推广到各种各样的纹理服装图像。我们将对应预测器称为Pix2Surf。Pix2Surf允许将服装图像的纹理实时数字映射到服装的3D表面，见图。1.一、一旦纹理被映射到3D，我们通过将3D变换应用到3D纹理，[15]如图所示。二、Pix 2Surf首次实现了3D图像的直接实时虚拟试穿，支持VR/AR、游戏和3D内容制作等应用为了促进这一方向的进一步研究，我们将公开Pix2Surf以供研究之用。这将允许研究人员和用户向SMPL+服装模型添加纹理，生成合成人，并直接以3D方式可视化服装图像。2. 相关工作在计算机图形学领域，合成真实感服装人物的图像是一个长期研究的问题。早期的作品能够在3D中虚拟地表示和参数化织物[72，50]，后来实现了逼真的悬垂和动画[12，30]。虽然这些作品需要艺术家设计的服装，仔细的参数选择和计算昂贵的基于物理的模拟，但最近已经引入了全自动和更快的方法。相比之下，这些方法处理传感器数据，例如图像、深度图或3D点云，并且以最小交互或甚至完全自动地产生3D重建或照片级真实感图像2D图像合成方法产生保持给定姿势或穿着期望服装的人的图像。这些作品利用了条件图像转换的最新进展，使用生成对抗网络（GANs）进行图像翻译[25，32]。例如[39]提出了一种从身体和衣服的语义分割中产生穿着衣服的人的全身图像的方法。然而，生产主体和生产装备都是不可控的。中的方法[82]对给定的时尚形象产生了新颖的看法。虽然主体和服装保持不变，但姿势可以用稀疏的相机角度集来约束。为了获得对输出的更多控制，大量的作品处理在期望的姿势下合成人物图像[43，44，56，63，21，10，64，62]。出于同样的目的，在[26]中，作者学习了图像和SMPL纹理之间的扭曲。预测对应关系而不是颜色值有助于网络泛化，因为扭曲的变化比颜色空间的变化小得多。在Pix2Surf中，我们也推断出对应关系[61，54，8，48]，但重点是服装而不是全身。在类似的作品中，[48]利用DensePose [8]将图像像素扭曲到SMPL纹理中，但在扭曲到目标姿势之前进行修复与我们的工作更相关的是，最近的方法集中在更换受试者广告，基于文本的时尚图像处理的特殊情况方法[84]和基于图像的服装改进[31]已提交。与我们的方法相比，所有这些虚拟试穿方法都在图像空间中工作，因此不对底层3D进行显式推理7025现场这意味着它们不能保证在不同的姿势和相机角度下产生一致的输出。这在[23]中通过图像扭曲和随后对先前生成的图像的细化来实现虽然2D扭曲提高了合成视频的质量，但2D方法的局限性仍然存在。3D重建方法集中于单独恢复所捕获的服装的实际3D形状、恢复穿戴服装的对象的身体形状或同时恢复甲基-已经提出了利用受控RGB [35]和RGB-D图像[17]的ODS，其基于图像观察来选择和细化3D服装虽然[35]使用了裁缝其他方法侧重于在较少控制的设置中恢复服装物品的形状和详细的服装褶皱[55，20，13，36，38]。虽然这些方法可以产生详细的几何图形，但这些方法都不关注项目的外观。另一个研究分支的目的是三维重建整个人，包括服装。这可以通过基于优化的方法[6，5，73]或基于学习的方法[4，40]来实现，这些方法利用短单眼视频剪辑的轮廓或语义分割，或者最近甚至来自单个图像[46，7，59，24]和点云[18]。其他方法利用类似Kinect融合的方法[33，49]来使用RGB-D传感器[60，41，79，19]扫描人。具有身体和衣服的3D重建，它可以用于非刚性跟踪对象[74，27]。所有这些方法都将身体和衣服融合在一个模板中。然而，虚拟试穿应用程序需要单独的网格[29]。因此，已经开发了重建裸体体形或体形和服装两者的方法。单独的裸体体型已经使用几个RGB图像[11]或更准确地使用一系列穿衣服的扫描[80]进行了估计体型和服装已经从一系列扫描[53]、RGB-D图像[66]以及最近甚至从一小组RGB图像[15]中同时且全自动地重建在[76]中，作者提出了从单个图像恢复服装和体形，但严重依赖于物理先验和人类交互。为了实现动态虚拟试穿和服装重新定位，已经开发了服装和人体的关节模型[47，75，52，45]。同样，所有这些作品主要或专门关注服装的几何形状，而不是它们的外观。其他作品也学习预测从深度图到表面[67，54，71]，图像到表面[37，8，26]的对应关系，但它们都解决了不同的问题。从照片中自动纹理化3D模型也已经提出，但形状必须首先与输入图像对齐[51，70]。由于轮廓和特征线索可能是模糊的，因此这种对齐是昂贵的并且容易出错这里最相关的工作是[16]，它将服装项目的纹理映射到3D SCAPE [9]身体模型。他们的焦点不是照片般真实的映射，而是生成具有纹理变化的合成训练数据以学习区分检测器。他们的核心纹理映射是基于2D图像扭曲-然而，从定性上讲，我们的结果看起来更真实，并且我们将基于形状上下文（SC）匹配和薄板样条（TPS）扭曲的非常相似的基线进行比较。此外，我们的方法实时运行。与以前的所有工作相比，我们的方法完全自动创建纹理3D服装，而不需要在测试时预先对齐，这允许实时虚拟试穿和新颖的视图合成。3. 方法我们的关键思想是学习从图像到服装的UV贴图的映射，而不使用纹理信息，只使用轮廓形状。我们首先解释参数化3D服装模型（第二节）。3.1）我们使用正则化自动网格到图像轮廓拟合程序（第3.1节）。3.2）。由于拟合是昂贵的，而且容易出错，我们学习了一个有效的神经映射（Pix2Surf），它将图像纹理实时传输到网格上（第二节）。3.3）。3.1. 初步：参数化服装模型我们利用公开可用的3D服装模板[15]，参数化为来自SMPL身体模型[42]的位移。对于每个服装类别（T恤、短裤、长裤），我们定义一个服装模板TG∈R m×3作为SMPL体模板T∈R n×3的子网格。如果服装顶点i ∈ {1. - 是的- 是的 m}与身体形状顶点j ∈{1. - 是的- 是的 n}。这一对应关系允许将服装表示为从非定态SMPL体的位移D ∈Rm×3给定形状β和姿态θ，我们可以使用SMPL来表达服装：TG（β，θ，D）=IT（β，θ）+D（1）G（β，θ，D）=W（TG（β，θ，D），J（β），θ，W），（2）具有关节J（β） 和具有权重W的线性混合蒙皮W（·）。由于在这项工作中，我们保持D固定，我们去-将服装模型记为G（θ，β）。在纹理被转移到表面之后，几何形状仍然可以用D来改变。3.2. 非刚性服装与零售形象的契合为了找到网络上的零售图像和3D服装之间的对应关系，我们可以非刚性地变形其3D表面以适应图像前景。然而，这还不够稳健，因为不同的零售商拍摄的服装姿势、背景不同，服装本身也各不相同。7026ββ服装分割网络掩码图像坐标映射网络对应最终纹理图3.方法概述：我们建立了一个大型的配对数据集的3D服装和在线零售商店的图像，通过非刚性对齐3D服装模板与自动计算的图像分割（I）。这使我们能够训练我们的模型Pix2Surf（II）来预测从服装表面的UV图到图像像素位置的对应关系。形状因此，我们首先自动分割图像，然后利用在第2节中定义的参数服装模型G（θ，β）。3.1规范拟合过程。3.2.1自动分割我们使用GrabCut的自动化版本[58]。由于gar-ments通常是在简单的背景下拍摄的然后，我们运行一个关闭操作，以填补这个面具上的洞，并侵蚀它，以获得一个先验的“绝对前地”。掩模与其侵蚀版本之间的差异区域被标记为“可能前景”。类似地，我们使用膨胀来获得“绝对背景”和“可能背景”。使用这些先前的地图初始化GrabCut，我们获得准确的轮廓，而无需手动注释。3.2.2服装试衣轮廓术语：其定义为：Es（β，θ，t）= Φ（wi（Ir（G（θ，β），t））+wo（1−Ir（G（θ，β），t）。（四）这里，Φ和Φ分别是轮廓图像的距离变换和逆距离变换，Φ是高斯金字塔函数，并且Ir（G（θ，β），t））是利用可重构渲染器获得的二进制服装轮廓图像。因此，Eq.（4）最大化服装图像和渲染网格之间的重叠，并惩罚模型泄漏到背景中形状正则化：为了规范方程中的拟合过程。3、我们使用Mahalanobis先验Eβ（β）=βT−1β（5）在形状参数上，其中λ-1是来自SMPL数据集的对角协方差矩阵。Pose prior：该术语惩罚姿势与A姿势的偏差θA我们分两个阶段将服装表面拟合到轮廓。在第一阶段，我们最小化以下目标E1（β，θ，t）=wsEs+wβEβ+wθEθ，（3）w.r.t.服装姿态、形状和相机平移t∈R3。Eq中的目标（3）由一个轮廓Es组成，一个形状正则化项Eβ和姿态先验项Eθ，我们在下面解释。不同的项使用权重w来平衡。Eθ（θ）=θ−θA2（6）为了最小化Eq.（3），我们用A-姿态初始化姿态θ，因为这近似于web上的此外，我们使用调度：对于衬衫，我们首先优化形状和平移，保持姿势固定，然后联合优化所有变量。对于裤子和短裤，调度顺序相反。阶段1为我们提供了与服装轮廓的粗略匹配，但最终网格受到参数模型G（θ，β，t）的限制。为了完美匹配轮廓边界，我们非刚性地服装掩模轮廓匹配最终匹配对齐网格I.通过非刚性3D网格进行数据收集以进行图像对齐二. Pix2Surf网络7027我FS变形自由形式顶点G∈Rm×3的网格初始化的优化结果的第一阶段G（θ，β）。具体来说，我们优化了一个更复杂的版本，当量第三章：E2（G，θ，β）= w′E′ + w ′ E ′+w′E′+w′E′+w′E′.（七）3.3.1Pix2Surf：输入和输出表示的策划适合SEC。3.2提供从图像像素（i，j）到3D衣服表面G_R3的密集对应。学习到嵌入在R3中的曲面G的映射是硬，不允许利用完全2D卷积ssccl leebB神经网络 因此，我们计算一个2D UV贴图，它与Eq中的相同。（4），但现在我们优化自由形式顶点G，而不是模型G（θ，β）. 且E′、E′、E′和E″′是耦合的，分光光度法（Sec. 3.3.3）的服装表面，u：BR2<$→G<$R3，其中u（·）映射来自3cleb拉普拉斯算子、边缘约束和边界平滑项，我们接下来会解释。偶合项：它惩罚自由形式顶点G与参数服装模型G（θ，β）的偏差：Ec（G，β，θ）=<$G−G（θ，β）<$2（8）边缘约束条件：腰带或腰围在短裤和裤子零售图像形成一个几乎完美的水平线。我们通过将裤子和短裤的3D网格的顶环（腰围）与图像空间中的这条水平线相匹配来利用这一点UV空间到嵌入R的曲面G。在这这样，我们所有的目标都生活在UV空间中;特别是从拟合中，我们生成：RGB纹理映射Y∈R K×L×3，采用投影纹理技术; UV对应映射C∈ C ∈R K×L×2，在（前/后）UV映射的每个像素（k，l）处存储对应图像像素的（i，j）坐标，即Ck，l=（i，j）。服装图像的输入表示是存储在每个图像像素位置处的坐标掩码X∈X <$RM×N×2它自己的坐标，如果像素属于前景F，否则为0，则Xij=（i，j）<$（i，j）∈F||Xij=设Gi∈ R表示环的顶顶点集，π（Gi）y（0，0）（i，j）∈/F. 预测前景掩模F表示投影π（·）后的顶点xGi的y坐标在图像上，并让ymax表示图像中的水平线。我们合并以下处罚：ΣEe（G）=<$π（Gi）y−ymax<$2（9）Gi∈R拉普拉斯项：为了加强服装平滑度并最大限度地减少失真，我们包括拉普拉斯项[65]。给定具有邻接矩阵A ∈ Rm ×m的网格，图拉普拉斯L ∈ Rm ×m被获得为L = I−K−1A，其中K是对角矩阵，使得Kii存储顶点i我们最小化网格拉普拉斯算子：在测试时，使用分段网络进行训练，标准交叉熵损失-我们使用自动但缓慢的基于GrabCut的方法Sec计算用于训练的分割标签。3.2.1.对于T恤的前视图，我们另外要求注释器分割出衬衫的后部分割网络学习去除这部分，确保后部不映射到UV图。这样，我们收集了一个由输入X和目标{Y，C}组成的数据集D。 D ={Xi，{Yi，Ci}}N.3.3.2Pix2Surf：学习我们可以天真地尝试预测纹理贴图Ydi-El（G）=||LG||2（十）直接从图像，我使用图像到图像的翻译，但这是容易过拟合图像纹理，因为我们证明边界平滑术语：为了确保边界保持光滑，我们惩罚高二阶导数[53]如：如：如拟合的输出是3D服装顶点G，其与它们的面F一起限定变形网格G={G，F}与图像轮廓精确对齐3.3. 学习自动纹理转换前一节的拟合是准确的，但速度慢，有时会失败。因此，我们在互联网图像上运行拟合方法，并手动删除不成功的拟合。从这些数据中，我们训练了一个高效的神经模型，称为Pix2Surf。Pix2Surf直接将纹理从图像转移到3D模型表面，仅基于轮廓接下来，我们将解释Pix2Surf的关键组件，即输入输出表示和训练期间使用的损失E7028在我们的实验中（Sec.4.2）。相反，我们遵循更几何的方法，并学习从坐标掩码X到UV对应映射C的映射f（X;w）：X → C，迫使网络对输入形状进行推理这有效地学会了针对每个UV图位置（k，l）预测图像中的对应像素坐标（i，j），Ck，l=（i，j）。 我们的关键见解和假设是，这种平滑映射只依赖于轮廓形状X，而不依赖于纹理I。在训练过程中，我们尽量减少以下损失Ltotal=λ regL reg+λ percL perc+λ reconL recon（11）在训练集D上，其中损失中的每个项接下来被解释。坐标寄存器丢失：Lrg评估L2（·）规范 的 的 差异 之间 的 网络输出70292f（Xi;w）和使用Sec.3.2：ΣN4.1. 数据集为了训练我们的模型，我们通过抓取服装店的网站来创建服装图像的数据集-Lreg=i=1||f(Xi; w) − Ci||2（十二）点击Zalando [3]、Tom Tailor [2]和Jack and Jones [1]的网站。服装形象的背面几乎没有重建损失：为了加强对网络，我们使用可微采样内核[34]来直接从所述对应映射推断纹理映射。我们最小化预测纹理图和用投影纹理获得的目标纹理图Y之间的密集光度损失（第12节）。3.3.1）：所以我们无法创建足够大的后视图图像数据集来训练映射网络。我们利用服装轮廓的分布对于前视图和后视图都是相似的这一事实，并且通过组合来增强用于训练从后视图图像到后UV图的映射的数据集ΣNL重建=克·L||我ΣΣf1（Xi;w），f2（Xi;w）- Yi1使用前视图图像和后视图图像，或仅前视图图像。我k，lk，lk，lk，l（十三）我们创建了一个由2267张T恤正面图像组成的数据集。与背部有关的网络是使用其中原始图像I被采样（使用可微的在位置（i，j）处的核）=（f1（Xi;w），f2（Xi;w））pro-2267张图像的数据集，其中964张是后视图图像剩下的是正面图像前短裤数据集具有k，l k，l由预测的对应映射提供。感知损失：Lperc是在[ 81 ]中定义的I[f（X;w）]∈RK×L×3（张量符号）和Y之间的感知损失。一旦网络预测出输入图像的对应映射，我们就使用它和可并行化内核通过从输入图像中采样点来3.3.3实现细节我们使用Adam优化器来训练这两个网络。对于分割网络 ， 我 们 使 用 具 有 实 例 归 一 化 的 UNet ， 对 于Pix2Surf，我们使用六块ResNet。归一化和激活函数的选择与[32]相同。自定义UV贴图：由于艺术家设计的SMPL UV贴图将服装切割成不同的岛（不利于学习连续贴图），因此我们为每个服装类别使用自定义UV贴图。我们把衣服的表面剪成前面，返回并使用Blender计算UV贴图这会产生两个岛（前面和后面），这使得图像到UV的映射是连续的，因此更容易学习。4. 实验由于我们正在解决一个没有地面实况数据的问题，我们评估我们提出的方法质量和用户研究。我们展示了三种不同服装类型（T恤、短裤和长裤）的结果，见图。4.第一章请注意，纹理是很好的映射，而没有转移背景。还请注意，3D纹理是如何完整的，没有孔和接缝。我们比较了我们的方法与流行的形状上下文与薄板样条（TPS）匹配基线，图像到图像的翻译，直接操作的像素，和基于图像的虚拟试穿方法。2277件。 我们使用相同的数据集来训练网络关于后视图。对于裤子，我们收集了3410个前视图的数据集。我们通过水平翻转前视图图像及其相应的轮廓来创建后视图数据集。后面的数据集有3211个项目。基于优化的配准方法的失败解释了前视图和后视图中的项目数量之间的差异。利用这些前后对称性在实践中证明工作良好，并且允许补偿后视图图像的不可用性。4.2. 形状上下文匹配和图像到图像的翻译基线我们比较我们的方法与形状上下文（SC）匹配，加上TPS和图像到图像的平移基线。我们如下实现形状上下文匹配基线。我们首先渲染服装网格以获得轮廓。为了使基线尽可能强，我们首先将服装摆成与图像相同的姿势。然后，我们扭曲服装图像以匹配渲染的服装。然后我们使用投影纹理将扭曲图像的纹理提升到网格上。我们的实验表明，SC匹配和TPS [14]不足以精确匹配两个形状的轮廓，因此最终纹理总是沿着侧面有伪影。见图五、我们还将Pix2Surf与Pix2Pix [32]基线进行了比较，后者学习从图像中生成纹理贴图。为了训练Pix2Pix，我们使用与训练Pix2Surf相同的纹理贴图。与Pix2Surf不同，Pix2Pix产生模糊的结果，并且不保留输入纹理的细节见图五、为了进一步评估，我们对30名参与者进行了用户研究我们创建了20个视频，其中包含参考服装纹理的图像和两个旋转纹理的3D化身“穿着”参考服装。一个是纹理使用基线方法和其他使用Pix2Surf。我们要求参与者选择更好看的头像。百分之百7030图4.使用我们的方法获得的纹理服装：从在线零售店图像（左），我们为三种不同的服装创建纹理。服装类（T恤、裤子、短裤）。我们使用纹理服装来虚拟地装扮SMPL（右）。在所有比较中，使用Pix2Surf纹理化的化身优于使用基线纹理化的化身。4.3. 面向照片真实感的绘制提供有3D化身的纹理图，具有-Pix2Surf可以自动实时地从在线网站上收集到的无数件衣服中映射出头像顶部的纹理。参见图6使用这些照片般逼真的渲染，我们能够将我们的方法与基于图像的虚拟试穿方法（如VITON [28]和CP-VTON [69]）进行比较。由于我们的方法需要一个3D化身作为输入，为了能够进行比较，我们首先使用我们的方法渲染一个照片般逼真的图 像 ， 并 使 用 VITON 来 改 变 渲 染 的 上 衣 图 7 显 示VITON和CP-VTON对于某些姿势工作得相当好，但是对于极端姿势失败得很严重，而我们的方法则没有。我们注意到这些冰毒-ODS与我们的方法相关，但在概念上不同，因此不可能进行直接的公平比较。这些方法也没有被明确地训练来处理这样的姿势，但是该图图示了基于图像的虚拟试穿方法概括到新颖的视点和姿势的一般限制与此形成鲜明对比的是，我们只需要概括轮廓形状的变化，一旦纹理被映射到3D化身，新的姿势和观点是平凡的3D应用变换生成。5. 结论和未来工作我们已经提出了一个简单而有效的模型，学习从网络图像的服装纹理转移到虚拟人穿的3D服装。我们的实验表明，我们的非线性优化方法是足够准确的计算与3D网格投影对齐的服装图像的训练集，从中我们学习一个直接的7031图5.我们将我们的结果与通过SC匹配和图像到图像的翻译基线获得的纹理进行SC匹配生成带有伪影的纹理，Pix2Pix生成模糊的结果。左：Pix2Pix，中：SC匹配，右：Pix2Surf图6.照片般逼真的虚拟试穿。给定服装图像和具有纹理的3D化身，我们在顶部显示自动纹理服装。使用神经模型（Pix2Surf）进行映射。虽然优化方法需要10分钟才能收敛，但Pix2Surf可实时运行，这对于虚拟试穿等许多应用程序至关重要。我们的核心思想是学习从图像像素到表面的2D UV参数化的对应映射，仅基于轮廓形状而不是纹理，这使得模型对高度变化的服装纹理不变性，从而更好地泛化。我们表明Pix2Surf的性能明显优于经典方法，如2D TPS扭曲（同时快了几个数量级）和直接图像到图像的转换方法。我们相信我们的模型代表了直接在3D中学习纹理生成模型的重要一步。我们计划在未来解决这个问题，因为它是缺乏-输入图像目标布料CP-VTON VITON我们的在当前的模型中，如SMPL [42]。我们专注于纹理，并假设服装几何形状是给定的，但我们认为应该有可能从图像中推断几何形状。由于网络照片上的衣服是平铺在平面上的，因此几何推断需要对3D服装在平面上展平时如何变形进行图7.与VITON和CP-VTON致谢：我们感谢Bharat Lal Bhatnagar和Garvita Tiwari在我们的数据准备中进行了深入的讨论和协助。这项工作的部分资金来自德国研究共同体（DFG）- 409792180（Emmy Noether Programme，项目：真实虚拟人）。7032引用[1] 杰克和琼斯网站 http://www.jackjones.com。 6[2] 汤姆裁缝网站。http://www.tom-tailor.eu网站。 6[3] Zalando网站http://www.zalando.com网站。 6[4] ThiemoAlldieck ， MarcusMagnor ， BharatLalBhatnagar，Christian Theobalt，and Gerard Pons-Moll.学习从一个RGB摄像机重建穿着衣服的人。在IEEE计算机视觉和模式识别会议上，2019年。二、三[5] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.从单目视频的详细的人类化身。国际会议2018年9月在3D Vision上发布。3[6] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.基于视频的三维人体模型重建。 在IEEE会议 计算机视觉和模式识别，2018年。二、三[7] ThiemoAlldieck ， GerardPons-Moll ， ChristianTheobalt，and Marcus Magnor. Tex2shape：从单个图像中获得详细的完整人体几何形状。IEEEInternationalConference on Computer Vision（ICCV），第2293IEEE，2019年10月。3[8] RızaAlpGuéler，Na taliaN ev er ov a，andIasonasKokkinos. 密度：野外密集的人体姿势估计。在IEEE计算机视觉和模式识别会议上，第7297-7306页，2018年。二、三[9] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。SCAPE：人的形状完成和动画。ACMTrans.Graph. ，24（3）：408-416，2005. 3[10] Guha Balakrishnan，Amy Zhao，Adrian V Dalca，FredoDu- rand，and John Guttag. 合成人类的图像 以看不见的姿势。在IEEE计算机视觉和模式识别会议论文集，第8340- 8348页，2018年。一、二[11] Al e xandruOBalan和MichaelJBlack。赤裸裸的事实：估计衣服下的身体形状在欧洲会议中计算机视觉，第15-29页。Springer，2008. 3[12] 大卫·巴拉夫和安德鲁·维特金。布料模拟中的大步长。在第25届计算机图形和交互技术中，第43ACM，1998年。2[13] Jan Bednarik，Pascal Fua，and Mathieu Salzmann.学习从单个视图重建纹理较少的可变形表面国际会议关于3DVision，第606-615页，2018年。3[14] Serge Belongie Jitendra Malik和Jan Puzicha。使用形状上下文的形状匹配和物体识别。IEEE Transactions onPattern Analysis Machine Intelligence ， （ 4 ） ： 509-522，2002。6[15] BharatLalBhatnagar ， GarvitaTiwari ， ChristianTheobalt，and Gerard Pons-Moll.多服装网：学习从图像中 打 扮3d 人 IEEEInternational Conference on ComputerVision（ICCV）IEEE，2019年10月。二、三[16] 陈文正，王欢，李阳燕，苏浩，王振华，屠长河，DaniLischinski，Daniel Cohen-Or，和陈宝泉。合成训练影像以提升人体三维位姿估计。在第四届3D视觉国际会议，3DV 2016，美国加利福尼亚州斯坦福，2016年10月25-28日，第479-488页，2016年。3[17] 陈小武、周斌、路飞翔、林望、郎必、谭平。使用深度相机进行服装建模ACM Transactions on Graphics，34（6）：203，2015. 3[18] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和补全。在IEEE计算机视觉与模式识别会议（CVPR）上。IEEE，2020年6月。3[19] YanCui ，WillChang ， TobiasNo¨ll， andDidierStric k e r.Kinectavatar：使用一个Kinect的全自动身体捕捉。计算机视觉亚洲会议，第133-147页，2012年。3[20] RDaneEscherichek， EndriDibra ， C？ ztireli ， RemoZie gler ，andMarkus Gross.深衣：根据单个图像的3D服装形状估计。在计算机图形论坛，第36卷，第269-280页。WileyOnline Library，2017. 3[21] 董浩业、梁晓丹、龚克、赖汉江、朱佳、尹建。用于姿势引导的人物图像合成的软门控warping-gan。神经信息处理系统的进展，第474-484页，2018年。一、二[22] Haoye Dong ， Xiaodan Liang ， Xiaohui Shen ， BochaoWang，Hanjiang Lai，Jia Zhu，Zhiting Hu，and JianYin.多位姿导引虚拟试穿网路之研究。在IEEE国际计算机视觉会议（ICCV）上，2019年10月。一、二[23] Haoye Dong ， Xiaodan Liang ， Xiaohui Shen ， BowenWu，Bing-Cheng Chen，and Jian Yin. Fw-gan：用于视频虚拟试穿的流动导航翘曲gan。在IEEE国际计算机视觉会议（ICCV）上，2019年10月。3[24] 瓦勒恩廷·加布、让-塞巴斯蒂安·佛朗哥、X·维耶·马丁、科蒂利亚·施密德和格雷·戈里·罗格斯。塑造人类：从单个图 像 进 行 非 参 数 3D 人 体 形 状 估 计 。 CoRR ，abs/1908.00439，2019。二、三[25] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第26722[26] ArturGrigorev ， ArtemSevastopolsky ， AlexanderVakhitov和Victor Lempitsky。基于坐标的姿态引导人体图像生成的纹理修复。在IEEE计算机视觉和模式识别会议论文集，第12135-12144页，2019年。二、三[27] MarcHabermann ， WeipengXu ， MichaelZollhofer ，GerardPons-Moll，and Christian Theobalt.Livecap：从单目视频中实 时捕捉人类行为。ACM Transactions onGraphics，38（2）：14：1-14：17，2019。3[28] Xintong Han，Zuxuan Wu，Zhe Wu，Ruichi Yu，andLarry S Davis.Viton：一个基于图像的虚拟试穿网络。在CVPR，2018年。一、二、七[29] StefanHauswiesner ， MatthiasStraka 和 GerhardReitmayr。自由视点虚拟试用商品深度相机。第十届国际会议论文集7033虚拟现实连续体及其在工业中的应用，第23-30页。ACM，2011年。3[30] 唐纳德·豪斯和大卫·布林布料建模和动画。CRC Press，2000. 2[31] Wei-Lin Hsiao ，Isay Katsman ， Chao-Yuan Wu ， DeviParikh，and Kristen Grauman.时尚++：最小的编辑，为适合改善.在IEEE计算机视觉国际会议（ICCV），2019年10月。2[32] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros. 使用条件对抗网络进行图像到图像翻译 在IEEE会议 计算机视觉和模式识别，第1125-1134页，2017年。二、六[33] Shahram Izadi ， David Kim ， Otmar Hilliges ， DavidMolyneaux ， Richard Newcombe ， Pushmeet Kohli ，Jamie Shotton，Steve Hodges，Dustin Freeman，AndrewDavison，et al.运动融合：使用移动深度照相机的实时3D重建和交互。在ACM用户界面软件和技术研讨会上，第559ACM，2011年。3[34] Max Jaderberg，Karen Simonyan，Andrew Zisserman，等.空间Transformer网络。神经信息处理系统的进展，第2017-2025页，2015年。6[35] 郑文焕韩东勋高亨锡从照片中捕获服装。ComputerAnimation and Virtual Worlds，26（3-4）：291-300，2015. 3[36] Ning Jin ， Yilin Zhu ， Zhenglin Geng ， and RonaldFedkiw. 基于像素的数据驱动服装框架。arXiv预印本arXiv：1812.01677，2018。3[37] Nilesh Kulkarni Abhinav Gupta和Shubham Tulsiani。基于几何圈一致性的正则曲面映射在IEEE计算机视觉国际会议论文集，第2202-2211页，2019年。3[38] 佐拉·拉纳丹尼尔·克里默斯托尼·董深皱纹：精确逼真的服装造型。在欧洲会议中计算机视觉，第667-684页，2018年。3[39] Christoph Lassner，Gerard Pons-Moll，and Peter V.盖勒穿着衣服的人的生成模型。在IEEE国际计算机视觉会议（ICCV）上，美国新泽西州皮斯卡塔韦，2017年10月。美国电气与电子工程师协会。2[40] Verica Lazova ， Eldar Insafutdinov ， and Gerard Pons-Moll. 360-从一张照片中可以看出人们穿着衣服的不同程度的纹理。在3D视觉国际会议（3DV），2019年9月。二、三[41] Hao Li，Etienne Vouga，Anton Gudym，Linjie Luo，Jonathan T Barron ， and Gleb Gusev. 3D 自 画 像 ACMTransactions on Graphics，3