没有合适的资源?快使用搜索试试~ 我知道了~
深层皱纹:精确逼真的服装造型ZorahLa¨hner1,2[ 0000− 0003− 0599− 094X],DanielCremers2[ 0000− 0002− 3079−7984],anddTony Tung1[0000−0002−0824−0960]1Facebook Reality Labs,美国,tony. fb.com2德国慕尼黑工业大学,{laehner,cremers}@ in.tum.de抽象。我们提出了一种新的方法来产生准确和真实的,tic服装变形从真实的数据捕获。用于真实布料建模的先前方法主要依赖于基于物理的模拟(具有许多启发式参数)的密集计算,而从视觉观察重构的模型通常遭受缺乏几何细节。在这里,我们提出了一个原始的框架组成的两个模块,共同代表全球形状变形以及表面细节高保真。 全局形状变形从从运动中穿着衣服的人的3D数据中学习的子空间模型中恢复,而高频细节被添加到使用条件生成对抗网络创建的法线映射中,该网络的架构旨在增强现实主义和时间一致性。这导致服装变形序列的前所未有的高质量渲染,其中可以重新覆盖来自(真实)高分辨率观察的细皱纹。此外,由于模型是独立于身体形状和姿势来学习的,因此框架适合于需要重定向的应用(例如,身体动画)。我们的实验显示了具有灵活模型的原始高质量结果。我们声称,一个完全数据驱动的方法,以现实的布皱纹的产生是可能的。关键词:3D表面变形建模·布料模拟·法线映射·深度神经网络1介绍众所周知,真实服装重建是一个复杂的问题,并且其重要性在许多研究工作和应用中是不可否认的,例如野外的准确体形和姿势估计(即,来自穿着衣服的人的观察)、逼真的AR/VR体验、电影、视频游戏、虚拟试穿等。在过去的几十年里,基于物理的模拟一直是电影和视频游戏行业的标准,尽管它们需要专家花费数小时的劳动。最近,还提出了使用多视图视频或3D扫描系统进行完整服装重建的方法[38]。全局变形可以以高保真度半自动地重建。然而,准确地恢复几何细节,如细布皱纹仍然是一个挑战。2Z. Lhnereta l.Fig. 1.使用DeepWrinkles(我们的完全数据驱动的框架)进行精确和逼真的服装建模。(左)4D数据采集。(左中)从子空间模型重建。(中右)由我们的对抗神经网络生成的法线映射中的细皱纹。(右)虚拟人的3D渲染和动画在本文中,我们提出了DeepWrinkles(见图1)。1),一个新的框架,从真实的数据捕获生成准确和逼真的服装变形。它由两个互补模块组成:(1)从运动中的穿着衣服的人的3D扫描中学习统计模型,从中服装模板被精确地非刚性地对准。因此,使用线性子空间模型对服装形状变形进行建模,其中人体形状和姿势被分解,从而实现身体重定向。(2)精细的几何细节被添加到使用条件对抗网络生成的法线映射中,该条件对抗网络的架构被设计为执行现实主义和时间一致性。据我们所知,这是第一种在法线映射上使用深度神经网络处理3D表面几何优化的方法。通过DeepWrinkles,我们获得了前所未有的高质量的服装变形渲染,其中可以使用完全数据驱动的方法恢复(真实)高分辨率观察的全局形状和细皱纹图2以T恤为例给出了我们框架其他材料包含结果视频。我们展示了如何将该模型应用于虚拟人动画,身体形状和姿态重定位。2相关工作布料建模和服装模拟有着悠久的历史,可以追溯到80年代中期基本方法的一般概述在[51]中给出对这个问题有两种主要相反的方法一种是使用基于物理的模拟来生成逼真的皱纹,另一种是从真实世界的数据中捕获和基于物理的模拟。在过去的几十年里,依赖于牛顿物理学的模型已被广泛应用于模拟布料行为。他们通常是模特深层皱纹:精确逼真的服装造型34D扫描序列布料模板体型姿态估计姿势归一化统计模型混合变形配准重建HR法线贴图LR法线贴图cGAN渲染身体形状姿势混合形状重建cGAN统计模型LR法线贴图HR法线贴图图二. DeepWrinkles的简介。在学习过程中,我们学习使用统计模型和使用真实世界数据从姿势参数到混合形状参数的映射来重建全局形状变形。我们还训练了一个神经网络(cGAN),以从较低分辨率的法线映射生成精细的细节。在运行时期间,所学习的模型在给定先验身体形状和姿势的情况下重建形状和几何细节。输入为紫色,学习模型为青色。各种材料特性,例如拉伸(张力)、刚度和重量。对于某些类型的应用(例如,涉及人体),必须考虑其他模型或外力,例如身体运动学、身体表面摩擦、相互渗透等[9,8,4,16]。注意,几个模型已经集成在商业解决方案中(例如,虚幻引擎APEX Cloth/Nvidia NvCloth、Unity Cloth 、 Maya nCloth 、 MarvelousDesigner 、 OptiTex等 ) [32] 第 32段。然而,它通常需要数小时或数天,如果不是数周的计算,润饰工作,并由专家调整参数,以获得逼真的布料变形效果。3D捕获和重建。基于视觉的方法已经探索了在应力下捕获布表面变形的方法,并通过视觉观察估计材料特性以用于模拟目的[53,34,33,29]。还有一些方法直接从真实世界的测量数据重建整个物体表面[54]使用纹理模式来跟踪和重建服装学习运行时4Z. Lhnereta l.从视频中,而3D重建也可以从没有标记的多视图视频中获得[48,33,29,41,49,7]。然而,在没有足够先验的情况下,重建的几何结构可能是相当粗糙的。当目标已知时(例如,服装类型),模板可以提高重建质量[3]。此外,可以通过在输入图像上应用超分辨率技术[47,17,45,7]或使用光度立体和有关照明的信息[22,50]来恢复更多细节。当然,深度信息可以导致进一步的改进[36,14]。在最近的工作[38]中,通过服装分割和模板配准从4D扫描数据获得布料重建捕获的服装可以重新定位到不同的身体形状。然而,该方法对于细皱纹具有限制。由粗到细的方法。为了重建精细细节,并因此在运行时处理分辨率的凸起(即,用于模拟的更高分辨率网格或线性子空间模型)[2,21]或由粗到细的策略通常被应用[52,35,25]。DRAPE [19]自动化从模拟数据中学习线性子空间的过程,并将其应用于不同的主题。该模型的因素,身体形状和姿势,以产生一个全球性的衣服形状,然后应用看到的衣服的褶皱。然而,如[42]中那样,每个三角形应用变形,这对于在线应用不是最佳的。另外,对于所有这些方法,生成模拟数据是繁琐的,并且准确性和真实性是有限的。学习方法。先前提到的方法集中于系数模拟和先前看到的数据的表示。更进一步,有几种方法试图将这种知识推广到看不见的情况。[46]学 习 动 态系 统 的 袋 子 来表 示 和 识 别 皱纹 变 形 中 的 重复 模 式 。 在DeepGarment [13]中,使用CNN从单个分割图像重建全局形状和低频细节,但不可能重定向。在学习使用神经网络向3D表面添加逼真细节方面,只做了一些稀疏的工作,但存在几种方法来丰富面部扫描的纹理[40,37]。生成对抗网络(Generative Adversarial[18]适合于增强具有细节的低维信息。在[27]中,它用于创建给定(可能是随机的)姿势的穿着衣服的人的逼真图像在服装之外,SR-GAN[28]解决了从公共基准上的大量下采样图像中恢复照片般逼真的纹理该任务与我们在生成粗输入的高频细节方面具有相似性[10]使用CNN的数据驱动方法来模拟高度详细的烟雾流。相反,pix2pix [24]提出了一种条件GAN,可以从草图或注释区域创建逼真的图像,反之亦然。这种设计更适合我们的问题,因为我们的目标是学习和转移底层图像结构。深层皱纹:精确逼真的服装造型5为了在运行时表现出尽可能高的细节水平,我们建议重新审视传统的3D引擎的渲染流水线与计算机视觉。我们的贡献利用了法线映射技术[26,12,11]。请注意,位移贴图已用于使用纹理信息创建皱纹贴图[5,15]。然而,虽然结果在表面上视觉上很好,但它们仍然需要高分辨率网格,并且不能保证跨时间的时间一致性。(Also面部可以说比易于遮挡且更松散的衣服更容易跟踪。在这项工作中,我们要求第一个完全数据驱动的方法,该方法在法线映射上使用深度神经网络来利用服装的3D几何形状。3变形子空间模型我们通过学习一个线性子空间模型来模拟衣服变形,该模型考虑了身体姿势和形状,如[19]所示然而,我们的模型是从真实数据中学习的,并且每个顶点都应用变形,以提高图形管道的速度和灵活性[31]。我们的策略确保变形表示紧凑,具有高度的现实主义。首先,我们从4D扫描序列计算鲁棒的基于模板的非刚性配准(Sect.3.1),然后服装变形统计模型推导(节。3.2),并且最后,学习回归模型以用于姿势重定向(Sect.3.3)。3.1数据准备数据采集。 对于每种类型的服装,我们以60 fps的速度捕获4D扫描序列(例如,10.8k帧,3分钟),并且穿着全身套装,其中一件衣服在顶部具有彩色边界。每一帧都由一个3D表面网格组成,大约有200k个顶点,在表面上产生非常详细的折叠,但部分被洞和噪音破坏(见图10)。1a)。此设置允许简单的基于颜色的3D服装提取。另外,仅捕获一件衣服防止了衣服通常重叠的遮挡(例如,腰带)和衣服可以彼此自由组合。身体追踪使用[ 44]的部分中的方法在每个帧处估计3D身体姿势。我们发现,关节定义由表示转化和骨长度的参数描述。关节参数也根据体型进行调整,这是使用[31,55]估计的使用线性空间k_i_n函数S:R3×v×Rp_j→R3×v_h在变换形式为标准化姿态的3D可变形人体模板的v个顶点(的任何子集)处获得姿态人体(例如,T-pose)到由j个骨架关节定义的姿势。登记我们通过选择具有一致拓扑的人类模板的子集来定义服装T¯的模板。T¯应包含足够的顶点来模拟变形(例如,5k顶点的T恤),如图所示。3.然后,使用图1的变型将服装模板配准到4D扫描序列。6Z. Lhnereta l.图三.(左)在配准之前,通过蒙皮将模板与服装扫描对齐。边界是错位的。(右)不同人身上不同衬衫的注册示例。整个序列的纹理稳定性表明该方法对漂移具有鲁棒性基于网格变形的非刚性ICP [30,20]。以下目标函数Ereg旨在优化网格节点的仿射变换,使用高斯-牛顿法迭代地最小化:Ereg=Edata+ωr· Erigid+ωs· Esmooth+ωb·Ebound,(1)其中,数据项E_data将模板顶点与它们在目标扫描上的最近邻居对齐,E_rigid鼓励每个三角形变形尽可能刚性,并且E_smooth惩罚相邻三角形的不一致变形此外,我们引入了能量项E界以确保边界顶点的对齐通过实验,我们设定ωr=500,ωs=500,ωb=10。一个模板注册大约需要15秒(仅使用CPU)。边界对齐。在数据捕获期间,以可区分的颜色标记衣服的边界,并且将对应的点分配给集合BS。我们称模板上的边界点集为BT。BS × BT中的匹配点对应在扫描和模板之间均匀分布,并且理想地捕获褶皱中的所有细节 因为如果B T中的每个点都与最近的扫描边界点简单配对,则情况并非如此(见图2)。4),我们通过以下公式为每个点t ∈ B T选择匹配s t∈ B S:st= maxt−s,其中C=s∈C.Σs′∈ B S|argmins′−t′ = tt′∈BT.(二)注意C可能是空的。这确保了沿着边界的一致性,并且更好地捕获高频细节(其可能更远)。3.2统计模型通过PCA使用线性子空间分解计算统计模型[31]。 姿态{θ1,..., θ n}的所有n个注册网格{R1,…,通过使用逆蒙皮的姿势归一化从模型中分解出:S−1(Ri,θ i)=R<$i∈R3×v。在保留字中,可以将标记为“bar”的数字化。Eac hregistrationR¨ic可以通过一个简单的M¨a p ¨ap¨a dvertexoffset来实现深层皱纹:精确逼真的服装造型7nBSBTBSBT图4.第一章边界对齐策略 模板边界点BT以黑色表示,扫描边界点BS(具有比模板显著更多的点)以红色和蓝色表示。与模板点配对的点显示为蓝色。(左)与模板点的最近邻居配对会导致忽略遥远的细节。(右)B T中的每个模板点与包含其在B S中的最近点的集合中的最远点(用蓝色标记)配对。oi,在R¯i=M¯+oi时,Σretheme sh apeM¯∈R3×v由下式获得:aver aginingv ert expos it ions:M¯=ni=1 是的该软件的预处理指令-矩阵0 =[0]1。. . o n]通过奇异值分解得到:O = UΣ V。按最大奇异值排序,对应的奇异向量包含关于最主要变形的信息。最后,每个Ri可以由k ≤ n个参数{λ i,… λ i} ∈1KRk(而不是其3×v顶点坐标),具有线性混合形状函数B,给定姿态θi:B({λ 1,… λ i},θi)= S.ΣkM¯+Σλi·Vl,θi≈Ri∈R3×v,(3)1k ll=0其中V是该L-该S i ng l arv ec tor。对于给定的规则,λi=VR¯ih ol ds。L l在实践中,选择k= 500足以表示具有a的所有配准可忽略的误差(小于5 mm)。3.3姿态到形状预测我们现在学习预测模型fi,其将j个关节姿态作为输入,并且输出一组k个形状参数Λ。这允许通过姿势引起变形的强大应用为了考虑在人体运动期间发生的变形动力学,还使用姿势速度、加速度和形状参数历史来训练模型这些输入在控制向量Θ中连接,并且f可以使用自回归模型[2,39,31]获得在我们的服装实验中,我们通过线性回归直接求解f:其中F是f的矩阵表示,并且t指示Moore-Penrose逆。虽然这允许(有限的)姿势重定向,但我们观察到重建细节的损失。一个原因是,在运动下,相同的姿势可以根据运动的方向、速度和先前的折叠构型产生各种折叠构型为了获得非线性映射,我们将Θ和Λ的分量视为多变量时间序列,并训练深层多层递归神经网络8Z. Lhnereta l.图五.配准和子空间模型的限制。(左)整体形状恢复良好,但许多可见(高频)细节丢失。(右)增加模板网格的分辨率注意[38]也受到同样的限制。(RNN)[43]。具有长短期存储器(LSTM)单元的序列到序列编码器-解码器架构非常适合,因为它允许连续预测,同时比RNN更容易训练并且优于浅层LSTM。我们用j个关节参数姿态加上关节根部的速度和加速度来合成Θ。与线性回归相比的MSE报告见第节。五点三。4精细皱纹生成我们的目标是恢复所有可观察到的几何细节。如前所述,基于模板的方法[38]和基于子空间的方法[21,19]由于分辨率和数据缩放限制而无法重新覆盖每个细节,例如精细的布料褶皱,如图2所示。五、假设以传感器图像像素分辨率捕获最精细的细节,并且以3D(例如,使用如[6,38]中的4D扫描仪),然后可以以较低分辨率在3D扫描表面的法线图中编码所有现有的几何细节(参见图6)。为了在重建的服装中自动添加细节,我们建议使用生成对抗网络来利用法线映射[18]。架构见图8。特别是,我们的网络在法线贴图上诱导时间一致性,以增加动画应用程序的真实感4.1数据准备我们将4D扫描序列和对应的重构服装的序列作为输入。后者可以通过配准、使用混合形状的重建或回归来获得,如在第12节中详细描述的。3.服装模板网格T¯配备有UV贴图,用于投影来自将图像映射到网格表面上的点,从而指定编码的属性每一个点都有一个像素。因此,法线坐标可以被归一化并存储为法线贴图中的像素颜色。然后,我们的训练数据集由成对的法线映射组成(见图1)。7):通过混合形状重建获得的低分辨率(LR)法线图,以及通过混合形状重建获得的高分辨率(HR)法线图深层皱纹:精确逼真的服装造型9见图6。所有来自精确3D扫描的可见细节都在我们的法线贴图中生成,以实现令人难以置信的真实感。这里,虚拟衬衫被无缝地添加到动画虚拟人(例如,扫描对象)。见图7。我们的数据集的例子。(左)低分辨率输入法线贴图,(中)来自扫描的高分辨率目标法线贴图在扫描上可见的细节和噪声在图像中再现灰色区域表示扫描中没有可用的正常信息(右)在不使用法线贴图和使用法线贴图渲染的人体模型上的T恤。扫描结果对于LR法线贴图,曲面点(位于面中)处的法线是从顶点法线线性插值的对于HR法线图,通过高分辨率观测的投影获得每像素法线(即,4D扫描)到对应的低分辨率重建的三角形上,然后法线信息使用T的UV图来传递。注意正常不能直接从扫描中计算出UV图,因为既没有定义服装的确切区域,也没有配备UV图。此外,我们的法线是在全局坐标中表示的,而不是法线贴图的标准切线空间坐标。原因是LR法线贴图不包含几何体的附加信息,因此在切空间中是恒定的。这使得它们不适合调节我们的对抗性神经网络。4.2网络架构由于我们的问题的性质,自然会探索设计用于增强图像的网络架构(即,超分辨率应用)。从我们的实验中,我们观察到模型在自然图像上训练,包括那些10Z. Lhnereta l.发生器-U-Net鉴别器图8. cGAN用于从LR法线贴图生成真实的HR法线贴图作为输入。层大小是平方的。U-Net中的跳过连接(红色)可跨网络层保留底层映像结构。PatchGAN强制皱纹图案一致性。包含感知损失项Fail(例如,SR-GAN [28])。另一方面,布料变形显示出随时间连续变形的平滑图案(褶皱、折痕、折叠)此外,在更精细的层面上,材料和面料纹理也包含高频细节。我 们 提 出 的 网 络 基 于 受 图 像 传 输 启 发 的 条 件 生 成 对 抗 网 络(cGAN)[24]。我们还在生成网络中使用卷积-批量范数-ReLu结构[23]和U-Net,因为我们希望在网络层之间传输潜在信息,并保留图像的整体结构。这要归功于跳过连接。鉴别器只惩罚在补丁的规模结构,并作为纹理损失。 我们的网络是由低分辨率的正常地图图像(大小:256 × 256),这将通过从我们的真实数据法线贴图中学习到的精细细节来增强。完整架构见图8。通过扩展L1网络损失项来实现时间一致性对于引人注目的动画,不仅重要的是每个帧看起来真实,而且渲染中不应发生突然跳跃。为了确保连续生成的图像之间的平滑过渡,我们向GAN目标引入了额外的损失Lloss,以惩罚t时生成的图像与t−1时的预期图像(来自训练数据集)之间的差异:ΣL损失= It− It1+|(It − It−1)i,j|、(四)发电机gt联系我们L数据发电机gti、j联系我们L温度其中L数据有助于在L1意义上生成接近地面实况的图像(用于更少的模糊)。时间一致性项L_temp意在捕获表面上的全局褶皱移动。如果某个东西在某个地方出现,大多数时候,它应该在附近消失,反之亦然。但是,我们的术语没有考虑空间邻近性。我们还尝试了基于L1和L2范数的时间一致性,并在表1中报告了结果。参见图9,用于具有和不具有时间一致性项的结果的比较。LR NM{t,t−1}HR NM{t}GT0、170 ×70PatchGAN2561286432168421248163264128256深层皱纹:精确逼真的服装造型11见图9。仅在2000个训练样本上训练的示例加强了附加损失L_temp的效果。这些对显示两次相同的连续帧:(左)没有时间一致性项,几何噪声立即出现或消失,(右)具有时间一致性项,保持几何连续性。5实验本节评估我们的重建结果使用时间3dMD系统(4D)捕获4D扫描序列序列以60fps捕获。每一帧由一个有200K个顶点的彩色网格组成在这里,我们显示了两种不同衬衫(女性和男性)的结果。我们在9213个连续帧的数据集前8000个图像组成训练数据集,接下来的1000个图像组成测试数据集,剩余的213个图像组成验证集。测试和验证集包含训练集中未看到的姿势和U-Net自动编码器由2× 8层构成,每个第一卷积层中有64个滤波器。该图使用70× 70大小的贴片L 数 据权重设置为100,L临时权重为50,而GAN权重为1。这些图像的分辨率为256× 256,尽管我们早期的实验在512 × 512上也显示了有希望的结果。5.1方法比较我们将我们的结果与不同的方法进行比较(见图1)。第10段)。由3D艺术家使用MarvelousDesigner [32]完成的基于物理的模拟返回一个网格,该网格模仿与我们的扫描相似的材料属性,并且具有相当数量的折叠,但包含53,518个顶点(即,数量级更多)。线性子空间重构具有从配准导出的50个系数3)产生大部分平坦的表面,而配准本身示出扫描中的主要褶皱的平滑近似我们的方法DeepWrinkles将扫描中看到的所有高频细节添加到重建的表面。这三种方法使用一个有5048个顶点的网格。DeepWrinkles使用256× 256法线贴图图像显示。5.2重建细节在输入中的重要性我们最初的实验表明,有希望的结果重建的细节,从原来的注册正常的地图。为了显示该方法的有效性,12Z. Lhnereta l.图10个。方法的比较a)基于物理的模拟[32],b)子空间(50个系数)[19],c)配准[38],d)DeepWrinkles(我们的),e)3D扫描(地面实况)。L1温度 L2温度 当量4无温度注册BS 500 BS 200注册数据4.635.163.725.063.726.866.407.6时间5.114.24.25.524.27.056.527.65表1.针对不同的神经网络的逐像素误差值的比较训练类型。Data和Temporal如Eq. 4.(左)不同的时间一致性项。L1和L2分别取t- 1时刻输出和目标之间的距离。(右)生成输入法线贴图的不同重建方法。注册是指配准,BS的混合形状具有一定数量的基函数和Regre。回归。不仅需要从配准重建细节,而且需要从混合形状重建细节,并且在回归之后重建细节。我们将训练集中的输入图像替换为由具有500、200和100个基函数的混合形状和来自回归重建的一个集合构造的法线映射目标是确定输入中获得真实详细褶皱所需的细节量。表1示出了每个实验中的错误率。500个基函数对于结果中的合理数量的细节似乎是足够的。可能是由于回归重建的噪声和颠簸更大,神经网络无法重建长时间定义的褶皱,而是产生了许多更高频率的褶皱(见图1)。第11段)。这表明输入的结构仅由网络重新定义,并且重要的折叠必须在输入中可见。5.3重定向最终目标是能够以一个或多个序列扫描一件衣服,然后将其转移到具有新动作的新人员身上。深层皱纹:精确逼真的服装造型13我|M我|Ma) 无法线贴图b)地面实况c)Reg.时间d)200时间e)500时间f)Reg.无时间见图11。高分辨率法线贴图的不同训练结果示例。从左到右:全局形状,目标法线图,从具有时间一致性的配准法线图学习,从具有200个基函数和时间一致性的混合形状学习,如前所述,但具有500个基函数,从没有时间一致性的配准法线图学习。在训练集中看不到示例姿势摆姿势 我们实验了控制向量Θ的各种组合,包括姿势、形状、关节根部速度和加速度历史。事实证明,文献中的大多数公式都难以训练或不稳定[2,39,31]。我们将关节参数限制为与每件衣服直接相关的参数,以降低维度。在衬衫的情况下,这留下了与上身相关的参数一般来说,线性回归泛化效果最好,但平滑了许多整体几何细节,即使在训练集中也是如此。 我们对500和1000混合形状的9213帧进行了评估:MSE500= 2。902和MSE1000= 3。114.另一方面,我们用LSTM单元(4层,维度为256)训练了一个编码器-解码器,使用长度为3的输入和输出(见第二节)。3.3)。我们取得了可喜的成果:MSE rnn= 1。892.补充材料显示视觉上良好的重建序列。形状. 在3.2中,我们将带有褶皱的衣服表示为平均形状的偏移。对于具有不同体型的人,可以使用人体模板来完成相同的操作P¯i非规范 化 的 位 置 上 的 一 个 字 符 串 可 以 被 表 示 为 一 个 平 均 的templateplusavertx-wiseoff setP¯i=T¯′+o′。在关闭该模块时提供该功能sha peM¯=T¯′|M+o′co ntasuertehemanpla te可以通过指定M¯o′=M¯+o′来调整该实施例的任意形式。| M restricts vertices of the human template to those used for clothing.然后,Méo′可以简单地执行该命令。在第3个表格中的等式:B({λ 1,…λ i},θi)= S.ΣkM¯o′+Σλi·Vl,θi≈Pi| M,(5)1k ll=0替换平均形状会影响曲面法线。因此,有必要在渲染时在切线空间中使用法线贴图。这使得它们适用于任何体型(见图1)。第12段)。14Z. Lhnereta l.见图12。体型重定位。第一个和第四个条目是原始模型上的衬衫,下面两个是重新定位到新的身体形状。6结论我们提出了DeepWrinkles,这是一个完全数据驱动的框架,可以从4D扫描序列中捕获和重建运动中的服装我们的评估表明,可以使用条件对抗神经网络将高频细节添加到低分辨率法线映射中。我们引入了一个额外的时间损失的GAN目标,保持跨时间的几何一致性,并在不同的数据集上显示定性和定量评估我们还详细介绍了如何从注册数据创建低分辨率法线映射,因为事实证明注册保真度对于cGAN训练至关重要这两个模块是互补的,以实现准确和逼真的渲染的整体形状和细节的服装。据我们所知,我们的方法远远超过了目前基于物理的模拟和数据驱动方法的详细此外,法线贴图的空间需求与增加服装网格的分辨率相比可以忽略不计,这使得我们的流水线适合标准3D引擎。局限性。 高分辨率法线贴图可能会在摄影机看不到的区域(例如腋窝区域)中丢失信息。因此,尽管服装模板可以解决大多数问题(例如,通过进行平滑处理)。目前,当新姿势与训练数据集中包含的姿势相似时,姿势重定向效果最好。虽然神经网络能够推广到一些看不见的姿势,但从新的关节参数序列重建全局形状可能具有挑战性。这应该通过缩放数据集来修复。未来的工作。扫描设置可以扩展到重建所有身体部位,具有足够的细节而没有遮挡,并将我们的方法应用于更多样化的服装和配饰,如外套,围巾。法线贴图也可以用来添加精细的细节,比如在3D中难以捕捉的按钮鸣谢。我们要感谢FRL团队的支持,感谢Vignesh Ganapathi-Subramanian对子空间模型的初步工作。深层皱纹:精确逼真的服装造型15引用1. www.3dmd.com,temporal-3dmd systems(4d)(2018)2. de Aguiar,E.,锡加尔湖Treuille,A.Hodgins,J.:为实时服装提供稳定的空间在:Hart,J.C.(编辑)ACM Transactions for Graphics。计算机协会(ACM)(2010)3. de Aguiar,E.,斯托尔角Theobalt,C.艾哈迈德,N.,Seidel,H.,Thrun,S.:从稀疏多视图视频中捕获性能。在:Hart,J.C.(编辑)ACM Transactions for Graphics. vol. 27,pp. 98:1- 9 8:10。计算机辅助制造(ACM)的综合评估(2008年)4. Baraff,D. Witkin,A.,Kass,M.:解开纠结的布。在:Hart,J.C.(编辑) ACMTrans-actionsonGraphics.vol.第22 页 。862-870AssociationforComutingMachinery(ACM),New York,NY,USA(2003年7月)5. Beeler , T. , Hahn , F. , Bradley , D.Bickel , B. , Beardsley , P. ,Gotsman,C.Sumner,R.W.,格罗斯,M.:使用锚帧的高质量被动面部表现捕捉。 In:AleX a,M. (ed. ACMTrans a ctinsforGraphics. vol. 第30页。75:1- 75:10。计算机协会(ACM),美国纽约州纽约市(2011年8月)6. Bogo,F.,Romero,J.Pons-Moll,G.,布莱克,M.J.:动态浮士德:登记人体运动。IEEE计算机视觉与模式识别会议(CVPR)IEEE(2017年7月)7. Bradley,D.Popa,T.,Sheffer,A.,Heidrich,W.,Boubekeur,T.:无标记服装印花。你好J C. (ed. A C MTransactinsforGraphics. vol. 27,pp. 99:1-99:9。计算机协会(ACM),纽约,美国(2008年8月)8. 布赖森河Marino,S.,Fedkiw,R.:模拟有褶皱和褶皱的衣服ACMSIGGRAPH/Eurographics Symposium on ComputerA nimatio n.pp. 28欧洲专利局,美国加利福尼亚州,美国(2003年7月)9. Choi,K.J.,Ko,H.S.:稳定但反应灵敏的布料。In:Proceedings of the 29thAnualC onferenceonC onputerGraphicsandI nter activeTech niques. pp. 604 - 611。SIGGRAPH,ACM,纽约,美国(2002)10. Chu,M.,Thuerey,N.:基于cnn特征描述的烟流数据驱动合成。 In:Alexa,M. (ed. CMTransactinsforGraphics. vol. 第36页。69:1计算机协会(ACM),纽约,纽约,美国(2017年7月)11. Cignoni,P.,蒙塔尼角斯科皮尼奥河Rocchini,C.:在简化网格上保留属性值的一般方法In:Proceedings of IEEE Conference on Visualization. pp. 59比66 02The Dog(1998)12. Cohen, J.D. ,Olano ,M. , Manocha, D.:保 持外 观的简 化。在 :Proceedings of the 25th Annual Conference on Computer Graphics andInteractiveTec ch niq ues , SIGGRAPH.pp. 115ACM , Orlando , FL , USA(1998年7月)13. 当内雷克河, Dibra,E., O¨ztireli,C., Ziegler,R., Gross,M. :Depgarment:3d从单个图像估计服装形状。在:Chen,M.,张河,巴西-地(编辑)ComputterGraphicsForum.vol. 第 36页。 269比280。《欧洲恐怖主义》(2017年)14. Dou,M.,Khamis,S.,Degtyarev,Y.,Davidson,P.,Fanello,S.R.,Kowdle,A.,埃斯科拉诺,S.O.,Rhemann,C.,Kim,D.,Taylor,J.Kohli,P.,Tankovich,V. Izadi,S.:Fusion4d:实时性能捕捉具有挑战性的场景。In:Alexa,M. (ed. ACMTransactinsforGraphics. vol. 第 35页。114:1- 114:13。Associatonfr Computing Machinery(ACM),New York,NY,USA(2016年7月)15. Fyffe,G.,Nagano,K.Huynh湖斋藤,S.,Busch,J.,Jones,A.,Li,H.,Debevec,P.:多视图立体一致的面对拓扑结构。计算机图形论坛36(2),29516Z. Lhnereta l.16. Goldenthal河Harmon,D.法塔勒河,Bercovier,M.,Grinspun,E.:有效模拟不可伸展的布料。在:Hart,J.C.(编辑)ACM Transactions forGraphics。第26卷,第49页。计算机协会(ACM)(2007)17. Goldlukéke,B., Cremers,D. :为多视图重建提供备份解决方案。IEEE第12届计算机视觉国际会议,ICCV。pp. 1677- 1684年。IEEECommputerSociety(2009年版)18. Goodfellow,I.J. Pouget-Abadie,J. Mirza,M.,徐,B.,沃德-法利,D.,Ozair,S.,南卡罗来纳州考维尔Bengio,Y.:生成性对抗网。In:Ghahramani,Z.,Welling,M.,科尔特斯角Lawrence,N.温伯格K. (编辑)神经信息处理系统进展27:神经信息处理系统年会(NIPS)。pp.2672-2680 CurrranAssociates,Inc.,Montreal,Quebec,Canada(2014年12月)19. Guan,P.,赖斯湖赫什伯格地方检察官Weiss,A.,布莱克,M.J.:铺巾:敷料任何部位。ACMTransacti o nsforGra phics31(4),35:120. 郭,K.,徐,F.,王玉,Liu,Y.,Dai,Q.:鲁棒的非刚性运动跟踪和使用l0正则表达式的简化。 pp. 3083-3091 IEEEComputer Society(2015)21. Hahn,F.,Thomaszewski湾Coros,S.,Sumner,R.W.,Cole,F.,Meyer,M.,DeRose,T.,格罗斯,M.H.:基于自适应基的子空间服装模拟。In:Alexa,M. (ed. ACMTransactinsforGraphics. vol. 33,pp. 105:1- 105:9。计算机(ACM)的一个分类22. 他和C Vogiatzis,G., Brostow,G. J. B., Cipolla,R. :具有彩色光的非刚性光度立体。In:IEEE 11th International Conference onC〇mputerVisisin,ICCV. pp.一比八IEEEComputerSociety,RiodeJaneiro,Brazil(Oct2007)23. Ioffe,S.,Szegedy,C.:批次标准化:通过减少内部协变量偏移来加速深度网络训练。In:Proceedings of the 32nd InternationalC〇 nFeR e nceonMac hi neLearni ng-第37卷。pp. 448第50集9.1The LordoftheLord(2015)24. Isola,P.,Zhu,J.,周,T.,Efros,A.A.:使用条件对抗网络的图像到图像翻译在:2017年IEEE计算机视觉和模式识别会议,CVPR。pp. 5967-5976 IEEEComputerrSociety,Honolulu,HI,USA(2017年7月)25. 卡万湖Gerszewski,D.,Bargteil,A.W.,Sloan,P.P.:受物理学启发的上采样,用于游戏中的布料模拟。在:Hart,J.C.(编辑)ACM Transactions forGraphics。vo l. 第 30页。93 :1- 93:10。AssociationforComutingMachinery(ACM),NewYork,NY,USA(2011年7月)26. Krishnamurthy,V.,Levoy,M.:将平滑曲面拟合到密集多边形网格。第23届计算机图形学与交互技术年会论文集美国路易斯安那州新奥尔良(8月)27. Lassner,C. Pons-Moll,G.,Gehler,P.V.:穿着衣服的人的生成模型。In:I EEEI nter na t in a ti n a t inalC onfernC on muterVisin,ICC V. pp. 853-862 IEEE计算机协会,意大利威尼斯(2017年10月)28. 莱迪格角泰斯湖胡萨尔,F
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++多态实现机制详解:虚函数与早期绑定
- Java多线程与异常处理详解
- 校园导游系统:无向图实现最短路径探索
- SQL2005彻底删除指南:避免重装失败
- GTD时间管理法:提升效率与组织生活的关键
- Python进制转换全攻略:从10进制到16进制
- 商丘物流业区位优势探究:发展战略与机遇
- C语言实训:简单计算器程序设计
- Oracle SQL命令大全:用户管理、权限操作与查询
- Struts2配置详解与示例
- C#编程规范与最佳实践
- C语言面试常见问题解析
- 超声波测距技术详解:电路与程序设计
- 反激开关电源设计:UC3844与TL431优化稳压
- Cisco路由器配置全攻略
- SQLServer 2005 CTE递归教程:创建员工层级结构
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功