基于点的服装人体建模隐式模板学习

+v：mala2255获取更多论文基于点的服装人体建模隐式模板学习林思友张宏文，郑泽荣，邵瑞芝，Yebin Liu中国北京清华大学抽象的。 我们提出了FITE，一个先隐后显的框架，用于建模服装中的人类化身。 我们的框架首先学习表示粗糙服装拓扑的隐式表面模板，然后采用模板来指导点集的生成，这些点集进一步捕获姿势相关的服装变形，例如皱纹。我们的管道结合了隐式和显式表示的优点，即能够处理不同的拓扑结构和有效地捕捉细节的能力我们还提出了扩散皮肤，以促进模板训练，特别是宽松的衣服，和基于投影的姿势编码，从网格模板提取姿势信息，而无需预定义的UV地图或连接。 我们的代码可在www.example.com上公开获取https://github.com/jsnln/fite。关键词：三维建模;穿衣人;隐式曲面;点集曲面。1介绍穿着衣服的人类化身的建模是许多图形相关领域中的重要主题，例如动画、视频游戏、虚拟现实等。传统解决方案[5，21，35，36]大多基于对艺术家设计的化身进行操纵和蒙皮，因此在表示穿着衣服的人类时缺乏真实感。另一种可能性是应用基于物理的模拟[15，25，26，46]，其通常计算量很大并且需要手动设计的装备。最近的工作探索了从姿势扫描数据中学习衣服的真实姿势相关变形（例如皱纹）。从数据驱动的角度来看，我们确定了这个任务中的两个主要挑战：（i）学习服装拓扑结构;（ii）学习精细细节和姿势相关的服装变形。事实上，大多数方法都受到它们选择的代表性的限制，不能完全解决上述挑战。特别是，基于网格的方法[2，3，8，9，14，13，25，26，33，28，39，44，46，56，59，60，65]基本上受到固定拓扑的限制，并且通常需要配准扫描进行训练。另一方面，隐式曲面[11，12，17，23，42，41，45，54，53，55，61]可以表示不同的拓扑，但计算量很大，难以表示细节。另一方面，点集既有效率又有灵活性。然而，生成具有细节的点集是困难的。大多数方法生成稀疏点[1，20，34]或分组为面片的 点[6，18，19，24，38]。arXiv：2207.06955v1 [cs.CV] 2022年7+v：mala2255获取更多论文2S. Lin等人虽然一些方法可以达到更高的质量，但它们通常需要几十次迭代才能获得单个输出[32，37，63]。最近，最先进的（SOTA）基于点的方法POP[40]证明了点在交叉服装建模和捕获姿势相关服装细节方面的作用。POP的成功在于其强大的身体模板加偏移公式，点集的灵活性，以及其细粒度的UV空间特征。然而，POP对所有服装应用相同的最小身体[36，47]，这会受到诸如过于稀疏的点和服装中的不连续性等伪像的影响，从而对整体视觉质量产生负面影响。上述分析表明，隐式曲面和点集在某种程度上是互补的：（i）隐式曲面可以处理变化的拓扑，但不能有效地收敛到细节;（ii）点集是有效的，可以表示精细的细节，但即使是SOTA基于点的方案[40]也限于具有固定拓扑的底层模板，导致拓扑相关的伪影。这使得我们想知道：我们是否可以结合这两种表示的优点，同时捕捉整体拓扑结构和最终细节？以此为动机，我们提出了一个先隐后显的框架，简称FITE，其中隐式表示和点集表示的任务是做他们擅长的。我们的建议是一个两阶段的管道：在阶段第一阶段，我们训练隐式模板，该隐式模板捕获每件服装的粗略服装拓扑，并且在第二阶段，我们预测来自模板的姿势相关偏移，以生成精细细节和姿势相关服装变形。为了避免与相关工作[22，68]的任何概念混淆，我们将隐式模板定义为与线性混合蒙皮权重相关联的规范姿势的衣服身体。由于模板已经捕获了给定服装的粗略拓扑，因此第二阶段可以专注于姿势相关的变形。与POP相比[40]它直接采用一个固定的身体模板的所有服装，我们的分而治之的方案导致更好的拓扑结构以及更好的细节。请注意，我们的模板类似于[11，55]中的正则空间形状，但在我们的设置中不需要模板的姿势相关变形。上述提法自然会产生两个问题。 首先，在第一阶段中，从摆置扫描训练隐式模板需要已知的规范空间和摆置空间之间的对应关系。现有的方法[11，55]通过预测3D蒙皮场来学习这种对应关系。然而，它们在远离骨架的区域中不太准确。为了解决这个问题，我们通过将SMPL[36]的皮肤权重平滑地扩散到整个空间来预先计算3D皮肤场，并将其固定用于后续训练。这种方法有效地减少了可学习参数的数量，并诱导出更稳定的对应关系，特别是在数据有限的情况下。此外，由于皮肤扩散顺利，它可以处理宽松的衣服以及。另一个问题在于第二阶段：我们如何为学习的模板编码姿势信息，这些模板没有预定义的UV或网格连接性？我们建议将正则构成的模板渲染为多视图图像，其像素是相应构成的顶点的坐标（以下[40]，我们将其称为位置图），并将其馈送到U-Nets[52]进行编码+v：mala2255获取更多论文基于点的服装人体建模的隐式模板学习3姿态信息。与UV空间位置图[38，40]相比，我们的解决方案为模板引入了更连续的特征空间，并且表现出更少的拓扑伪影。我们将我们的贡献总结如下。– 提出了一种先隐后显的服装人体建模框架，该框架结合了隐式和显式表示的优点，具有比现有方法更好的拓扑特性.– 对于粗模板训练，我们提出了扩散皮肤，它可以从规范空间到构成空间产生稳定的对应关系，即使对于有限的数据或宽松的衣服。– 为了提取姿态信息，我们提出了基于投影的姿态编码，它在训练模板上引入了一个连续的特征空间，而无需预定义的UV图或连接。2相关工作模拟穿着衣服的人类化身是一项涉及各种技术的任务一个理想的方法应该至少（i）采用合适的3D表示;（ii）与现有的动画管道兼容;（iii）对细节和姿势相关的服装变形进行建模。本文主要从这三个方面进行综述。2.1穿着衣服的人网格表面是最新的主要选择表示三维形状的紧凑性和效率。对于人体建模，大多数方法将衣服表示为来自最小身体[4，27，36，47]的变形[3，8，9，39，44，57，59，65]，或者表示为单独的层[25，26，33，46，56]。网格本质上受限于其固定拓扑。另一方面，神经隐式人类表征不受固定拓扑的影响[11，12，17，23，42，41，45，54，53，55，61]。尽管隐式方法具有明显的优点，但其计算效率低，往往阻碍了隐式方法的高保真输出。表达隐含的人类也是一种挑战。最近的方法[11，16，42，55]学习体积线性混合蒙皮以实现清晰度。但是，将线性混合蒙皮扩展到3D可能很棘手，特别是对于有限的数据或宽松的衣服。点集具有效率和灵活性。尽管如此，产生具有精细细节的点是困难的。Pio- neer工作[1，20，34]只生成稀疏点。后来的方法[6，18，19，24，38]通过将点分组为面片来实现更密集的生成，其中面片间的不连续性是一个副作用。POP [40]以细粒度UV特征为生成条件，以产生密集的结构化点，但其性能仍然受到SMPL/SMPL-X [36，47]的底层拓扑的限制。最近，基于神经辐射场（NeRF）[43]，已经尝试通过-传递底层几何图形并直接合成穿着衣服的人的渲染图像[49，50，62，67]。然而，缺乏一个明确的几何限制了他们的应用程序中的下游任务，如编辑和动画。+v：mala2255获取更多论文K k=14个S. Lin等人2.2使用线性混合蒙皮制作人体线性混合蒙皮（LBS）是一种广泛使用的技术，用于在其他可表达对象中制作人类化身的动画。使用LBS时，曲面与底层骨架相关联，并且当骨架连接时，曲面上的每个点也会根据一组预定义的蒙皮权重通过线性组合骨架中骨骼的变换进行变换。LBS传统上仅应用于2D网格表面[5，36，47]。最近，由于需要表达隐式表示，LBS也已扩展到3D（称为蒙皮字段）[7，11，16，42，55]。但是，对 于远离 骨架的 位置， 蒙皮权 重没有直 接的监 督。LoopReg[7]使用SMPL上最近的点将蒙皮扩展到3D，从而导致清晰可见的空间不连续性。SNARF[11]训练一个正向蒙皮场和一个规范空间隐式占用场。SCANimate[55]预测向前和向后蒙皮场并强制循环一致性。尽管有这些努力，这样的剥皮场仍然限于紧身服装。2.3基于姿势的服装变形服装变形通常是非刚性的和姿势相关的，例如，褶皱、滑动和凸起。生成真实的姿势相关变形需要有效地编码姿势信息。超越应用单个全局特征的先前方法[16，33，39，46，64]，最近的工作已经证明利用局部信息可以获得更好的细节和更好的概括[38，40，55，57]，例如。 UV地图[38，40，57]和注意机制[55]。在我们的框架中，我们提出了基于投影的姿势编码，在没有预定义的UV图或网格连接的情况下，在模板上引入连续的姿势特征空间虽然类似的想法也出现在其他地方[10，51，53，54]，据我们所知，我们是第一个应用这种架构来编码姿势信息的动画穿着人类。3方法3.1任务制定和符号我们的任务是从一组姿势扫描中学习具有逼真姿势依赖的服装变形的可动画化的穿着人类化身，在多服装设置下。图图1显示了我们的整体管道，其中隐式模板在第一阶段进行训练为了简化符号，让我们现在假设同一个人穿的一件衣服。我们将在3.3节末尾介绍如何将公式轻松扩展到多装备设置。我们假设输入扫描以具有覆盖身体大部分的法线的点集的形式呈现，使得可以提取水密网格以获得地面实况占用标签（0表示外部，1表示内部）。我们表示第i次扫描的点集为{pi}Ni<$R3，其中Ni是+v：mala2255获取更多论文LBS翘曲（扩散蒙皮）附加姿势坐标������几何特征图形设定模板MLP解码器训练粗糙正则模板网布机输入扫描（网状）最终点集（redisualsadded）姿势特征模板位置图 U-Nets中KK∈JJ···Σ···∈∈学习基于点的服装人体建模的隐式模板5第一阶段：粗模板训练第二阶段：建模姿态相关点集Fig. 1. 我们的先隐后显框架的总体管道。左：在第一阶段，我们学习了不同服装的隐式模板，并使用扩散蒙皮。右：在第二阶段，我们从基于投影的编码器提取的特征中预测与姿态相关的偏移在第i次扫描中的点。pi处的法线记为ni。我们还假设每个扫描具有拟合的SMPL模型[36]。这种假设是合理的，因为有许多现有的技术可以跟踪获得参数化身体模型[29，48，58，66]。请注意，SMPL只需要其骨架结构和蒙皮权重用于放置，而对于点集生成，我们将使用学习的隐式模板。令T表示对象的规范姿态SMPL身体模板，并且令θiR72表示对应于第i次扫描的SMPL姿态参数。T与θi一起确定与SMPL骨架的每个关节相关联的一组刚性变换Ri（j= 1，， 24是不同关节的索引）。给定T和θi，如果正则空间中的点PR3w（p）=（w1（p），，w2 4（p））R24关联到每一个连接，我们可以通过LBS在第i次扫描中返回到其对应的位置qi。我们将这种翘曲表示为W（·，·; T，θ i）：R3×R24→R3.更具体地说：24qi=W（p，w（p），T，θi）=wj（p）Ri（p）.（一）j=1注意，w（p）现在仅定义在SMPL曲面T上。我们将在3.2节介绍如何将w扩展到3D空间。3.2第一阶段：使用扩散蒙皮的粗模板训练在这个阶段中，我们寻求获得表示粗略服装拓扑的模板Tc。我们遵循SNARF[11]来学习模板作为正则空间中0-1占用域Fc：R3→[0，1]的1/Tc={p∈R3：Fc（p）= 1/2}。（二更）…+v：mala2255获取更多论文匹配失配FF→∇∇σf，σwF6 S. Lin等人作为一个快速回顾，SNARF[11]联合优化了姿态相关的正则空间占用场fσ（·，θi）：R3→[0， 1]和前向蒙皮场wσw（·）：R3→R24，两者都由神经网络表示，其中σf和σw为参数，通过最小化预测的二进制交叉熵（BCE）损失，占据fσ（p，θi）和在翘曲的位置qi=W（p，wσ（p），T，θi），即minLBCE（f σ（p，θ i），o（q i））.（三）然而，我们根据经验发现，由于（3）的解的非唯一性，联合优化σ f和σ w会导致局部极小值。 更具体地说，一个不正确的规范形状与一个不正确的蒙皮场可能会意外地被扭曲到一个正确的形状（见图。2 ）。以训练姿势休息以新颖的姿势休息训练扫描学习蒙皮新姿势图二、联合优化规范形状和蒙皮场的不适定性说明。具有不正确蒙皮的不正确规范形状可能会意外扭曲为正确姿势，但泛化到新姿势可能会有问题。为了解决这种模糊性，我们建议固定（3）中的蒙皮权重。让优化只关注占用率。这有效地减少了可学习的参数，并生成更稳定的结果，这对第二阶段至关重要。一个好的前向蒙皮权重场w：R3R24应该满足以下约束：（i）w（p）应该与SMPL蒙皮权重ws（p）相同，p位于SMPL体表面T上;（ii）w应该从SMPL表面自然扩散，在这个意义上，它沿法线方向的变化率应该为零.这些导致以下约束（以下等式应被视为分量式）：w（p）=ws（p），npw（p）·ns（p）=0， 对p∈T，（4）其中ws（p）表示p处的SMPL蒙皮权重，并且ns（p）表示p处T的法线方向。我们注意到曲面上的标量函数的梯度是一个定义的概念，实际上是曲面的切场考虑w s的每个分量作为T上的标量函数，我们计算它们沿T的梯度为Tw s。注意，Eq。（4）说pw与T相切，且w=w s在T上。因此，我们可以等效地重写Eq。（4）作为w（p）=ws（p），npw（p）=nTws（p），对p∈T，（5）W+v：mala2255获取更多论文22pGreg嗯，F}K正则化项（W）：K k=1沿面梯度扩散到太空中查询∇���������分解正常化SMPL剥皮机蒙皮组件学习基于点的服装人体建模的隐式模板7图三. 可见扩散性皮肤。SMPL[36]上的蒙皮权重的每个分量独立扩散并重新归一化以形成蒙皮场。其可以被重新公式化为最小化以下能量（具有平滑性λsp∈Tw（p）−ws（p）<$2+λs<$p∈T∥∇pw(p)− ∇T ws（p）<$2+λsA322（六）其中λ是加权的以确保数值稳定性。 我们应用现成的求解器[30]来获得w。请注意，w的每个分量都是单独求解的，固定在[0，1]的范围内，最后重新归一化，求和为1（图3）。请参阅补充材料了解更多详情。从Eq. 我们将其固定在SNARF [11]中，并在（3）中训练F σf。中的多重对应等技术仍在使用（详见补充材料）。第一阶段在一个粗略的形状可用时终止，这比原始设置要短得多，原始设置力求精细细节。在训练之后，我们将Fc设置为：Fc（p）=Fσ（p，θi0），其中θi0=arg min{εθiε：θ i在训练姿势中。（七）换句话说，我们从所有训练姿势中挑选最接近L1注意，虽然Fc不依赖于姿态，但它足以满足我们的目的。最后，我们提取Fc（p）的1/ 2水平集Tc作为我们的规范模板，它可以通过LBS与从w查询的蒙皮权重来构成。第一阶段到此结束。3.3第二阶段：对姿势相关的服装变形在第一阶段获得代表粗糙服装拓扑的规范模板Tc之后，我们进一步预测与其表面的姿态相关偏移第一、我们对一个点集{p c}Nc进行均匀采样 在学习的规范模板上，面Tc，并查询它们在扩散蒙皮场中的蒙皮权重：w（pc）。此外，我们遵循[40]将几何特征向量gk∈RCgeom分配给1+v：mala2255获取更多论文Kk=1KD ∈DKDKK8个S. Lin等人每个Pc以自动解码方式学习[45]。 对于特定的姿态θ，最终输出点集{q k}Nc表示姿态相关的变形，通过在应用LBS变形之后偏移规范点集此外，本发明还提供了一种方法，我们考虑到Tc中可能的不准确性，并添加模板校正偏移ck，从而得到公式：qk= W（pc+ ck，w（pc），T，θ）+rk.（八）K K由于ck是对模板本身的修正，因此它们被设计为姿态不可知的。在本节的其余部分，我们将介绍如何获得ck和rk。由于Tc仅被粗略训练，因此它可能尚未完全收敛以与训练扫描对齐。例如，Tc可能缺少面部细节，这通常是依赖于姿态的，但是在等式（1）中仅需要rk（8）考虑姿态相关变形和姿态无关校正两者导致次优性能。我们提出了一种姿态不可知的模板校正偏移c k，通过将几何特征g k馈送到4层MLP C（·）来获得。在LBS扭曲之前将偏移ck添加到pc为了生成等式（1）中的姿态相关偏移rk，（8），我们需要对r k的姿态相关特征进行编码以适应. POP [40]，这极大地启发了我们的工作，将姿态顶点的坐标渲染到UV空间，并使用U-Nets [52]对其进行编码。 该方案在SMPL身体表面上提供连续的特征空间。然而，UV空间特征的连续性仅延伸到UV岛的边界。此外，在我们的例子中，我们的模板没有预定义的UV映射。为了使这种姿势编码适应更一般的设置，其中模板没有预定义的UV，并使特征空间更连续，我们建议直接将姿势坐标渲染到图像而不是UV贴图。首先，我们提取模板表面Tc作为三角形网格Mc，{v c}和关联的蒙皮权重{w（v c）}。然后我们把vc扭曲到第i个姿态：ui=W（vc，w（vc），T，θi）.接下来，我们通过将k k kui到顶点vc的坐标作为其最后，我们把K K将Mc网格化到具有正交投影的图像。渲染图像的每个像素都包含相应的摆姿势顶点的坐标。 我们还采用了多视图设置，以更好地覆盖表面。我们选择Nv=4个视图，从左前侧、左后侧、右前侧和右后侧查看模板。此外，每个视图都略微倾斜，以覆盖头顶和脚底。在[40]之后，我们提到这些渲染图像作为位置图。令第i个姿态的位置图表示为I iRH×W×3，其中d = 1，2，3，4是4个观看方向的索引。我们将它们馈送到U-Net[52]编码器Ud（每个视图一个，但在所有姿势中共享）以提取姿势。依赖特征zi=Ud（Ii）∈RH×W×Cpose，其中Cpose是特征图的通道通过编码的位置图，我们能够提取+v：mala2255获取更多论文D∈JJJΣΣΣ1234KKKKKKJKKK最终点云（具有法线）{（qk，nk）}NcKKk=1KKk=11KKk′KnNpdKk′学习基于点的服装人体建模的隐式模板9通过首先将其投影到每个图像，然后通过双线性插值查询像素特征，来为Tc上的任意点p提供像素对齐特征。采样的像素对准特征被表示为zi（p）RC姿态。我们将来自所有视图的采样特征连接为p的最终姿态特征，表示为z i（p）=[z i（p），z i（p），z i（p），z i（p）] ∈ RNv·Cpose，其中[]表示连接。最后一步是在等式中生成rk以及以基于投影的姿势特征为条件的相关联的法线nk，以表示精细细节和姿势相关的服装变形。 在[40]之后，我们用8层MLPD（·）解码rk和nk[rc，nc]= D（[zi（pc），gk]），rc，nc∈R3.（九）此外，我们还采用了 局部变换，如[40]。回想一下，由方程式（1）是由yθi确定的刚性变换。让Ri是旋转部分Ri。新方法是将R ~（2+）和R~（2+）的组合应用于R~（2+）的合成的输出解码器D（·），即， r k= 24Kj=1KJKJwj（pc）Ri（rc）和nk=n′/n′，其中n′ =24美元wj（pc）Ri（nc）. 将rkin与法线nk一起插入到（8）中，k=1 我们的方法。当输入数据中存在多个服装时，不同的模板-在第一阶段中单独训练entoutfits，但是共享模板校正器C、姿态编码器Ud和变形解码器D。通过在第二阶段为所有服装共享神经网络，他们可以学习不同服装风格的服装变形3.4培训损失对于第一阶段，我们没有修改SNARF的训练损失和训练程序[11]。感兴趣的读者可以参考原文了解更多细节。对于第二阶段，我们按照[40]的精神定义以下损失术语Ltotal=λ p Lp+λ n Ln+λ c， regL c， reg+λ r， regL r， reg+λ g， regL g， reg，（10）其中λ是不同损耗项的加权系数。前两项 Lp和Ln分别是点云和法线上的损失。更具体地，设Pgt={（pgt，ngt）}Ngt 是地面实况点云，令Ppd={（qpd，npd）}Npd是预测的p〇 nt云（没有rmals）。然后Npd1.pdgtgt200Ngt1¨gt pd¨Lp= Npd k=1 mink′（q k）−pk′）·nk′+ Ngtk′=1最小值k′−qk、（十一）2Npd1¨ ¨ ¨ ¨L=，其中k′=argmin′。（十二）k=12j=1¨+v：mala2255获取更多论文ΣΣc，regΣNpdK 2NpdK 2NpdK 210秒。Lin等人其他三项分别是关于模板校正偏移、姿态相关偏移和每点几何特征的正则化项：NpdL=1c2，LNpd=1r2，LNpd=1微克/平方米。（ 十三）k=1k=1k=1有关模型架构、超参数设置和训练过程的详细信息，请参阅补充材料。4实验在本节中，我们评估我们的方法的表示能力。由于篇幅限制，我们在此报告了插值、外推和新型扫描动画的结果，并在补充材料中提供了扩展评估、消融研究和失败案例。4.1评价详情基线我们将我们的方法与SOTA服装人体建模方法进行比较：POP [40]，SNARF [11]和SCANimate [55]。[40]也是。基于SMPL/SMPL-X[36，47]模板的点云表示。SNARF[11]和SCANimate[55]目前是SOTA隐式方法，具有学习的体积蒙皮场。数据集我们在两个具有多个服装的大型数据集上评估我们的方法：ReSynth [40]和CAPE [39]。 我们遵循POP [40]，分别使用ReSynth和CAPE的12套服装和14套服装进行交叉服装训练。请注意，ReSynth在装备类型上比CAPE更加多样化，这是一个更方便的测试，用于对具有不同拓扑结构的装备进行建模。此外，由于隐式基线不输出点云，并且FITE和POP生成的点集具有不同的密度，因此我们使用Screened Poisson Reconstruction[31]来获得用于评估的闭合网格。有关数据集预处理的更多详细信息，请参阅补充材料。遵循常见的评估管道[40]，我们使用Chamfer-L2距离 dcham 。（越低越好）和余弦相似性Scos[45]（越高越好）来测量生成的穿着衣服的人的误差。由于服装的随机性，外推姿态中的地面实况扫描的误差测量不能如实地反映建模质量。因此，根据以前的工作[40，55]，我们进行了一项大规模的用户研究，以评估外推实验的不同方法的视觉质量。在用户研究过程中，每个观众都会得到一对点云或一对并排放置的网格，并被要求在考虑真实性，细节和伪影等因素后投票选择具有更高整体左右顺序是随机洗牌，以防止对某一方的偏好。呈现的服装和姿势的选择也是随机的，具有相等的概率。r，regg，reg+v：mala2255获取更多论文学习基于点的服装人体建模的隐式模板114.2插值实验我们用ReSynth数据集和CAPE数据集上的插值实验来评估我们的方法的表示能力。考虑到数据集的大小，对于训练，我们选择每第2帧用于ReSynth，每第4帧用于CAPE，两者都来自其官方训练分割。其余的训练序列用于评估。表1示出了插值评估的定量结果。请注意，建模难度以及误差分布随服装的不同而变化很大。因此，我们分别报告每种装备的定量结果。由于页数限制，我们报告了CAPE的三个服装和ReSynth的三个服装，并在补充材料中提供更多。表1中的结果表明，基于点的方法，FITE和POP，都比隐式方法有很大的优势。在FITE和POP之间，我们的方法对于与最小身体（长裙）有很大不同的服装表现得更好。请注意，FITE交叉服装训练的好处可以从长礼服的例子中更清楚地观察到。这是因为基于投影的编码比UV编码更难训练，因此可以更多地受益于交叉服装训练带来的正则化效果。我们将在补充材料中更详细地讨论这一点。表1. 插值实验的定量结果。由于SNARF[11]和SCANimate[55]不支持跨服装建模，我们评估了POP和FITE的特定服装版本的公平性（表示为POP-OS和FITE-OS）。注意，下面报告的dcham已乘以105。方法CAPE数据ReSynth数据00096泽西肖特德查姆Scos00215马球短裤dchamS cos03375布拉泽隆dchamS cos卡拉长德查姆004裤子Scos克里斯汀027短裙德查姆 Scos菲利斯004长裙德查姆ScosSCANimate[55]0.6320.9420.730 0.9270.957 0.914 0.721 0.943 1.7500.94017.578 0.803SNARF[11]0.1550.9640.191 0.9410.624 0.929 0.340 0.949 0.6210.9532.4260.906POP-OS[40]0.0360.9870.084 0.980 0.249 0.967 0.507 0.940 0.437 0.964 1.5910.925[第40话]0.0440.9860.091 0.9780.252 0.966 0.485 0.939 0.421 0.9601.718 0.920FITE-OS0.0410.9870.074 0.981 0.271 0.9660.300 0.957 0.462 0.964 1.8050.918Fite0.0420.9870.076 0.9800.274 0.964 0.299 0.956 0.4550.9631.355 0.933紧服装=宽松的衣服在图中可以更明显地观察到改进四、 对于长裙，FITE生成松散部分的密集分布点，能够表示更多的细节，而POP的输出变得稀疏，只能建模粗略的形状。对于隐式方法，细节的建模不太忠实于地面实况，并且在感知上不太真实。4.3外推实验对于外推实验，我们使用官方训练序列（完整数据，多装备）和测试序列。图5显示了我们的定性比较+v：mala2255获取更多论文12 S. Lin等人0.01GT FITE POP SNARF SCANimate0.00图四、插值实验的定性结果。错误映射可视化w.r.t. 这是比较中最大的误差方法和流行音乐，在看不见的姿势看到的服装。对于长裙，POP生成的点过于稀疏，无法表示曲面。对于短裙，POP必须从SMPL-X模板的腿部变形点[47]来形成连衣裙。这种不连贯性导致了服装的不连续性即使是紧身衣服，UV空间的不连续性也会在衣服上留下可见的接缝。另一方面，FITE利用已经捕获的服装拓扑结构和编码的姿势信息在多视图投影方案的模板，产生与给定的数据拓扑一致的输出。我们还进行了一个大规模的用户研究，以定量评估外插性能（421名参与者，每人20票，共8420票）。在我们收到的所有投票中，在生成 的 点 云 （ 4690 票 ） 方 面 ， 75.42% 的 人 喜 欢 FITE 而 不 是 POP（24.58%）;在重建的网格（3730票）方面，59.37%的人喜欢FITE而不是POP（40.63%）。虽然表面重建部分弥补了POP的缺点，我们的方法的感知优势仍然是明显可见的。作为最后一点，图5中POP的伪影在训练集中并不明显，但它们在测试集中经常出现。我们认为这表明POP的普遍性本质上受到固定的底层主体模板的限制。有关如何进行用户研究的更多详细信息，请参阅补充材料。4.4小说扫描动画在第二阶段中，网络C、U、d和D跨装备共享，并且学习不同装备的共同变形模式。因此，它们可以用于通过优化仅w.r.t.的几何特征来拟合新扫描。新的扫描。图6示出了对新扫描的概括。我们的方法将姿态依赖添加到LBS变形模板中，并且产生的噪声比POP少[40]。请参阅补充材料了解更多详情。5结论我们提出了FITE，第一个隐式，然后明确的框架建模穿着人类与现实的姿势依赖的变形。在具有不同拓扑结构的装备上进行评估，我们的方法表现出优于以前的方法，+v：mala2255获取更多论文学习基于点的服装人体建模的隐式模板13FITEFITE（网眼）POPPOP（网眼）图五、 姿态外推的定性结果。+v：mala2255获取更多论文14岁。Lin等人新颖的单扫描拟合的FITE拟合的新颖扫描的LBS FITEPOPLBS FITE POP图第六章新颖的扫描动画结果（突出显示姿态相关偏移）。结合了隐式表示和点集表示的优点此外，我们相信这个框架中的几个单独的模块也可以激发相关的搜索，即，扩散蒙皮作为学习的SMPL蒙皮权重的平滑插值，以及基于投影的姿势编码，用于在任意网格表面上引入连续的特征空间然而，按照目前的提法，仍有几个方面需要进一步探讨。统一规范模板在当前框架中，第一阶段分别学习每种服装的粗模板。值得探索的是用单个形状网络统一不同的服装，即，不仅学习变形的先验，而且学习服装的先验，这可以导致更快和更稳定的服装泛化。驱动底层模板在第一阶段获得粗模板后然而，LBS并不总是反映真实的布料运动，特别是对于极端姿势下的宽松衣服。 在第一阶段用基于物理的粗略模拟代替LBS可能会提高某些装备的性能。在FITE的第二阶段，基于投影的编码器用于从渲染的位置图中提取姿势信息。然而，这些位置图已经包含服装信息，因此服装和姿势没有完全分离。未来的工作应该探索一种表示法，进一步解开这些因素。致谢。 本文得到国家重点&研发计划（2021ZD0113501）和国家自然科学基金项目No.62125107和No.61827805的资助。+v：mala2255获取更多论文学习基于点的服装人体建模的隐式模板15引用1. Achlioptas，P.，迪亚曼蒂岛米利亚卡斯岛吉巴斯湖：学习3D点云的表示pp. 40-49.PMLR（2018）2. Alldieck，T.，Magnor，M.，Bhatnagar，B.L.，Theobalt角，Pons-Moll，G.：学习从一台rgb相机重建穿着衣服的人IEEE计算机视觉与模式识别会议论文集pp.11753. Alldieck，T.，Pons-Moll，G.，Theobalt角，Magnor，M.：Tex2shape：从单个图像中获得详细的完整人体几何形状在：IEEE国际计算机视觉会议论文集pp. 22934. Anguelov ，D.， Srinivasan，P. ，Koller，D. ，Thrun，S. ，Rodgers ， J.，Davis，J.：景观：人的形状完成与动画。ACM Transactions on Graphics（英语 ： ACM Transactions on Graphics ） 第 24 卷 ， 第 100 页 。 408-416. ACM（2005）5. 巴兰岛， P o pov i'c，J.：3D 角 色 的 自动装配和动画。一个CM Trans.图形。26（3），726. 贝登·阿泽里克，J.， Parashar，S.，Gundogdu，E.，Salzmann，M.， Fua，P.：通过学习可微曲面表示进行形状重构。pp. 47157. Bhatnagar ， B.L. ， Sminchisescu ， C. ， Theobalt 角 ， Pons-Moll ， G. ：Loopreg：用于3D人体网格配准的隐式表面对应、姿势和形状的自监督学习。在：神经信息处理系统（NeurIPS）的进展（2020年12月）8. Bhatnagar，B.L.，Tiwari，G.，Theobalt角，Pons-Moll，G.：Multi-GarmentNet：学习从图像中打扮3D人物。pp. 54209. Burov，A.，Nießner，M.，Thies，J.：服装人体的动态表面功能网络在：IEEE计算机视觉国际会议论文集pp. 1075410. 陈急诊室Lin，C.Z.，Chan，M.A.，Nagano，K.，Pan，B.，Mello，S. D.，Gallo，O.，吉巴斯湖Tremblay，J.，Khamis，S.，Karras，T.，Wetzstein，G.：高效的几何感知3D生成对抗网络。在：arXiv（2021）11. 陈旭，郑宇，布莱克，M.J.，Hilliges，O.，Geiger，A.：Snarf：可区分的向前蒙皮，用于为非刚性神经隐式形状设置动画。在：IEEE计算机视觉国际会议论文集。pp.11594-11604（2021年10月）12. Chibane，J.，Mir，A.，Pons-Moll，G.：用于隐函数学习的神经无符号距离场。pp. 2163813. Corona，E.，Pumarola，A.，Alenya，G.，Pons-Moll，G.，Moreno-Noguer，F.：Smplicit：面向穿着衣服的人的拓扑感知生成模型IEEE计算机视觉与模式识别会议论文集pp. 1187514. De Aguiar，E.，西格尔湖，Treuille，A.，哈金斯，J.K.：为实时服装提供稳定的空间。在：ACM Trans.很生动。卷1999年，第29页。一百零六ACM（2010年）15. 变形动态：https://deformdynamics.com/16. 邓 ， B. ， 刘 易 斯 ， J.P. ， Jeruzalski ， T. ， Pons-Moll ， G. ， Hinton ， G. ，Norouzi，M.，Tagliasacchi，A.：美国宇航局神经关节形状近似。pp. 612-628.施普林格（2020）17. 邓，B.，Lewis，J.，Jeruzalski，T.，Pons-Moll，G.，Hinton，G.，Norouzi，M.，Tagliasacchi，A.：神经关节形状近似。pp. 61218. Deng，Z.，贝登·阿泽里克，J.，Salzmann，M.， Fua，P.：参数化曲面重构中的优化点集法pp. 593+v：mala2255获取更多论文16S. Lin等人19. Deprelle，T.，Groueix，T.，Fisher，M.，Kim，V.，Russell，B.，奥布里，M.：学习3D形状生成和匹配的基本结构。pp. 743320. Fan，H.，苏，H.，Guibas，L.J.：一个用于从单个图像重建3D物体的点集生成网络pp. 246321. Feng，A.，Casas，D.，夏皮罗，A.：使用可变形模型的化身重塑和自动装配ACMSIGGRAPHConferenceonMotioninGames（英语：ACMSIGGRAPHConferencepp.第5722. Genova ， K. ， Cole ， F. ， Vlasic ， D. ， Sarna ， A. ， 弗 里 曼 ， W. T. ，Funkhouser，T.：用结构化隐函数学习形状模板。在：IEEE/CVF计算机视觉国际会议（ICCV）论文集（2019年10月）23. Gropp，A.，亚里夫湖Haim，N.，Atzmon，M.，Lipman，Y.：隐式几何正则化学习形状。pp. 356924. Groueix ， T. ， Fisher ， M. ， Kim ， V.G. ， Russell ， B. ， 奥 布 里 ， M. ：PakasNet：A Papier-M. C.H'eApproa chtoLearning3DSurfaceGeneration. 在：美国IEEE计算机视觉和模式识别会议（CVPR）（2018）25. Guan，P.，赖斯湖，赫什伯格检察官Weiss，A.，布莱克，M.J.：Dressing AnyPerson. ACM Trans. Graphic. 31（4），3526. Gundogdu，E.，康斯坦丁，五，Seifoddini，A.，该死M Salzmann，M.，Fua，P.：GarNet：一个用于快速准确的3D布料悬垂的双流网络pp. 873927. 赫什伯格检察官Loper，M.，Rachlin，E.，布莱克，M.J.：配准：同时对齐和建模的三维形状。In：Fitzgills，A.，Lazebnik，S.，Perona，P.，佐藤，Y.，施密德角，澳-地（编辑）计算机视觉- ECCV 2012。pp. 242-255.柏林，海德堡（2012）28. Jiang，B.，张杰，洪，Y.，Luo，J