服装人体的动态表面函数网络

1服装人体的动态表面函数网络Andrei Burov1Matthias Nießner1Justus Thies1，21慕尼黑技术大学2德国图宾根马克斯·普朗克智能系统研究所图1：我们介绍了动态表面函数网络，该网络在穿着衣服的人的短RGB-D输入视频序列上进行训练。我们的连续表面表示允许建模的衣服，以及动态姿势依赖的变形。我们通过SMPL [28]的运动学模型来参数化该表示，这有助于在推断时的完全姿态控制（例如，通过关节旋转）。在这里，我们展示了一个取自MOSH [29，35]数据集的动画序列摘要我们提出了一种新的方法，时间相干重建和跟踪的穿着的人。给定一个monocular RGB-D序列，我们学习基于动态表面功能网络的特定于人的身体模型。为此，我们明确地使用多层感知器（MLP），这是嵌入到规范空间的SMPL身体模型的人的表面建模。通过经典的前向渲染，可以使用模板网格的拓扑来光栅化所表示的表面。对于模板网格的每个表面点，评估MLP以预测实际表面位置。为了处理姿势相关的变形，MLP以SMPL姿势参数为条件。我们表明，这种表面表示，以及姿态参数可以学习在一个自我监督的方式使用的原则，分析合成和可微光栅化。因此，我们能够从输入数据重建时间上相干的网格序列。底层表面表示可以用于合成重建的人的新动画，包括姿势相关的变形。1. 介绍人体的数字捕获是计算机视觉和计算机图形学中快速发展的研究领域。存在许多高影响应用，特别是在依赖于表面的重建以及人的运动的远程呈现和人机交互的领域例如，对于虚拟现实（VR）或增强现实（AR）中的远程呈现，最终目标是照片逼真地重新渲染想要彼此交互的人一个关键的挑战是捕捉和再现自然运动，包括动态变化的在我们的工作中，我们提出了一种新的表示为一个穿着的人称为动态表面函数网络，捕捉姿势相关的表面变形，如衣服的皱纹的表面。与最近关于隐式表示的作品[11，6，23]相反，我们的表示明确地模拟了人类的表面。这两种表示法各有优缺点。我们使用显式表面表示来利用快进渲染（利用GPU的光栅化单元）和不同帧之间的具体来说，我们的动态表面函数网络连接到SMPL [28]身体模型的表面，这使我们可以访问1075410755运动学链以及用于渲染的拓扑。特别是，我们的模型代表了一个连续的偏移表面，可以在任意点的SMPL表面的面（也在三角形）进行评估。然而，请注意，我们的表示对于底层参数模型是不可知的，并且还可以用于其他动态变化的表面，例如，人脸动态表面函数网络以个人特定的方式进行训练。为此，我们假设人在单个消费级RGB-D 相机前面移动的短序列（ 几秒）。注意，我们不假设任何特定的运动序列（例如，以T-姿势站立或类似）。我们共同优化的表面表示网络，以及构成参数的基础SMPL身体模型。这种全局优化策略使我们能够将所有捕获的数据融合到一致的表面表示中。这个特定于人的表面模型可以使用SMPL模型的关节控制手柄显式地进行动画①的人。总而言之，我们提出了一种方法，该方法允许基于由商品RGB-D传感器捕获的单眼输入序列来重建特定于人的可控身体模型我们的主要贡献是：• 显式表面表示网络，其能够对表面的姿势相关变形（诸如衣服的褶皱）进行建模。• - 全局合成分析公式，其允许在整个序列上对姿态和表面进行联合优化，导致在输入序列中对人的时间上一致的跟踪。2. 相关工作我们的工作是基于一个明确的表面表示。在文献中，显式表面表示（特别是三角形网格）是人脸和身体最突出的表示[28，44，69]。然而，隐式表示也用于表示包括衣服的身体的表面[6，11，13，23，49，50]。隐式曲面表示的优点是不需要特别注意处理拓扑变化（如网格等显式表示所需的）。另一方面，隐式表示在时间序列上不提供显式对应。例如，诸如占用流[40]的方法预测场景流，但受到序列长度的限制。像[16，15，58，8]这样的方法PIFu [49]和PIFuHD [50]能够仅基于RGB输入图像重建像素对齐的隐式函数它们利用在人类的合成数据集上训练的学习先验。类似地，IF-Nets [11]学习先验以重构一个人，基于点云或深度图输入。IF-Nets在后续工作中被扩展为IP-Nets [6]，以将显式曲面拟合到重建的隐式曲面（SMPL模型+位移）。除了这些每帧重建方法之外，还存在将观测增量融合到离散化隐式函数（体积SDF网格）中的方法[12]。New-combe等人的DynamicFusion的开创性工作。[39]能够仅基于深度序列来动态地重构改变的对象。后续作品[24，18，14，19]增加了额外的颜色约束或密 集 SDF 对 齐 [53 ， 54] 。 BodyFusion [64] 和DoubleFusion [65]使用人类骨骼添加了变形。与这些方法相比，我们的方法recon- structs一个可控的网格，包括姿势相关的变形，使我们能够动画重建的网格。注意，这些融合方法在帧到帧跟踪方案上工作。我们的方法是一种基于优化的方法，它在整个输入序列上联合优化表面，并且不需要像[6，11，49，50]那 样 学 习 先 验 。 我 们 方 法 的 全 局 优 化 方 案 与MonoClothCap [63]密切MonoClothCap得到RGB序列作为输入来跟踪，并且使用显式表面表示来重建穿着衣服的人。为了处理服装，它们依赖于PCA模型和基于阴影的网格细化。CAPE [33]中显示了另一种明确建模服装表面的技术。他们学习变分自动编码器，以基于使用ClothCap的高质量多视图重建来表示服装相对于SMPL模型的偏移[46]。这种学习的先验允许他们仅从单个RGB输入重建穿着衣服的人，包括姿势相关的变形。Alldieck等人[5]基于单个RGB输入杠杆重建详细的人体形状。使用学习的对齐图像到图像转换技术来回归模型的几何形状和颜色的纹理图。相比之下，我们的方法不是基于学习的先验知识，而是基于RGB-D相机的观察结果优化表面。我们的动态表面函数网络表示姿态相关的几何形状，并且不限于静态表面[7，61，68，22]。的方法估计衣服下的身体形状[66，62，55，38，47]可以用作我们方法的初始化。我们的方法使用消费级RGB-D相机，并且不需要多相机设置来提前学习或重建个人特定模板[20，21]。我们使用RGB-D数据来探索我们的表面网络的表示能力，但是我们看到我们的表示被用于类似于[4，3，2]的基于视频的重建的潜力。请注意，我们的方法不是为实时使用而设计的，例如LiveCap [20]，因为我们的重点在于具有姿势相关表面的可控网格的全局重建。10756NF不ΣNNCCP·C我我我SMCJDRegi、jJ密集型N−1F我脸上并行工作分析了基于点[32]、局部曲面片[31]或形状和运动的隐式表示[42，36，59，51，60，27，43]的人体表面的其他表示，包括[10，45，56，41]其基于神经辐射场[37]。3. 方法我们将人体的重建作为一个能量优化问题，在全球范围内，在整个输入序列。为了对变形服装进行建模，我们使用嵌入在SMPL表面上的显式偏移表面函数该偏移表面被表示为多层感知器（MLP）。对于我们的方法的概述，请参见图1B。二、3.1. 模型定义我们的方法建立在SMPL身体模型[28]上，并将其扩展到处理表示为多层感知器（MLP）的非刚性偏移。约束SMPL模型SMPL模型由形状参数β∈R10和关节参数δ∈R72参数化。我们使用硬约束来条件反射类似于SMPL模型的线性姿态依赖相关性。注意，3D空间允许我们具有到MLP的连续输入，而不需要处理纹理接缝、失真等。为了光栅化由MLP表示的表面，我们使用细分SMPL拓扑在表面点处对表面进行采样。给定约束SMPL模型和动态偏移模型，我们将主体的顶点表示为：V（β，x，Θ）=LBS（VSMPL（β，δ（x））+θ（T，x），δ（x））LBS（V’，δ）是线性混合蒙皮函数，其将由δ定义的旋转应用于VSMPL（β，δ（x））基于形状PCA和形状PCA计算未设定的SMPL模型表面。姿势相关的校正空间（参见SMPL [28]）。在我们的实验中，我们从优化中排除了手和脚（参见补充材料）。3.2. 拟合能量公式给定具有N+1个帧的RGB-D视频序列，我们最小化以下全局能量：ESeq（P）=ΣEi（P）+ Ei（P）+ΣEi，j（P）强制参数保持在预定义的范围内。 的i=0时i=1i=0j=0是， 我们使用可微映射函数δ（x），其映射无约束关节参数x∈R72，在该能量公式化考虑每帧能量Ei、时间能量Ei和时间能量Ei。以元素方式，到SMPL的固定范围参数：T和成对表面一致性约束Ei，j.是未知数的集合;即MLP权重Θ、形状β和每帧姿态参数δ（x）=δmin +tanh（x）+ 1（δ2Max -δmin）。X i.请注意，我们使用轴角表示法。因此，我们将角度缩放轴约束为最小-最大界限。包装盒。我们从MOSH数据集计算δmin和δmax[29]。在我们的实验中，该硬约束在稳定跟踪方面是有效的，而不需要任何额外的正则化，例如，使用VPoser [44]（特别是对于具有更多遮挡的场景）或姿势调节关节角度限制[1]。动态偏移曲面建模动态偏移的步骤每帧能量基于使用颜色帧i和深度帧的数据项。给定深度相机的本征函数，我们使用针孔相机模型Π将深度图反向投影到相机空间中，从而产生我们称为“针孔相机模型Π”的每像素3D位置。I.根据彩色边框i，我们估计2D关节位置i。使用OpenPose [9]的OP和使用DensePose [48]的密集对应DP此外，我们使用Graphonomy [17]来估计输入图像中的人的轮廓G有了这些输入，我们定义了每帧的en-能量为：表面上的SMPL模型，我们采用了MLPEi（P）=wOP·EiF（P）+wDP·Ei（P）其以重新参数化的SMPL参数为条件。OpenPose我DensePose我埃特斯公司具体地，我们将偏移00（v，x）嵌入SMPL模板表面T的规范姿态中。给定姿态参数x，使用具有256个特征通道的8层ReLU-MLP来计算表面点v+w投影·E投影（P）+w硅·E轮廓（P）+wReg·E（P）检测到的2D关节位置被用作稀疏能量项：每个中间层的可学习参数（Θ是我OpenPose （P）=1/KJ·|JOP−Π（Ji，j）|MLP）。我们在将输入点v馈送到MLP中之前将位置编码[37]应用于输入点v（使用10个频率）。其中，Kj=25是接头的数量，i是SMPL模型的相应回归接头。该-cies）。姿势调节连接到-像素密集姿态能量项Ei定义为：E10757Σ我以矩阵的形式。请注意，我们不考虑根关节的姿势。这个姿势的表现我密集型（P）=（p，c）∈MDPP2P（Vc，Di（p））KDPE10758我.我我D2剪影S P我C我图2：给定RGB-D输入序列，我们联合优化SMPL身体参数和由MLP表示的姿态条件偏移曲面函数（动态曲面函数网络）。具体地，MLP得到规范模板表面的位置编码的表面点和姿态参数作为输入，并预测偏移表面位置。基于全局综合分析能量公式的优化（绿色箭头）来优化网络的位姿参数和权重。KDP是有效对应的数量MDP表示“估计”之义我们应用拉普拉斯正则化器：通过DensePose配对（p是像素，c是SMPL表面上的对应）。P2P（Vc，xyz）测量从观测xyz到模型曲面点VC =样本（c，V（β，xi，Θ））。i正则器（P）=Σ。Vm−n∈neighm|马嘶|Vn2.函数Sample（c，V（β，x，Θ））基于由对应关系提供的顶点索引（i〇，ii，i2）和重心坐标（b〇，bl，b2）来计算表面点。c=（i0，i1，i2，b0，b1，b2）。 除了DensePose这里，neighm表示第m个环的1-环邻域。模板拓扑的顶点。时间能量时间正则化子Ei（P）是de-项，我们使用密集数据项，其使用投影对应MProj。投影能量项被定义为：罚款为：Ei（P）=wsurf·Ei（P）+wrot·Ei不（P）我P射（P）=ΣP2P（Vc，Di（p））+N2N（Vc，Di（p））T T T冲浪T T腐烂（p，c）∈MP roj+P 2N（Vc，Di（p））我们在模型在时间域中：N2N（V，D（p））度量了非线性函数的余弦相似性。iT冲浪（P）=|Vi−（Vi−1+Vi+1）/2|2从观测点Di（p）到表面点的距离Vc. P2N（Vc，Di（p））测量点到平面的距离此外，我们对联合旋转矩阵Ri=R（δ（xi））应用时间正则化子：在观察点i（p）和源点Vc处的切平面之间。iT腐烂（P）=|Ri−R i−1|Ri−R|Ri−Ri+1|每帧剪影能量项Eicom-成对表面一致性 在每个优化步骤将掩码预测与[17]和渲染的主体的轮廓i（）。其定义为：对于每个帧i，我们从序列中随机选择另一帧j来测量表面一致性。具体地说，i剪影（P）=|SG−Si（P）|我们测量偏移表面的差异：EΣEEE2Em∈T10759C- -|- -|请注意，我们的可微分光栅化器明确地在表面轮廓的边界处应用边缘采样来计算梯度。为了优化一个光滑的表面，我们使用正则化器Ei，j（P）=wC·ω（xi，xj）|Vj·（OΘ（T，xi））−OΘ（T，xj））|ω（xi，xi）=exp（R（δ（xi））R（δ（xi））2）测量两个帧中的姿势的相似性（不包括根i注册 （P）。基于模板表面T的拓扑，关节姿态），并且Vj表示帧j中的表面可见性。E10760P图3：在没有姿态调节的情况下，仅学习静态表面函数，并且不重建动态改变的依赖于姿态的细节，例如皱纹在蓝色中，我们显示旋转180◦的视图。3.3. 优化方案Eq. 3.2分两个阶段进行优化。具体而言，我们首先最小化能量，仅考虑形状和姿势的SMPL身体参数，以获得良好的初始估计。我们使用L-BFGS [26]来优化顺序排序的这些形状和姿势参数（我们使用前一帧的参数初始化参数）。使用此初始拟合，我们使用ADAM[25]对输入图像进行随机采样，对联合优化中的所有参数进行优化。我们参考所使用的超参数的补充材料。4. 结果在本节中，我们评估我们的方法在合成以及真实世界的数据。对于定量评估，我们使用基于BUFF [67]数据集的合成序列。实际数据输入是用Microsoft KinectAzure以640x576的深度分辨率和1080p的彩色图像分辨率以15fps的速度捕获的（每个记录长200这些序列被用来证明我们的方法对现实世界的数据的适用性，以及显示定性比较。具体地，在图1中。8，我们展示了穿着不同衣服的不同人的重建如可以看到的，我们忠实地再现包括表面的姿势相关变形的输入数据我们的重建的时间相干性可以在补充视频中看到。在图1中，我们使用基于来自MOSH数据集[29]的姿势的表示示出了新颖姿势的结果。图4：为了重建一致的表面，我们应用逐对表面一致性损失，其测量由其姿势相似性加权的帧对的在绿色中，我们显示旋转90◦的视图。4.1. 消融研究我们的方法的关键组成部分是时间上一致的跟踪SMPL机构，以及重建的表面使用的姿势依赖MLP。在下文中，我们将分析我们的优化方案以及动态表面MLP的效果。静态与动态表面MLP为了处理几何形状的姿势依赖性变形，例如衣服的褶皱，我们使用动态表面函数网络。该网络以底层SMPL模型的姿态参数为条件。在图3中，我们示出了使用动态表面函数网络和静态表面函数网络（即，而不向网络提供姿态调节可以看出，只有姿态调节网络能够表示动态变形表面。成对表面一致性成对一致性使表面网络规则化，以在姿势相似的情况下预测相似在图4中，我们显示了这个正则化器的效果。可以看出，成对表面一致性损失导致更多细节以及3D一致性表面重建。在没有成对损失的情况下，表面倾向于更接近SMPL表面。联合优化我们的方法基于联合全局优化，即，结合SMPL模型参数来训练MLP。在选项卡中。在图1中，我们列出了使用顺序优化（首先优化SMPL参数，然后训练MLP）的消融研究的定量评价。可以看出，联合优化对于重建质量至关重要。10761方法IoU↑C-l2↓NC↑IF-Nets [11]0.8181.8cm0.903IP网络[6]0.7832.1cm0.861CAPE [34]0.6482.5cm0.844我们的无联合优化0.6872.4cm0.877我们0.8321.6cm0.916表1：基于BUFF数据集[67]的序列的定量比较（参见图5）。对于所有方法，我们提供了合成渲染的单眼RGB-D数据输入。在表中，我们报告了IoU、倒角距离（使用l2范数）和正态一致性w.r. t的数字。从数据集中获取完整的网格。方法EPE↓[64]第六十四话2.77cmIP网络[6]14.17厘米*CAPE [34]5.51cmSMPL4.33cm我们2.63cm前视图预测侧视图表2：基于BodyFusion数据集[64]的定量比较，该数据集提供了每个RGB-D帧的跟踪VICON标记位置。平均终点误差（EPE）基于跟踪的VICON标记与重建网格上的对应点之间的注意CAPE基线和我们的方法都使用SMPL跟踪作为初始化。*不使用时间信息。图5：我们的模型是一个显式的表面函数。 CAPE [34]还对显式表面进行建模，它使用基于图的解码器预测来自SMPL相比之下，IF-Nets [11]使用占有率函数隐式地表示表面。IP-Net [6]是一种混合方法，它将具有额外顶点位移的SMPL模型拟合到估计的隐式函数。4.2. 比较隐式曲面表示我们的动态曲面函数网络显式估计曲面点。可以使用经典光栅化器来渲染这些表面。相比之下，隐式表面表示（如占用函数）需要被光线投射或转换成显式表面表示[30]。由于像IF-Nets [11]这样的隐式函数不提供时间序列上的显式对应关系，因此以平滑和时间一致的方式正则化表面以变形是不平凡的（区域可以消失并出现在不同的位置）。在图5中，我们示出了在RGB-D序列上与IF-Net和IP-Net的比较。IP-Net [6]是一个混合体，利用了IF-Net的重建能力和SMPL身体模型的可控性。IF-Net和IP-Net都需要作为输入的单个帧的点云，并预测隐式表面。我们使用Graphonomy预测的掩码来从输入中移除背景点。该输入被馈送到预先训练的网络中，用于由作者提供的单个视图，请注意，作者明确指出，网络可以从新的数据源中推广到时间数据的连续表达。在选项卡中。1，我们显示了相应的误差w.r.t. IoU、倒角距离和正常一致性。我们观察到，我们的方法导致更好的重建，具有时间一致的输出网格（见补充视频）。BodyFusion [64]是一种融合方法，可将深度测量值集成到体积SDF表示中。它利用身体的骨架作为运动学先验，因此，在身体重建的场景中优于一般的非刚性融合方法，如DynamicFusion[39]或VolumeDeform[24]在选项卡中。2，我们定量地比较了我们的方法与BodyFusion以及IP-Nets。请注意，BodyFusion和我们的方法都使用时间信息，而IP-Net是逐帧应用的，因此导致最高的跟踪误差。跟踪误差通过BodyFusion [64]作者提供的数据集上的平均11除了GT我们CapeIP-NetIF-Net10762图6：基于数据集序列与BodyFusion [64]的定性比较注意，该数据集具有低质量输入，但我们的方法仍然能够在序列上整合细节以重建高质量模型。低质量的深度和彩色图像，数据集提供了用于评估的跟踪VICON标记的坐标（见图1）。（六）。我们的方法的结果在最低的误差和定性的结果在尖锐的结果。显式表面表示在上面讨论的结果中，我们已经提到了IP-Net [6]，它在SMPL模型（也称为SMPL-D）的顶部使用逐顶点位移显式地对表面进行建模 我们使用没有姿态调节的MLP的方法与SMPL-D密切相关（参见图1B）。（3）第三章。代替离散数量的位移向量，我们使用连续函数表示表面，该在选项卡中。1，我们还包括与服装CAPE的基于图神经网络的GAN的比较[34]。基于RGB-D输入，我们使用我们的优化框架来估计潜在代码（更多细节参见补充材料）。虽然生成方法对于从部分视图或RGB图像重建人类具有几个优点，但它不能捕获我们的重建方法恢复的细节。5. 讨论我们的动态表面功能网络能够重建和跟踪不同人的各种序列。表面的显式表示允许我们使用可微分光栅化进行渲染，并且生成时间上一致的网格以及全局对应，但是它具有固定拓扑的限制，并且因此不能表示拓扑变化的表面。我们的方法是一种优化方法，属于必须为每个新输入序列训练的方法类[37，57，52]。特别地，对于可控表示的重构，动态表面函数网络的这种再训练对于获得精细尺度细节（诸如皱纹）是实用且关键的。如果区域图7：我们的方法基于给定的输入数据联合优化了姿势和动态表面函数网络。它不会重建序列中不可见的区域。在所示的示例中，输入数据仅包含人的正面视图。主体在输入序列中是不可见的（即，没有数据项），这些区域中的表面仅被正则化为平滑（见图2）。（七）.成对一致性损失的假设（相似姿势的相似服装几何形状）可能并不总是适用于宽松服装。将我们的方法扩展到这种服装是未来工作的一个有趣方向。皱纹表现力的进一步改进可以通过利用密集颜色输入来实现。6. 结论我们的方法使用单一商品RGB-D传感器重建和跟踪穿着衣服的人，获得时间一致的表面重建。下面的动态表面函数网络能够表示表面的姿势相关变形，并且允许使身体重新动画化。在我们的实验中，我们证明了这种表示的有效性，并显示国家的最先进的重建性能。所提出的表示提供了各种优点，例如一致的网格结构、动态变化的表面以及将其扩展到其他属性的可能性（参见补充材料）。确认这 项 工 作 得 到 了 华 为 、 TUM-IAS RudolfMo¨ßbauerFellow-ship 、 ERCStartingGrantScan2CAD（804724）、德国研究基金会（DFG）GrantMakingMachine Learning on Static and Dynamic 3D DataPractical以及BMBF资助的慕尼黑机器学习中心的资助。10763图8：使用我们提出的动态表面函数网络对穿着衣服的人进行时间相干重建。输入数据已由Microsoft Kinect Azure捕获。每个序列是200帧长。10764引用[1] 作者声明：Michael J.黑色.用于3D人体姿势重建的姿势调节关节角度限制。在IEEE计算机视觉和模式识别会议（CVPR 2015），第1446-1455页，2015年6月。三个[2] ThiemoAlldieck ， MarcusMagnor ， BharatLalBhatnagar，Christian Theobalt，and Gerard Pons-Moll.学习从一个RGB摄像机重建穿着衣服的人。在IEEE计算机视觉和模式识别会议，2019年6月。二个[3] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.从单目视频的详细的人类化身。在3D视觉国际会议（3DV），2018年9月。二个[4] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.基于视频的三维人物模型重建。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月。二个[5] ThiemoAlldieck ， GerardPons-Moll ， ChristianTheobalt，and Marcus Magnor. Tex2shape：从单个图像中获得详细的完整人体几何形状。IEEEInternationalConference on Computer Vision（ICCV）。IEEE，2019年10月。二个[6] Bharat Lal Bhatnagar，Cristian Sminchisescu，ChristianTheobalt，and Gerard Pons-Moll.结合内隐函数学习和参数模 型进 行三 维人 体重 建。 欧洲 计算 机视 觉会 议（ECCV）Springer，2020年8月。一、二、六、七[7] 作者：Michael J.布莱克马修·洛珀哈维尔·罗梅罗从单目RGB-D序列对移动的人进行详细的全身重建。在国际计算机视觉会议（ICCV），第23002015年12月。二个[8] AljazBozic ， PabloPalafox ， MichaelZolloüfer ，JustusThies，Angela Dai，and Matthias Nießner. 用于全局一致非刚性重建的神经变形图。2021. 二个[9] Z. Cao，G. Hidalgo Martinez，T.西蒙，S。Wei和Y. A.酋长Openpose：实时多人2D姿态估计使用部分亲和字段。IEEE Transactions on Pattern Analysis and MachineIntelligence，2019。三个[10] 陈旭，郑玉峰，Michael J. Black，Otmar Hilliges，andAndreas Geiger. SNARF：用于动画非刚性神经隐式形状的可区分向前蒙皮。CoRR，abs/2104.03953，2021。三个[11] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和补全。在IEEE计算机视觉与模式识别会议（CVPR）上。IEEE，2020年6月。一、二、六[12] Brian Curless和Marc Levoy。从距离图像建立复杂模型在Proceedings of the 23rd annual conference on Computergraphics and interactive techniques，pages 303二个[13] Boyang Deng ， JP Lewis ， Timothy Jeruzalski ， GerardPons- Moll，Geoffrey Hinton，Mohammad Norouzi，andAndrea Tagliasacchi. NASA：神经关节形状近似。在欧洲计算机视觉会议（ECCV）上，2020年8月。二个[14] Mingsong Dou，Jonathan Taylor，Henry Fuchs，AndrewFitzgibbon，and Shahram Izadi.用单个RGBD传感器3D扫描可变形物体。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第493-501页，2015年。二个[15] Kyle Genova 、 Forrester Cole 、 Avneesh Sud 、 AaronSarna和Thomas Funkhouser。三维形状的局部深度隐式函数。IEEE/CVF会议论文集计算机视觉和模式识别，第4857- 4866页，2020年。二个[16] Kyle Genova ， Forrester Cole ， Daniel Vlasic ， AaronSarna，William T. Freeman和Thomas Funkhouser。 使用结构化隐函数学习形状模板。在IEEE/CVF计算机视觉国际会议（ICCV）的会议记录中，2019年10月。二个[17] Ke Gong，Yiming Gao，Xiaodan Liang，Xiaohui Shen，Meng Wang ， and Liang Lin.Graphonomy ： Universalhuman pars- ing via graph transfer learning （ 英 语 ：Graphonomy ： Universal human pars- ing via graphtransfer learning）在CVPR，2019年。三、四[18] Kaiwen Guo ， Feng Xu ， Tao Yu ， Xiaoyang Liu ，Qionghai Dai，and Yebin Liu.使用单个rgb-d相机进行实时几何、反照率和运动重建 ACM Trans.Graph. ，36（4），June 2017. 二个[19] Kaiwen Guo ， Feng Xu ， Tao Yu ， Xiaoyang Liu ，Qionghai Dai，and Yebin Liu.使用单个rgb-d相机的实时几何、反照率和运动重建ACM Transactions on Graphics（TOG），36（3）：32，2017。二个[20] Marc Habermann，Weipeng Xu，，Michael Zollhoefer，Ger- ard Pons-Moll，and Christian Theobalt. Livecap：从单目视频中实时捕捉人类行为。美国计算机学会图形学报，（Proc. SIGGRAPH），jul 2019. 二个[21] Marc Habermann，Weipeng Xu，，Michael Zollhoefer，Ger- ard Pons-Moll，and Christian Theobalt. Deepcap：使用弱监督的单一人员绩效捕获。IEEE计算机视觉与模式识别会议。IEEE，2020年6月。二个[22] Thomas Helten，Andreas Baak，Gaurav Bharaj，MeinardMüller，Hans-PeterSeidel，andChristianTheobalt. 基于实时深度的全身跟踪器的个性化和评估在Proceedings of theJoint3DIM/3DPVTConference ， pages279-286 ，Seatle，Canada，2013中。二个[23] Zheng Huang，Yuanlu Xu，Christoph Lassner，Hao Li，and Tony Tung. Arch：可动画化的衣服人的重建.在IEEE计算机视觉和模式识别会议论文集（CVPR），2020年6月。一、二[24] MatthiasInnmann，MichaelZollhoüfer，MatthiasNießner ， ChristianTheobalt ， andMarcStamminger.体积变形：实时体积非刚性重建。在计算机视觉- ECCV 2016：第14届欧洲会议，荷兰阿姆斯特丹，2016年10月11日至14日，会议记录，第VIII部分，第362-379页， Cham ，2016 年。 Springer InternationalPublishing. 二、六[25] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的10765方法。CoRR，abs/1412.6980，2014。五个[26] 东角刘和豪尔赫·诺塞达尔。大规模优化的有限记忆bfgs方法。数学课程。，45（1-3）：503-528，Aug.1989. 五个10766[27] Lingjie Liu ， Marc Habermann ， Viktor Rudnev ，Kripasindhu Sarkar，Jiatao Gu，and Christian Theobalt.神经参与者：具有姿势控制的人类演员的神经自由视图合成，2021年。三个[28] Matthew Loper 、 Naureen Mahmood 、 Javier Romero 、Gerard Pons-Moll和Michael J.黑色. SMPL：一个多人皮肤线性模型。ACM Trans. Graphics（Proc.SIGGRAPH Asia），34（6）：248：1-248：16，Oct.2015. 一、二、三[29] 马修·M Loper，Naureen Mahmood，and Michael J.黑色.MoSh：从稀疏标记捕获运动和形状。33（6）：220：1-220：13，Nov. 2014. 一、三、五[30] William E. Lorensen和Harvey E.克莱恩移动立方体：一种高分辨率三维表面构造算法。在Proceedings of the14th Annual Conference on Computer Graphics andInteractive Techniques，SIGGRAPH计算机协会六个[31] Qianli Ma，Shunsuke Saito，Jinlong Yang，Siyu Tang，and Michael J.黑色.规模：建模穿着人类与表面编解码器的关节本地元素。IEEE/CVF会议论文集计算机视觉和模式识别（CVPR），2021年6月。三个[32] Qianli Ma，Jinlong Yang，，Siyu Tang，and Michael JBlack.点的力量在服装建模人类。2021年国际计算机视觉会议（ICCV）3[33] Qianli Ma ， Jinlong Yang ， Anurag Ranjan ， SergiPujades ， Gerard Pons-Moll ， Siyu Tang ， and MichaelBlack. 学习穿着3d人在生成服装。在IEEE计算机视觉与模式识别会议（CVPR）上。IEEE，2020年6月。二个[34] Qianli Ma ， Jinlong Yang ， Anurag Ranjan ， SergiPujades，Gerard Pons-Moll，Siyu Tang，and Michael J.黑色. 学习穿着3D人物的服装。在计算机视觉和模式识别（CVPR），2020年。六、七[35] 放 大 图 片 作 者 ： Nima Ghorbani ， Nikolaus F.Troje、Gerard Pons-Moll和Michael J.黑色. AMASS：将动作捕捉 存 档 为 表 面 形 状 。 在 International Conference onComputer Vision，第5442-5451页，Oct. 2019. 一个[36] 放大图片作者：Marko Mihajlovic，Yan Zhang，MichaelJ.黑色，和思玉唐。 飞跃：学习明确了人的占有。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录，第10461 - 10471页，s. l.，2021-06.计算机视觉基金会（CVF）。IEEE/CVF计算机视觉与模式识别会议（CVPR 2021）;会议地点：在线;会议日期：2021年6月19日至25日; 2021年6月23日举行的会议讲座。三个[37] 作者 ：Ben Mildenhall，放 大图 片作 者： Jonathan T.Barron，Ravi Ramamoorthi和Ren Ng. Nerf：将场景表示为用于视图合成的神经辐射场。在ECCV，2020年。三、七[38] A. Neophytou和A. Hilton.人体和服装变形的分层模型。2014年第2届3D视觉国际会议，第1卷，第171二个[39] Richard A. Newcombe，Dieter Fox，and Steven M.塞茨动态融合：非刚体的重构与跟踪实 时 场 景 。 IEEE 计 算 机 视 觉 与 模 式 识 别 会 议（CVPR），2015年6月。二、六[40] Michael Niemeyer、Lars Mescheder、Michael Oechsle和Andreas Geiger。占用流量：通过学习粒子动力学进行4D重建。在国际计算机视觉会议上，2019年10月。二个[41] Atsuhiro Noguchi，Xiao Sun，Stephen Lin，and TatsuyaHarada.神经连接辐射场。2021年国际计算机视觉会议