基于分层网格变形的单幅图像人体细节形状估计

1基于分层网格变形的单幅图像人体细节形状估计朱浩1，2左欣欣2，3王森3，2曹迅1杨瑞刚2，4，51南京大学，中国南京2肯塔基大学，美国肯塔基州列克星敦3西北工业大学，中国中国北京5深度学习与技术及应用国家工程实验室zhuhaonju@163.comxinxin.uky.eduwangsen1312@gmail.comcaoxun@nju.edu.cnyangruigang@baidu.com摘要本文提出了一种新的框架，以恢复细节人体形状从一个单一的图像。由于人体形状、身体姿势和视角的变化等因素，这是一项具有挑战性的任务。现有方法通常尝试使用缺乏表面细节的基于参数的模板来恢复人体形状。因此，由此产生的身体形状似乎是没有衣服。在本文中，我们提出了一种新的基于学习的框架，结合了参数模型的鲁棒性和自由形式的3D变形的灵活性。我们使用深度神经网络来细化3D形状在分层网格变形（HMD）框架中，利用来自身体关节、轮廓和逐像素着色信息的约束。我们能够在皮肤模型之外恢复详细的人体形状。实验表明，我们的方法已经优于以前的国家的最先进的方法，实现更好的准确性方面的二维IoU数和三维度量距离。 该代码可以在https://github.com/zhuhao-nju/hmd.git中找到。1. 介绍从单幅图像中恢复三维人体形状是一个具有挑战性的问题，近年来引起了人们的广泛关注。大量的方法[8，5，6，31，17，32，23，16，21]，其中通过预测统计体形模型（诸如SMPL [20]和SCAPE [3]）的参数来重建人体体形。参数化造型的逼真度较低，无法捕捉服装细节。另一组方法[33，35]使用CNN直接从图像中估计体积人体形状，而得到的体积表示相当粗糙，不包含形状细节。图1：我们的方法（HMD）将一个人的单个2D图像作为输入，并预测详细的人体形状。与当前最先进的方法（HMR [16]）相比，我们得到了恢复的身体形状，其表面细节更好地拟合输入图像。以前的方法的有限性能是由人体形状和姿势的大变化引起的。参数或体积形状不足以表达固有的复杂性。在本文中，我们提出了一个新的框架，重建，结构详细的人体形状从一个单一的图像。这里的关键是结合参数化模型的鲁棒性和自由变形的灵活性。简而言之，我们建立在当前SMPL模型之上，以获得初始参数网格模型，并对网格执行非刚性3D变形以细化表面形状。我们设计了一个由粗到细的细化方案，4491源图像HMR结果HMD结果4492在每一阶段中，通过最小化其在图像空间中的2D投影误差来估计3D网格顶点移动。我们将窗口裁剪的图像而不是完整的图像馈送到网络，这导致更准确和鲁棒的变形预测。此外，我们整合了一个光度术语，以允许高频细节被重新覆盖。这些技术相结合，导致一种方法，显着改善，无论是在视觉上和定量上，从一个单一的图像中恢复的人体形状，如图1所示。本文的贡献包括：• 提出了一种新的投影-预测-变形策略，利用二维特征预测三维网格模型的变形。• 我们精心设计了一个层次化的更新结构，将身体关节、轮廓和光度立体结合起来，在不损失鲁棒性的情况下提高形状精度。• 我们是第一个使用单个图像来恢复超出参数人体模型的详细人体形状的人。正如我们的整个实验所证明的那样，初始参数模型的附加自由变形导致定量更准确的形状，具有良好的泛化能力，可以在野外图像。2. 相关工作以前的方法可以根据人体的表现方式分为两类：参数方法和非参数方法。至于参数方法，它们依赖于预先训练的生成人类模型，例如SCAPE [3]或SMPL [20]模型。目标是预测生成模型的参数SCAPE模型已被Guan等人采用。[8]在单目图像中，利用人工点击的关键点和平滑着色的约束条件，恢复出人体的形状和姿态。 Dibraet al.[6]已经训练了一个卷积神经网络来预测来自单个轮廓的SCAPE参数。与SCAPE模型类似，Hasleret al. [11]提出了一种人体姿势和身体形状的多线性模型，该模型是通过将测量分解为姿势和形状相关分量而生成的。SMPL模型[20]最近因其灵活性和效率而备受关注。例如，Bogoet al. [5]提出了一种名为SMPLify的自动方法，该方法通过最小化目标函数来拟合SMPL模型，该目标函数对投影模型关节与从基于CNN的方法获得的检测到的2D关节之间的误差以及姿势和形状的一些先验进行惩罚。基于这种SMPLify方法，Lassneretal.[17]已经形成了一个3D人体拟合的初始数据集，其中包含丰富的注释，91个关键点和31个片段。使用该数据集，他们在零件分割、姿态估计和3D拟合方面表现出了更好的性能。Tan等人[31]提出了一种间接学习过程，首先训练解码器从SMPL参数预测身体轮廓，然后使用成对的真实图像和地面真实轮廓来训练完整的编码器-解码器网络，以预测信息瓶颈处的SMPL参数。Pavlakos等人[23]将SMPL参数预测网络分为两个子网络。以2D图像为输入，设计了第一个网络来预测轮廓和2D关节，并分别从中估计形状和姿态参数。后一种网络将形状和2D关节结合起来，以预测最终网格。Kanazawa等人[16]提出了一个端到端的框架，以SMPL模型的形式恢复人体形状和姿势，仅使用具有对抗性损失的2D关节注释来有效地约束姿势。而不是使用关节或轮廓。Omran等人 [21]认为可靠的自下而上的语义身体部位分割对于形状和姿势预测更有效。因此，他们在第一阶段从输入图像中预测了部分分割，并将此分割用于预测人体网格的SMPL参数化非参数方法直接从图像预测形状表示。一些研究人员使用深度图作为形状的更一般和直接的表示。例如，Varolet al. [34]通过建立渲染SMPL模型的合成数据集来训练卷积神经网络，以预测深度图像和身体部位分割形式的人体形状。Güler等[10，9]将形状预测问题视为对应回归问题，这将为人体产生密集的2D到3D表面对应场。表示3D形状的另一种方式是将3D网格嵌入到体积空间中[33，35]。例如，Varolet al. [33]直接从单个图像恢复体积体型。他们的方法更多地关注于健壮的身体测量，而不是形状细节或姿势。虽然在这个非常困难的问题上已经取得了重大进展，但由此产生的人体形状仍然缺乏准确性和细节，从视觉上看，他们看起来都像没有穿衣服。3. 分层变形框架我们提出了我们的分层变形框架，通过以粗到细的方式细化模板模型来恢复详细的人体形状。如图2所示，我们的框架中有四个阶段：首先，从源图像估计初始SMPL网格。从这一点开始，接下来的三个阶段作为细化阶段，预测网格的变形，以便进行预处理。4493三维网格空间变形变形变形生成网格项目&中耕作物工程项目中耕作物最终结果二维图像空间中耕作物源图像预测初始网格连接变形锚点变形顶点级变形图2：我们的方法的流程从左下角到右上角。 网格变形体系结构由三个级别组成：joint、anchor和per-vertex。在每一层中，3D网格被投影到2D空间，并与源图像一起发送到预测网络。3D网格根据预测结果进行变形，以产生细化的人体形状。画出一个详细的人形。我们已经使用HMR方法[16]来预测初始人体网格模型，该模型已经证明了从单个图像恢复人体形状的最新性能。然而，与利用SMPL模型的其他人体形状恢复方法[23，21，5]一样，HMR方法预测形状和姿态参数以生成具有有限可扩展性的蒙皮网格模型，以紧密拟合输入图像或表达表面细节。例如，HMR通常在人类姿势不寻常时预测肢体的检测因此，我们设计了我们的框架，以完善形状和姿势。精炼阶段由粗到精按层次排列。我们在网格上定义了三个级别的关键点，在本文中称为句柄。我们将在下一节中详细描述如何定义这些句柄。在每个级别中，我们设计了一个深度神经网络，使用这些控制柄作为控制点来细化3D网格几何形状。我们分别训练三个细化网络，并根据其前一阶段预测残余变形。为了实现整个细化过程，一个需要解决的问题是如何使用深度神经网络从2D空间中的手柄变形3D人体网格。我们使用拉普拉斯网格变形来解决这个问题。详细地，每个手柄的运动矢量是从由2D图像的关节和轮廓驱动的网络预测的。然后，在尽可能保持局部几何形状的同时，使用拉普拉斯变形方法对人体网格进行变形该变形策略已应用于多视点形状的生成重建问题[1，38，18，24，39，26，27]，而我们是第一个使用深度神经网络从单个图像预测变形的人。3.1. 句柄定义在本节中，我们将描述我们在每个级别中使用的句柄由于SMPL网格模型具有统一的拓扑结构，因此可以在模板模型中预先定义它们。关节手柄。我们选择10个关节作为控制点T姿势SMPL网格下关节周围的顶点被选为控制柄，如下所示：图3所示我们将每组手柄的几何中心每个关节控制柄的运动被表示为2D矢量，其是指从投影网格的关节位置到图像平面上的地面真实关节位置的矢量。锚柄。我们在T姿势下的人体模板网格上选择200个顶点作为锚控点。为了在模板上均匀地选择锚点，我们首先构建一个向量集C={v1，v2，，v n}，其中v i由顶点i和n的位置和表面法线是数字。SMPL模型顶点数。然后应用K-means将集合C聚类为200个类。最后，我们将距离每个簇中心最近的顶点设置为锚控点。此外，我们从T-pose SMPL模型中删除了面部，手指，脚趾中的顶点，以防止高频形状的干扰。需要注意的是，对于每个锚点，仅允许其沿表面法线移动精细深度深度源图像变形矢量剪影源图像变形矢量剪影源图像SMPL段落4494^9连接手柄锚柄顶点句柄图3：网格变形的不同级别的手柄定义方向，所以我们只需要预测一个单一的值，指示锚点沿法线方向的移动。顶点级控制柄。SMPL网格中的顶点太稀疏，无法应用像素级变形，因此我们将网格的每个面细分为4个面。细分将模板网格的顶点数增加到27554，所有这些顶点都被认为是句柄。3.2. 关节和锚钉预测网络联合和锚点预测网络都使用VGG [30]结构，该结构由特征提取器和回归器组成该网络将网格投影的sil-houette和源图像作为输入，这些图像将被裁剪成以我们预定义的句柄为中心的补丁。具体来说，对于224×224的输入图像，图像被裁剪成大小为64×64的块用于联合预测，32×32用于锚点预测。与作为输入的完整图像或轮廓相比，句柄裁剪输入允许网络聚焦于感兴趣的区域我们将在第4.3节中演示裁剪输入的有效性。损失关节网络的输出是表示图像平面中的关节运动的利用L2损失来训练联合网络，其中损失函数被公式化为：Ljoint=||p−p^||第二章（一）其中p是来自网络的预测运动矢量，并且p是从网格投影的关节位置到其对应的地面实况关节的位移矢量。两个向量都是二维的。至于锚网，我们的直接目标是最小化投影sil-houette和地面真实轮廓之间不匹配部分的面积。然而，由于训练过程中很难计算区域大小对反向传播运动矢量的导数，我们将失配区域大小转换为沿顶点法线方向投影的线段的长度，该线段落入失配区域。线段的搜索半径为0。1米这条线的长度-移动被视为地面实况锚点移动，L2损失用于训练网络。这种转换使得计算损失函数的梯度变得容易。如果一个锚柄的地面实况移动为零，则句柄将被禁用，这意味着锚点将被视为拉普拉斯编辑中的公共顶点。我们强制性地将远离silhouette边缘的锚点设置为不活动的，并且整体形状将均匀地变形，因为Laplacian变形将尽可能地保持局部几何形状。此外，关节和锚点预测网络也可以采用人体轮廓的地面真实轮廓作为输入，而不是使用RGB图像作为输入。剪影为人物形象提供了更明确的信息，这可以防止网络被杂乱的背景环境所混淆。我们将在实验部分证明其对接头和锚固变形预测的有效性。在本文中，我们默认将仅RGB作为输入，并使用'+Sil'。以指示使用附加轮廓的情况。3.3. 顶点级变形为了给重建的人模型增加高频细节，我们利用了输入图像中包含的阴影信息。首先，我们将当前的三维人体模型投影到图像空间，从中我们将得到粗略的深度图。然后，我们训练一个Shading-Net，它将彩色图像和当前深度图作为输入，并预测具有表面细节的细化深度图。 我们已经建立了一个相对较小的数据集，其中包含彩色图像，过度平滑的深度图以及具有良好表面细节的相应地面关于该数据集的更多详细解释见第3.4节。我们采用了一个多阶段的训练计划，有限的监督数据。根据[29]中提出的训练方案，我们首先在我们捕获的深度数据集上训练一个简单的基于UNet的编码器-解码器网络[28]，将过平滑的深度图及其相应的彩色图像作为输入。该网络在地面实况深度图的监督下进行训练。接下来，我们将该网络应用于人体数据集的真实图像，以获得增强的深度图。由于我们只有有限的监督数据，网络可能无法很好地推广到我们的真实图像。因此，为了最终获得具有与彩色图像一致的表面细节的深度图，我们训练了我们的Shading-Net，这也是一个基于真实图像的U-Net网络。该网络使用第一个U-Net输出的深度图进行监督损失和光度反射损失[36]进行训练，旨在最大限度地减少原始输入图像和重建图像之间的误差。每像素光度损失L照片的公式如下：L照片= ||ρ l k H k（n）− I||第二章k=1其中ρ是通过传统的内分解方法计算的ω [4]。类似于[25，42]，我们使用4495在朗伯表面假设下，用于照明表示的第二球谐函数（SH）。Hk表示球谐函数的基。l1，l2... 19定义SH系数，其在最小二乘最小化下计算为：Σl H（n（三）根据每个数据集的规则对数据进行测试。表2列出了我们使用的数据编号。WILD数据集的主要缺点是缺乏3D地面真实形状。虽然UP数据集为某些数据提供了拟合的SMPL网格，但准确性不确定。为了帮助评估3D精度，我们制作了另外两个小的具有地面实况形状的数据集：K Klk=1粗2RECON数据集我们重建了25个人体网格模型，我们使用从当前渲染的粗糙深度图恢复的3D模型来计算表面法线n粗略。3.4. 实现细节我们将预先训练好的模型用于HMR网络，然后依次训练Joint-Net、Anchor-Net和Shading-Net。我们使用“Adam”优化器来训练这些网络，学习率为0。0001拉普拉斯编辑中的控制柄权重对于关节变形为10，对于锚变形为1为了给Shading-Net提供更好的训练数据，我们使用Kinect V2传感器捕获了一个小的深度数据集它由2200个深度帧组成，其中有三个穿着不同衣服、摆出不同姿势的人类主体。使用传统的阴影细化技术[22，41]进一步增强捕获的深度图，以恢复小的表面细节，这些细节可以作为监督学习的地面真实深度图。我们在测试期间将形状细节放大了10倍。4. 实验4.1. 数据集我们为实验收集了三个数据集：WILD数据集，其中包含大量带有稀疏2D关节和分割注释的图像，以及其他两个用于3D度量评估的小数据集。WILD数据集。 我们通过从包括MPII人类姿势数据库 （ MPII ） [2] 、 上 下 文 中 的 公 共 对 象 数 据 集（COCO ） [19]、 Hu-man 3. 6 M数据 集（ H36 M）[13，12]、利兹运动姿势数据集（LSP）[14]及其扩展数据集（LSPET）[15]的5个人类数据集中提取来组装相当大的数据集以用于训练和测试。由于大多数图像都 是 在 不 受 控 制 的 设 置 中 捕 获 的 Unite the People（UP）数据集[17]为LSP、LSPET和MPII数据集中的图像提供了地面实况轮廓。当我们专注于整个身体的人体形状恢复时，基于以下两个规则去除具有部分人体的图像：• 所有关节都存在于图像中。• 所有关节都在身体轮廓内。对于COCO和H36M数据集，我们进一步使用低质量轮廓过滤数据。我们把训练使用传统的多视图三维重建方法，ods [7]。我们将每个模型渲染为6个视图，这些视图是从54个候选视图中随机选择的，方位角范围为0° ~340°，间隔20°;仰角范围为-10°~+10°，间隔10°。我们使用Places数据集[37]中的各种场景图像作为背景SYN数据集我们在PVHM数据集[40]中渲染300个合成人体网格模型，然后进行渲染设置，并将Places数据集的随机场景图像作为背景。PVHM的网格包括内表面，这对表面精度估计是一个干扰为了过滤出内表面，我们将网格投影到6个正交方向，并删除在所有6个方向上看不到的面。对于RECON数据集和SYN数据集，重建的3D网格被缩放，使得人体的平均身高接近于普通成年人的一般身高。通过这种方式，我们可以测量以mm为单位的3D误差。4.2. 准确度评价我们用几个度量（对应于表1中的第二行）来测量恢复的形状的准确性。对于所有的测试集，我们报告了轮廓的交集（sil IoU），它测量了预测的3D形状和图像轮廓的投影轮廓的匹配率。对于WILD数据集，我们测量预测的3D形状的投影2D关节与注释的地面真实关节之间的差异。通过计算相应关节柄顶点的几何中心来提取网格的关节。对于RE-CON数据集和SYN数据集，我们还报告了3D误差（3D err），这是预测网格和地面真实网格之间顶点的平均距离。我们为地面实况网格中的每个顶点找到结果网格中最近的顶点，并计算它们距离的平均值作为3D误差。4.3. 分期分析我们在图4中显示了分期结果（右四列），并在表1中报告了每个阶段的定量评估。不同阶段的结果被命名为HMD-关节、HMD-锚点和HMD-顶点（最终结果）。我们可以看到，它的形状是一个阶段一个阶段地细化的。在节理变形阶段，9l*= arg min ||ρ）−I||24496源图片SMPLifyBodyNetHMRHMD-关节HMD-锚HMD-顶点HMD（+Sil.）图4：我们将我们的方法与以前的方法进行了比较。我们的方法在不同阶段的结果如下所示：关节变形、锚点变形和顶点变形（最终结果）。与其他方法相比，我们的方法恢复更准确的关节和身体的形状细节。人体形状更好地适应输入图像，特别是在身体四肢。最右边的一列显示，当地面真实人体轮廓被强制执行时，我们可以获得更准确的恢复形状（标记为HMD（+Sil）。）.请注意，图像是为紧凑布局而裁剪的。图5：根据剪影IoU的排名选择的结果。我们可以在左侧的列中看到，具有简单姿势（如站立）的人产生非常好的拟合。从左到右，图片中的运动变得越来越复杂，相应的人体形状也越来越难以预测。在右边的列中，我们的方法无法预测戴着配件（头盔，手套）和极度扭曲姿势的人。4497图像来源Ground Truth Our源视图侧视图源图像地面实况 我们的地面真相 我们源视图侧视图图6：我们展示了RECON（左）和SYN数据集（右）上的一些恢复的网格和地面实况网格。通过围绕垂直轴旋转网格90°，HMDHMD-r输入HMRHMD输入HMR HMD HMD-r图7：我们在侧视图中显示了一些纹理结果。我们直接将图像中的纹理映射到网格，并将它们渲染到新视图，如HMR和HMD所示。在HMD-r中，我们简单地将图像中的前景区域稀释到背景中，然后将稀释的图像映射到网格。通过围绕穿过网格中心的垂直轴旋转原始视图45°来红色虚线框表示不良部件，黄色虚线框表示较好但有缺陷的部件，绿色虚线框表示优良部件。对关节的位移进行修正在锚变形阶段，轮廓监督在拟合人体形状中起着关键作用。在顶点变形阶段，恢复形状细节以产生视觉上合理的结果。消融研究。我们在表3中报告了消融实验的结果，其中（w）表示窗口裁剪输入，（f）表示全图像输入。我们演示以下两个语句：（1）通过比较全图像输入（No. 3和5）和窗口裁剪图像输入（No.从表3和5中可以看出，与完整图像输入相比，窗口裁剪输入预测的轮廓IoU要高得多，联合误差要低得多，而窗口裁剪网络的模型大小仅为完整图像网络的41%。之所以得到较好的结果，是因为窗口裁剪网络本质上以手柄为输入中心，因此问题转向预测每个手柄的局部拟合，这更容易学习。(2)通过对“缝+锚”变形一体化（No.6）和只有锚或接头变形（编号。3和5），我们发现该组合实现了最佳性能，并且显示出比纯锚钉变形更大的改善。预测与剪影。我们的方法默认将RGB图像作为输入，同时我们也可以将其他轮廓作为输入。它们可以共享相同的框架，区别在3.2节中解释.我们在图4的最后一列中显示了定性比较结果，在表1的最后三行中显示了定量结果。正如预期的那样，使用轮廓的预测在所有指标中产生更好的结果。4.4. 与其他方法我们将我们的方法与其他方法进行了比较，定性结果如图4所示，定量结果如表1所示。我们使用作者提供的BodyNet和HMR的训练模型。由于BodyNet需要3D形状进行训练，因此它们不使用COCO和H36M数据集。公平地说，对WILD数据集的评估仅使用来自LSP、LSPET和MPII的数据，这些数据是所有估计方法 中 使 用 的 数 据 集 的 交 集 。 与 基 于 SMPL 的 方 法（SMPLify和HMR）相比，我们的方法在所有三个数据集上的所有指标上都获得了最好的性能。与基于体积的预测方法BodyNet相比，我们在RECON数据集上的3D误差方面取得了相当的成绩原因是，博-4498表1：定量评价- -方法银IoU二维关节误差银IoU3D错误完整 *3D误差 *银IoU3d错误已满 *3d err vis*SMPLify[5]66.310.1973.952.8451.6971.062.3160.67[33]第三十三话68.6-72.543.7540.0570.054.4146.55HMR[16]67.69.9074.351.7442.0571.753.0347.75HMD -关节70.78.8178.051.0841.4275.949.2545.70HMD -锚钉76.58.8285.044.6039.7379.647.1844.62HMD -顶点---44.1041.76-44.7541.90HMD-接头73.08.3179.250.4940.8877.748.4145.16HMD-锚钉82.48.2288.343.5038.6385.744.5942.68HMD-顶点---43.2240.98-41.4839.11* ‘full’ means the full body shape is used for error estimation, and ‘vis’ means only the visible part with respect to the input imageviewpoint is used for error三维误差的统计单位为毫米;以像素为单位测量2D关节误差。切割线以外的方法仅使用RGB图像作为输入，而切割线下的方法使用某些统计数据为空白：关节位置不能直接从BodyNet生成的网格中导出;顶点变形后的sil IoU和2D关节误差与锚钉变形结果相同。表2：WILD数据集组件数据源LSP LSPET MPII COCOH36M列车编号9875376 8035 4004 5747测试编号703 0 1996 606 1320表3：消融实验num方法银IoU二维关节误差1基线（初始形状）67.69.902接头（f）68.39.853接头（w）70.78.814锚（f）70.19.895锚（w）71.39.756接头（w）+锚（w）76.58.82二维关节误差是按像素测量的。dyNet生成更保守的形状，而不是专注于恢复完整的人体模型。在某些情况下，当身体肢体在图像中不可见时，身体肢体没有被BodyNet重建，而我们总是恢复完整的身体，即使肢体的某些部分这使得很容易有一个更好的配准地面实况网格，从而导致更小的3D误差。然而，他们在SYN数据集上的得分低于其他两个数据集，因为来自SYN数据集的人类受试者通常具有苗条的体型，在这种情况下，BodyNet结果被降级。4.5. 3D误差分析图6显示了我们在RECON和SYN数据集上恢复的3D模型以及地面真实网格。我们表明，固有的姿势和形状的模糊性不能从一个单一的观点与图像解决。正如我们在图6中所看到的，从侧视图中看到的人体形状与地面实况模型有很大的不同即使它们可以非常接近输入图像。来自单个图像的估计深度线索有时对于形状恢复是模糊的。这一观察解释了为什么我们的方法在2D度量中的改进相对大于3D度量中的改进。4.6. 视图合成我们通过将图像中的纹理映射到图7 .第一次会议。从侧面来看，我们可以看到，我们的方法产生更好的纹理模型，网格匹配图像很好。通过将前景区域稀释到背景（HMD-r），进一步改善了边缘部分中的纹理。5. 结论在本文中，我们提出了一种新的方法来重建详细的人体形状从一个单一的图像在一个粗到细的方式。从基于SMPL模型的人体恢复方法开始，我们引入自由形式的变形来使用投影-预测-变形策略来细化身体形状。提出了一个层次化的框架，用于在关节、轮廓和着色信息的监督下恢复更准确和详细的人体。我们与最先进的方法进行了广泛的我们的工作的局限性是，姿势的模糊性没有解决，仍然有很大的误差预测的身体网格，特别是在深度方向上。确认这 项 工 作得 到 了 USDA 资 助2018- 67021-27416 和NSFC资助61627804的支持。4499引用[1] Thiemo Alldieck ， Marcus A Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.基于视频的三维人体模型重建。在IEEE计算机视觉和模式识别会议（CVPR）中，第8387-8397页3[2] Mykhaylo Andriluka，Leonid Pishchulin，Peter Gehler，and Bernt Schiele. 2D人体姿态估计：新的基准和最先进的分析。在Proceedings of IEEE Conference on ComputerVision and Pattern Recognition（CVPR），第3686-3693页5[3] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。景 观 ： 人 的 形 体 完 成 与 动 画 。 ACM 图 形 交 易（TOG），24（3）：408-416，2005年。一、二[4] Sean Bell，Kavita Bala，Noah Snavely.在野外的内在影像 。 ACM Transactions on Graphics （ TOG ） ， 33（4）：159，2014。4[5] Federica Bogo、Angjoo Kanazawa、Christoph Lassner、Peter Gehler、Javier Romero和Michael J Black。保持它smpl：由单一影像自动估计三维人体位姿与形状。在欧洲计算机视觉会议（ECCV）的会议记录中，第561-578页，2016年。一二三八[6] EndriDibra 、 HimanshuJain 、 CengizOüztireli 、 RemoZiegler和Markus Gross。Hs-nets：用卷积神经网络从剪影中在IEEE 3D视觉国际会议（3DV）的会议纪要中，第108-117页一、二[7] YasutakaFuruk aw a，CarlosHern a´ ndez，etal. 多视图立体声：教程。基金会和信托基金计算机图形与视觉，9（1-2）：1-148，2015。5[8] Peng Guan，Alexander Weiss，Alexandru O Balan，andMichael J Black.从单个图像估计人体形状和姿势。IEEEInternational Conference on Computer Vision（ICCV），第1381-1388页，2009年。一、二[9] RızaAlpGuüler、 NataliaN ev er ov a 和 IasonasKokkinos 。 密度：野外密集的人体姿势估计。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第7297-7306页，2018年。2[10] RızaAlpGuéler，Geor geTrigeorgis，EpameinondasAnton-akos ， Patrick Snape ， Stefanos Zafeiriou ， and IasonasKokki- nos.Densereg：完全卷积的密集形状回归。在IEEE计算机视觉和模式识别会议论文集（CVPR）中，第6799- 6808页，2017年。2[11] Nils Hasler ， Hanno Ackermann ， Bodo Rosenhahn ，Thorsten Thorm aühlen和Hans-PeterSeidel。从图像集对着装对象的多线性姿态和IEEE计算机视觉与模式识别会议论文集，第1823-1830页，2010年2[12] Catalin Ionescu，Fuxin Li，and Cristian Sminchisescu.用于人体姿态估计的潜在结构模型。在Proceedings ofIEEEInternationalConferenceonComputerVision（ICCV），第2220-2227页，2011中。5[13] Catalin Ionescu ， Dragos Papava ， Vlad Olaru ， andCristian Sminchisescu. 人类3.6m：大规模数据集和预测用于自然环境中的3D人体感测的有效方法。IEEETransactions on Pattern Analysis and Machine Intelligence（TPAMI），36（7）：1325-1339，2014. 5[14] 山姆·约翰逊和马克·埃弗林汉姆用于人体姿态估计的聚类 姿 态 和 非 线 性 外 观 模 型 。英 国 机 器 视 觉 会 议（BMVC），2010年。5[15] 山姆·约翰逊和马克·埃弗林汉姆从不准确的注释中学习有效的人体姿态估计在Proceedings of IEEE Conferenceon Computer Vision and Pattern Recognition（CVPR），第1465-1472页5[16] Angjoo Kanazawa，Michael J Black，David W Jacobs，and Ji- tendra Malik.端到端恢复人体形状和姿势。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第7122-7131页一二三八[17] 放 大 图片 作 者 ：Christoph Lassner ， Javier Romero ，Martin Kiefel，Federica Bogo，Michael J.布莱克和彼得五世盖勒团结人民：关闭3D和2D人类代表之间的循环。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第4704-4713页，2017年。一、二、五[18] 廖苗，张庆，王华民，杨瑞刚，龚明伦。从单个深度相机 对 可 变 形 对 象 进 行 建 模 。 IEEE InternationalConference on Computer Vision （ ICCV ） ， 第 167-174页。IEEE，2009年。3[19] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议（ECCV）论文集，第740-755页，2014年。5[20] Matthew Loper， Naureen Mahmood ，Javier Romero ，Gerard Pons-Moll，and Michael J.黑色. SMPL：一个有皮 肤 的 多 人 线 性 模 型 . ACM Trans. Graphics（Proceedings of SIGGRAPH Asia），34（6）：248：1-248：16，2015. 一、二[21] Mohamed Omran ， Christoph Lassner ， Gerard Pons-Moll，Pe- ter V Gehler，and Bernt Schiele.神经体拟合：统一深度学习和基于模型的人体姿势和形状估计。在IEEE 3D视觉国际会议（3DV）的会议记录中，第484-494页，2018年。一、二、三[22] Roy Or-El、Guy Rosman、Aaron Wetzler、Ron Kimmel和Alfred M Bruckstein。Rgbd-融合：实时高精度深度恢复。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第5407- 5416页5[23] Georgios Pavlakos， Luyang Zhu ， Xiaowei Zhou ， andKostas Daniilidis.学习从单色图像估计三维人体姿态和形状 。在IEEE计算 机视 觉和模 式识 别会议 论文 集（CVPR）中，第459-468页，2018年。一、二、三[24] Ralf Plankers和Pascal Fua。用于基于视频的身体建模的铰接软对象。在IEEE国际计算机视觉会议（ICCV）的会议记录中，第394-401页，2001年。3[25] Ravi Ramamoorthi和Pat Hanrahan。辐照度环境贴图的有效InProceedings of4500第28届计算机图形学和交互技术年会，第497-500页，2001年。4[26] Helge Rhodin，Nadia Robertini，Dan Casas，ChristianRichardt，Hans-Peter Seidel，and Christian Theobalt.通用自动人体形状和动作捕捉使用体积轮廓线索.在欧洲计算机视觉会议（ECCV）的会议记录中，第509-526页3[27] Nadia Robertini，Dan Casas，Helge Rhodin，Hans-PeterSei- del，and Christian Theobalt.基于模型的户外性能捕获。在IEEE 3D视觉国际会议（3DV）的会议记录中，第166-175页，2016年。3[28] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。4[29] 放 大 图 片 作 者 ： Soumyadip Sengupta ， AngjooKanazawa，Carlos D.Castillo和David W.雅各布斯学习野外人脸的形状、反射率和照度。在IEEE计算机视觉和模式识别会议论文集（CVPR）中，第6296-6305页，2018年。4[30] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。4[31] J Tan，Rumas Budvytis，and Roberto Cipolla.间接深度结构化学习用于三维人体形状和姿势预测。在英国机器视觉会议（BMVC）的会议记录中，第4-7页，2017年。一、二[32] Hsiao-Yu Tung ， Hsiao-Wei Tung ， Ersin Yumer ， andKaterina Fragkiadaki.动作捕捉的自监督学习。神经信息处理系统（NIPS）进展，第5236-5246页，2017年。1[33] Gu¨lVarol ， DuyguCeylan ， BryanRussell ， JimeiYang ，ErsinYumer，IvanLaptev，andCordeliaSchmid.Bodynet：三维人体形状的体积推断。在欧洲计算机视觉会议（ECC