HoloPose: 野外3D人体重建

1HoloPose：野外RızaAlpGülerIasonasKokkinosAriel AI任务专用解码器之前/之后最终结果θL总（θ）=Ldp（θ）+L2d（θ）+L3d（θ）θ，θ*θ*= argminLtotal（θ）θ图1：我们介绍了HoloPose，一种在野外进行整体单目3D身体重建的方法。我们开始与3D模型参数θ的精确、基于零件的估计值，以及DensePose、2D和3D关节的解耦、基于FCN的估计值。然后，我们有效地优化了自上而下的3D模型预测与自下而上的姿态估计之间的未对准损失Ltotal（θ）3D模型估计和迭代拟合步骤被有效地实现为网络层，从而促进了以每秒超过10帧的速度在野外进行多人3D姿态估计摘要我们介绍了HoloPose，一种用于整体单眼三维人体重建的方法。我们首先介绍了一个基于部分的模型的3D模型参数回归，使我们的方法在野外操作，优雅地处理严重的闭塞和大的姿态变化。我们进一步训练包括2D、3D和密集姿态估计的多任务网络，以驱动3D重建任务。为此，我们引入了一种迭代细化方法，该方法将2D/3D关节位置和DensePose的基于模型的3D估计与CNN提供的基于图像的对应物对齐，由于自下而上的CNN处理，实现了基于模型的全局一致性和高空间精度。我们在具有挑战性的基准上验证了我们的贡献，表明我们的方法使我们能够获得准确的关节和3D表面估计，同时在野外以超过10fps的速度运行。有关我们方法的更多信息，包括视频和演示，请访问http://arielai.com/holopose。1. 介绍从单个RGB图像进行3D重建是一个有趣的不适定问题，但我们在查看图片时通常会执行它。有关geom的信息测量可以利用多个线索，例如对象轮廓[32，57，4]，表面到图像的对应关系[30，38，29]或阴影[15，12]，但是，也许对单目3D重建的最大贡献来自语义：已知对象类别的受约束的可变性可以容易地解决3D重建中的模糊性，例如，如果对象的形状被约束为位于低维空间中[ 7，21，49 ]。这个想法是[56，5]关于用于单眼3D面部重建的变形模型的开创性工作的基础。将其扩展到人体的更复杂的、人工化的结构，在过去的十年中，结合基于部分的表示[40，64]、基于采样的推理[42，40]、时空推理[44]和自下而上/自上而下计算[41]，对单目人体重建进行了广泛的研究。单目3D重构在深度学习的背景下已经见证了两个一般类别的复兴，例如，[50，20，23]和对于人的特异性[6，24，55，51，52，9，34，54，31，19，60]。后者大多数工作依赖于皮肤线性模型[2]，特别是SMPL模型[26]中人体的有效参数化。即使3D监督是稀缺的，这些工作已经利用了这样的事实，即参数模型提供了人体的低维表示，其可以以可区分的方式投影到2D图像基于10884基于零件的3D重建DensePose2D Keypoints3D KeypointsLdp（θ）L2d（θ）L3d（θ）10885在此基础上，这些工作已经训练系统通过最小化基于模型和基于注释器的2D关节位置[51，52，19]、人体分割掩模和3D体积投影[54，51，52，31]或身体部位[31]之间的重投影误差来回归模型参数。与这些工作并行，3D人体关节估计的准确性稳步上升[47，63，33，35]，最近基于通过分类和回归的混合直接定位体积输出空间中的3D关节[46，27，22]。最后，最近关于密集姿态估计的工作[10]表明，可以通过训练通用的自下而上的检测系统[13]来估计RGB图像和身体表面之间的密集对应关系，以将图像像素与表面水平的UV坐标相关联。尽管DensePose在图像和表面之间建立了直接联系，但它并没有揭示特定场景的3D几何形状，而是给出了一个强烈的暗示。在这项工作中，我们建议将这些独立的研究线程链接到一个协同架构中，该架构结合了不同方法的力量。如在[51，34，54，31，19]中，我们依赖于参数化的、可微分的人体形状模型，该模型允许我们根据低维参数向量来描述3D人体表面，并将其并入用于单目3D姿态估计的整体系统中。我们的第一个贡献在于引入了一个基于部分的参数回归体系结构。目前的单目3D重建方法通过应用于对象边界框内提取的CNN特征之上的线性层来估计如SEC中所述。3我们的基于部分的回归器池由基于FCN的2D联合估计头估计的2D联合位置周围的卷积特征。这使我们能够提取精确的局部特征，这些特征在很大程度上对清晰度不变，同时跟踪部件的存在/不存在。然后，我们利用DensePose和3D联合估计来提高3D重建的准确性。这是以两种互补的方式进行的。首先，我们引入了额外的基于重投影的损失，以改善标准多任务学习设置中的训练。其次，我们使用单独的、基于FCN的解码器来预测DensePose和2D/3D关节位置，并使用它们的预测来细化自上而下的、基于模型的3D重建。我们的精化过程使用基于CNN的回归估计作为迭代拟合过程的初始化。我们更新模型参数，以便对齐基于模型和基于CNN的姿态估计。驱动试衣的关键因素是通过基于密集姿势的损失的组合来捕获的，详细信息见第2.2节。4以及3D关节的基于模型和基于CNN的估计之间的距离。这允许我们更新模型参数es-实时估计，以便更好地匹配基于CNN的本地化结果。迭代拟合被实现为基于GPU的共轭共轭梯度的有效网络层，使我们能够在野外执行准确的实时多人3D姿态估计最后，为了使皮肤模型更好地与通用CNN层兼容，我们还介绍了两个简化建模的技术修改，如第2节所述。二、我们首先为关节角度流形引入了一个混合专家回归层，这说明了[19]中使用的基于GAN的训练的必要性。其次，我们在每个部分中引入了UV空间的统一的carnival图表，有效地重新参数化模型，以便有效地实现网格级操作，从而实现简单快速的基于GPU的模型细化。2. 基于形状先验的三维人体重建我们的单眼3D重建方法严重依赖于目标形状的先验模型。我们使用皮肤多人线性（SMPL）模型[26]对人体进行参数化，但也可以使用其他类似的人体形状模型。模型参数根据两个单独的量来捕获姿态和形状：θ包括对应于人体姿态的运动树中的每个关节的3D旋转矩阵，并且β捕获在10维形状向量方面跨对象的形状可变性。该模型通过线性蒙皮和混合形状作为θ，β的可微函数来确定人体的三角网格，为我们提供了3D身体重建问题的强先验。2.1. 混合专家轮换优先除了在给定模型参数的形状上定义先验外，我们在这里建议对模型参数本身强制先验特别地，可能的关节角度值的范围受到人体的机械学的限制，这是我们可以利用来增加我们的角度关节估计的准确性的东西。在[19]中，通过对抗性训练隐式地实施了先前的约束，其中，与角度回归网络一起训练了一个神经网络，并用于独立地惩罚统计上不可信的关节角度估计。我们认为，一个更简单的和潜在的更紧密的先验可以构建明确迫使预测躺在流形上的似是而非的形状。与旨在分析建模关节角度[43]的早期工作不同，我们从最近使用分类作为旋转估计代理的工作中汲取灵感[49]：而不是预测欧拉角，作者将旋转估计视为分类问题，其中类别对应于不相交的角度箱。这种方法与经验观察相一致，即CNN可以通过利用回归中的分类来提高其回归准确性，如所使用的10886图2：欧拉角簇中心的可视化，θ1，...，K，对于SMPL模型的几个关节。我们将我们的联合回归器的输出空间限制在中心的凸包上，强制实现联合旋转。例如[11，46，27]我们提出了一个简单的“混合专家”角度回归层，它具有简单有效的角度先验。我们首先使用[1]收集的数据，记录人类伸展时的关节角度。这些预期足以覆盖可能的关节角度的空间。对于每个身体关节，我们将旋转表示为欧拉角θ，并计算K个旋转簇θ1，. . .，θ K通过K-Means。这些聚类为我们提供了一组代表性的角度值。我们允许我们的系统预测任何旋转值内的凸包这些集群使用软最大加权组合的集群。具体地，第i个身体关节的欧拉旋转Θi缩放以将模型表面的部分展平为二维，然后在网格上均匀采样这些部分。特别是，我们在[10]中使用的24个身体部位中使用了 32×32 网 格 ， 这 意 味 着 我 们 现 在 有 24 个 大 小 为32×32×3的张量，而不是SMPL的6890个3D顶点。 我们还对模型特征形状进行了采样，相同的网格，并表示形状合成方程，结果张量的项。我们进一步识别不对应于任何网格顶点的UV部分组合，并忽略映射到那里的UV点。3. 基于零件的三维人体重建在概述了用于3D重建的参数化模型之后，我们现在转向我们的基于零件的模型，以进行参数化重建。θi=ΣKΣk=1 exp（wk）θK（一）参数估计 现有的基于模型的方法，单目3D重建估计SMPL参数Kk=1 exp（wk）通过应用在CNN顶部的单个线性层，其中w，k是该层的实值输入。 这形成了对潜在角度分布的合理近似，如图11所示2，同时避免了[19]中使用的对抗训练的需要，因为通过设计，估计的角度将来自该先验分布。2.2.笛卡尔曲面参数化尽管我们将身体表面理解为连续结构，但它是使用三角网格离散的这意味着将一对连续UV坐标与网格属性（例如，3D位置，需要首先识别包含UV坐标的面，查找支持面的顶点值，并使用点的重心坐标来插值这些值。这可能是低效的，特别是如果它需要访问不同顶点的不同存储器位置。我们发现用局部直角坐标系重新参数化物体表面是有利的这使得我们可以用双线性插值来代替这个繁琐的过程，并使用空间Transformer层[17]来有效地处理大量的点。为了执行这种重新参数化，我们首先执行多维在对象的边界框内提取的纹理。我们认为，这样一个单一的系统可以受到挑战的功能变化所造成的，例如。由于边界框未对准而引起的遮挡、旋转或全局平移。我们通过提取人体关节周围的局部特征来处理这个问题，遵循基于部件的建模范式[8，64，61]。我们提取特征的位置随关节位置而变化。因此，通过设计，特征对于平移是不变的，并且可以集中于更好地揭示底层3D几何形状的局部图案。如图3.我们通过反卷积网络获得特征，并通过双线性插值在可见的联合位置处汇集特征。联合定位由一个单独的网络分支机构提供，并接受联合定位培训。在2D关节周围提取的每个特征原则上可以用于单独地回归完整的模型参数，但是直观地，2D关节应该对与其更相关的模型参数具有更强的影响。例如，左腕关节应该影响左臂参数，但不影响运动独立部位（如右臂、头部或脚部）的参数。此外，图像中可能会丢失一些关节，这意味着我们不能简单地将更大的fea中的特征10887k、jω1，kω2，kω3，k图3：基于零件的3D重建。用于关键点检测的完全卷积网络用于定位多个人类关键点的2D地标位置。我们将每个关键点周围的卷积特征进行池化，从而获得局部图像结构的丰富表示，该表示在很大程度上对全局图像变形是不变的，而不是消除细粒度的、特定于关键点的可变性。每个关键点影响运动学关联的身体模型参数的子集，为假定的关节角度投下自己的这些投票通过混合专家架构进行融合，该架构提供基于部分的身体关节角度估计在该图中，为了简单起见，我们仅示出了来自与左膝角度的估计相关的左脚踝、左膝和左髋局部特征真正的矢量，但需要使用一种形式，以适应潜在的缺乏部分。我们将这些要求在一个基于部分的变量的方程。1，其中我们从N（i）汇集信息，N（i）是关节i的邻域对应于角度θi：一个防水的网格，它必须对应于一个令人愉快的人类姿势。这通常不是FCN估计的情况，其前馈架构使得难以在部件之间施加横向约束。与此同时，基于FCN的估计对ev.θi= ΣKk=1Σexp（wi）θKj∈N（i）k，j.（二）每个图像补丁，使我们能够精确定位图像中的人体结构。相比之下，基于模型的估计ΣKk=1 Σj∈N（i）exp（wi）可能严重偏离，例如，因为在运动树的开始计算错误的角度。如Eq。1.我们对角簇执行arg-soft-max操作，但融合来自多个2D关节的信息：受这种互补性的激励，我们现在转向去重化一个整体姿态估计系统，该系统允许我们ik，j表示2D关节j分配给聚类的分数这两个词都是最好的我们的出发点是k表示第i个模型参数θi。通过基于运动树依赖性检查哪些模型参数直接影响人体2D关节，离线构造i的邻域通过取2D关节检测模块的最大值在图像中找到关节。如果最大值低于阈值（0. （4）在我们的实践中）我们认为在图像中没有观察到关节在在这种情况下，排除对应于缺失关节的每个被加数，使得Eq. 2仍然有效。如果N（i）的所有元素都缺失，我们将θi设置为静止姿势。4. 整体3D人体重建到目前为止所描述的网络在单次拍摄中提供通过网络中的前向传递。以相同的前馈方式，可以通过全卷积网络（FCN）获得2D关键点，3D关节[46]或密集姿态[10]估计。这些提供了关于场景中人类姿势的补充信息，具有互补的优点。特别地，身体几何形状的基于模型的估计是身体几何形状的紧凑的、可控的表示。事实上，3D表面估计使我们能够预测以可微分的方式，3D关节位置，它们的2D投影，以及密集的表面到图像的对应。因此，我们可以使用任何外部姿态信息来构建一个损失函数，该函数指示我们的表面估计在几何距离方面的质量。在此基础上，正如[51，52，9，34，54，31，19，60]中所做的那样，我们使用多个姿态估计线索来监督3D重建任务，现在还将DensePose [10]作为新的监督信号。相对于先前实践的一个更根本的变化是，我们还引入了一个细化过程，该过程迫使基于模型的3D几何形状通过迭代方案与FCN的预测一致。这在测试时也是有效的，其中基于FCN的姿态估计通过最小化过程驱动基于模型的预测与图像证据的对准。为了实现这两个目标，我们利用问题的几何性质，并构造一个损失，该损失惩罚基于3D模型的预测和由复杂性提供的姿态信息Keypoint头池化基于零件的3D重建股骨头线性线性线性合并特征中心（θk）投票W10888→图4：密集姿态细化：密集图像-表面对应性的自底向上估计（行1）被用于细化3D模型估计结果（行2），实现表面投影与图像的更好对准（行3）。tary cues.例如，密集姿态将图像位置x=（x1，x2）与固有表面坐标u=（u1，u2）相关联。 给定一组模型参数φ =（θ，β），我们可以将每个u向量与3D位置X（φ）=M（φ，u）相关联，其中M表示3D身体形状的参数模型，例如，[26]第10段。这一点又投影到一个二维位置x（φ）=（x1，x2），它可以与x-理想地闭合一个循环相比较。 由于一般情况下不会是这种情况，我们惩罚x（φ）和x=（x1，x2）之间的几何距离，要求（φ）产生在2D中正确投影的形状。总结起来，我们有以下的过程和损失：基于DensePose/2D/3D联合预测。为此，我们将基于CNN的预测视为由几何损失之和驱动的迭代拟合方案的初始化我们同样对待的2D和3D联合预测交付的FCN头，并惩罚基于模型的预测的基于CNN的估计的L1为了处理不合理的形状，我们使用以下方法-使用简单损耗来限制预测的β值的大小：|β i|），其中在所有实验中使用b = 2。我们使用共轭矩阵（CG）来最小化由上述损失之和形成的成本函数。我们将共轭共轭代数作为一种有效的递归网络来实现，xDen→sePoseuM（φ）X→x（三）工作层;我们的Carpet模型参数化概述ΣL（φ）=φx-x，（4）节中2.2允许我们快速评估和反向传播DensePosei i2我通过空间Transformer网络的损失。这为我们提供了免费的基于GPU的3D实现，其中，x∈P=Mφ（DensePose（x））是基于模型的es。其中x应该是，x是正交投影矩阵，i在与表面坐标相关联的图像位置上变化。我们可以使用Eq。四是如上所述。首先，我们可以使用它来监督网络训练，其中DensePose代表DensePose ground-truth，φ通过Eq中的部分投票表达式获得二、这将迫使网络预测符合DensePose监督，弥补缺乏广泛的3D监督。其次，我们可以使用Eq。4在测试时强制耦合的FCN和基于模型的估计的人的姿态。我们通过强制基于模型的3D结构估计正确地投影到FCN来使它们一致。模型拟合到2D图像。如果在固定数量的20次CG迭代后没有实现收敛，则停止以保持总计算时间有界。对于稀疏的基于关键点的重投影损失，每次迭代需要小于20毫秒，而单次前馈表面重建需要小于10毫秒。我们预计基于学习的技术，如监督下降[39，59，48]可以用来进一步加速收敛。5. 实验我们现在描述我们的实验设置和架构选择，提供定量和定性的结果。我们根据两个互补的方面来量化性能108891.00.80.60.40.2我们的DP主管我们的3D+协同效应我们的3DHMR 3D0 5 10 15 20 25 30大地测量误差（cm）图5：表面对应结果：作为测地距离阈值的函数的正射点的比率。所提出的系统一致优于当前最先进的基于网格的结果，而细化产生了进一步提高表面对齐。方法AUC10AUC30FR10HMR[19]0.180.4060.7我们0.240.4751.1我们的+协同0.290.5344.6我们的DP分公司0.400.6332.0表1：密集姿势结果：通过3D人体网格重新投影到2D获得的DensePose估计的RCP曲线下面积（AUC）和失败率（FR）结果。问题方面，即基于网格的稠密姿态估计和3D对象重建。我们的定性结果表明，我们的系统具有挑战性的性能5.1. 实验装置在我们所有的实验中，我们使用ImageNet预训练的ResNet-50网络作为系统骨干[14]。对于每个密集预测任务，我们使用一个遵循[58]架构选择的去卷积头，其中三个4×4去卷积层应用了batch-norm和ReLU，随后是线性层以获得期望维度的输出。每个反卷积层的步长为2，以256×256的图像作为输入，产生64×64的张量我们分两个阶段训练我们的系统。我们首先在MPII上训练 3D Keypoint和2D Keypoint头[3]，COCO[25]和H36m[16]数据集，遵循[46]的实践，包括3D关键点的积分损失然后，我们将DensePose和基于部件的3D重建头添加到网络中，并端到端地训练整个系统 使 用 DensePose-COCO 训 练 集 中 的 对 应 来 训 练DensePose分支。使用2D和3D关键点以及所有数据集中存在的密集对应来训练基于部件的3D重建头5.2. 表面对应性能密集对应措施三维网格对齐精度在具有挑战性的，它复杂-表2：人类3.6M数据集的结果。MPJPE（mm）PA MPJPE意味着在评估之前，估计的关键点与地面实况严格对齐。评估3D定位性能，因为3D定位只能在已通过适当设置捕获3D姿态信息的受限图像中进行评估，而密集对应关系可以通过手动注释器建立，如[10]所示。我们使用“正确点比率”（RCP）测量来测量表面对应精度如果估计点和地面实况点之间的测地线距离低于给定阈值，则点在图5中，我们将RCP曲线表示为测地误差阈值的函数。在[10]之后，我们报告了0至30 cm之间的RCP值。结果表明，所提出的方法的对准精度明显优于[20]的最新方法。我们还提供了我们系统的区分训练的DensePose头预测的对应结果。 结果清楚地表明，协同细化成功地使用了由DensePose头提供的信息来提高对准精度，但仍有改进的空间，例如，通过使用更具表现力的3D形状模型。在表中。 1我们用从RCP曲线获得的三个标量值补充这些曲线，用于定量计算：10 cm和30 cm误差的曲线下面积（AUC）。我们还提供了10 cm处的故障率（FR），正确点数比率方法PA MPJPEMPJPE3D关键点定位Rogez等人[36个]53.471.6Pavlakos等人[33个]51.971.9Martinez等人[28日]47.762.9Sun等人[45个]48.359.1Sun等人[46个]40.649.6多任务3D关键点分支BodyNet [54]49.0-我们的3D Kps分公司36.8250.42三维形状重建舟等人[六十二]-1071个月[24]93.9-SMPLify [6]82.3-[24]第24话80.7-Pavlakos等人[34个]75.9-HMR未配对66.5106.84Omran等人[三十一]59.9-HMR56.887.97我们50.5664.28我们的+协同46.5260.2710890评价类型基本性能LKps−2DLKps−3DLDPLKps−2D+LDPLKps−3D+LDPDensePose（FR10）51.145.852.343.343.144.63D关键点（PA MPJPE）50.5652.3246.7856.8751.2046.52表3：改进策略的比较：我们检查了不同的细化损失选择对（i）野外的DensePose估计，（ii）3D关键点定位的性能的影响。我们观察到，联合最小化是必不可少的，以实现改进的3D形状估计和对齐的身体表面与图像域。测地误差大于10cm的点的百分比。根据这两个措施，我们看到，我们做的明显优于HMR，同时通过细化步骤得到改进。5.3. 3D关键点定位我们报告的结果，我们的系统上的人类3.6M[16]基准。常用的评价协议有两种，它们对数据集的划分不同，评价指标也不同;我们报告这两方面的结果。我们使用从[16]的子帧S1、S5、S6、S7和S8获得的帧来训练我们的系统在协议1中，我们报告了使用Procrustes分析（PA MPJPE）将估计的关键点与地面实况刚性对齐后的平均每个关节位置误差我们评估来自正面摄像机（C2）的受试者11的视频的每第64帧在方案2中，我们评估了所有摄像机的S9和S11的所有视频，报告了未对齐的MPJPE。两种方案的结果见表2。首先，我们的3D关键点分支的性能与Sun等人非常相似。[46]即使同一个主干由多个任务共享。我们的基于部件的3D重建系统在两种评估方案中的表现明显优于所有现有的形状重建方法。具体来说，我们的系统改进了HMR，金泽等人的最先进的系统。[19]方案1中为5.2 mm（PA MPJPE），方案2中为23.6mm（MPJPE）。此外，我们表明，synner- gistic细化导致在两个协议中的4 mm的进一步改善我们注意到，对于所有的细化结果，我们正在最小化基于CNN的估计的3D或DensePose估计的重投影误差，同时我们根据相应任务的地面实况评估准确性。这证实了基于CNN的姿态估计将SMPL参数引导到更准确的形状估计。5.4. 协同优化在验证了由于3D形状重建的协同处理而获得的改进之后，我们现在转向更详细地消除在细化期间使用的不同损失项的影响。从表3中可以看出，使用单个损失项会导致手头任务的绩效更高，但会导致剩下的任务。例如，如第三列所示，最小化3D重投影误差提高了3D定位精度，但降低了密集姿态估计性能。类似地，最小化基于DensePose-based的损失提高了密集对应的准确性，但导致3D联合定位性能的下降。然而，当使用损失的组合时，这种情况发生了变化，我们观察到两项任务的准确性得到了联合提高。5.5. 定性结果我们的系统的定性结果在图中提供。六、我们观察到HMR在提供姿态估计时经常被杂波分散注意力，而我们基于部分的估计明显更准确;细化步骤进一步将表面与图像对准，特别是校正肢体估计。我们使用SMPL+H模型训练的系统的定性结果[37]在图中展示7为多人情况。6. 结论和今后的工作在这项工作中，我们提出了HoloPose，这是一种使用紧密的人体形状先验模型的方法，众多的姿态估计方法，以获得准确的单目3D人体重建。我们已经考虑到人体的关节连接性质，表明它大大提高了整体基线的性能，并引入了一个细化过程，允许迭代地调整单次系统的形状预测结果，以满足互补的全卷积网络所施加的几何约束。在未来，我们打算探索神经网络合成模型;分布式表示的使用可以更容易地适应多模态分布，包括当前由单独的形状模型处理的男性、女性和儿童表面。此外，我们的方法可以从更准确的几何建模中受益，例如通过合并透视投影，表面法线和轮廓信息[4]，而我们预计使用深度数据，多视图[18]或时间信息[53]可以帮助消除3D重建错误。10891(a)（b）（c）（d）（e）（f）图6：定性结果。 从左至右：（a）输入图像，（b）HMR [20]结果，（c）我们的结果，没有细化，(d) 细化的可视化，（e）我们的结果，细化，（f）我们的结果，细化，3D旋转。图7：多人结果。我们将多个人的重建3D表面显示为彩色表面（顶部）和表面法线（底部）。多人3D重建的视频可以在http://arielai.com/holopose上找到10892引用[1] 作者声明：Michael J.黑色.三维人体姿态重建的姿态条件关节角度限制IEEE计算机视觉与模式识别会议，2015年6月。3[2] 布雷特·艾伦，布莱恩·柯利斯，佐兰·波波维奇和亚伦·赫茨曼。学习身份和姿势相关的身体形状变化的相关模型以用于实时合成。在2006年ACMSIG-GRAPH/Eurographics计算机模拟研讨会的会议录中，SCA 2006，维也纳，奥地利，2006年9月2-4日，第147-156页，2006年。1[3] Mykhaylo Andriluka ， Leonid Pishchulin ， PeterGehler，and Bernt Schiele. 2D人体姿势估计：新基准和最新分析。在IEEE计算机视觉和模式识别会议（CVPR），2014年6月。6[4] Jonathan T Barron和Jitendra Malik。形状、照明和阴影反射。TPAMI，2015。1、7[5] Volker Blanz和Thomas Vetter。基于三维形变模型拟合的人脸识别。IEEE Trans.模式分析马赫内特尔，25（9）：10631[6] FedericaBogo 、 Angjoo Kanazawa 、 ChristophLassner、Peter Gehler、Javier Romero和Michael J.黑色.保持它SMPL：从单个图像自动估计3D人体姿势和形状。在计算机视觉-ECCV 2016，计算机科学讲义。Springer International Publishing，Oct.2016. 1、6[7] 乔·卡雷拉，萨拉·维森特，卢尔德·阿皮托和豪尔赫·巴蒂斯塔。将物体检测数据集提升到3d。IEEE传输模式分析马赫内特尔，38（7）：1342-1355，2016. 1[8] 佩德罗·F.作者声明：Daniel P. Huttenlocher用于物体 识 别 的 图 形 结 构 。 International Journal ofComputer Vision，61（1）：553[9] Yao Feng ， Fan Wu ， Xiaohu Shao ， YafengWang，and Xi Zhou.结合位置映射回归网络的三维人脸重建和稠密对齐在ECCV，2018。1、4[10] Riza Alp Guler ， Natalia Neverova ， and IasonasKokki- nos.密度：野外密集的人体姿势估计。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。二三四六[11] 里扎·阿尔普·古勒、吉奥·奇·特里吉奥·吉斯、埃帕梅农达斯·安东纳科斯、帕特里克·斯内普、斯特凡 诺斯 ·扎 菲里 乌 和 伊亚 索 纳斯 ·科 基诺 斯 。Densereg：完全卷积的密集形状回归。在CVPR，2017年。3[12] BjoernHaefner，YvainQuau，ThomasMllenhoff，and Daniel Cremers.用病态来对抗病态：单镜头变深度超分辨率从阴影。 在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月。1[13] KaimingHe ， Geor giaGkioxari ， PiotrDolla'r ，andRossGirshick. 面 具 R-CNN 。 在 计 算 机 视 觉（ ICCV ） ， 2017 年 IEEE 国 际 会 议 上 ， 第2980IEEE，2017年。2[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，andJian Sun.用于图像识别的深度残差学习。 在IEEE计算机视觉和模式识别会议论文集，第770-778页，2016年。6[15] B. K.P.霍恩 从阴影中形成形状。 技术报告美国马萨诸塞州剑桥，1970年。1[16] Catalin Ionescu，Dragos Papava，Vlad Olaru，andCristian Sminchisescu.Human3.6m：大规模数据集和自然环境中3D人体感知的预测方法。IEEETransactions on Pattern Analysis and MachineIntelligence，36（7）：1325-1339，2014年7月。六、七[17] MaxJaderberg ， KarenSimonyan ， AndrewZisserman ， Koray Kavukcuoglu. 空 间 Transformer网络。在NIPS。3[18] Hanbyul Joo Tomas Simon和Yaser Sheikh总捕获量：用于跟踪面部、手部和身体的3d变形模型。在CVPR，2018年。7[19] Angjoo Kanazawa 、 Michael J Black 、 David WJacobs和Jitendra Malik。端到端恢复人体形状和姿势 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2018。一二三四六七[20] 放 大 图 片 作 者 ： Angjoo Kanazawa ， ShubhamTulsiani，Alexei A.埃弗罗斯和吉坦德拉·马利克从 图 像 集 合 学 习 特 定 类 别 的 网 格 重 建 。 在Computer Vision - ECCV 2018 -第15届欧洲会议，德 国 慕 尼 黑 ， 2018 年 9 月 8 日 至 14 日 ， Pro-ceedings，第XV部分，第386-402页，2018年。一、六、八[21] AbhishekKar，ShubhamTulsiani，JoaBazaroCarreira，andJitendra Malik.从单个图像进行特定于类别的对象重构。 在IEEE计算机视觉和模式识别会议，CVPR 2015，美国马萨诸塞州波士顿，2015年6月7日至12日，第1966-1974页，2015年。1[22] StefanKinauer，RizaAlpGuéler，SiddharthaChandra，and Iasonas Kokkinos.用于深10893度单目3d人体姿态估计的结构化输出预测和学习。在EMMCVPR，2017年。210894[23] Abhijit Kundu ， Yin Li ， and James M Rehg. 3d-rcnn：通过渲染和比较进行实例级3D对象重建。在IEEE计算机视觉和模式识别会议集，第3559-3568页，2018年。1[24] ChristophLassner 、 JavierRomero 、 MartinKiefel、Federica Bogo、Michael J Black和Peter VGehler。团结人民：闭合3d和2d人类表征之间的循环。在IEEE计算机视觉和模式识别（CVPR）会议上，第2卷，第3页，2017年。1、6[25] 林宗义，迈克尔·梅尔，塞尔日·贝隆吉，詹姆斯·海斯，彼得罗·佩罗纳，德瓦·拉马南，彼得·多尔·拉尔和C·劳伦斯·齐特尼克。微软coco：上下文中的常见对象。欧洲计算机视觉会议，第740-755页。Springer，2014. 6[26] Matthew Loper ， NaureenMahmood ， JavierRomero，Gerard Pons-Moll，and Michael J.黑色.SMPL ：蒙 皮 多 人 线 性 模 型 。 ACM Trans.Graphics（Proc. SIGGRAPH Asia），34（6）：248：1- 248：16，Oct. 2015. 一、二、五[27] Diogo C Luvizon，Hedi Tabia，and David Picard.结合间接部位检测和上下文信息的人体姿势回归.arXiv预印本arXiv：1710.02322，2017。二、三[28] Julieta Martinez、Rayat Hossain、Javier Romero和James J Little。一种简单而有效的三维人体姿态估计基线。在国际计算机视觉会议上，第1卷，第5页，2017年。6[29] Francesc Moreno-Noguer 、 Mathieu Salzmann 、Vin- cent Lepetit和Pascal Fua。从封闭形式的单个图像捕获3d可拉伸表面。2009年IEEE计算机协会计算机视觉和模式识别会议（CVPR 2009），2009年6月20-25日，美国佛罗里达州迈阿密，第1842- 1849页，2009年。1[33] Georgios Pavlakos ， Xiaowei Zhou ， KonstantinosG Derpanis，and Kostas Daniilidis.单图像三维人体姿态的粗到细体积预测。在计算机视觉和模式识别（CVPR）中，2017 IEEE会议，第1263-1272页IEEE，2017年。二、六[34] Georgios Pavlakos，Luyang Zhu，Xiaowei Zhou，and Kostas Daniilidis.学习从单色图像估计三维人体arXiv预印本arXiv：1805.04092，2018。一、二、四、六[35] A.I. 波帕湾Zanfir和C.斯明奇塞斯库集成2D和3D人体感知的深度在IEEE计算机视觉和模式识别国际会议上，2017年7月。2[36] Gre'goryRogez，PhilippeWeinzaepfel，andCordeliaSchmid.LCR-Net++：多人2D和 自 然 图 像 中 的 3D 姿 态 检 测 。 CoRR ，abs/1803.00455v1，2018。6[37] Javier Romero，Dimitrios Tzionas，and Michael JBlack.具体化的手：建模和捕捉手和身体在一起。ACM Transactions on Graphics（TOG），36（6）：245，2017。7[38] Mathieu Salzmann和Pascal Fua。基于单目图像的可变形表面三维重建。计算机视觉综合讲座.Morgan Clay- pool Publishers，2010.1[39] JasonM. Saragih和RolandGoéck e. AAM拟合的非线性判别IEEE第11届计算机视觉国际会议，ICCV2007，巴西里约热内卢，2007年10月14日至20日。5[40] 放 大 图 片 作 者 ： Michael Isard ， Horst W.Haussecker，and Michael J.黑色.四肢松弛的人：利用非参数置信传播估计三维人体姿态和运动。International Journal of Computer[30] Dat 田北 Ngo，JonasOüstlund和PascalFua.Vision，98（1）：15-48，2012. 1基于模板的单目拉普拉斯网格三维形状恢复。IEEE传输模式分析马赫内特尔，38（1）：172-187，2016. 1[31] Mohamed Omran ， Christoph Lassner ， GerardPons- Moll，Peter Gehler，and Bernt Schiele.神经身体拟合：统一深度学习和基于模型的人体姿势和形状估计。在2018年3