人类Mesh估算及纹理一致性的监督方法

TexturePose：监督人类Mesh估算与纹理一致性Georgios Pavlakos*，Nikos Kolotouros*，宾夕法尼亚大学Kostas Danielidis抽象这件作品给了基于模型的人类姿势估计问题最近的应用程序已经使重要的进步回归到人类模型的参数直接来自图像。因为图像的抽象与3D形状地面truth，相关 应 用 程 序 在 2D annotations 或 sophisticated archi-tecture设计相关。在这份工作中，我们倡导在这里更多的是我们可以利用的，什么是可用的自然图像免费，即，不需要更多的注解，或修改网络架构。我们提出了一个自然形态的监督，资本化的应用，建立一个人的不同框架（或viewpoints）。这非常微不足道，而且经常出现这种情况对于基于模型的姿势评估有很长的路要走。我们将使我们更愿意为Each Frame计算文本图假设消费者的文本在框架之间没有戏剧性的变化，我们可以收集一个新的文本一致性损失，在文本地图上有相同的文本价值在所有框架之间都是什么。在常见的文本地图空间中，文本被转移，在相机上，运动计算是必要的，或者在某些情况下，对平滑的框架进行假设。这使我们的建议监督适用于一个设置变量我们基准我们对强基的方法，即重新评估我们所做的或我们一贯超越的事实。与此同时，我们在不同的基准下发现了以模型为基础的姿势评估方法的最先进成果。网站链接：WEB例如，//seas.upenn.edu/pavquallakos/projects/texturepse。1. 导言In recent years，the area of human pose estimation hasexperiencedsignificantsuccessesfortaskswithanincreas- ing level of dificulty; 2D联合检测[30，50]，dense最近几年，人类姿势估计的区域已经经历了重大的成功。·相等的贡献Figure 1：For a short video，or multiview images of a person，为一个简短的视频，或多视图人物的图像，身体表面有一个特定的补丁是恒定的文本。这种一致性可以被制定为一个基于模型的姿势估计网络的训练中的辅助损失，并且允许我们直接从自然图像的原始像素中获取信息。图像和文本来自People-Snapshot dataset [3]。correspondence estimation [4] or even 3D skeleton recon-struction [26，45]相关性[ 26，45 ] 典型地，我们已经上升到人类理解的pyramid，我们的目标是更多的，更多的chal-参与。正如预期的那样，人类身体的某些预测参数模型的出现，如SCAPE [6]，SMPL（-X）[25，32，40]和亚当[17，51]，实际上已经为完整的3D姿势和形状估计从图像数据的方式。And while this step hasbeen well explored for video or multiview data [13 ，17] ， the ultimate goal is to reach the same level ofanalysis from a single image.这一步是很好的探索对于视频或多视图数据[13，17 ]，最后的目标是从一张图片中找出分析的不同级别。传 统 优 化 方 法 （ Traditional Optimization-basedApproaches）[8，10，23]，have performed very reliablyfor model-based pose es- timation.（对基于模型的姿势的分类，已经很清楚了。然而，最近的一次，研究人员发现，以数据驱动的应用程序返回了人体模型的参数，直接从图像。Consider- ing the lack of images with3D shape ground truth for train- ing，the main challengeis to identify reliable sources of su- pervision.（3D封装地面为训练而进行的挑战，是确定您的职业来源）1Proposed methods [18，31，35，46，47，53]已利用所有可用来源的2D an-803804∼¨¨Vij⊙.Surface Point可视in both imagesVIJ的CNN输入图像j专辑中文名：PredictedShapeJ文本地图AJ∼ΣAi-Aj'图2：提案文本一致性监督概述此分类上一篇：[绘本]为简单起见，同一个人的内在训练始终如一：两幅图像的I，j主要假设是，人的能力不是戏剧性地改变输入图像。The Frames come from a moneyal video as in Figure1，or from time-synchronized multi-view cameras.（视频从一个独眼视频作为图像1，或从时间同步多视图相机）We apply our deep networkon both images and estimates the Shape of the Person.我们为人类的尸体加上一个深网。随 后 ，我们设计了图像上的预测形状，以及在表面上对眼睛点的可视化之后，我们构建了文本地图AI和AJ。这是一个关键的观察，即人的appearance保持不变，转移到一个文本一致性损失，forcing两个文本图图为所有表面点Vij是可见的在both图像。这失去了作为监督的网络和补充，其他人在训练中失去了典型的使用notations like 2D keypoints ， silhouettes ， or semanticparts.像2D关键点，silhouettes，或语义各方。同时，外部来源的3D数据（例如，[18] MoCap和身体扫描可以被使用，通过应用学习的pri- ors [18]，或分解在不同的建筑组件[31，35，53]的task。在本作品中，我们关注的是可用的2D注释，或适用的方式来就业外部的3D数据，我们问的问题是不同的。”能自然图像另一个为我们提供一个有用的提示这个任务吗？是否有一个我们可以利用监督的形式- out further annotations？在这里，我们争论，我们讨论，这些问题是积极的。我们目前的文本点，一个路径，以利用互补- tary监督直接从自然图像（图2）。一个人的普遍观察是一个人的普遍观察并没有显着改变过小时间段。during ashort video ） 。 Our Insight is that this appear- anceconstancy enforces strong constraints in the estimated poseof each frame，which naturally translates to a power- fulsupervision signal that is useful for cases of moneyevalvideo or multiview images.我们的见解是这样的：观看一个强的姿态，自然转移到一个电源-有效的监督信号，这是对单眼睛视频或多视图图像的情况。关键组件是人类身体参数模型（英语：Critical component）（SMPL [19]）的嵌入，在我们的管道中，使我们将图像的文本映射到通用文本地图，而这取决于形状和姿势。考虑一个网络评估模型参数，在训练期间，我们建立了这个网格，并在图像上项目它。通过effi-科学计算，我们可以为（partial）文本图输入一个each帧。Ournovelsupervisionsignal，basedontextconsistency，enforces that the text point of the text mapreins constant for all the frames of the same subject.（基于文本一致性，对文本点的文本对同一个对象的所有帧保持一致）这不重要的事--CNNInput imagei输入图像Predicted ShapeI的相关文章Texture MapAi地图805长期以来，培训是一条重要的援助监督形式，并且自我证明是一个关键的援助监督形式。We validate itsimportance in settings involving multiple views of thesame subject ， or moneyal video with very weakannotations.我们验证这些重要性，在设置涉及多个观点的同一个对象，或moneyote视频与每一个屁的注解。在每一个案例中，我们都与那些能够获得注意力水平（或潜在甚至更多）的方法进行比较，并且我们始终超越他们。最后一项研究，这一监督将使我们更好地利用最先进的方法对单图像进行基于模型的姿势评估。Our contributions can be summarized as follows：• 我们提出的文本姿势，一个新的方法来提高-行动互补监督来自自然图像通过可测量的人类行为的一致性不同的框架。• We demonstrate the effectiveness of our texture con-systency supervision in cases of moneyal video andmultiview capture，consistently outperforming ap--我们演示了我们的文本的有效性-系统的监督，在案例中的单眼视频和多视图捕获，一致超越AP-有机会获得比我们更多的关注，或者说，比我们做的更多。• 我们认为国家的最先进的结果是among基于模型的3D人类姿势估计approaches。2. 相关工作Related Work在这一部分，我们总结了与我们最相关的应用程序。人体模型Human Pose估算：基于skeleton-based3D pose estimation 的 差 异 ， 基 于 hu- man poseestimation涉及一个参数模型的人的身体，例如，[25]六世：指诸侯目标The Goal806这是一个模型参数，它提出了一个3D形状which是一致的图像证据。本领域[10，43]作为一些最新的应用程序[8，23，52]是主要基于优化的。最近，the trendhas shifted to directly return the model parameters from asingle image using deep net- works [18，31，35，53]（译注：原译为直接从单个图像返回模型参数）。Given the lack of images （ 英文 ）3D shape groundtruth，theseapproachestypicallyrelyon2Dannotations ， like 2D keypoints ，silhouettes and semanparts，as well as external 3D data. 3D空间布局，这些应用 程 序 对 2D 注 释 进 行 类 型 分 析 ， 如 2D 关 键 点 ，silhouettes和种子部分，作为外部3D数据。Although，we believe there is great merit into using the bulk ofalready annotated data ， in this paper we aspire to getbeyond this data and ex- plore complementary forms ofsupervision which are avail- able also in unlabeled orweakly labeled data.在这篇文章中，我们渴望得到超越这个数据，以及前- plore互补的监督形式which areavail-able also in unlabeled or weakly labeled数据。Multi-view pose estimation：Our goal in this work is notexplicitly to estimate human pose from multiple views（infact the work of Huanget al .）我们在这工作中的目标不是很明确地估计人的姿态来自多重视图。[13]这是一种基于模型的方式。然而，我们的方法与最近利用多视图技术的方法有关，这是一种深度网络监督的形式。帕夫拉科斯和阿尔。[34]估计3D组合可信的2Dpose es- timates，and treats them pseudo ground truth totrain a network for 3D human pose。西蒙和艾尔。[44]提议一个类似的方法来改进一个关键点检测器given多视图数据。罗丹等人。[39] learn 3D pose estimation byenforcing the pose consistency in all views.（39）learn3D pose estimation by enforcing the pose consistency inall views.（3D）所有意见中的立场一致性。《On theother hand ， follow-up work from Rhodinet al 》 主[![38]，使用多重视图来学习一个3D人类在一个无人监督的人身上的表现。与以上工作相比，我们认为我们的方法提供了许多更大的可利用性机会，以实现多视图 一 致 性 。 将 一 个 parametric model allows us to gobeyond body joint con-systency整合在一起，建立在模型布局和文本一致性之上。您可以访问多视图数据学习新的表示方法，我们可以选择加强SMPL的预测-判断，并且只利用数据的集合能力来更好地实现这个表示方法。Supervision signals：While we have already discussedsome aspects of the supervision typically employed for 3Dhuman pose estimation ， here we attempt to extend thediscussion particularly to the varying levels of supervisionused by different works.（我们在这里讨论3D人类姿态评估的某些方面，我们愿意将这些问题扩展到不同行业所使用的监督水平。完整的身体姿态和塑造超级视觉是只有在合成图像类型有效，或成功的身体适合的图 像 [23] 。 Weak supervi- sion provided by 2Dannotations is typical，with different works employing 2Dkeypoints，silhouettes and semantic parts [ 18，31，35，46 ].由2D annotations提供的改进是战术性的，不同的工作方法可以应用2D关键点，silhouettes和semantic parts[18，31，35，46]。非parametric approaches typically useextra supervision from 2D keypoint annotation [12，45，55]，while some recent works Leverage ordinal depth rela-tions of the joints [33，41].非parametric应用程序类型使用来自2D关键点注释[ 12，45，55 ]，while some recentworks Leverage ordinal depth rela-tions of the joint[ 33，Multi-view consistency is also well explored as discussedearlier [21，34，38，39，44].多重观点一致性是我们非常广泛的探索作为discussed earlier [21，34，38，39，44 ]。In terms of pose priors，周等人。[55]使用weaksymme-try constraints，while Kanazawaet al。[18]参见A。807learning-based prior on pose and shape parameters usingadversarial networks（基于位置的优先级）在above，使用additional annotations或external infor- mation时，我们的目标是利用所有自然图像中可用的信息。这当然不排除其他监督形式的使用。事实上，我们演示了我们的方法可以证明互补性超级文本标志（例如，2D关键点（Pose Priors），只能通过附加的执行文本成本来提高性能。基于文本的方法：使用文本进行指导性评估的想法回到Sidenbladh等人的工作中。[42]文本一致性被用于跟踪。最近，博 戈等人。[9]使用High res- olutiontextureinformationtoimproveregistrationalign-ments 。 胡 和 阿 尔 。 [11] 也 就 是 说 ， enforcingphotometric consistencyto recover accurate humangeometry over time。Alldieck等人。[1，2，3]专注于为人类mod-els estimating文本在Kanazawa等人的作品中 。 [19] ， texture is employed to learn a parametricmodel of bird shapes.（创造一个鸟类模型）我们与Above works分享了类似的见解，在这里我们提出使用文本作为监督信号来指导和改进3D人类姿势和形状评估的学习。最后，把我们的工作放在一个大的背景下，可测量性的想法很受欢迎，例如，人类的姿势估计。在无监督学习的深度、自我运动和光学流[15，28，36，54]中。一个关键的差异是，他们估计世界的结构在一个非parametric形式（depth map），我们在项目中增加一些领域知识（即，假设一个人的姿势估计任务）和我们利用模型，SMPL，这有助于我们解释图像观测 。 这 是 与 Tunget al 的 作 品 共 享 的 。 ” （ 47 ）However，我们的方法是更灵活，他们要求作为输入到他们的网络的关键点，帧应该是连续的为他们的运动提取，他们可能最终rely在一个单独的网络为光学流计算。同时，我们存在一个更通用的框架，什么可以被应用为单眼视频或多视图图像alike。3. 技术方法Technical approach在这一部分中，我们首先对我们使用的代表性和基本符号进行简短的介绍（Subsec-3.1）。然后，我们描述回归架构（Subsection3.2）。文本一致性和对应损失的公式化（Subsec-3.3）。接下来，我们描述了我们可以嵌入when我们的过程图像从单眼或多视图输入的附加losses（Subsection3.4）.最后，我们提出了一个完整管道的概述（Subsection3.5），以及对我们的方法的潜在洞察（Subsection3.6）。8083.1. RepresentationSMPL模型[19]是人类身体的一个参数模型。Giventhe input parameters for poseθ，and shape β，the modeldefines a functionM（θ，β） which out- puts the bodymeshM∈R3×N，withN= 6890 vertes.让输入参数参数用于姿态θ，and shape β，the model defines a functionM（θ，β）身体连接X被表示为线性组合of the mesh vertes ， so using a pre-trained linearregres- sorW，we can map from the mesh tok jointsof interestX∈R3×k = WM .从同一个垂直垂直值，我们可以使用一个预先训练的线性 回 归 -sor W ， 我 们 可 以 从 同 一 个 映 射 到 k joints of interest X ∈ R 3 ×k=WM。此分类上一篇：[音像] SMPL出品的Meshes-原 始 模 板 T 。 对 应 的 UV map un-warps the templatesurface onto an image，A，which is the texture map.相关的UV地图un-warps the template surface onto an image，A， Each pixelt of this texture map is also这张图也是如此Predicted ShapeI的相关文章CNNViewiVi文本一致性ǁMi−MjǁMesh一致性专辑中文名：Predicted ShapeJCNNViewJ所谓文本By construction，在3D曲面几何中，绘制文本和mesh表面坐标之间的图像是固定和独立的变化。Camera：我们使用的相机follows the weak procedure利息参数被π覆盖，包括全球方向R∈R3×3， 范围s∈R ， 和 翻 译 t∈R2. Given these parameters ， the 2Dprojectionx of the 3D jointsX is expressed as：（在第三个参数中，2D投影x of the 3D joints X显示为：x= π（X）=sΠ（RX）+t，（1）打印机打印机打印机3.2. 回归模型Our goal is to learn a predictorf，here receed by a deepnetwork ， that given a single image I ， it maps to thepose，and shape parameters of the person on the image.我们的目标是学习一个预言家f，这里实现了由一个深网，that given a single imageI，it maps to the pose，andshape parameters of the person on the image.我把它映射到 那 个 姿 势 ， 并 在 图 像 上 塑 造 人 的 参 数 。 Moreconcertely，the output of the network consists of a set ofpa- rametersomega=f（I），whereomega= [θ，β，π] .更多的concertely，网络的输出一致性，一组pa-rameters Ω = f（I），其中π =[θ，β，π]。这里θ和β分别表示SMPL的姿势和形状参数，而π是相机参数。Our deep network follows the ar-Kanazawaet al. -《神奈川乐队和其他乐队》[18]，with the output，which inour case regreses 3D rotations using the representationproposed by Zhouet al .[18 ]，与输出的异常，在我们的情况下 regreses 3D rotations 使用周 等人提出 的表示法。”（56）3.3. 纺织品PoseGiven θ和β we can generate a mesh M and the color-responding 3D joints X .我们可以生成一个M和颜色-响应3D连接X。该mesh可以被设计使用的图像估计相机参数π. Through efficient computation [29]，we can inderthe visibility for each point on the表面上的点，作为一个结果，为每一个文本图A中的文字Let us denote withvt the increred visibility oftextt on the text mapA.让我们拒绝，而不是文本的最终可见性。收藏了所有可见性指标v不能在二进制面具V中排列，隐形 面具Visibility Mask 考虑each pointPt on the meshsurface ， we can estimate its image projection using thecam- era parameters，pt= π（p t）.我们可以用相机来估计它的图像和投影-它是参数，p t = π（Pt）.对于可见点，我们可以通过bilinear sampling from the imageI来估计它的文本，所以at=G（I;pt），其中G是双线性采样内核。The Collection of all valuesat，即所有价值观的集合。每一个文本的值为t，构成了文本地图A。Camera Extrinics图片（Optional）809Figure 3：With our formulation，training with images from amulti-camera system is similar to training with images frommoneyvial video（图2）（图3）主要consistency constraint isthat the subject has the 3D Shape（same body mesh），whichmeans that we can apply a per-vertex loss between the twomesh predictions.（两个月前的主题是什么意思）。在预测全球方向之前，相同的预测都在同一个规范方向中，我们只能直接在同一个预测中解决我们的损失在Extrin-Physics被提供的情况下，我们可以将第一个视图的第二个网格转换为第一个视图的帧，然后将其转换为相同的损失。让我们现在假设我们有机会获得两幅图像，同一个人的J使用过程above，我们可以估计两个文本唐飞Ai，Aj，与对应可见性MasksVi，Vj。让我们用VVVj the mask of the表面的点我们看到了Both View中的。 文本一致性输了才能成为Simple defined as：xxxxcons=||Vij（Ai−Aj）||.（2）这句话的字面意思是“文本必须是文字的，或相同的，表面上的点”，这句话被认为是在大部分图像中。Since visibility masks are used only to mask-out thetexels that should not contribute to the loss ， visibilitycomputation does not have to be differentiable. （Sincevisibility masks只适用于文本，不能对损失做出贡献，可见计算不具有差异化）3.4. Beyond文本在独眼案例中，文本consis- tency loss是为同一个对象的框架之间的应用。在文本一致性之外，我们还可以强制所有框架的包装参数。此结构一致性可以被执行的后续损失功能：shapecons的意思||β-βJ||.（3）Furthermore，we want to guarantee that we get a valid3D shape，即我们想要一个有价值的3D形状，即，theestimated pose and shape parameters of the parametricmodel lie in the space of valid pose and shapesresponsively.（估计的姿势和塑造参数）在valid pose和 shapes 空 间 分 别 。To enforcce this ， we use theadversarial prior（执行这个，我们使用首要对手）810关 于 Kanazawaet al [18] ， which factorizes the modelparam- eters into：（i）pose parameters θ，（ii）shapeparameters β，and（iii）per-part relative rotations θi，that is one 3D rootation for the each of the 23 hoints ofSMPL.（i）将参数θ，（ii）将某个3D路径连接到SMPL的23个点。最后，我们把歧视者Dk训练成身体模型的一个因素。The Generator Loss Can Be Expressedas：（无法描述的生成器）Σ依赖于我们与主要工作兼容的设置，以及如何使其与我们的工作兼容，我们可以通过具有严格监督的图像来提高我们的质量（例如，全3D Pose is Known（3D功能）Since the texture consistency as- sumptionalone keeps the problem pretty underconstrained，similarto prior works.文本一致性是- sumption alone keeps theproblem pretty underconstrained，类似于原始作品。我们发现这是有用的，以便有严格的监督在最后一次考试中。ADVPRIOR=（2）k（Ω）-1？（4）Kples的。根据公平比较，在经验评估中，我们做了什么，我们使用了那个，或者严格地说没有任何疑问，而不是使用了什么主要工作。Depending on the availability of additional 2D keypointan-注意，我们还能实施3D项目关闭到被注释的2D关键点 。 We get the projection of the 3D jointsX to the 2Dlocationsx，based on EQ.我们得到了3D结合X到2D位置x的投影，基于EQ。1. Then，the 2D-3D consistencycan be expressed as：（2）2D=||x-xgt||，（5）其中xgtarethegroundtruth2D joints是2Djoints。最后，加上smoothness on the pose parameters is also possible，but we avoid it，to keep our approach more generic andapplicable even in settings where the frames are notcontinutive.最后，y，当我们有机会获得多重意见时，同一时间的实例中的I和J的主体，所有的超过我们的重要性。“我们需要绞刑，这是因为这个人的姿势是所有视图中的相同点。这可以被嵌入，通过简单地强迫所有的姿势参数具有相同的值。与此相反，我们观察到一个人被拒绝了-在同一个垂直的垂直Behaves许多更好的（图3）。这可以被公式化为一个简单的垂直损失：meshcons=什么意思||M-MJ||.（6）请记住，Mi，Mj不包括总体方向-估计Ri，Rj，所以我们可以比较它们直接.这是最常见的情况，没有相机提取的知识对于多视图系统是可用的If extrinsiccalibration is also known ， then we simply need toapply the global pose estimatesRi ， R j，transform thesecond mesh to the coordinate sys，then use the sameper-vertex loss. 如果extrinsic calibration 是众所周知的，那么我们就需要应用这个全球姿态估计R i，Rj，transform the second mesh to the coordinate sys，thenhave of the first mesh，3.5. 完整管道我们的网络正在使用图像碰撞进行训练。当我们想要在训练中使用短序列或在训练时使用短时间-同步视图时，我们将所有的帧都包含在批处理中。典型地，对于moneyal视频，我们包括五个连续帧，为多视图图像，我们使用了许多视图点在一个特定的时间处于静止状态（用于Human3.6M的典型值）。Conveniently，dur-ingtesting ， wecanprocesseachframeindependently，with- out the need for video or multi-viewinput.方便的是，进行测试，我们可以处理each帧独立，with- out the need for video或多视图输入.8113.6. Shortcomings简介我们的经验证明了我们对纺织品的重要价值（第4节），这是对我们的做法的简短评论的一些识别。例如，持续的假设可能被强奸（例如，视光或视点变化（ DuetoIlluminationorViewPointChange ）Moreover ， Motion blur is common and can alsodecrease the level of"clean" pixels we can benefit from.（我们能从洁净的像素中获益）最后，我们的方法使一个假设，没有对象八俱乐部的人。因为我们不考虑潜在的组件，我们可以用组件对象的文本填充文本地图。但是，有些问题并不是很简单，因为我们使用的数据集的图像非常重要，这可能是一个潜在错误的来源，或者为训练生成一个新的视频。《兰贾恩和阿尔的作品》[37]对运动结构的文本确定性提出了类似的问题，并且我们认为这个类似的应用程序在我们设置为well时应该是可应用的。4. 《Empirical Evaluation》在这一部分，我们总结了我们的研究方法的经验评估。首先，我们提供了有关我们部署用于培训和评估的数据集的更多细节（Subsec-4.1），以及我们目前的 定 量 （ Subsection4.2 ） 和 定 性 结 果（Subsection4.3）。4.1. Datasets数据4.对于我们最广泛的研究，我们使用了人类的3.6M数据集[14]。另外，我们使用了来自2D MPII人类姿势数据集[5]的训练数据，以及LSP数据集[16]我们的就业数据只会影响我们的方法。在Sud. Mat.我们目前更广 泛 的 实 验 利 用 最 近 引 入 的 VLOG-People 和 In-staVariety数据集[20]用于训练，作为3DPW数据集[49]用于评价。Human3.6M：这是3D人类姿势评估的室内基准。这包括多个主体执行日常行动，如吃