基于分层混合密度网络的3D手姿态估计方法

基于分层混合密度网络Qi Ye，Tae-Kyun Kim英国伦敦帝国理工学院抽象。学习和预测给定图像的3D手模型的姿态参数，例如手关节的位置，是具有挑战性的，这是由于大的视点变化和关节运动，以及特别是在以自我为中心的视图中表现出的严重的自遮挡。特征学习和预测建模都被研究来解决这个问题。虽然有效，但大多数现有的判别方法产生目标姿态的单个确定性估计。由于它们的单值映射固有，它们不能充分处理自遮挡问题，其中遮挡关节呈现多个模式。在本文中，我们解决了自遮挡问题，并提供了一个完整的描述所观察到的构成给定的输入，把深度图像的分层混合密度网络（HMDN）的一种新方法。所提出的方法利用基于卷积神经网络的最先进的手部姿势估计器来促进特征学习，同时它在两级层次结构中对多个模式进行建模，以协调其输出中的单值和多值映射。具有两个可微密度函数的混合的整个框架自然是端到端可训练的。在实验中，HMDN产生可解释的和多样化的候选样本，并且在具有遮挡的两个基准上显著优于现有技术的方法，并且在没有遮挡的另一个基准上表现相当。关键词：三维手位估计，遮挡，多值映射，卷积神经网络，混合密度网络1介绍3D手部姿态估计已经显示出对商业小型化RGBD相机及其在虚拟/增强现实（VR/AR）[13]、手语识别[3，47]、活动识别[29]以及机器人和自动驾驶车辆的人机接口中的普遍应用的通常存在两种典型的相机设置：第三人称视点，其中相机被设置在用户的前面;以及自我中心（或第一人称）视点，其中相机被设置在用户的头部（在VR图像中，对于相机而言）或头部。虽然这两种设置共享挑战，如全范围的3D全局旋转、复杂的关节、手的自相似部分，但自遮挡在以自我为中心的观点中更占大多数现有的手部基准都是在第三人称视角下收集的，例如两个广泛使用的ICVL [38]和NYU [41]具有小于9%的闭塞指关节。2Qi Ye，Tae-KyunKim图1：（a）小指被遮挡的手深度图像。(b)多个姿势标签（可见关节为蓝色，包含关节为黄色）和使用均方误差训练的CNN的预测姿势（红色）。(c)更仔细地查看多个标签和用于被遮挡关节的CNN预测。(d)两个标签的平均值产生物理上不合理的姿态。鉴别方法（参见生成模型拟合）学习从输入图像到来自大训练数据集的姿势参数的映射，并且在第三人称视点的设置中非常成功然而，他们未能处理遮挡经常遇到的自我中心的观点。他们将映射处理为单值，而不知道当发生遮挡时输入图像可能具有多个姿势假设。参见图1，其中显示了来自BigHand数据集[48]的示例图像及其多个姿势标签。给定一组手部图像及其姿势标签，即对于3D关节位置，诸如卷积神经网络（CNN）的判别方法使均方误差函数最小化，并且这种误差函数的最小化通常产生以输入图像为条件的关节位置的平均值。当图像中的所有手指关节可见时，映射是单值的，并且条件平均值是正确的，尽管平均值仅提供关节位置的有限描述。然而，对于在自我中心和手-对象交互场景中频繁发生的遮挡情况[22-24，7]，由于给定相同图像呈现多个位置的遮挡关节，映射是多值的。关节位置的条件平均值不一定是正确的姿势，如图2所示。1b和图图1c（骨架以3D旋转视图示出，以更好地说明问题，对于本文中示出的其他3D骨架也是如此）。由均方训练的CNN的预测错误函数显示为红色。它是可解释的，接近地面真相对于可见的关节，而它在物理上是不可信的，并且不接近于对于被遮挡的关节的任何给定姿势。图中的例子更清楚。1d，其中我们为同一图像提供了两个可用的姿势，并且使用均方误差函数训练的CNN产生红色的姿势估计。现有的判别方法，包括上述CNN，大多是确定性的，即它们的输出是单个姿态，因此缺少对所有可用关节位置的描述。判别方法通常用作混合姿态估计方法中的生成模型拟合的初始化[36，31]。如果判别方法产生与数据很好拟合的概率分布，而不是单个确定性输出，则它将允许从其分布中采样姿势假设。这反过来又减少了搜索空间，CaBD平均遮挡感知的手部姿态估计3(a) SGN(b) HMDN可见遮挡图2：从SGN和HMDN的分布中提取的用于指尖的样品。图3：自遮挡下的手部图像，其表现出多个姿势标签。更快的收敛，并且避免了模型拟合中来自不同候选者的局部最小值。这种采样对于多阶段姿态估计[36]和手部跟踪[21]也是至关重要的以前的方法忽略了要提前探索的姿势空间，并且它们的优化框架不知道遮挡。在本文中，分层混合密度网络（HMDN）提出了一个完整的描述下的闭塞图像的手姿势。关节位置的概率分布建模在一个两级hierar-chy考虑单值和多值映射条件下的联合可见性。第一级表示关节可见性的潜变量的分布，而第二级通过用于可见关节的单个高斯模型或用于包含关节的高斯混合模型表示关节位置的分布。分层混合密度在CNN输出层上被覆盖，整个网络使用可微分密度函数进行端到端训练参见图2。与学习单个高斯分布（SGN）的网络相比，所提出的方法HMDN的分布以紧凑的方式捕获不同的关节位置据我们所知，HMDN是第一个解决方案，其具有以条件概率分布的形式的估计，并具有在3D手部姿势估计中的遮挡的意识。实验表明，该方法显着改善了几个基线和国家的最先进的方法在闭塞给定相同数量的姿势假设。2相关工作2.1遮挡条件下的位姿估计对于徒手运动，明确地解决自遮挡的方法是罕见的，因为大多数现有数据集是在第三人称视角中收集的，并且遮挡关节的比例很小。Franziska等人[16]观察到许多现有方法在遮挡下无法工作，甚至一些声称以自我为中心的观点的商业系统在严重遮挡下也经常失败。方法4Qi Ye，Tae-KyunKim开发用于手-对象交互[23，42，33]，其中经常发生遮挡，将手和对象一起建模以解决遮挡问题。Jang等人[13]和Rogez等人[28]利用姿态因子来细化估计。Franziska等人[16] Rogez et al.[27]生成合成图像以训练用于困难的自我中心视图的判别方法。在人体姿态估计和对象关键点检测中，更明确地处理遮挡[10，4，26，8，32，5，12，17]。Chen等人[5]和Ghiasi et al.[8]学习遮挡部分的模板Hsiao等[12]构建遮挡模型来对遮挡区域的似然性进行Rafi等人[26]和Wang et al.[44]利用背景中的信息来帮助定位被遮挡的关键点。Charles等人[4]根据遮挡推理评估自动标注。Haque等人[10]分阶段联合细化可见部分和可见性遮罩的预测Navaratnam等人[17]通过帮助估计关节密度的边缘分布来处理3D人体姿态的多值映射现有的方法不解决多模态，也不对可见和被遮挡关节的分布差异进行建模。对于基于CNN的手部姿势回归[19，20，41，46]，使用的损失函数是均方误差，在遮挡下带来了上述问题对于基于随机然而，在没有关于哪些关节可见或被遮挡的信息的情况下，所有叶节点中的数据通过均值漂移（单峰分布）或高斯混合模型（GMM）来捕获[36]。2.2混合模型混合密度网络（MDN）在文献[1]中首次提出，它使神经网络能够通过产生概率分布来克服均方误差函数的限制。Zen等人。[49]使用MDN进行声学建模，Kinoshita等人。[15]语音增强。Variani [43]建议共同学习特征和GMM模型。所有这些工作应用MDN来建模声信号，而无需适应混合物密度模型。除了应用MDN建模的手姿态空间时，存在多种模式，由于闭塞，我们扩展MDN的两级层次结构，以适应特定的混合单值和多值的问题，手姿态估计闭塞下的应用。为了在噪声下对数据进行建模，[6]中提出了一种类似的分层混合模型，以便通过不同的子组件来“使用”和“不使用”与工作不同的是，我们对条件分布进行建模，并使用CNN来区分学习模型参数。3分层混合密度网络3.1模型表示学习模型的数据集由{xn，Y d，vd|n = 1，…N，d = 1，…D}，n n其中Xn、Yd和vd表示第η个手深度图像，多个姿势标签表示第η个手深度图像。n n遮挡感知的手部姿态估计5nnnnnmnNJNJnmn即第n个图像的第d个关节的3D位置和第n个图像的第d个关节的可见性标签。第d个关节与关联多个标签Yd={yd}，其中yd∈R3是第m个标号，即3D定位。n nm nm示例参见图3。每一个都显示了覆盖在同一深度图像上的不同示例标签（在前三列中），以及3D旋转视图中的所有可用标签（在最后一列中）。可见关节为蓝色，被遮挡关节为其他颜色。可见性标签是二进制的，指示第n个图像的第d个关节是否可见。我们独立处理D关节为了对遮挡下的手部姿势进行建模，考虑了两级层次结构。顶层采用可见性标签，底层根据联合可见性在单模态分布和多模态分布之间切换二进制标记或变量v_d遵循伯努利分布，p（vd|DD vdd（1−vd）nwn）=（wn）n（1−wn）n，（1）其中w，d是关节可见的概率由于现有的手部基准不提供关节可见性标签，我们使用类似于[25]的球体模型从可用的姿势标签生成可见性标签。从关节位置获得球体中心，并且将深度图像像素分配给最近的球体。球体的像素数低于阈值的手部关节被标记为被遮挡。见图4.第一章使用可见性标签vd在训练中，它们是在测试中推断出来的当vd= 1时，接头在图像中可见并且位置被确定。ministic。考虑标签噪声，yd是由单个高斯分布，p（yd|vd=1）=N（yd; µd，σd）。（二）nm n nm n n当关节闭塞时，即vd= 0，它具有多个标签，并且它们是从具有J个分量的高斯混合模型（GMM）中提取的Jp（yd |vd= 0)=πdN (yd; ǫd, sd),(3)nm nNJj=1nmNJ NJ其中d和sd表示第j个com的中心和标准偏差成分位置yd从第j个分量中提取，取决于d dΣJd隐藏变量znj，其中znj∈{0， 1}且znj= 1。隐藏变量为j=1dQJD（zd）dΣJd在分布p（znj）=j=1（πnj）nj，其中0≤πnj≤1， j=1 πnj= 1。定义所有组件后，关节位置条件的分布关于能见度的问题是Σ Σvd JV（1−vd）p（yd |vd)=N（yd ; µd，σd）nπdN（yd ;d，sd）（四）nm nn n nnNJj=1nm nj6Qi Ye，Tae-KyunKimnmnnnmnnnmnnNJNJnnn图4：左侧：手部球体模型;右图：像素分配给不同部分的示例和ydΣ且Vd为ΣvdΣJV（1−vd）p（yd，vd）=wdN（yd;µd，σd）n（1−wd）πdN（yd;d，sd）.nmnn nm n nnnjj=1nm nj（五）等式（4）示出了关节位置yd的生成给定输入图像xn处于两级层次结构中：首先，从等式（1）中提取样本v_d。(1)然后，根据vd，从单峰高斯分布或GMM中绘制关节位置。因此，所提出的模型之间的两种情况下切换Eqn中的联合分布(5)用于定义3.3节中的损失函数。3.2架构上一节中的公式是针对第d个关节yd给出的. 为手的所有D个关节，通过乘以独立关节的分布来获得分布所观察到的手部姿势和关节可见性，给定Xn，QDQd d取自d=1m p（ynm，vn）.请注意，等式（1）中的分层混合物密度(4)和Eqn中的联合分布。(5)以xn为条件。所有的模型参数都是xn的函数形式，并且方程n中的联合分布是(5)是可微的。我们选择通过CNN学习这些函数，并且分布由CNN的输出参数化。如图在图5中，CNN的输入是图像Xn，并且输出为HMDN参数：wd，µd，σd，d，sd，πd，对于d = 1，...，DnnnNJnj并且j = 1，…J. 输出参数由三部分组成D是可见的。Eqn中的概率(1)，µd，σd，对于方程中的单峰高斯分布，(2)得双曲正弦值.n nd，sd，πd对于Eqn.（三）、不同的激活函数用于NJ nj满足规定的参数范围例如，标准差σd和sd 被指数函数激活以保持正值，πd被softmax函数在[0， 1]中。可见性的预测值wd用于计算可见性标签vd上的可见性损失。参见第3.3节。取决于可见性标签v_d，选择单峰高斯（对于可见关节）或GMM（对于被遮挡关节）的参数来计算损失，如图1B中分别以蓝色和橙色示出的。五、遮挡感知的手部姿态估计7地面实况单高斯损失输入图像多高斯损失可见性损失n两级混合密度图5：分层混合密度网络。给定输入图像X的手关节位置y在两级层级中被建模：在第一级中，可见性由参数为w的伯努利分布建模;然后取决于可见性，关节位置由单峰高斯分布（可见关节，以蓝色示出）或GMM（被遮挡关节，以橙色示出）建模。CNN输出HMDN的参数，即w，µ，σ，，s，π.3.3训练和测试整个数据集{xn，Yd，vd}的似然性|n = 1，…N，d = 1，…D}是n nQNQDQd dddd计算为P=n=1d=1m p（ynm，vn），其中（5）中的p（ynm，vn）具有模型依赖于xn的参数。因此，我们的目标是学习神经网络产生使数据集上的可能性最大化的参数。我们使用负对数似然作为损失函数。ΣNL=−logP=ΣDΣ{L可见+L单个+L多个}，（6）哪里n=1d=1mLvis=−vdlog（wd）−（1−vd）log（1−wd），（7）无无无无无无无Lsingle= −vdlog（N（yd;µd，σd）），（8）n nm n nJLmulti= −（1− vd）log（πdN（yd; d，sd））。（九）n njj=1nmNJ NJ这三个损失函数对应于图1中的三个分支五、可见性损失Lvis使用wd的预测值来计算。当vd= 1时，Lmulti= 0n n当vd= 0时，Lsingle被计算出来，反之亦然。在测试期间，当图像Xη被馈送到网络中时，针对第d个关节位置的预测根据对应于第d个关节位置的预测被转移到不同的分支。可见性概率的预测如果wd大于0.5，则预测n nCNN8Qi Ye，Tae-KyunKim(or采样）由等式（1）中的单峰高斯分布进行。(2);否则，Eqn.（三）、遮挡感知的手部姿态估计9nnnNJ然而，当对可见性的预测是错误的时，对关节位置的预测将是错误的。为了帮助解决偏见问题，而不是使用二进制可见性标签为了计算可能性，我们使用样本从Eqn中的估计分布得出。(1)在训练期间。当样本数量足够大时，这些样本的平均值变为wd。所以，Eqn中的损失(8)（9）变更为Lsingle=−wdlog（N（yd ;µd，σd）），（10）n nm n nJLmulti= −（1− wd）log（πdN（yd; d，sd））。（十一）n njj=1nmNJ NJ在Eqn. (10)和（11）可以被看作是原始方程的软版本。(8)和（9）。3.4退化为混合密度网络HMDN退化为混合密度网络（MDN），没有学习可见性变量的监督。（4）的另一种形式是p（yd|wd) = wdN (ydJ;µd，σd）+（1−wd）πdN（yd ;d，sd）（12）nmnn nm n nnnjj=1nmNJ NJ其中可见性概率wd是通过可见性标签学习的当标签不可用，则上述等式变为JΣ+1p（yd）=π<$dN（yd;n<$d，s<$d）（13）nmnjj=1nmNJ NJ什么是π¯d=wd，¯d=µd，s¯d=σd，anddπ¯d =（1−wd）πd，¯d为nJ+1nnJ+1nnJ+1nnjnnj NJd，s¯d=sdf或j= 1，...， J. 在（12）中的V是可编程的，是ab或bedNJnj nj n在GMM混合编码效率为π¯d的情况下，该分布将与具有J +1个组件的G MM进行比较，而不依赖于可见性。4实验4.1数据集用于手部姿势估计的公共基准大多收集在第三人称视点中，并且不提供具有多个姿势标签的大量遮挡关节。我们研究了四个数据集，ICVL [37]，NYU [41]，MSHD [31]和BigHand [48]，并在以下实验中利用包含较高部分闭塞关节的数据集闭塞手指关节的比率以及训练和测试图像的总数在表1中列出。10Qi Ye，Tae-KyunKim表1：手指关节闭塞率和总帧数数据集ICVL NYU MSHD EgoBigHand培训（率/总数）0.06/16，008 0.09/72，757 0.33/100，000 0.48/969，600试验（发生率/总数）0.01/ 1，596 0.36/ 8，252 0.16/ 2，0000.24/33，468这些数据集中的图像与姿势标签配对，即关节位置，而没有手指关节的可见性信息。如3.1节所述，我们使用球体模型来生成训练HMDN的可见性标签。BigHand数据集由两个子部分组成：以自我为中心的子集包括大量的自遮挡，但缺乏不同的关节;第三人称视点子集跨越整个关节空间，而遮挡关节，特别是严重遮挡的比例很低。我们使用第三人称视图数据集的表达来增强以自我为中心的子集EgoBigHand包括8个主题：7个主题的帧用于训练，1个主题的帧用于测试。MSHD和NYU数据集上也显示了更多结果。4.2自我比较我们比较的基线是单高斯网络（SGN），它是用单峰高斯分布训练的CNN在[2]中，证明了线性模型的单峰高斯分布下的似然函数的最大化等价于最小化在我们的实验中，我们观察到使用高斯中心的SGN的估计误差与使用均方误差训练的CNN的估计误差大致相同。为了进一步比较的概率框架下，我们报告的准确性SGN。我们还报告了MDN的实验，如前一节所述，我们表明，当训练中没有可用的可见性标签时，HMDN会退化为MDN为了公平地比较MDN和HMDN， MDN的高斯分量的数目被设置为J+1，HDMN的GMM分支的数目被设置为J。使用的CNN网络是[30]中提出的U-网络，通过将最终层调整为完全连 接的 层 进行 回 归。 所 有 网络 都 使用 Adam [14]进 行训 练 ， 使用Geforce GTX 1080Ti，上述所有方法的收敛时间约为24定性分析。参见图6。从不同方法的分布中抽取每个指尖的100个样本。HMDN的动机是内在的映射差异：单值映射的可见和多值映射的闭塞关节。我们的结果，如图所示6，通过相应地产生可解释的和多样化的候选样本来展示其建模这种差异的对于可见关节，SGN和HMDN生成样本遮挡感知的手部姿态估计11可见遮挡可见遮挡可见遮挡6：样品从指尖的SGN、MDN和HMDN的分布中得出，与姿势标签进行比较。SGNMDN可见指示头SGN MDNHMDN闭塞拇指尖SGN MDN HMDN图7：通过SGN、MDN和HMDN预测的可见食指尖和闭塞拇指尖的分布。每个洋红色球体表示高斯分量，其半径是标准偏差，中心是平均值。透明度与混合系数{π}成比例。MDN的样本分布在地面实况位置周围的紧凑区域中，而来自MDN的样本分散在较大区域中。对于闭塞关节，虽然由SGN产生的样本在宽的球体范围内分散，但由HMDN和MDN产生的样本形成弧形区域，其指示指尖在运动学约束内的移动范围。在可见性监督的帮助下，HMDN通过为相应的情况定制不同的密度函数，很好地处理了SGN、MDN和HMDN预测的可见和遮挡关节的分布示例如图所示。7.拟合可见关节和遮挡关节两者的所得紧凑分布改善了以下定量分析中的姿态预测准确性。这种紧凑且可解释的分布也有助于混合方法[36，31]。对于判别生成流水线，该分布极大地减少了要探索的空间，并产生不同的候选，以避免在生成部分中被卡在局部最小值处。对于手跟踪方法[21]，被遮挡关节的分布可以与运动信息组合，例如速度和方向，以给出更清晰的即在某个位置做出更有信心的反应。该模型还可以在多视图设置中找到其应用。定量分析。从每种方法的分布中得出一个假设，并与姿势标签进行比较，即用于测量位移误差的地面真实关节在表2中分别报告了可见关节和闭塞关节图图8a呈现了在常用度量下的比较，误差阈值内的关节比例[36，46，31]，在MDN/HMDN中使用J= 20HMDN优于MDN和SGN的可见和闭塞关节使用不同的数字10Qi Ye，Tae-KyunKim表2：不同模型的估计误差* 所用评价指标见正文高斯数（J）1102030模型SGNMDNHMDNMDNHMDNMDNHMDN目视呃。（毫米）32.832.230.534.030.732.630.5发生率呃。（毫米）36.535.434.836.434.435.634.2* 发生率呃。（毫米）38.934.834.635.134.235.034.5(a)（b）第（1）款图8：当J= 20时，HMDN、SGN、MDN的比较高斯成分。 对于闭塞的关节，HMDN将SGN提高了10%，误差20 mm内的关节百分比（图1）。8a），并且在平均位移误差中增加约2mm（表2）。HMDN也优于可见关节的基线。人们可以推断，给定有限的网络容量，通过按数据类型指定密度函数，HMDN学习在可见和遮挡之间取得更好的平衡，同时最大化整个训练数据的可能性如表2所示，对于J= 10、 20、 30，HMDN的估计误差变化不大然而，请注意，模型参数的数量随J线性增加。图在图8b中，我们改变从分布中提取的样本的数量，并测量最小距离误差。HMDN在所有样本数下始终实现比SGN更低的与MDN相比，HMDN在较小的样本数下表现得当样本数增加时，两种方法之间的误差差距变小。在表2和Fig. 8，我们重复采样过程100次，并报告平均准确度。标准偏差相当小，对于闭塞关节为0.03- 0.04mm，对于可见关节为0.01-0.02mm。由于我们的动机是对关节位置的分布进行建模，因此我们测量了预测分布与目标分布的对齐程度。如图3、针对具有遮挡的同一图像收集多个姿态标签我们从预测的分布中绘制多个样本，并测量绘制的样本集与姿势标签集之间的最小距离。如表2的最后一行所示，改进是显著的。两12Qi Ye，Tae-KyunKim表3：HMDNh和HMDNs的比较高斯数（J）10 20 30型号HMDN硬 HMDN软 HMDN硬 HMDN软 HMDN硬 HMDN软100908070605040302010内脏关节5040302010咬合关节5040302010001020304050607080误差阈值D（mm）（一）1112131415161718191101数量的样本(b)1112131415161718191101数量的样本(c)图图9：HMDN与先前工作的比较MDN和HMDN优于SGN约4 mm，这表明由MDN/HMDN产生的弧形分布比由SGN产生的球形分布更好地与目标关节位置对准，如图1B所六、我们可以使用分布之间的其他相似性度量来代替最小距离尽管HMDN相对于MDN的改进是微不足道的，但是当关节可见时，通过HMDN中的遮挡的意识，用于密度的参数的数量大大减少。Bias. 在第3.3节中，我们建议通过在训练时从可见性分布中采样来减轻测试期间的暴露偏倚HMDN用Eqn中的损失函数训练（8）和（9）中的一个被表示为HMDN hard，而用Eqn训练的一个被表示为HMDN hard。 （10）和（11）是HMDN的。在表3中，对于不同数量的高斯分量，高斯变换的HMDN的误差明显4.3与最新技术水平的为了与现有技术竞争，采用以下策略：首先，训练CNN网络以估计全局旋转和平移，并且以该估计为条件，然后训练HMDN;使用数据增强，包括平移、平面内旋转和缩放MSHD数据集。MSHD在训练集和测试集中都有相当数量的闭塞关节我们比较HMDN与三种方法：叶等。[46]，Tang et al.[36]、Sharp等人。[31]第30段。对于[31]，其判别部分的结果HMDNYe等人[31]Tang等人[12]Sharp et al. [13个国家]HMDNYe等人[31]Tang等人[12个]误差D

下载后可阅读完整内容，剩余1页未读，立即下载