基于语义图卷积网络的3D人体姿态回归

182 浏览量更新于2025-01-16 收藏 1.96MB PDF 举报

3425

基于语义图卷积网络的三维人体姿态回归

龙钊

奚鹏

于天

穆巴西尔

迪米特里斯1卡帕迪亚

罗格斯大学

（

Rutgers University）

宾厄姆顿大学（Binghamton University）

{lz311，yt219，mk1353，dnm}@ cs.rutgers.edu，xpeng@binghamton.edu

摘要

在本文中，我们研究了学习图卷积网络（

GCN

）回

归的问题。目前

GCN

的体系结构局限于卷积滤波器的

小感受野和每个节点的共享变换矩阵。为了解决这些

局限性，我们提出了语义图卷积网络（

SemGCN

），

一种新的神经网络架构，用于处理具有图结构数据的

回归任务。

SemGCN

学习捕获语义信息，如局部和全

局节点关系，这些信息在图中没有显式表示这些语义

关系可以通过端到端的训练从地面事实中学习，而无

需额外的监督或手工制定的规则。我们进一步研究将

SemGCN

应用于

人体姿势回归。我们的公式是直观

和充分的，因为

和

人体姿势都可以表示为编码人

体骨架中关节之间的关系的结构化图。我们进行了全

面的研究，以验证我们的方法。结果证明，

SemGCN

优于现有技术，同时使用少

90%

的参数。

介绍

卷积神经网络（CNN）已经成功地解决了经典的计

算机视觉问题，如图像分类[12，29，31，52]，对象

检测[19，46，

55，63，74，79]和生成[43，58，71，73，80]，其中

输入图像具有网格状结构。然而，许多现实世界的任

务，分子结构、社交网络和3D网格只能以不规则结构

的形式表示，其中CNN具有有限的应用。

为了解决这一限制，最近引入了图卷积网络

（GCN）[17，28，49]作为CNN的推广，可以直接处

理一般类别的图。它们在应用于 3D 网格变形[45，

64]、图像字幕[70]、场景理解[68]和视频识别[66，67]

时达到了最先进的性能。这些作品使用GCN来建模视

觉对象的关系，

阳离子。在本文中，我们研究使用深度GCN进行回

归，这是计算机视觉的另一个核心问题，具有许多现

实世界的应用。

然而，由于基线方法的以下限制，GCN不能直接应

用于首先，为了处理图节点可能具有不同数量的邻域

的问题，卷积滤波器为所有节点共享相同的权重矩

阵，这与CNN不可比较。其次，根据[28]的指导，通

过限制滤波器在每个节点周围的一步邻域由于这种公

式，卷积核的感受野被限制为1，这严重损害了信息交

换的效率，特别是当网络更深时。

在这项工作中，我们提出了一种新的图神经网络架

构的回归称为

语义图卷积网络（

SemGCN

）

，以解决

上述限制。具体来说，我们研究学习语义信息编码在

一个给定的图，

即

，节点的局部和全局关系，这在以

前的工作中没有得到很好的研究。SemGCN不依赖于

手工制作的约束[10，13 ，51]来分析特定应用的模

式，因此可以很容易地推广到其他任务。

特别是，我们研究SemGCN的2D

到

人体姿势回

归

。给定一个2D人体姿势（和可选的相关图像）作为

输入，我们的目标是预测其对应的3D关节在某个坐标

空间中的位置。使用SemGCN公式化这个问题是直观

的。2D和3D姿势都能够自然地表示为一个规范的骨

架在2D或3D坐标的形式，和SemGCN可以明确地利用

它们的空间关系，这是理解人类行为的关键[67]。

我们的工作做出了以下贡献。首先，我们提出了一

种改进的图卷积运算，称为 SemGConv

（

SemGConv

）

，它来自CNN。其关键思想是学习边的

通道权重作为图中隐含的先验，然后将它们与核矩阵

相结合。这显著提高了图卷积的能力。其次，我们引

入SemGCN，其中SemGConv和非局部[65]层是

3426

我

交错。该体系结构捕获节点之间的本地和全局关系第

三，我们提出了一个端到端的学习框架，以表明

SemGCN还可以结合外部信息，如图像内容，以进一

步提高3D人体姿势回归的性能。

我们的方法的有效性通过采用严格的消融研究进行

综合评价并与标准3D基准上的最新技术水平进行比较

来验证。我们的方法与Human3.6M [24]上最先进技术

的性能相匹配，仅使用2D关节坐标作为输入，参数减

少了90%。同时，我们的方法在结合图像特征时优于

现有技术。此外，我们还展示了SemGCN的可视化结

果，定性地证明了我们的方法的有效性。请注意，所

提出的框架可以很容易地推广到其他回归任务，我们

将其留给未来的工作。

相关工作

图卷积网络。将

CNN

推广到具有图形结构的输入

是深度学习领域的一个重要课题在文献中，已经有

几次尝试使用递归神经网络来处理在图域中表示为

有向非循环图的数据在

[17

，

49]

中引入了

GNN

，作为处理任意图形数据的更常见的解决方案

在图上构造

GCN

的原理通常遵循两个流：光谱透视

和空间透视。我们的工作属于第二个流

[28

，

60]

，其中卷积滤波器直接应用于图节点及其邻居。

最近对计算机视觉的研究已经通过利用GCN对视觉

对象[68，70]或时间序列[66，67]之间的关系进行建模

来实现最先进的性能。本文遵循他们的精神，同时我

们探索将GCN应用于回归任务，特别是2D到3D人体姿

势回归。

3D姿态估计。Lee和Chen [30]首先研究了从其相应

的2D投影推断3D关节。后来的方法要么是利用最近的

邻居，

bors来改进姿势推断的结果[18，25]或前手工制作的特

征[1，23，47]以用于以后的回归。其他方法创建了适

合于将人类姿势表示为稀疏组合的过完备基础[2，4，

44，62，77]。越来越多的研究关注

介绍了一种简单有效的方法，该方法完全基于2D检测

来预测3D关键点。Fang等人[13]通过姿势语法网络进

一步扩展了该方法。这些工作集中在2D到3D姿态回

归，这是最相关的本文的上下文。

其他方法使用合成数据集，这些数据集是通过使用

地面实况[8，42，48]对人类模板模型进行变形而生成

的，或者除了关节之外，还引入了涉及高级知识[40，

53，69]的损失函数。它们是对其他人的补充。剩余工

作的目标是利用时间信息[11，18，21，57]进行3D姿

态回归。它们超出了本文的范围，因为我们的目标是

从一个单一的图像处理2D姿态。然而，我们的方法可

以很容易地扩展到序列输入，我们把它留给未来的工

作。

语义图卷积网络

我们提出了一种新的图网络架构，以处理一般的回

归任务，涉及的数据，可以表示在图的形式。本文首

先介绍了GCN的背景和相关的基线方法.然后介绍了

SemGCN的详细设计。

我们假设图形数据共享相同的拓扑结构，例如人体

骨架[10，26，61，67]，3D

morphable models [33 ， 45 ， 72] and citation networks

[50].其他在同一域中具有不同图结构的问题，

例如

，

蛋白质-蛋白质相互作用[60]和量子化学[15]不在本文

的范围内。这个假设使得学习图结构中隐含的先验成

为可能，这激发了SemGCN。

3.1.

ResGCN：基线

我们将首先简要回顾

[28]

中提出的

“香草”GCN

。设

{

，

}

表示一个图，其中

是

个节点的集合，

是边，而

→

−

（

）

∈

和

→

−

（

）

∈

是节点

的表示，

分别在第l次卷积之前和之后的曲线图

基于卷积的传播可以在两个步骤中应用于节点

首

先，将节点表示变换为一个可学习的参数矩阵

∈

RDl

其次

，这些转换后的节点表示被收集起

来，

节点

从其相邻节点

∈ N

（

），后跟一个非线性函

数（

ReLU [37]

）。如果节点表示被收集到矩阵

（

）

∈

×K

中，则卷积运算可以写为：

利用深度神经网络找到地图

在2D和3D关节位置之间ping。一对夫妇的al-出租直接

预测3D姿态从图像[75]，

（l

）

=σ

（

）

、

（1

）

而其他人则将2D热图与体积表示相结合，

其中

是对称归一化的，从A在conven-

sentation [41]，成对距离矩阵估计[36]或图像线索[56]

用于3D人体姿势回归。

最近，已经证明2D姿态信息对于3D姿态估计是至

关重要的Martinez等人[34] in-

国家

GCN

。

∈ [

，

]

是

的邻接矩阵，对于节

点

∈ N

（

）

，

α ij = 1

，

Wang等人[64]一个非常深的图形网络

基于等式[20]第20话，我的朋友

3427

≈

�∗

（一）

（b）第（1）款

（c）第（1）款

（d）其他事

项

图1.所提出的语义图卷积的图示（a）CNN的3×3卷积核（绿色突出显示）为核内的每个位置学习

不同的变换矩阵

。我们通过

学习每个位置的加权向量

和共享变换矩阵W来近似它。(b)传统的GCN只学习所有节点的共享变换矩阵w

。(c)（a）中的近似

公式可以直接扩展到（b）：我们为图中的每个节点添加额外的可学习权重

。

(d)我们进一步扩展（c）以学习每个节点的通道加权向量

在将它们与香草变换相结合之后，

矩阵W，我们可以得到一个新的核操作的图，具有可比的学习能力的CNN。所学习的

权重向量示出了图中隐含的相邻节点的局部语义关系

图像特征和3D顶点之间的映射。我们采用它的网络架

构，并把它作为我们的基线表示为ResGCN。

在Eq.1.一、首先，为了使图卷积在具有任意拓扑的

节点上工作，所有边共享学习的核矩阵W。结果，相

邻节点的关系或图中的内部结构没有被很好地利用。

明智的操作，如果

1，则返回

，

或者在

之后

具有饱和到零的大指数的负数

;

用作掩码，其强制

对于图中的节点

，我们仅计算其相邻节点

∈ N

（

）的权重。

如示于图

（

），我们可以进一步扩展

Eq.2

通过

学习一组

∈

，使得

对输出节点特征的每个通

道

应用不同的加权矩阵

第二，以前的工作只收集每个节点的一阶邻居的特征

这也是有限的，因为感受野固定为1。

（l+1）

？

d=1

→

−

（

）

（3）

3.2.

语义图卷积

我们表明，学习隐含在图的边的相邻节点的语义关

系是有效的，以解决共享核矩阵的限制。

所提出的方法基于CNN的概念。图1（a）示出了卷

积核大小为三乘三。它学习了九个相互不同的变换

矩阵来编码内核

在空间维度上。这使得操作本身的表达能力，以模拟

包含在图像中的特征模式

年龄我们发现，这个公式可以通过

学习每个位置的加

权向量

→

−

来近似

，然后

将它们与共享变换矩阵

组合。如果我们将图像特征图

表示为一个正方形网格图，其节点表示像素，则该近似

公式可以直接扩展到GCN，如图所示第1段（c）分段。

为此，我们提出

了语义图卷积（

SemGConv

）

，其中我

们添加了一个可学习的权重矩阵

∈

到传统的图卷积。然后

当量1转换为：

其中

，n

表示逐通道级联，并且

→

−

是

变换矩阵W的第d

行。

与以前的GCN比较。aGCN [68]和GAT [60]都遵循自

注意策略[59]，通过关注其邻居来计算图中每个节点

的隐藏表示。他们的目标是估计一个权重函数

依赖于

输入

的边缘调制信息流在整个图。相比之下，我们的

目标是学习

边的独立于

输入的权重，这些边表示图结

构中隐含的先验，

例如

，在人体姿势估计中，一个关

节如何影响其他身体部位。

在ST-GCN [67]中引入的边缘重要性加权掩模是与

我们的工作最相关的，但有以下两个明显的差异。首

先，在[67]加权后没有利用Softmax非线性，而我们发

现它稳定了训练并获得了更好的结果，因为节点对其

邻居的贡献被Soft-max归一化。其次，ST-GCN仅将一

个单个可学习掩码应用于所有信道，但我们的等式：3

学习边缘的通道方式的不同权重因此，我们的模型拥

有更好的

（l+1）

=σ

（

）

、

（

二）

适应数据映射的能力。

3.3.

网络架构

其中，ρ

是Softmax非线性度，它在节点i的所有选择中

对输入矩阵进行归一化;ρ i是一个元素，

捕获图中节点之间的全局和远程关系能够有效地解

决该问题

1 2 3

4 0 5

6 7

1 2 3

4 0 5

6 7

剩余13页未读，继续阅读

cpongm

粉丝: 6

基于语义图卷积网络的3D人体姿态回归

卷积神经网络回归模型

基于图卷积网络的人体姿态估计算法实现

3D人脸姿态估计与投影来确定特征点初始位置，然后使用经典的回归树集成ERT方法来更好的进行位置回归

用于人体实例分割的卷积神经网络.pdf

融合人体姿态估计和目标检测的学生课堂行为识别.docx

基于SAM的半自动图像标注工具（可制作目标检测和语义分割数据集）.zip

基于yolov5，在woodscape数据集上实现旋转框目标检测+语义分割.zip

深度卷积神经网络在计算机视觉中的应用研究综述.pdf

基于2阶段CNN的图像语义分割与6自由度姿态估计

3D人脸重建与稠密对齐：位置映射回归网络新方法

最新资源