MixSTE：视频中的3D人体姿势估计

020040060080010001200404142464748PoseFormer (T=81) [57]Anatomy-aware (T=81) [4]Anatomy-aware (T=243) [4]STE (T=243) [23]AM (T=243) [28]VideoPose3D (T=243) [37]132320MixSTE：Seq2seq混合时空编码器用于视频中的3D人体姿势估计0张金路1涂志刚1*杨建宇2陈宇进3†袁俊松401 武汉大学 2 苏州大学 3 慕尼黑工业大学 4 纽约州立大学布法罗分校0{jinluzhang, tuzhigang}@whu.edu.cn, jyyang@suda.edu.cn, yujin.chen@tum.de, jsyuan@buffalo.edu0摘要0最近，基于transformer的解决方案已经被引入到从2D关键点序列估计3D人体姿势中，通过全局考虑所有帧之间的身体关节来学习时空相关性。我们观察到不同关节的运动差异显著。然而，之前的方法不能有效地建模每个关节的帧间对应关系，导致空间-时间相关性的学习不足。我们提出了MixSTE（混合时空编码器），它具有一个时间变换器块来单独建模每个关节的时间运动和一个空间变换器块来学习关节之间的空间相关性。这两个块交替使用以获得更好的时空特征编码。此外，网络输出从中心帧扩展到输入视频的所有帧，从而提高输入和输出序列之间的一致性。我们在三个基准测试上进行了大量实验（即Human3.6M、MPI-INF-3DHP和HumanEva）。结果表明，我们的模型在P-MPJPE上优于现有方法10.9%，在MPJPE上优于现有方法7.6%。代码可在https://github.com/JinluZhang1126/MixSTE找到。01. 引言0从单目观测中估计3D人体姿势是一项基础的视觉任务，它从输入图像或视频中重建3D身体关节位置。由于这个任务可以获得身体几何和运动的有意义的表达，它具有广泛的应用，如动作识别[54, 55]、虚拟人[5-7, 52]和人机交互[11, 43,50]。最近的大部分工作都基于2D到3D提升流程[1, 4, 28,31, 37, 46,57]，首先检测2D关键点，然后将它们提升到3D。由于单目数据的深度模糊性，同一个2D姿势可能映射出多个潜在的3D姿势，因此0*通讯作者：tuzhigang@whu.edu.cn†工作在武汉大学完成0我们的（T=243）0我们的（T=81）0FPS（帧/秒）0MPJPE（毫米）0空间相关性0每帧的0交替学习0时空相关性0时间0每个关节具有不同的运动0分离的时间相关性0图1.上：时空相关性建模的概述。每个2D关键点在时间域上分离，以学习身体关节的不同运动轨迹，并且空间和时间相关性交替堆叠以提高序列一致性建模能力。下：在Human3.6M数据集上与不同方法的准确性（MPJPE）和效率（FPS）比较，蓝色和橙色表示输入序列长度T分别等于81和243。0仅仅基于单帧2D关键点的信息恢复准确的3D姿势是困难的。通过利用输入视频中包含的时间信息来解决上述问题，在单帧中取得了显著进展[1, 4, 16, 28, 37,46]。最近，受到transformer[45]在建模序列数据方面的成功启发，郑等人[57]引入了一种基于transformer的3D人体姿势估计网络。它利用时空信息来估计视频中更准确的中心帧姿势。通过建模所有关节之间的空间相关性和时间相关性3D Human Pose Estimation.Estimating 3D humanpose from monocular data was started by relying on thekinematics feature or the skeleton structure prior [17, 18,38,39]. With the development of deep learning, more data-driven methods have been proposed, and these methodscan be divided into end-to-end manner and 2D-to-3D lift-ing manner. The end-to-end manner directly estimates the3D coordinates from the input without the intermediate 2Dpose representation. Some methods [36, 42, 44] followedthis manner but required a high computation cost due to re-gressing directly from the image space. Different from theend-to-end manner, 2D-to-3D lifting pipeline first estimates2D keypoints in the RGB data and then leverages the corre-spondences between 2D and 3D human structures to lift the2D keypoints to 3D pose. Benefiting from the reliable effortof 2D keypoint detection works [8,13,29,34,41], recent 2D-to-3D lifting methods [9,27,30,31,48,56,58] outperformedend-to-end approaches. Therefore, we follow the 2D-to-3Dlifting manner to obtain robust 2D intermediate supervision.Seq2frame and Seq2seq under 2D-to-3D Lifting. Re-cently, temporal information from video has been exploitedto produce more robust predictions by many methods. Withthe video input, many influential works (seq2frame) pay at-tention to predicting the central frame of the input videoto produce a more robust prediction and less sensitivityto noise.Pavllo et al. [37] proposed the dilated tempo-ral convolutions based on the temporal convolution network(TCN) to extract temporal features. Some following worksimproved the performance of TCN by utilizing the attention132330通过考虑连续帧之间的相关性，PoseFormer[57]实现了性能改进。然而，它忽略了身体关节之间的运动差异，导致时空相关性的学习不足。此外，它增加了时间变换器模块的维度，限制了更长输入序列的使用。Poseformer[57]以视频作为输入，仅估计中心帧的人体姿势，我们将这个流程总结为seq2frame方法。许多最近的方法[1, 4, 28,37,57]都遵循这个方法，并利用相邻帧来提高对某一时刻姿势估计的准确性，但由于单帧输出，序列的连贯性被忽视了。此外，在推理过程中，这些seq2frame解决方案需要重复输入具有大重叠的2D关键点序列，以获得所有帧的3D姿势，这带来了冗余计算。与seq2frame方法相反，还有seq2seq方法，它从输入的2D关键点回归3D姿势序列。这些方法[16,46]主要依赖于长短期记忆（LSTM）[15]单元或图卷积网络（GCN）[21]，并在学习连续估计结果之间的时间信息方面表现良好。然而，当前的seq2seq网络缺乏输入和输出序列之间的全局建模能力，倾向于在长序列的输出姿势中过度平滑[37]。LSTM[15]的低效率也是从视频估计人体姿势的一个严重问题。虽然以前的工作集中在空间和时间域中关联所有关节，但我们观察到不同身体关节的运动轨迹在帧与帧之间有所变化，应该分别学习。此外，输入的2D关键点序列和输出的3D姿势序列具有坚实的全局连贯性，它们应该紧密结合以促进准确和平滑的3D姿势。受到上述观察的启发，在这项工作中，我们提出了MixSTE，以学习每个身体关节的独立时间运动，并在seq2seq方法中注入顺序连贯的人体姿势序列。与之前的方法[57]重建中心帧并忽略单个关节运动不同，MixSTE通过一种新颖的seq2seq架构和一组运动感知约束将2D关键点序列转化为3D姿势序列。具体来说，如图1顶部所示，我们提出了关节分离来考虑每个关节的时间运动信息。它将每个2D关节作为一个独立的特征（在transformer中称为令牌）来充分学习时空相关性，并有助于减少关节特征在时间域中的维度。此外，我们提出了一种交替设计与seq2seq相结合，以在长序列中灵活地获得更好的序列连贯性，从而减少冗余计算和过度平滑。通过这种方式，不同身体关节的时间运动轨迹可以充分考虑。0考虑到预测准确的3D姿势序列。据我们所知，所提出的方法是第一个在seq2seq流程中使用transformer编码器的方法，它增强了学习准确姿势估计的时空相关性，并显著提高了从seq2frame方法（见图1底部）的推理速度。此外，我们的方法可以轻松适应任何长度的输入序列。我们对3D人体姿势估计的贡献可以总结为三个方面：0•MixSTE被提出来有效地捕捉长序列中不同身体关节的时间运动，有助于建模充分的时空相关性。0•我们提出了一种新颖的交替设计，使用基于transformer的seq2seq模型来学习序列之间的全局连贯性，以提高重建姿势的准确性。0• 我们的方法在三个基准测试中取得了最先进的性能，并具有出色的泛化能力。02. 相关工作132340机制[28]，或将姿势估计任务分解为骨长和骨方向预测[4]，但它们必须固定输入序列的感受野。与它们相比，我们的方法不需要预设每个输入的长度，而是根据卷积核或滑动窗口大小。此外，GCN[21]也被应用于该任务，以学习人体和手部姿势的多尺度特征。这些工作取得了良好的性能；然而，计算冗余是这些方法的一个共同缺点。另一方面，一些作品（seq2seq）改善了3D姿势估计的连贯性和效率，并一次重构了输入序列的所有帧。LSTM[15]被引入到从一组2D关键点[26]估计视频中的3D姿势。Hossain等人[16]提出了一个时间导数损失函数，以确保序列的时间一致性，但它面临着低计算效率的问题。Wang等人[46]利用基于GCN的方法设计了相应的损失函数，以模拟短时间间隔和长时间范围内的运动，但它缺乏对输入序列的全局建模能力。与[16,46]相比，我们的方法具有空间和时间域中每个关节的全局建模能力的优势。此外，它能够并行处理帧和关节，以解决LSTM [15]的低效率问题。自注意力和Transformer自注意力的Transformer架构首先由[45]提出，然后应用于各种视觉任务，例如使用视觉Transformer（ViT）[10]进行分类，使用DETR[2]进行检测。对于人体姿势估计任务，[49]提出了Transpose来估计图像中的2D姿势。[25]提出了一个Transformer框架，用于从单个图像中恢复人体网格和姿势估计，但忽略了视频中的时间信息。一些研究人员还探索了多视图3D人体姿势估计方案[14]。引入了步幅变换编码器[23]以融入局部上下文。此外，PoseFormer [57]构建了一个基于ViT[10]的模型，以顺序地捕捉空间和时间依赖关系。[23]和[57]都必须固定空间和时间编码器的顺序，并且只重构视频的中心帧。我们的方法类似于它们在应用Transformer架构方面。但我们考虑了不同身体关节的运动轨迹，并应用seq2seq来更好地建模序列的连贯性。通过对相关工作的分析和比较，进一步探索基于Transformer的方法在3D人体姿势估计中是必要且可行的，但在3D人体姿势任务中没有将Transformer与seq2seq框架结合的方法。03. 我们的方法0如图2所示，我们的网络接受一个连接的2D坐标 C N,T  ∈R N × T  × 2，其中 N 个关节和 T 个帧0混合空间-时间编码器（MixSTE）0线性嵌入0T-Loss WMPJPE 损失0回归头0空间0位置嵌入0时间0位置嵌入0层归一化0空间0自注意力0层归一化0空间变换块0�� ��  ����������02D 关键点0帧序列03D 姿势序列0层归一化0时间自注意力0层归一化0时间变换块0关节分离0图2. 提出框架的概述。MixSTE被堆叠了 d l次，每个MixSTE独立地建模了时空依赖关系。WMPJPELoss表示加权的关节位置误差损失。T-Loss表示第3.3节中的时间连贯性损失函数。0输入为帧的序列，输入的通道大小为2。首先，我们将输入的关键点序列 C N,T 投影到具有特征维度 d m 的高维特征P N,T  ∈  R N × T  × d m中，每个关节表示一个特征。然后，我们利用位置嵌入矩阵来保留空间和时间域的位置信息。提出的MixSTE以 P N,T作为输入，旨在交替学习空间相关性和分离时间运动。最后，我们使用回归头将编码器的输出 X  ∈  R N × T  × d m进行拼接，并将维度 d m 转换为 3 ，得到 3D人体姿势序列 Out  ∈  R N × T  × 3 。03.1. 混合时空编码器0我们利用MixSTE分别对给定的2D输入关键点序列建模空间依赖性和时间运动性。MixSTE由空间变换块（STB）和时间变换块（TTB）组成。其中，STB计算关节之间的自注意力，旨在学习每帧的身体关节关系；而TTB计算帧之间的自注意力，专注于学习每个关节的全局时间相关性。03.1.1 分离时间相关性学习0为了将有效的运动轨迹融入到学习到的表示中，我们考虑每个关节的时间对应关系，以显式地建模动态序列中同一关节的相关性。与之前的方法不同，我们不将所有的身体关节视为时间变换块中的一个标记。我们在时间维度上分离不同的关节，使得每个关节的轨迹成为一个独立的标记 p  ∈  R 1 × T  × d m，并且对身体的不同关节进行并行建模。从时间维度的角度来看，将身体关节的不同运动轨迹分开建模，可以更好地表示时间相关性。关节分离的操作如下：Xtl = Concat(F(pi,1, pi,2, ...pi,T )), i ∈ N,(1)132350与之前的方法不同，我们不将所有的身体关节视为时间变换块中的一个标记。我们在时间维度上分离不同的关节，使得每个关节的轨迹成为一个独立的标记 p  ∈  R 1 × T  × d m，并且对身体的不同关节进行并行建模。从时间维度的角度来看，将身体关节的不同运动轨迹分开建模，可以更好地表示时间相关性。关节分离的操作如下：0其中 p i,j  ∈  P N,T  表示第 j 帧中的第 i 个关节，F表示时间编码器函数，第 l 个 TTB 编码器的输出为 X l  ∈R N × T  × d m。将每个身体关节视为一个独立的标记可以将模型的维度从PoseFormer [ 57 ] 的 N  ×  d m 减少到 d m，同时也使得模型能够处理更长的序列。03.1.2 空间相关性学习0我们使用空间变换块（STB）来学习每帧中关节之间的空间相关性。给定 N个关节的2D关键点，我们将每个关节视为空间注意力机制中的一个标记。首先，我们将2D关键点作为输入，并使用线性嵌入层将每个关键点投影到高维特征中。这个特征在STB中被称为空间标记。然后，我们使用位置矩阵 E s − pos  ∈R N × d m 嵌入空间位置信息。之后，将第 i 帧的空间标记P i  ∈  R N × d m输入到STB的空间自注意力机制中，以建模所有关节之间的依赖关系，并输出高维标记 X s l ∈  R N × T  × d m，其中 l 表示第 l 个STB。03.1.3 使用Seq2seq的交替设计0交替设计中的时空相关性。STB和TTB以交替的方式设计，以编码不同的高维令牌。交替设计的过程类似于循环神经网络（RNN），但我们可以在关节和时间维度上并行进行。我们将STB和TTB堆叠dL次，特征的维度保持为固定大小dm，以确保时空相关性学习集中在相同的关节上。具体而言，空间和时间位置嵌入仅应用于第一个编码器中，以保留两种位置信息。此外，空间和时间域是独立的，而以前的方法通常只学习部分序列连贯性，因为时空建模的单一过程。提出的交替设计与堆叠架构可以获得更好的连贯性和时空特征编码。Seq2seq框架。此外，为了更好地利用输入序列和输出序列之间的全局序列连贯性，我们还引入了一个全局序列连贯性损失项：0为了保持输入和输出序列之间的序列连贯性，我们在模型中采用了seq2seq的流水线。它可以一次性预测输入2D关键点的所有3D姿势，这有助于保持序列的连贯性。此外，对于包含T帧的序列，我们需要较少的推理次数，这意味着更高的效率。假设每个输入t 70132370Protocol #1 方向 磁盘 吃饭 打招呼 打电话 拍照 姿势 纯净 坐 站立吃饭 抽烟 等待 行走（带拐杖） 行走（不带拐杖） 步行 平均0Pavlakos等人[35] CVPR2018 48.5 54.4 54.4 52.0 59.4 65.3 49.9 52.9 65.8 71.1 56.6 52.9 60.9 44.7 47.8 56.2 Pavllo等人[37]（CPN，T=243）（†）CVPR2019 45.2 46.7 43.3 45.6 48.1 55.144.6 44.3 57.3 65.8 47.1 44.0 49.0 32.8 33.9 46.8 Cai等人[1]（CPN，T=7）（†）ICCV2019 44.6 47.4 45.6 48.8 50.8 59.0 47.2 43.9 57.9 61.9 49.7 46.6 51.3 37.1 39.4 48.8Yeh等人[51]（†）NIPS2019 44.8 46.1 43.3 46.4 49.0 55.2 44.6 44.0 58.3 62.7 47.1 43.9 48.6 32.7 33.3 46.7 Liu等人[28]（CPN，T=243）（†）CVPR2020 41.8 44.8 41.1 44.9 47.4 54.1 43.442.2 56.2 63.6 45.3 43.5 45.3 31.3 32.2 45.1 Wang等人[46]（CPN，T=96）（†）ECCV2020 40.2 42.5 42.6 41.1 46.7 56.7 41.4 42.3 56.2 60.4 46.3 42.2 46.2 31.7 31.0 44.5Chen等人[4]（CPN，T=243）（†）TCSVT2021 41.4 43.5 40.1 42.9 46.6 51.9 41.7 42.3 53.9 60.2 45.4 41.7 46.0 31.5 32.7 44.1 Xu等人[48]（T=1）CVPR2021 45.2 49.9 47.5 50.9 54.9 66.148.5 46.3 59.7 71.5 51.4 48.6 53.9 39.9 44.1 51.9 Lin等人[25]（T=1）（*）CVPR2021 - - - - - - - - - - - - - - - 54.0 Zeng等人[53]（†）ICCV2021 43.1 50.4 43.9 45.3 46.1 57.0 46.3 47.6 56.361.5 47.7 47.4 53.5 35.4 37.3 47.9 Zheng等人[57]（CPN，T=81）（†）（*）ICCV2021 41.5 44.8 39.8 42.5 46.5 51.6 42.1 42.0 53.3 60.7 45.5 43.3 46.1 31.8 32.2 44.30我们的方法（CPN，T=81）（†）（*）39.8 43.0 38.6 40.1 43.4 50.6 40.6 41.4 52.2 56.7 43.8 40.8 43.9 29.4 30.3 42.40我们的方法（CPN，T=243）（†）（*）37.6 40.9 37.3 39.7 42.3 49.9 40.1 39.8 51.7 55.0 42.1 39.8 41.0 27.9 27.9 40.90Wang等人[46]（HRNet，T=96）（†）ECCV2020 38.2 41.0 45.9 39.7 41.4 51.4 41.6 41.4 52.0 57.4 41.8 44.4 41.6 33.1 30.0 42.6 Wehrbein等人[47]（HRNet，T=200）ICCV2021 38.5 42.539.9 41.7 46.5 51.6 39.9 40.8 49.5 56.8 45.3 46.4 46.8 37.8 40.4 44.30我们的方法（HRNet，T=243）36.7 39.0 36.5 39.4 40.2 44.9 39.8 36.9 47.9 54.8 39.6 37.8 39.3 29.7 30.6 39.80Protocol #2 方向 磁盘 吃饭 打招呼 打电话 拍照 姿势 纯净 坐 站立吃饭 抽烟 等待 行走（带拐杖） 行走（不带拐杖） 步行 平均0Wang等人[46]（CPN，T=96）（†）ECCV2020 31.8 34.3 35.4 33.5 35.4 41.7 31.1 31.6 44.4 49.0 36.4 32.2 35.0 24.9 23.0 34.5 Liu等人[28]（CPN，T=243）（†）CVPR2020 32.3 35.2 33.335.8 35.9 41.5 33.2 32.7 44.6 50.9 37.0 32.4 37.0 25.2 27.2 35.6 Zheng等人[57]（CPN，T=81）（†）（*）ICCV2021 34.1 36.1 34.4 37.2 36.4 42.2 34.4 33.6 45.0 52.5 37.4 33.8 37.8 25.627.3 36.50我们的方法（CPN，T=81）（†）（*）32.0 34.2 31.7 33.7 34.4 39.2 32.0 31.8 42.9 46.9 35.5 32.0 34.4 23.6 25.2 33.90我们的方法（CPN，T=243）（†）（*）30.8 33.1 30.3 31.8 33.1 39.1 31.1 30.5 42.5 44.5 34.0 30.8 32.7 22.1 22.9 32.60Wang等人[46]（HRNet）（†）ECCV2020 28.4 32.5 34.4 32.3 32.5 40.9 30.4 29.3 42.6 45.2 33.0 32.0 33.2 24.2 22.9 32.7 Wehrbein等人[47]（HRNet，T=200）ICCV2021 27.9 31.4 29.730.2 34.9 37.1 27.3 28.2 39.0 46.1 34.2 32.3 33.6 26.1 27.5 32.40我们的方法（HRNet，T=243）28.0 30.9 28.6 30.7 30.4 34.6 28.6 28.1 37.1 47.3 30.5 29.7 30.5 21.6 20.0 30.60MPJVE 方向 磁盘 吃饭 打招呼 打电话 拍照 姿势 纯净 坐 站立吃饭 抽烟 等待 行走（带拐杖） 行走（不带拐杖） 步行 平均 Pavllo等人[37]（†）CVPR2019 3.0 3.1 2.2 3.4 2.3 2.7 2.7 3.1 2.1 2.9 2.32.4 3.7 3.1 2.8 2.8 Chen等人[4]（†）TCSVT2021 2.7 2.8 2.0 3.1 2.0 2.4 2.4 2.8 1.8 2.4 2.0 2.1 3.4 2.7 2.4 2.5 Zheng等人[57]（†）（*）ICCV2021 3.2 3.4 2.6 3.6 2.6 3.0 2.9 3.2 2.6 3.3 2.7 2.73.8 3.2 2.9 3.10我们的方法（CPN，T=243）（†）（*）2.5 2.7 1.9 2.8 1.9 2.2 2.3 2.6 1.6 2.2 1.9 2.0 3.1 2.6 2.2 2.30表1. 在Human3.6M数据集上，根据Protocol 1（未应用刚性对齐）和Protocol2（应用刚性对齐）的MPJPE（毫米）详细定量比较结果。顶部表格：Protocol 1下的结果（MPJPE）；中间表格：Protocol2下的结果（P-MPJPE）；底部表格：MPJVE的结果。T表示各种方法估计的输入帧数，（†）表示使用时间信息，（*）表示基于Transformer的方法。最佳和次佳结果分别以粗体和下划线格式突出显示。0Liu等人[28]（T=243）(†) CVPR2020 34.5 37.1 33.6 34.2 32.9 37.1 39.6 35.8 40.7 41.4 33.0 33.8 33.0 26.6 26.9 34.7 Wang等人[46]（GT，T=96）ECCV2020 23.0 25.7 22.8 22.624.1 30.6 24.9 24.5 31.1 35.0 25.6 24.3 25.1 19.8 18.4 25.6 Zheng等人[57]（T=81）(†)(*)ICCV2021 30.0 33.6 29.9 31.0 30.2 33.3 34.8 31.4 37.8 38.6 31.7 31.5 29.0 23.3 23.1 31.30我们的方法（T=81）25.6 27.8 24.5 25.7 24.9 29.9 28.6 27.4 29.9 29.0 26.1 25.0 25.2 18.7 19.9 25.90我们的方法（T=243）21.6 22.0 20.4 21.0 20.8 24.3 24.7 21.9 26.9 24.9 21.2 21.5 20.8 14.7 15.7 21.60表2. 使用2D地面真实关键点作为输入，在Human3.6M上根据Protocol1的MPJPE进行详细的定量比较结果（毫米）。最佳结果以粗体显示。0我们的方法的MPJPE始终较低，并且小于30mm的MPJPE比例远高于其他方法。结果表明我们的方法在困难动作上表现更好。0比例0MPJPE的分布（毫米）0我们 PoseFormer [57] VideoPose3D [37]0图3. Human3.6M测试集上的MPJPE分布。0在图4中，我们将Human3.6M测试集上所有帧的单个关节的MPJPE进行比较，以评估估计的准确性。0不同关节的姿态估计准确性。由于肢体的灵活运动，肢体关节的误差较高，而躯干关节的误差较低。我们每个关节类别的准确性都达到最佳水平，并且方差（VAR.）比较显示我们的方法具有更稳定的性能。0MPI-INF-3DHP上的结果。表3报告了与MPI-INF-3DHP测试集上其他方法的详细比较。此外，采用1帧设置来评估单帧性能。输入为地面真实2D关键点。如表所示，方法（T=27）在三个评估指标中表现最佳，而单帧设置（T=1）也达到了第二高的准确性。这些结果表明我们的模型在单帧和多帧场景中具有强大的性能。0HumanEva上的结果。0我们利用HumanEva来评估泛化能力。91929394959697989NF-#Protocol1WalkJogAvg.MPJPEMPJVE132380MPJPE（毫米）0VideoPose3D [37] AM [28] PoseFormer [57] 我们0图4. Human3.6M测试集中所有帧的平均关节误差比较。VAR.表示关节误差的方差除以一个因子（10.0），为了显示方便，同一部位的关节（例如右膝和左膝）被划分到同一类别中。0方法 PCK ↑ AUC ↑ MPJPE ↓0Mehta等人[33] ACM TOG 2017 79.4 41.6 -Lin等人[24]（T=25）BMVC2019 83.6 51.4 79.8 Li等人[22]CVPR2020 81.2 46.1 99.7 Wan