无监督骨架动作识别：预测与聚类方法

需积分: 5 39 浏览量更新于2024-07-15 收藏 1.12MB PDF 举报

"本文主要探讨了一种新颖的无监督骨架动作识别系统，名为PPREDICT&CLUST，它在不依赖于动作标签的情况下，利用编码器-解码器递归神经网络架构进行操作。该系统的核心创新在于其无监督的学习策略，编码器在训练过程中学习到可区分的动作特征表示，而解码器和编码器的隐藏状态通过自组织形成一个特征空间，这个空间能够自动将相似的动作聚类在一起，不同动作则被分配到不同的簇中。传统动作识别方法往往需要大量带标签的训练数据，且对标注的准确性高度依赖。然而，PPREDICT&CLUST系统突破了这一限制，仅依赖于身体关键点序列作为输入，无论是2D还是3D，无需动作标签，从而简化了数据获取和处理的过程。这种无监督特性使得该系统能够在没有明确标注的情况下进行动作分类，这在现实场景中具有广泛的应用潜力，如视频监控、运动分析等。文章指出，虽然关键点数据相较于RGB+D（彩色图像加深度信息）的复杂度较低，但它提供了更聚焦于动作本身的描述，有助于减少干扰因素。通过对三维骨架时间序列的处理，系统能够捕捉到动作的动态变化，为动作识别提供稳定而有效的特征。作者在三个动作识别基准上对P&C系统进行了详尽的评估，结果显示其性能优于现有的无监督骨架方法，甚至在某些情况下与监督学习的骨架动作识别方法相当。这表明该系统在无监督条件下展现出强大的动作识别能力，具有广阔的研究价值和实际应用前景。"

2、相关工作

动作识别的目的是将类别标签分配给具有关于所执行动作的上下文信息的

帧序列，图 1。已经特别为人体运动动作识别引入了多种方法。这种方法使用视

频帧(RGB)和/或深度(RGB+D)和/或骨架数据，即跟踪身体关节(关键点)。执行独

占的基于骨架的动作识别特别有利，因为需要的数据要少得多，获取相对容易，

因此具有实时执行的潜力。此外，与包括诸如背景等无关特征的视频和深度相比，

骨架数据可用于理解动作的独占特征。事实上，近年来，已经有各种监督和非监

督的方法被引入到基于骨骼的人类动作识别中。大多数基于骨架的方法都受到了

监督，其中应该提供一组带注释的操作和标签以供培训。在无人监督的设置中，

动作识别的问题更具挑战性。目前只有几种非监督的基于骨架的方法被提出，并

且已经开发了几种非监督的方法来使用更多的信息，如视频帧和深度，即无监督

的 RGB+D。我们在下面回顾这些先前的方法，并将我们的结果与它们进行比较。

对于有监督的基于骨架的动作识别，在深度学习方法之前，经典的方法是将

动作从李群映射到李代数，并结合动态时间规整、傅立叶时间金字塔表示和线性

支持向量机(例如 LARP[28])进行分类。已经开发了深度学习方法来对骨架数据进

行分类，特别是基于 RNN 设计用于处理序列的模型。例如，Du 等人[3]采用层次

RNN(HBRNN-L)进行动作分类。Shahroudy 等人提出了基于层次 RNN(HBRNN-L)

的动作分类方法。[21]针对 NTU RGB+D 数据集，提出了部分感知 LSTM(PLSTM)

作为大规模骨骼动作识别的基线。由于骨架数据有噪音在很大程度上是由于摄像

机视图的变化而产生的，以前的工作提出了一种视图自适应 RNN(VA-RNN)，它

学习从原始骨架数据到一般姿势的转换[35]。还提出了基于 CNN 的有监督骨架

识别方法。这种方法需要一种可以由 CNN 处理的身体关节表示。时空骨架序列

剩余17页未读，继续阅读

l4l

粉丝: 0
资源: 7

无监督骨架动作识别：预测与聚类方法

Unsupervised Category Modeling, Recognition, and Segmentation in Images.pdf

UnsupervisedR&R Unsupervised Point Cloud Registration via.pdf

Unsupervised learning- deformable registration l chest.pdf

Unsupervised Learning Generation（入门推荐）.pdf

Unsupervised Learning of Video Representations using LSTMs.pdf

why does unsupervised pre-training help deep learning.pdf

Unsupervised Part Segmentation Through Disentangling Appear.pdf

unsupervised-learning-neural-network.rar_unsupervised

Unsupervised Domain Adaptation by Backpropagation.pdf

VDSM Unsupervised Video Disentanglement With State.pdf

最新资源