运动特征网络：用于动作识别的固定运动滤波器

77 浏览量更新于2025-01-16 收藏 1.18MB PDF 举报

运动特征网络：用于动作识别的固定运

动滤波器

Myunggi Lee

，

，Seungeui Lee

，

，Sungjoon Son

，

，Gyutae

Park

，

，and Nojun Kwak

首尔国立大学，韩国首尔

{

myunggi89

，

dehlix

，

sjson

，

pgt4861

，

nojunk

}

@ snu.ac.kr

V.DO Inc.，韩国水原

抽象。帧序列中的时空表示在动作识别任务中起着重要的

作用先前，使用光流作为时间信息结合包含空间信息的

RGB图像的集合的方法已经在动作识别任务中显示出很大

的性能增强然而，它具有昂贵的

计算成本，并且需要双流

（RGB和光流）框架。在本文中，我们提出了MFNet（运动特

征网络）包含运动块，这使得它可以

在一个统一的网络，可

以训练端到端的相邻帧之间的时空信息编码。运动块可以

附加到任何

现有的基于CNN的动作识别框架，仅需要很小

的

额外成本。我们在两个动作识别数据集（Jester和Something-

Something）上评估了我们的网络，并通过从头开始训练网

络，在两个数据集上都取得了有竞争力的性能

关键词：动作识别·运动滤波器·MFNet·时空表示

介绍

卷积神经网络（CNN）[17]最初设计用于表示很好地发送了视觉场景的

静态外观。然而，如果底层结构的特征在于顺序和时间关系，则它具有

限制。特别是，由于识别视频中的人类行为需要空间外观和时间运动作

为重要线索，因此许多先前的研究已经利用了可以捕获运动信息的各种

模态，例如光流[33]和RGBdiff（连续RGB帧中的时间差）[33]。基于双流

[33，21，7]和利用这些输入模态的3D卷积[28，2]的方法动作识别然

而，即使光流是提供短期时间信息的广泛使用的模态，它也需要大量的

时间来生成。吃过了同样，基于3D内核的方法（如3D ConvNets）也需

要大量的计算负担和高内存需求。

* M.Lee和S.李同样贡献了论文。这项工作得到了韩国政府MSIP/IITP ICT

研发计划的支持（2017-0-00306）

M. 李，S。李，S。儿子GPark和N.Kwak

Fig. 1.三个动作识别数据集中的动作类的一些例子，Jester（上），Something-

Something（中）和UCF 101（下）。

由于对称对类/动作的二义性，在前两个

数据集中，只有静态图像不足以识别没有序列信息的正确标签。然而，在底

部UCF101图像帧的情况下，可以仅利用空间上下文（

例如，空间

上下文）来

识别动作类。

.背景和对象）。

在我们看来，大多数以前的标记动作识别数据集，如UCF 101

[24]，HMDB 51 [16]，Sports-1 M [13]和THUMOS [12]，都提供了人类

行为的高度因此，它们可以在没有顺序帧的时间关系的帮助下被识

别。例如，UCF101中的“Billiard”和“TableTennisShot”可以很容易地通过

仅看到如图3的第三行中所示的一个帧来识别。1.与这些数据集不同，

Jester [1]和Something-Something [8]包括动作和场景的更详细的物理方

面。外观信息在对这些数据集的动作进行分类时具有非常有限的有用

性。此外，主要提供形状信息的场景中的视觉对象对于识别这些数据

集上的动作的目的不太重要。特别是，Something-Something数据集在

对象和动作类之间几乎没有相关性，正如其名称所暗示的那样。图的

前两行。1显示了这些数据集的一些示例。如图1所示，仅用一个图像

很难对动作类进行分类。此外，即使存在多个图像，也可以根据时间

顺序来改变动作类。因此，当使用传统的静态特征提取器时，它很容

易被混淆因此，提取连续帧之间的时间关系的能力对于在这些数据集

中分类人类行为是重要的。

为了解决这些问题，我们引入了一个统一的模型，它被命名为运

动特征网络（MFNet）。MFNet包含专门设计的运动块，仅从RGB帧

表示时空关系。因为它只使用RGB提取时间信息，所以与现有的基于

光流的方法相比，不需要计算光流通常所需的预计算此外，由于

MFNet基于2D CNN架构，因此与3D同行相比，它的参数更少。

运动特征网络

我们形成了一个快速算法，以提高我们的模型在几个公开可用的动作识

别数据集上的实时特征的能力。在这些数据集中，每个视频标签与帧之

间的顺序关系密切相关。仅使用RGB帧训练的MFNet显著优于以前的

方法。因此，MFNet可以用作由详细物理实体的顺序关系组成的视频

中的动作分类任务的良好解决方案我们还进行消融研究，以更详细地

了解MFNet的特性。

本文的其余部分组织如下。在第2节中讨论了动作识别任务的一些

相关工作然后在第3节中，我们详细介绍了之后，在第4节中介绍和分

析了消融研究的实验结果。最后，本文在第5节中进行了总结。

相关作品

随着CNN在各种计算机视觉任务上的巨大成功，越来越多的研究试图

利用深度学习的特征进行视频数据集中的动作识别。特别地，由于输

入数据的连续帧意味着连续的上下文，时间信息以及空间信息是分类

任务的重要线索。已经有几种方法来提取这些时空特征的动作识别问

题。

学习时空特征的一种流行方法是分层使用3D卷积和3D池化[28，

36，29，9，6]。在这种方法中，他们通常堆叠视频剪辑的连续帧并

将其馈送到网络中。3D卷积具有足够的容量来对密集采样帧上的时

空信息进行编码，但在计算成本方面效率低下。此外，与其他方法相

比，要优化的参数的数量相对较大。因此，很难在小数据集上进行训

练，例如UCF101 [24]和HMDB51 [15]。为了克服这些问题，Carreira

.[2]引入了一个名为Kinetics的新的大型数据集[14]，它有助于训练3D

模型。他们还建议从2D卷积滤波器中膨胀3D卷积滤波器，以从预训

练的ImageNet [4]模型中引导参数。它在动作识别任务中实现了最先进

的性能。

另一种著名的方法是由Si-monyan

等人

提出的基于双流的方法。[22]

第20段。它编码两种模态，即图像的原始像素和从两个连续的原始图

像帧中提取的光流它通过对来自单个RGB帧和外部计算的多个光流帧

的堆栈的预测进行平均来预测动作类基于双流框架[33，21，7]，已经

提出了大量的后续研究[32，18，35]来提高动作识别的性能作为对先

前双流法的扩展，Wang

et al

.[33]提出了时间段网络。它在整个视频序

列中的不同时间段上采样图像帧和光流帧，而不是短片段，然后独立

地训练RGB帧和光流帧。在推理时，它

M. 李，S。李，S。儿子GPark和N.Kwak

累积结果以预测活动类。虽然它比传统方法[3，30，31]带来了显著的

改进，但它仍然依赖于计算昂贵的预先计算的光流。

为了取代手工制作的光流的作用，已经有一些工作将类似于光流

的帧作为卷积网络的输入[33，36]。另一行作品仅在训练阶段使用光

流他们训练了一个网络，该网络从原始图像重建光流图像，并将估计

的光流信息提供给动作识别网络。最近，Sun

et al

. [26]提出了一种光

流引导特征提取方法。它通过分别应用时间减法（时间特征）和

Sobel滤波器（空间特征）从相邻帧中使用两组特征提取运动表示。

我们提出的方法是高度相关的这项工作。不同之处在于，我们在统一

的网络中前馈空间和时间特征，而不是将两个特征分开。因此，可以

以端到端的方式训练所提出的MFNet

模型

在本节中，我们首先介绍

所

提出的MFNet的总体架构，并且给出了我

们提供了几个运动滤波器和运动块的实例来解释它背后的直觉。

3.1

运动特征网络

所提出的MFNet架构如图2所示我们基于

时间段网络

（TSN）[33]构建

了我们的架构，该架构适用于从整个视频中采样的

个片段序列我们

的网络由两个主要部分组成。一种是对空间信息进行编码的

外观块

。

这可以是图像分类任务中使用的任何架构。在我们的实验中，我们使

用ResNet [10]作为表观块的骨干网络。另一个组件是对时间信息进行

编码的

运动块

。为了对运动表示进行建模，其采用来自相同层级

的

对

应连续帧的两个连续特征图作为输入，并且然后使用将在下一小节中

描述的一组固定运动滤波器来提取时间信息。在每个层次结构中提取

的空间和时间特征应该被适当地传播到下一个层次结构。为了充分利

用这两种类型的信息，我们提供了几种方案来积累它们的下一个层

次。

3.2

运动表示

为了捕获运动表示，动作识别中常用的方法之一是使用光流作为

CNN的输入尽管其重要

我们使用术语

hierarchy

来表示抽象层次。层或层块可以对应于层级。

剩余16页未读，继续阅读

cpongm

粉丝: 6

运动特征网络：用于动作识别的固定运动滤波器

基于运动图像细节特征的方向滤波器设计

机器人头部动作识别系统的硬件设计

硕士毕业论文实验：基于多传感器的行为识别（主要研究特征优选） + 室内定位（加速度传感器，陀螺仪传感器，磁力计）.zip

让图像动起来：OpenCV图像动作识别技术，赋予图像生命

FANUC机器人硬件秘籍：电气组件识别与深入解析

【FANUC机器人视觉集成：智能化识别与精准定位技术】

【肌电信号模式识别】：如何识别个体差异与动作模式的3大技术

行为模式识别：动物识别中的特征提取与模型训练

【人体动作识别】：基于MPU6050的动作捕捉与分析高级技巧

运动追踪新境界：MPU9250应用与优化全解析

最新资源