![](https://csdnimg.cn/release/download_crawler_static/88424462/bg4.jpg)
M. Zolfaghari,K. Singh和T. Brox
这种关系(3)该网络直接提供视频级分数,而无需事后特征聚合。因
此,它甚至可以在小型计算设备上以在线模式和实时运行。
视频字幕。视频字幕是计算机视觉中广泛研究的问题[14,45,
43,9]。大多数方法使用在图像分类或动作识别上预训练的CNN来生
成特征[9,43,45]。这些方法,像上述视频理解方法一样,利用基于
帧的特征聚合(例如,基于帧的特征聚合)。Resnet或TSN)或整个
视频上的滑动窗口(例如C3D)来生成视频级特征。然后将特征传递
到递归神经网络(例如,递归神经网络)。LSTM)以经由学习语言
模型生成视频字幕。所提取的视觉特征应同时表示视频的节奏结构和
场景的静态语义。然而,大多数方法遭受的问题,时间上下文没有被
正确地提取。在这项工作中的网络模型,我们解决了这个问题,并因
此可以提高视频字幕的结果。
实时和在线视频理解。深度学习加速了图像分类,但视频分类在
速度方面仍然具有挑战性。一些作品涉及实时视频理解[18,44,
30,31]。EMV
[44]介绍了一种用于快速计算运动矢量的方法。尽管有这种改进,视
频处理仍然很慢。Kantorov [18]介绍了一种快速密集轨迹方法。其他
作品使用基于框架的手工制作功能进行在线动作识别[15,22]。这些
方法中特征提取的准确性和速度与深度学习方法相差甚远。Soomro等
人[31]提出了一种在线动作定位方法。他们的模型采用昂贵的分割方
法,因此不能实时工作。最近,Singh et al.[30]提出了一种基于40fps的
帧级检测的在线检测方法。我们在第5节中比较了最后两种方法。
3
长期时空结构
网络架构如图所示。1.一、具有可变数量的帧的整个视频被提供作为
网络的输入。视频被分成
N
个子部分
S1
,
i
= 1
,
…N
,并且在每个子部
分中,恰好随机采样一个帧。这些帧中的每一个由单个2D卷积网络
(权重共享)处理,其产生编码帧的应用的特征表示
。
通过
从
覆盖整
个视频的片段中截取片段,我们确保我们捕获动作随时间的最相关部
分以及这些部分之间的关系。
随机采样帧的位置比总是使用相同的位置更有利,因为它在训练
期间导致更多的多样性,并使网络适应动作实例化的变化。注意,这
种处理在训练期间利用视频的所有帧来对变化进行建模。同时,网络
在运行时只需要处理
N
帧,这使得该方法非常快。我们也认为更聪明