![](https://csdnimg.cn/release/download_crawler_static/88424422/bg4.jpg)
Shiyao Wang,Yucong Zhou,Junjie Yan,Zhidong Deng
对于后处理,主要思想是使用来自附近帧的高分对象来提高同一
视频内较弱检测的分数。这些方法之间的主要区别是将静止图像检测
链接到跨帧框序列的映射策略。[8]链接跨帧边界框,如果它们的IoU
超过某个阈值,并在整个剪辑上生成潜在的链接。然后,他们提出了
一种启发式的方法来重新排序
bondin
g
oxes
称为
“S e q - NM S”
。
[
14,
15]
对于
使用
Tubeletrescoring
g.
图
块
是对象随时间的边界框他们应用离
线跟踪器来重新访问检测结果,然后将tubelets周围的静止图像对象检
测关联起来。[15]提出了一种重新评分的方法,以提高tubelets的时间
一致性。此外,[14]提出了多上下文抑制(MCS)来抑制假阳性检测
和运动引导传播(MGP)来恢复假阴性。D T [5]是第一个联合学习
ROI跟踪器和检测器的工作跨帧跟踪器用于提高正框的分数。所有上
述方法都集中在可以与特征级方法进一步协作的后处理上我们将通过
将Seq-NMS [8]与我们的模型相结合来证明这一点,以相互加强并进一
步提高性能。
对于特征级学习,[31,30,13]提出了端到端学习框架,以增强视
频中单个帧的特征[30]提出了流引导的特征聚合以利用特征级上的时
间相干性。为了在空间上校准跨帧的特征,他们应用光流网络[4]来估
计附近帧和参考帧之间的每像素运动然后将来自附近帧的所有特征图
扭曲到参考帧,以便增强当前表示。类似于这项工作,[31]也利用光
流网络来模拟原始像素中的对应关系。不同的是,他们使用它来实现
显着的加速。然而,低级运动预测缺乏鲁棒性,特别是在存在遮挡的
情况下[12]。这种不考虑上下文的单独的逐像素预测与静态图像提案
不同,[13]提供了一种新的tubelet提案网络来有效地生成时空提案。
Tubelet从静态的建议,并提取多帧特征,以预测对象相对于空间锚的
运动模式。该检测器扩展2-D的建议时空tubelet的建议。所有这些方法
都将是我们的强大基线。
3
完全运动感知网络
3.1
概述
我们首先简要概述整个管道。表1总结了本文中使用的主要符号。所
提出的模型建立在标准静止图像检测器上,其由特征提取器
N
feat
、区
域建议网络
N
rpn
[22]和基于区域的检测器
N
rfcn
[2]组成。该模型的核心
思想是通过特征校准来聚合相邻帧。首先,
N
feat
将同时接收三个帧
I
t
−
τ
、I
t
和
I
t
+
τ
作为输入,并产生中间特征
f
t
−
τ
、
f
t
和
f
t
+
τ
。所示