基于孪生区域候选网络的高性能目标跟踪算法
摘要
近几年来视觉目标跟踪已经成为了一个基本的主题并
且许多基于深度学习的跟踪器在现有的数据集上取得的
很好的效果。然而现有的跟踪器很难在达到实时。本文
我们提出了一个利用大规模图像数据进行端到端离线训
练的孪生区域候选网络(SiamRPN)。具体来说，它包括
用来特征提取的孪生子网以及包括了分类分支和回归分
支的区域候选网络。在跟踪阶段，所提出的网络框架被
认为是局部的单样本跟踪任务。我们可以预先计算出孪
生子网的模板分支并将相关层定义为简单的卷积层进行
在线跟踪。由于在区域更新中收益，传统的多尺度测试
和在线微调都可以被抛弃。 Siamese-RPN 算法可以在
VOT2015,VOT2016 和 VOT2017 实时挑 战中以 160FPS
的速度取得领先的性能。
1. 引言
视觉目标跟踪在计算机视觉的不同人物中是一个基础
的模块，例如自动驾驶和视频监控。在有光照、形变、
遮挡和运动所造成的巨大外观变化的条件下跟踪是具有
相当大的挑战性的。除此之外，速度在实际应用中也是
相当重要的。
现在的跟踪器可以大体上分为两个分支。第一个分支
就是相关滤波，即通过探索循环相关的特性以及在傅里
叶域中操作以训练回归器。相关滤波也是在线跟踪并且
同时有效地更新滤波器权重。相关滤波起初的版本是用
在傅里叶域并且之后被广泛应用在跟踪中。现有的相关
滤波方法使用深度特征来提升准确但由于使用了模型更
新使得算法速度很慢。另一个分支是使用更强的深度特
征并比更新模型。然而，由于特定域的信息没有被利用，
这些方法的性能也不如相关滤波。
在本文中，我们展示了离线训练的深度学习方法也能
够和当前优秀的相关滤波方法所媲美。关键是所提出孪
生区域候选网络(Siamese-RPN)。它包括模板分支和检测
分支，这两个分支都是利用大规模图像数据进行端到端
离线训练。受到现有的提取候选区域方法 RPN 的启发,
我们在相关 特征图上提 取候选区域。 不同于标准的
RPN， 我们使用相关特征图的两个分支提取候选区域。
在跟踪任务中我们没有预先定义好的类别，因此我们需
要用模板分支将目标的外观信息编码到 RPN 特征图中以
从背景中将前景区分。
对于推理阶段来说，我们将它定义为局部的单样本检
测框架，在这个框架中质疑第一帧的跟踪框是模板。我
们把模板分支重新解释为预测检测核的参数，也即元学
习器。元学习器和检测分支都是仅使用 RPN 的监督来进
行端到端训练的。在在线跟踪阶段，模板分支更倾向于
图 1 我们提出的方法与当前两种方法的对比结果示意图。
当目标发生严重形变时，SiamRPN 与 SiamFC 和 CCOT 相比有
更好的跟踪效果
在第一帧之后进行加速操作。我们把这个在线跟踪任务
定义为单样本检测。
我们在 VOT2015、VOT2016 和 VOT2017 实时挑战中
评估我们的方法。SiamRPN 可以在这是那种挑战中获得
很高的结果。在没有在线微调的情况下取得这么好的结
果主要有两个原因。首先，我们的方法利用图像对进行
离线训练，这充分利用的数据量大的优势。消融实验也
表明更多的数据量有助于获得更好的结果。其次，根据
图 1 我们发现区域候选忘了可以预测出更精确尺寸的候
选框以获得更为紧凑的跟踪框。
本文的贡献可以总结为以下三个方面： 1) 我们提出
了应用于跟踪任务的使用大规模图像对进行端对端离线
训练的孪生区域候选网络(Siamese-RPN)。2) 在在线跟踪
阶段，所提出的框架被定义为局部单样本检测任务，这
个任务可以更新候选框并且抛弃的费时费力的多尺度测
试。3) 在 VOT2015,VOT2016 和 VOT2017 实时挑战中以
160FPS 取得了领先性能，这表明 SiamRPN 可以兼顾速
度和准确率。
2. 相关工作
自从本文的工作是将 SiamRPN 定义为局部单样本检
测任务后, 我们给出了关于我们工作的三个方面的简要的
综述: 基于孪生网络结构的跟踪算法、在检测中的 RPN
和单样本学习。
基于孪生网络结构的跟踪算法
评论0