基于鉴别相关滤波器的高速跟踪方法

6638ECO：用于跟踪的Martin Danelljan，Goutam Bhat，Fahad Shahbaz Khan，MichaelFelsberg瑞典林口平大学电气工程系计算机视觉工程师{martin.danelljan，goutam.bhat，fahad.khan，michael.felsberg}@liu.se摘要近年来，基于鉴别相关滤波器（DCF）的方法在跟踪方面取得了显著的进步然而，在追求不断提高的跟踪性能，他们的特征速度和实时能力已逐渐褪色。此外，具有大量可训练参数的日益复杂的模型在这项工作中，我们解决了计算复杂性和过拟合问题背后的关键原因，目的是同时提高速度和性能。我们重新审视核心现金流量折现公式，并介绍：（i）a分解卷积算子，大大降低了ECOC-COT模型中参数的数量;（ii）一个紧凑的发电机-训练样本分布的迭代模型，显著降低了内存和时间复杂性，同时提供了更好的样本多样性;（iii）具有改进的鲁棒性和降低的复杂性的保守模型更新策略我们对四个基准测试进行了全面的实验：VOT 2016、UAV123、OTB-2015和Temple- Color。 当使用昂贵的深度功能时，我们的跟踪器提供了20倍的加速，并实现了13。与VOT 2016挑战中排名最高的方法[12]相比，预期平均重叠的相对增益为0%此外，我们的快速变体，使用手工制作的功能，在单个CPU上以60 Hz运行，同时获得65。OTB-2015的0%1. 介绍通用视觉跟踪是计算机视觉中的基本问题之一。它的任务是在图像序列中估计目标的轨迹，仅给定其初始状态。在线视觉跟踪在智能监控系统、自动驾驶、无人机监控、智能交通控制和人机界面等众多实时视觉应用由于跟踪的在线性质，理想的跟踪器应该在实时视觉系统的硬计算约束下是准确的和鲁棒的。近年来，鉴别相关滤波器（DCF）图1.我们的方法ECO与基线C-COT[12]在三个示例序列上的比较。在所有这三种情况下，C-COT遭受到对目标的特定区域的严重过度拟合。这导致在尺度变化（顶行）、变形（中间行）和平面外旋转（底行）的情况下的不良目标估计。我们的ECO跟踪器成功地解决了过度拟合的原因，从而更好地概括了目标外观，同时实现了20倍的加速。基于的方法在跟踪基准的准确性和鲁棒性方面显示出持续的性能改进[23，37]。基于DCF的跟踪性能的最新进展是通过使用多维特征[13，15]，鲁棒尺度估计[7，11]，非线性内核[20]，长期记忆COM驱动的。ponents [28]，复杂的学习模型[3，10]和减少边界效应[9，16]。然而，这些精度的提高是以跟踪速度的显著降低为代价的 例如，开创性的MOSSEBolmeet al.[4]比最近在VOT 2016中排名第一的DCF跟踪器C-COT[12]快约1000倍[23]但只有一半的准确性。如上所述，DCF跟踪性能的进步主要归功于强大的功能和复杂的学习公式[8，12，27]。这导致了相当大的模型，需要数以千计的可训练参数。另一方面，如此复杂和庞大的模型引入了66391J严重过拟合的风险（见图1）。本文在分析了现有文献的基础上，我们解决了最近DCF跟踪器中的过度拟合问题，同时恢复了其标志性的实时功能。1.1. 动机我们确定了三个关键因素，有助于增加计算复杂性和过度拟合的国家的最先进的DCF跟踪器。模型大小：高维特征图（如深度特征）的集成导致外观模型参数的数量急剧增加，通常超出输入图像的维度例如，C-COT[12]在模型的在线学习期间持续更新约800，000个参数。由于跟踪中训练数据的固有稀缺性，这种高维参数空间易于过拟合。此外，高维数导致计算复杂度增加，导致跟踪速度缓慢。训练集大小：最先进的DCF跟踪器，包括C-COT，由于其依赖于迭代优化算法，因此需要存储大量的训练样本集。然而，在实践中，内存大小是有限的，特别是当使用高维特征时。保持可行内存消耗的典型然而，这可能会导致过度拟合最近的外观变化，导致模型漂移（见图1）. 此外，大的训练集增加了计算负担。型号更新：大多数基于DCF的跟踪器应用连续学习策略，其中模型在每帧中严格更新。相反，最近的作品显示了令人印象深刻的性能，没有任何模型更新，使用暹罗网络[2]。受这些发现的启发，我们认为，在最先进的DCF中，连续的模型更新是过度的，并且对突然的变化很敏感， 比例变化、变形和平面外旋转（见图1）。 这种过度的更新策略由于对最近帧的过拟合而导致较低的帧速率和鲁棒性的劣化。1.2. 贡献和速度，从而在四个基准上设定了新的最先进水平：VOT 2016，UAV 123，OTB-2015和Temple-Color。与基线相比，我们的方法显着减少了80%的模型参数，90%的训练样本和80%的优化迭代次数。在VOT 2016上，我们的方法在挑战中优于排名第一的跟踪器C-COT[12]，同时实现了显着更高的帧速率。此外，我们提出了一个快速的变种，我们的跟踪器，保持竞争力的性能，与60帧每秒（FPS）的速度在一个单一的CPU，从而特别适合于计算受限的机器人平台。2. 基线方法：C-COT在这项工作中，我们共同解决的问题，计算复杂性和过拟合的最先进的DCF跟踪器。我们采用最近引入的连续卷积算子跟踪器（C-COT）[12]作为我们的基线。C-COT在最近的VOT 2016挑战赛中获得了最高排名[23]，并在其他跟踪基准上展示了出色的结果[26，37]。与标准DCF公式不同，Danelljanet al. [12]提出了在连续空间域中学习滤波器的问题。C-COT的广义公式产生了两个与我们的工作相关的优点。C-COT的第一个优点是多分辨率特征映射的自然集成，通过在连续域中执行卷积来实现。这提供了选择单元大小的灵活性（即，分辨率），而不需要显式的重新采样。第二个优点是目标的预测检测分数直接作为连续函数获得，从而实现准确的子网格定位。在这里，我们简要描述C-COT公式，为了方便起见，采用与[12]C-COT基于M个训练样本的集合{xj}M∈X有区别地学习卷积滤波器. 不像标准DCF，每个要素层xd∈ R Nd 有一个inde-待定分辨率Nd. 1通过引入插值模型将特征映射转换到连续空间域t∈[0，T），由算子Jd给出，我们提出了一种新的配方，解决了国家的最先进的DCF跟踪器的麻烦列出的问题。作为我们的第一个贡献，我们引入了一个因式分解卷积运算器，大大减少了参数的数量.Jd xd Σ（t）=Nd−1n=0xd[n]bd.Σ不t−nNd.（一）在DCF模型中。我们的第二个贡献是训练样本空间的紧凑生成模型，有效地减少了学习中的样本数量，同时保持了它们的多样性。作为我们的最后贡献，我们引入了一个有效的模型更新策略，同时提高跟踪速度和鲁棒性。综合实验清楚地表明，我们的方法同时提高了跟踪性能给你，bd。是周期T>0的n阶插值核。的结果Jd XD因此是一个插值要素图层，作为连续的T周期函数。我们使用J{x}表示整个插值特征图，其中J{x}（t）∈RD。在C-COT配方中， 连续T周期多通道卷积滤波器f =（f 1. . . D.受过训练1为了清楚起见，我们提出一维域公式。对更高维度（包括图像）的推广在[12]中详细描述。6640Dℓ2pfJDD为了预测目标的检测分数Sf{x}（t）为，3. 我们的方法Sf{x}=f<$J{x}= ΣDd=1.ΣfdJdxd.（二）如前所述，DCF学习中的过拟合和计算因此，我们继续集体处理这些问题，旨在提高性能和速度。在特征图x∈ X的对应图像区域t∈[0，T）中定义分数。在（2）中，单通道T-周期函数的卷积被定义为：fg（t）=1<$T f（t − τ）g（τ）dτ。多渠道合作--强大的学习能力：如前所述，（3）中的大量优化参数可能会导致过度拟合，有限的训练数据。 我们通过在3.1节中引入因子分解卷积公式来缓解这个问题。这不0卷积f∈J{x}是通过对所有的结果求和而获得的通道，如（2）中所定义。 过滤器是由微型学习-为了实现以下目的，策略从根本上减少了模型参数80%的情况下，深功能，同时提高跟踪性能。此外，我们在3.2节中提出了一个样本分布的紧凑生成模型，E（f）=M2αj<$Sf{xj}−yj<$L2+j=1ΣD¨¨2wfdd=12 .（ 三）提高了多样性并避免了先前讨论的与存储大样本集有关的最后，我们在3.3节中研究了更新模型的策略，并得出结论，较低频率的滤波器更新可以稳定样本xj的标记检测分数yj（t）被设置为周期性重复的高斯函数。 数据项由加权分类误差组成，由L2-范数g2=1T|g（t）|2dt，其中α≥0是学习，这导致更强大的跟踪。计算复杂性：学习步骤是基于优化的DCF跟踪器中的计算瓶颈，L2T0j，例如C-COT。计算复杂度的ap-样品重量xj。正规化整合了水疗中心-空间惩罚W（t）以减轻周期性假设的缺点，同时实现扩展的空间支持[9]。通过对共轭梯度算法的分析，得到了C-COT中的概率模型优化问题。 的复杂度可以表示为O（NCGDMK<$），2，其中与以前的DCF方法一样，一个更容易处理的优化-NCG 是CG迭代次数，K<$=1，K是问题是通过改变到傅立叶基。Parseval每个滤波器通道的傅立叶系数的平均数。受这种学习的复杂性分析的启发，我们提出了在秒内减少D，M和NCGΣM¨¨2ΣD¨¨2分别为3.1、3.2和3.3。E（f）=联系我们y+wfd. （ 四）j=1j∈f{xj}−2002年7月2日¨ ¨d=1μm3.1. 分解卷积算子这里，T-周期函数g的帽子g表示F级数系数g[k]=1<$Tg（t）e−i2πktdt和我们首先介绍一种因式分解卷积方法，目的是减少2-范数定义为：不0Σ∞=−∞不|二、|2.的模型我们观察到，在C-COT中学习的许多滤波器fd包含可忽略不计的能量。这一点尤其重要--检测分数（2）的傅立叶系数由下式给出：高维深层特征的父代，如图所^Dddd公式Sf{x}=d=1f X bd，其中X是指图2. 这样的滤波器对目标定位几乎没有贡献，具体的傅里叶变换（DFT）的xd。在实践中，滤波器fd被假定为具有但仍然影响训练时间。我们使用较小的集合，而不是为每个特征通道d学习一个许多非零的F_∞系数{f_∞d[k]}K_d，其中1C，，−Kd的基础滤波器f，. . .，f，其中C

下载后可阅读完整内容，剩余1页未读，立即下载