Alan Lukeˇziˇc1, Tom´aˇs Voj´ıˇr2, Luka ˇCehovin Zajc1, Jiˇr´ı Matas2 and Matej Kristan1{alan.lukezic, luka.cehovin, matej.kristan}@fri.uni-lj.si{vojirtom, matas}@cmp.felk.cvut.cz=163090具有通道和空间可靠性的判别相关滤波器01斯洛文尼亚卢布尔雅那大学计算机与信息科学学院2捷克布拉格捷克技术大学电气工程学院0摘要0短期跟踪是一个开放且具有挑战性的问题，判别相关滤波器（DCF）已经展现出了出色的性能。我们引入了通道和空间可靠性的概念到DCF跟踪中，并提供了一种新的学习算法，以实现其在滤波器更新和跟踪过程中的高效和无缝集成。空间可靠性映射调整滤波器的支持区域，适合于跟踪的对象部分。这既允许扩大搜索区域，又改善了非矩形对象的跟踪。可靠性分数反映了学习滤波器的通道质量，并在定位中用作特征加权系数。实验结果表明，仅使用两个简单的标准特征，HoGs和Colornames，新的CSR-DCF方法-具有通道和空间可靠性的DCF，在VOT 2016、VOT2015和OTB100上取得了最先进的结果。CSR-DCF在CPU上实时运行。01. 引言0短期视觉目标跟踪是在视频序列中连续定位目标的问题，给定其外观的单个示例。它已经引起了计算机视觉界的重视，这反映在该主题上发表的论文数量和多个性能评估基准的存在上[42, 28, 29, 26, 27, 32, 37,35]。多种因素-遮挡、光照变化、快速物体或相机运动、由于刚性或非刚性变形和与背景的相似性而使短期跟踪具有挑战性。最近的短期跟踪评估[42, 28, 29,26]一致确认了半监督判别跟踪方法[16, 1, 17,4]的优势。特别是，基于判别相关滤波器方法（DCF）[4, 8,19, 30,10]的跟踪器在所有标准基准测试中都表现出了最先进的性能。判别相关方法通过预定义的滤波器学习一个滤波器。0空间约束滤波器0训练补丁0最终响应0定位阶段：0学习-更新阶段：0空间映射0测试补丁0滤波器响应0通道权重0通道权重0图1：所提出的CSR-DCF方法概述。自动估计的空间可靠性映射将相关滤波器限制在适合跟踪的部分（顶部），提高了搜索范围和对不规则形状对象的性能。在相关滤波器学习的约束优化步骤中计算的通道可靠性权重减少了加权平均滤波器响应的噪声（底部）。0对训练图像的响应。0DCF的标准公式使用循环相关，可以通过快速傅里叶变换（FFT）高效地实现学习。然而，FFT要求滤波器和补丁大小相等，这限制了检测范围。由于循环性，滤波器在许多包含目标的不真实的、环绕的、循环移位版本的示例上进行训练。这些窗口问题最近被Galoogahi等人的最新方法[23]和Danneljan等人的方法[10]解决，他们在学习过程中引入了零填充滤波器。p(x|h) =�Ndd=1 p(x|fd)p(fd).(1)arg minhNd�d=1∥fd ∗ hd − g∥2 + λNd�d=1∥hd∥2= arg minhNd�d=1(∥ˆhHd diag(ˆfd) − ˆgd∥2 + λ∥ˆhd∥2).(2)63100空间正则化以惩罚目标边界之外的滤波器值。这两种方法都是从大于目标的图像块中训练，从而增加了检测范围。已发表的DCF方法的另一个局限性是假设目标形状可以很好地近似为一个轴对齐的矩形。对于形状不规则或中心为空心的对象，滤波器最终会学习到背景，这可能导致漂移和失败。在遮挡的情况下，对于近似矩形的对象也会出现相同的问题。Galoogahi等人[23]和Danneljan等人[10]的方法都存在这个问题。在本文中，我们介绍了CSR-DCF，即具有通道和空间可靠性的判别相关滤波器。空间可靠性图将滤波器的支持适应于适合跟踪的对象部分，从而克服了循环移位的两个问题，实现了任意搜索范围，并解决了与矩形形状假设相关的限制。空间可靠性图是通过在每一帧中高效求解图标记问题的输出来估计的。由于标准的闭式解无法推广到这种情况，因此导出了一种用于学习受空间可靠性图约束的相关滤波器的高效新优化过程。实验证明，与DCF中的约束学习相关的方法相比，这种新的滤波器优化过程具有更好的性能。通道可靠性是CSR-DCF跟踪器引入的第二个创新。可靠性是根据约束最小二乘解的属性来估计滤波器设计中的通道可靠性分数。通道可靠性分数用于加权定位中的每个通道滤波器响应（图1）。CSR-DCF在标准基准测试-OTB100[43]，VOT2015 [26]和VOT2016[26]上展现出最先进的性能，同时在单个CPU上实时运行。空间和通道可靠性的形式是通用的，可以用于大多数现代相关滤波器，例如使用深度特征的滤波器。02. 相关工作0判别性相关滤波器用于目标检测可以追溯到80年代，Hester和Casasent的开创性工作[20]。直到最近，它们才在跟踪社区中得到普及，始于2010年Bolme等人的MOSSE跟踪器[4]的发表。MOSSE使用灰度模板，在显著的处理速度下，在跟踪基准测试[42]上取得了最先进的性能。此后取得了显著的改进，2014年最新基准测试[29]上表现最好的跟踪器都属于这一类跟踪器。DCF的改进可以分为两类，一类是应用改进的特征，另一类是在滤波器学习中进行概念上的改进。在第一组中，Henriques等人[19]替换了0灰度模板的改进包括HoG[7]，Danelljan等人[12]提出了多维颜色属性，Li和Zhu[31]应用了特征组合。最近，用于目标检测的卷积网络特征已被应用[34，11，13]，从而提高了性能，但速度显著降低。从概念上讲，标准DCF的第一个成功的理论扩展是Henriques等人的核化公式[19]。之后，Danelljan等人提出了基于相关滤波器的尺度自适应[8]。Zhang等人[45]在DCF中引入了时空上下文学习。最近，Galoogahi等人[23]解决了从小块学习循环相关性导致的问题。他们提出了一个学习框架，通过在右侧和下方进行隐式零填充来人为增加滤波器的大小。非对称填充只能部分减少滤波器学习中的边界伪影。Danneljan等人[10]重新定义了学习成本函数，以惩罚目标边界框之外的非零滤波器值。报告的性能优于[23]，但学习到的滤波器仍然是相关响应和正则化之间的权衡，并且不能保证滤波器值在目标边界框之外为零。03. 空间约束相关滤波器0给定一组 N d 通道特征 f = { f d } d =1: N d和相应的目标模板（滤波器） h = { h d } d =1: N d，其中 f d ∈ R d w × d h ， h d ∈ R d w × d h，通过最大化概率来估计对象位置 x0密度 p ( x | f d ) = [ f d � h d ]( x )是特征图与学习到的模板在 x 处的卷积，而 p ( f d )是反映通道可靠性的先验。根据 [ 4 , 8]，我们假设特征通道是独立的。通过最小化通道间相关输出与期望输出 g ∈ R d w × d h之间的平方差和来获得最优滤波器。0( 2 ) 中的等价性来自 Parsevaal 定理，算子 ˆ a = vec( F [a ]) 是将重塑为列向量的 a 的傅里叶变换，即 a ∈ R D× 1 ，其中 D = d w ∙ d h ， diag( a ) 从 a 形成一个 D× D 对角矩阵，( ∙ ) H 是共轭转置。通过将 ( 2 )的最小化问题的复梯度等于零，可以得到一个闭式解。p(x|m = 1) = k(x; σ),(4)63110( 2 ) 对每个通道的最小化问题的解为零 [ 4]。尽管它很简单，但由于输入循环假设和假设所有像素对于滤波器学习都是同样可靠，这个解决方案存在边界缺陷。接下来，我们通过提出一种有效的空间可靠性图构建方法来解决这个问题，并提出了一种新的空间约束相关滤波器学习框架。03.1. 构建空间可靠性图0空间可靠性图 m ∈ [0 , 1] d w × d h ，其中元素 m ∈ {0 , 1 } ，表示每个像素的学习可靠性。给定外观 y的条件下，像素 x 的可靠性概率被指定为0p ( m = 1 | y , x ) ∝ p ( y | m = 1 , x ) p ( x | m = 1)p ( m = 1) . (3) 外观似然 p ( y | m = 1 , x )通过贝叶斯规则从对象前景/背景颜色模型中计算得出，这些模型在跟踪过程中作为颜色直方图 c = { c f , c b }维护。先验 p ( m = 1)定义为前景/背景直方图提取的区域大小之比。无论变形如何，轴对齐的椭圆形、旋转、关节或可变形对象的中心像素很可能包含对象。另一方面，远离中心的像素同样可能包含对象或背景。我们的方法通过定义一个弱空间先验来强制实施中心元素可靠性的变形不变性。0其中 k ( x ; σ ) 是一个修改过的 Epanechnikov 核函数，k ( r ;σ ) = 1 − ( r/σ ) 2 ，其中尺寸参数 σ等于较小的边界框轴，并被剪裁到区间 [0 . 5 , 0 .9]，以使得中心处的对象先验概率为0.9，并且在远离中心时变为均匀先验 (图 2)。通过在马尔可夫随机场中使用 ( 3 )作为一元项，强制执行标签 m的空间一致性。我们应用一个高效的求解器 [ 24 ] 来计算 m的最大后验解。为了避免在显著的外观变化时可能出现糟糕的分类结果，如果边界框内的像素中少于非常小的百分比 α min被分类为前景，则将其设置为均匀分布。可靠性图通过一个小的核进行形态学膨胀，以防止对象边界的不必要遮挡。图 2显示了一元项中的似然和空间先验以及最终的二元可靠性图。03.2. 有约束的相关滤波器学习0为了符号清晰起见，我们假设以下推导中只有一个通道，即Nd=1，并且省略通道索引（∙）d，因为滤波器学习在通道之间是独立的。0空间可靠性图m标识了在学习中应该忽略的滤波器中的像素，即引入了一个约束h≡m⊙h，这禁止了（2）的闭式解。在接下来的部分中，我们总结了我们对这个约束优化问题的解决方案，并在补充材料中报告了完整的推导过程。我们引入了一个对偶变量hc和约束hc−m⊙h≡0，从而得到以下增广拉格朗日函数[5]0L(ˆhc,h,ˆl|m)=∥ˆhHcdiag(ˆf)−ˆg∥2+λ02∥hm∥2+(5)0[ˆlH(ˆhc−ˆhm)+ˆlH(ˆhc−ˆhm)]+µ∥ˆhc−ˆhm∥2，0其中ˆl是一个复数拉格朗日乘子，µ>0，并且我们使用以下定义hm=(m⊙h)以简洁表示。增广拉格朗日函数（5）可以通过交替方向乘子法[5]进行迭代最小化，该方法依次解决每个迭代中的以下子问题：0ˆhi+1c=arg min h c L(ˆhc,hi,ˆli|m)，（6）0hi+1=arg min h L(ˆhi+1c,h,ˆli|m)，（7）0拉格朗日乘子更新为0ˆli+1=ˆli+µ(ˆhi+1c−ˆhi+1)。（8）0（6）中的最小化问题有一个闭式解：0ˆhi+1c=(ˆf⊙ˆg+(µˆhim−ˆli))⊙−1(ˆf⊙ˆf+µi)，（9）0hi+1=m⊙F−1[ˆli+µiˆhi+1c]/(λ02D+µi)。（10）0标准的约束惩罚µ值更新方案[5]被应用，即µi+1=βµi。在频域中完全进行（9，8）的计算，（10）的解需要一个逆FFT和另一个FFT来计算ˆhi+1。因此，单次优化迭代只需要两次傅里叶变换调用，从而实现非常快速的优化。计算复杂度是傅里叶变换的复杂度，即O(D logD)。滤波器学习在不到五行的Matlab代码中实现，并在算法1中进行了总结。03.3. 通道可靠性估计0目标定位阶段的通道可靠性计算为学习通道可靠性度量和检测可靠性度量的乘积。下面将对这些进行描述。通过（5）的最小化求解一个在特征通道上滤波器的所有位移上平均的最小二乘问题。一个判别特征通道fd产生一个滤波器hd。63120空间先验反投影后验叠加补丁训练补丁0图2：空间可靠性图的构建。从左到右：带有跟踪对象边界框的训练补丁，作为马尔可夫随机场优化中的一元项的空间先验，根据前景-背景颜色模型的对象对数似然，经过马尔可夫随机场正则化后的后验对象概率。使用最终的二进制可靠性图遮罩的训练补丁。0算法1：有约束的滤波器优化。要求：图像补丁特征f，理想相关响应g，二进制掩码m。确保：优化的滤波器�h。过程：01:02：初始化拉格朗日系数：�l0←zeros。3：重复执行4：使用（9）从ˆhi和ˆli计算ˆhi+1c。05: 使用公式（10）从ˆhi+1c和ˆli计算hi+1。06: 从 ˆ h i +1 c 和 h i +1 ( 8 ) 更新拉格朗日乘子 ˆ l i +1。7: 直到满足停止条件0其中 f d � h d 的输出几乎完全符合理想响应g。另一方面，具有低区分能力的通道上的响应非常嘈杂，并且最小二乘法中的全局误差减小了最大响应。因此，通道学习可靠性的直接度量 p ( f d )在（1）中是学习通道滤波器的最大响应，即 w d = ζ max(f d � h d )，其中归一化标量 ζ 确保�0d w d = 1 .0在检测阶段，每个通道的检测可靠性体现在每个通道响应中主要模式的表达能力上。注意，Bolme等人提出了一种类似的方法来检测目标丢失。我们的度量基于响应图中第二个和第一个主要模式之间的比率，即 ρ max2 / ρmax1。注意，该比率惩罚了目标附近出现多个相似对象的情况，因为这些情况会导致多个同样表达的模式，即使主要模式准确地描述了目标位置。为了防止这种惩罚，该比率被限制在0.5。因此，每个通道的检测可靠性被估计为 w (det) d = 1 - min( ρ max2 / ρmax1 , 103.4. 使用通道和空间可靠性进行跟踪0所提出的通道和空间可靠性相关滤波器跟踪器（CSR-DCF）的定位和更新步骤如下。定位：计算每个通道的响应和相应的检测可靠性值（第3.3节），并将其与上一个时间步骤的学习可靠性度量 w t − 1相乘，得到通道可靠性得分。通过加权估计通道可靠性得分的学习相关滤波器 h t − 1的响应来定位目标。尺度通过来自Danelljan等人的单一尺度空间相关滤波器估计。更新：在估计的位置提取前景/背景直方图 ˜ c，并通过学习率 η c的自回归方案进行更新。前景直方图通过在估计的目标边界框内使用标准Epanechnikov核提取，背景直方图从两倍于目标大小的邻域中提取。构建空间可靠性图（第3.1节），通过优化（5）计算最佳滤波器 ˜h，并从其响应（第3.3节）估计每个通道的学习可靠性权重˜ w = [ ˜ w 1 , . . . , ˜ w N d ]T。为了获得时间鲁棒性，通过学习率 η使用自回归模型更新滤波器和通道学习可靠性权重。算法2总结了单个跟踪迭代的步骤。04. 实验分析0本节概述了对所提出的CSR-DCF跟踪器进行全面实验评估的情况。实现细节在第4.1节中讨论，第4.2节报告了所提出的约束学习与相关最新技术的比较，第4.3节提供了消融研究，第4.4节、第4.5节和第4.6节报告了在三个最新基准上的性能，第4.7节评估了跟踪速度。04.1. 实现细节和参数0在相关滤波器和HSV前景中使用标准HOG[15]和Colornames [38]特征63130算法2：CSR-DCF跟踪算法。要求：图像 It，上一帧上的目标位置 p t − 1，尺度 s t − 1，滤波器 h t− 1，颜色直方图 c t − 1，通道可靠性 w t −1。确保：位置 p t，尺度 s t和更新的模型。定位和尺度估计：01: 新的目标位置 p t：在 h t − 1 和图像块特征 f之间的相关性最大的位置 p t − 1上提取的特征，并根据通道可靠性得分（第 3.3节）进行加权。2: 使用位置 p t，估计新的尺度 s t。更新：03：提取前景和背景直方图c_f~,c_b~。4：更新前景和背景直方图c_f_t = (1 - η_c)c_f_t-1+ η_c c_f~, c_b_t = (1 - η_c)c_b_t-1 + η_cc_b~。5：估计可靠性图m（第3.1节）。6：使用m（算法1）估计新滤波器h~。07：从h（第3.3节）估计信道可靠性w~。8：更新滤波器h_t = (1 - η)h_t-1 + ηh~。9：更新信道可靠性w_t =(1 - η)w_t-1 + ηw~。0使用每个颜色通道的16个bin的前景/背景颜色直方图在可靠性图估计中使用参数α_min =0.05。所有参数都设置为文献中常用的值[10,23]。直方图适应率设置为η_c =0.04，相关滤波器适应率设置为η =0.02，正则化参数设置为λ =0.01。增广拉格朗日优化参数设置为µ_0 = 5和β =3。所有参数都有直观的解释，不需要微调，并且在所有实验中保持不变。我们的Matlab实现1在Intel Core i73.4GHz标准台式机上以每秒13帧的速度运行。04.2.边界约束公式的影响0本节将我们提出的边界约束公式（第3节）与最新的技术方法[10,23]进行了比较。在第一个实验中，实现了标准单尺度基于HOG的相关滤波器的三个变体，以强调边界约束的差异：第一个使用我们的空间可靠性边界约束公式（T CR），第二个应用空间正则化约束[10]（T SR），第三个应用有限边界约束[23]（T LB）。通过应用标准的无重置一次评估（OTB[42]）并计算成功曲线上的AUC，在具有挑战性的VOT2015数据集[26]上比较了这三个变体。具有我们约束公式的跟踪器01 CSR-DCF Matlab源代码将公开提供。0图3：成功跟踪到帧Θ_frm的轨迹数量（左上），OTB成功曲线（右上）和非轴对齐目标初始化示例（底部）。0T CR 的AUC为0.32，而替代方案的AUC分别为0.28（T SR）和0.16（T LB）。这些跟踪器之间唯一的区别在于约束公式，这表明了基于空间可靠性的约束公式相对于最新的替代方案[23,10]的优越性。04.2.1非轴对齐目标初始化的稳健性0第3节中提出的CSR-DCF跟踪器与应用替代边界约束的原始最新技术跟踪器SRDCF [10]和CFLB[23]进行了比较。源代码是从作者那里获得的，并且在所有三个跟踪器中只使用了HoG特征进行公平比较。设计了一个实验来评估非轴对齐目标的初始化和跟踪，这是大多数真实变形和非圆形物体的情况。跟踪器在具有非轴对齐目标的帧上进行初始化，并持续跟踪直到序列结束，从而产生大量的跟踪轨迹，并通过各种性能指标进行总结。VOT2015数据集[26]包含非轴对齐的注释，这允许自动识别跟踪器初始化帧，即与轴对齐近似相比，地面实况边界框显著偏离的帧。确定了地面实况和轴对齐近似之间重叠度低于0.5的帧，并进行过滤，以获得至少相隔百帧的一组初始化帧 -此约束适用于一半的类型-An ablation study on VOT2016 (see Section 4.6 for de-tails of the evaluation protocol) was conducted to evalu-ate the contribution of spatial and channel reliability mea-sures in our CSR-DCF. Results of the VOT primary mea-sure EAO and two supplementary measures (A,R) are sum-marized in Table 2. Setting the adaptive channel reliabil-ity weights to uniform values (CuSR-DCF) results in 12%performance drop in EAO compared to CSR-DCF. Replac-ing the adaptive spatial reliability map in CSR-CDF by aconstant map with uniform values within the bounding boxand zeros elsewhere (CSuR-DCF), results in a 21% dropin EAO. Making both replacements in CSR-DCF (CuSuR-DCF) results in 24% drop. Removing the channel and spa-tial reliability map reduces our tracker to a standard DCFwith a large receptive field – the performance drops by over50%.63140表1：非轴对齐初始化实验中三个最相关跟踪器的比较：帧数加权平均跟踪长度Γ frm和比例Γprp，以及使用原始和轴对齐的真实值计算的加权平均重叠Φ rot和Φ aa，分别。0跟踪器 Γ prp Γ frm Φ aa Φ rot0CSR-DCF 0.58 221 0.31 0.240SRDCF（ICCV2015）0.31 95 0.16 0.120LBCF（CVPR2015）0.12 37 0.06 0.040图4：CSR-DCF（红色）跟踪器，SRDCF（蓝色）和LBCF（绿色）的定性结果0[26]估计了初始短期序列长度，并减少了初始值之间的潜在相关性（见图3的示例）。通过计算跟踪器在初始化后仍在跟踪（与真实值的重叠大于0）的轨迹数量Θfrm帧来估计初始化的鲁棒性。图3显示了这些值随着阈值Θfrm的增加而增加。CSR-DCF图在所有阈值上始终高于SRDCF和LBCF。通过轨迹长度加权的平均跟踪长度（重叠降至零之前的帧数）来总结性能。表1显示了帧数加权平均跟踪长度Γ frm和完整轨迹长度Γprp的比例。CSR-DCF在所有指标上远远优于SRDCF和LBCF，表明在与轴对齐模板偏离的具有挑战性的目标的初始化时具有显著的鲁棒性。这一改进在图3（右上图）中进一步得到证实，该图显示了在这些轨迹上计算的OTB成功曲线[42]和由AUC值总结的曲线，这些值等于平均重叠[6]。表1显示了在VOT2015上计算的原始真实值（Φrot）和由轴对齐边界框近似的真实值（Φaa）上的平均重叠。同样，CSR-DCF在这两个竞争替代方案SRDCF和LBCF上表现出色。三个跟踪器的跟踪示例如下所示0表2：CSR-DCF的消融研究0跟踪器EAO R av A av0CSR-DCF 0.338 0.85 0.510CuSR-DCF 0.297 1.08 0.510CSuR-DCF 0.264 1.18 0.490CuSuR-DCF 0.256 1.33 0.510DCF 0.152 2.85 0.470如图4所示04.3. 空间和通道可靠性消融研究04.4. OTB100基准测试[43]0OTB100[43]基准测试包含对100个序列进行的29个跟踪器的结果评估，采用无重置评估协议。跟踪质量通过精度和成功曲线来衡量。成功曲线显示了预测和真实边界框之间的重叠大于阈值的帧数占所有阈值的比例。精度曲线显示了中心误差的类似统计数据。这些曲线下的面积总结了结果。为了减少图表的混乱，我们在这里只显示了最近的顶级基线（即Struck[17]，TLD [22]，CXT [14]，ASLA [44]，SCM [41]，LSK[33]，CSK [18]）和最近的顶级现有跟踪器SRDCF[10]和MUSTER[21]的结果。CSR-DCF在基准测试中排名第一（图5）。它明显优于[43]中报告的最佳表现者，并且优于当前的最新技术（SRDCF [10]和MUSTER[21]）。CSR-DCF在成功曲线上的平均性能略低于SRDCF[9]，但在平均精度（中心误差）方面表现更好。精度和成功曲线都显示CSR-DCF的平均跟踪时间比竞争方法长。00.20.40.60.800.20.40.60.81CSR-DCF [0.733]SRDCF [0.725]MUSTER [0.709]Struck [0.599]TLD [0.550]SCM [0.540]CXT [0.521]CSK [0.496]ASLA [0.491]LSK [0.478]SRDCF [0.598]CSR-DCF [0.587]MUSTER [0.572]Struck [0.463]SCM [0.446]TLD [0.427]CXT [0.414]ASLA [0.410]LSK [0.386]CSK [0.386](0.20, 0.46)(0.20, 0.46)631500 10 20 30 40 50 位置误差阈值01 精度图00 0.6 0.8 1 重叠阈值0成功率0成功图0精度0图5：OTB100[43]基准比较。精度图（左）和成功图（右）。04.5. VOT2015基准[26]0VOT2015[26]基准包含63个最先进的跟踪器在60个具有挑战性的序列上的评估结果。与相关基准相比，VOT2015数据集是通过一种先进的序列选择方法从300个序列中构建的，该方法偏向于难以跟踪的对象，并最大化了视觉属性多样性成本函数[26]。这使得它成为目前可用的最具挑战性的序列集。VOT方法[27]在跟踪失败时重置跟踪器以充分利用数据集。基本的VOT测量指标是跟踪过程中的失败次数（鲁棒性）和成功跟踪期间的平均重叠度（准确性），而主要的VOT2015测量指标是短期序列上的预期平均重叠度（EAO）。后者可以被认为是预期的无重置平均重叠度（OTB方法中的AUC），但具有减少的偏差和方差，如[26]中所解释的。图7显示了CSR-DCF和VOT2015最先进方法在VOTEAO图上的比较，考虑到VOT2016规则，不考虑在VOT相关视频序列上学习的跟踪器以防止过拟合。CSR-DCF优于所有跟踪器，并获得了最高排名。CSR-DCF明显优于相关滤波器跟踪器，如SRDCF[9]，以及应用计算密集型最先进深度特征的跟踪器，例如deepSRDCF [11]和SO-DLT [40]。04.6. VOT2016基准[25]0最后，我们将我们的跟踪器与最新的视觉跟踪基准VOT2016 [25]进行比较。该数据集包含来自VOT2015[26]的60个序列，并改进了注释。该基准评估了一组包括最近发布和尚未发布的最先进跟踪器的70个跟踪器。该集合确实多样化，排名靠前的跟踪器来自各种类别，例如相关滤波器方法（CCOT [13]，Staple [2]，DDC[25]），深度卷积神经网络（TCNN [25]，SSAT [25,36]，MLDF [25, 39]，FastSiamnet[3]）和不同的检测方法。0总体（0.27，0.34）0相机运动（0.28，0.37）0遮挡（0.16，0.29）尺寸变化（0.25，0.38）0未分配（0.10，0.21）0光照变化0运动变化0CSR-DCF CCOT TCNN SSAT MLDF Staple0DDC EBT SRBT Staple+ DNT0图6：VOT2016[25]基准上不同视觉属性的预期平均重叠性能。显示了提出的CSR-DCF和VOT2016中排名前10的跟踪器。视觉属性轴的刻度显示在属性标签下方。0基于EBT [46]和SRBT[25]的方法。图7显示了VOT2016上的EAO性能。我们提出的CSR-DCF在EAO得分为0.338时超过了所有70个跟踪器。CSR-DCF明显优于不应用深度卷积神经网络的相关滤波器方法。尽管CSR-DCF仅应用简单特征，但它优于应用计算密集型深度特征的所有跟踪器。VOT2016[25]数据集通过视觉属性进行逐帧注释，并允许对每个属性的跟踪性能进行详细分析。图6显示了VOT2016上十个最佳跟踪器的每个属性的性能。我们提出的CSR-DCF在六个属性中的五个属性中始终排名前三。在四个属性（尺寸变化，遮挡，相机运动，未分配）中，该跟踪器排名第一。04.7. 跟踪速度分析0跟踪速度是许多实际跟踪问题的重要因素。因此，表3比较了几个相关的和知名的跟踪器（包括VOT2016挑战赛上表现最好的跟踪器）的速度和VOT性能指标。在单个CPU上计算的速度测量是在Intel Core i73.4GHz标准台式机上进行的。所提出的CSR-DCF在VOT指标方面与VOT2016表现最好的CCOT [13]相当，CCOT[13]应用了深度ConvNets，而CSR-DCF的性能与VOT指标相当，而速度比CCOT快20倍。0.00.10.20.30.4Expected Average OverlapASMS2)CSR-DCFqDATgDeepSRDCFwEBTeHMMTxD;LDPtMCTlMEEMhnsamfiOACFkrajsscaRobStruckjs3trackersscebtuSODLTfsPSTysrdcfrstruckosumshiftdqwertyuioasdfhjkl;2)0.00.10.20.30.4Expected Average OverlapCCOTwCSR-DCFqDDCuDeepSRDCFgDNTsEBTiFCFkGGTv22)MDNetNjMLDFtRFDCF2;SHCThSiamRNfSRBToSRDCFlSSATrSSKCFdStapleySTAPLEpaTCNNeqwertyuioasdfghjkl;2)Figure 7: Expected average overlap plot for VOT2015 [26] (left) and VOT2016 [25] (right) benchmarks with the proposedCSR-DCF tracker. Legends are shown only for top performing trackers. The graphs with full legends are provided insupplementary materials.TrackerPublished atEAOAavRavfpsCCOTECCV20160.3310.520.850.55CCOT*ECCV20160.2740.521.181.0SRDCFICCV20150.2470.521.507.3KCFPAMI20150.1920.482.03115.7DSSTPAMI20160.1810.482.5218.6StruckICCV20110.1420.423.378.5631601 10 20 30 40 50 60 排名01 10 20 30 40 50 60 70 排名0表3：相关跟踪器和Struck的每秒帧数（fps）。参考EAO，平均准确度（A av）和平均失败次数（R av）。0CSR-DCF 这项工作。0.338 0.51 0.85 13.00比CCOT快10倍。CCOT通过用与CSR-DCF相同的简单特征替换计算密集型的深度特征来进行修改。结果跟踪器（CCOT*）比CSR-DCF慢十倍，而性能下降超过15%。所提出的CSR-DCF比相关的SRDCF[9]快两倍，同时实现了约25%更好的跟踪结果。与DSST[8]和Struck[17]等基线实时跟踪器相比，CSR-DCF的速度相当，但其跟踪性能明显较差。与实时跟踪器相比，最快的跟踪器KCF[19]运行速度比实时快得多，但性能明显较差。实验表明，CSR-DCF与应用计算要求高维特征的最先进的跟踪器相当，但运行速度更快，并且在实时跟踪器中提供了最佳的跟踪性能。05. 结论0引入了具有通道和空间可靠性的判别相关滤波器(CSR-DCF).空间0可靠性映射使滤波器的支持适应适合跟踪的对象部分,克服了循环移位的问题, 实现了任意搜索范围,并克服了矩形形状假设的限制.提出了一种新颖的高效空间映射估计方法,并导出了一种高效的优化过程,用于学习由空间可靠性映射约束的相关滤波器.CSR-DCF的第二个创新点是通道可靠性.可靠性是根据约束最小二乘解的属性估计得出的.通道可靠性分数用于加权定位中每个通道的滤波器响应.0与最近相关的边界约束方法进行实验比较表明,使用我们的方法具有显著的优势.CSR-DCF在标准基准测试中表现出最先进的性能-OTB100[43], VOT2015 [26]和VOT2016 [26],同时在单个CPU上实时运行.尽管使用了简单的特征如HoG和Colornames,CSR-DCF的性能与应用计算复杂的深度ConvNet的跟踪器相当, 但速度更快.0据我们所知,所提出的方法是第一种引入任意空间可靠性映射和通道可靠性的约束滤波器学习方法.空间和通道可靠性的表达式是通用的,可以在大多数现代相关滤波器中使用,例如使用深度特征的滤波器.0致谢0这项工作部分得到以下研究计划和项目的支持:斯洛文尼亚研究机构研究计划和项目P2-0214和L2-6765.Jiˇri Matas和Tom´aˇsVoj´ı˜r得到捷克科学基金会项目GACRP103/12/G084和丰田汽车欧洲的支持. 我们还要感谢Rok ˇZitko博士对复杂微分的讨论.[25] M.Kristan,A.Leonardis,J.Matas,M.Felsberg,R. Pflugfelder, L. ˇCehovin, T. Vojir, G. H¨ager, A. Lukeˇziˇc,and G. et al. Fernandez. The visual object tracking vot2016challenge results. In Proc. European Conf. Computer Vision,2016. 7, 8[26] M. Kristan, J. Matas, A. Leonardis, M. Felsberg, L. ˇCehovin,G. Fernandez, T. Vojir, G. H¨ager, G. Nebehay, and R. et al.Pflugfelder. The visual object tracking vot2015 challengeresults. In Int. Conf. Computer Vision, 2015. 1, 2, 5, 6, 7, 863170参考文献0[1] B. Babenko, M.-H. Yang, and S. Belongie.基于在线多实例学习的鲁棒目标跟踪. IEEE模式分析与机器智能,33(8):1619–1632, 2011年8月. 10[2] L. Bertinetto, J. Valmadre, S. Golodetz, O. Miksik, and P.H. S. Torr. Staple: 实时跟踪的互补学习器.在计算机视觉和模式识别会议上, 第1401-1409页, 2016年6月. 70[3] L. Bertinetto, J. Valmadre, J. F. Henriques, A. Vedaldi, andP. H. Torr. 用于目标跟踪的全卷积孪生网络.arXiv预印本arXiv:1606.09549, 2016年. 70[4] D. S. Bolme, J. R. Beveridge, B. A. Draper, and Y. M. Lui.使用自适应相关滤波器进行视觉目标跟踪.在计算机视觉和模式识别会议上, 第2544-2550页. IEEE, 2010年.1, 2, 3, 40[5] S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein.分布式优化和统计学习的交替方向乘子法. 机器学习基础与趋势,3(
我的内容管理
展开
