基于CLBP的尺度和方向自适应均值漂移跟踪方法研究

沙特国王大学学报基于CLBP的尺度和方向自适应均值漂移跟踪Oumaima Slitia，Habib Hamamb，Hamid Amiriaa突尼斯国立工程学院，Tunis Al Manar 1002，突尼斯b加拿大蒙克顿大学电气工程系阿提奇莱因福奥文章历史记录：2017年2月14日收到2017年5月7日修订2017年5月7日接受2017年5月19日在线发布关键词：跟踪运动纹理A B S T R A C T在本文中，我们解决的问题，跟踪一个对象的姿态和外观的变化，在可能的闭塞，提出了一种有效的方法来嵌入纹理信息提供的本地二进制模式（LBP），本地三进制模式（LTP）和完整的本地二进制模式（CLBP）的均值漂移框架。我们将颜色分布的信息与局部二值模式纹理的变体相结合，以达到鲁棒跟踪的目的提出了四种自适应尺度和方向均值漂移跟踪器：LBP_MS、LTP_MS、CLBP_MS1和CLBP_MS2。最后一个跟踪器可以处理纹理和非纹理对象，并处理运动跟踪器的特定弱点，例如在特定条件下的故障由于它可以利用更多的图像信息，我们使用七个公共视频，其中包含各种挑战，以说明所提出的方法的准确性。这些跟踪器成功地应对了快速移动的物体、目标规模和方向的变化，并且证明比纯粹的彩色或基于特征的跟踪器更稳定，更不容易偏离目标©2017作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍随着跟踪应用在我们的日常生活中变得普遍，相当多的研究都集中在基于视频的运动跟踪上，以最大限度地减少人为干预，Sridhar et al.（2015），Sliti et al. （2014 a）、Du等人（2013）和Wu等人，2015年。该主题吸引了工业中许多领域的兴趣，并且在驾驶辅助系统和许多家用技术的开发中是必要的，Zhang等人（2014）和Henriques等人（2015）。（2015年）。所有的跟踪应用都要求有很高的精度，尤其是在动态背景下，并且需要处理遮挡、杂波、目标合并或分裂等与运动目标相关的复杂事件。此外，该算法还应克服缩放问题的局限性时，对象扩展或缩小其规模。跟踪方法必须具有较低的计算复杂度，因为跟踪系统通常专用于高水平*通讯作者。电子邮件地址：ou. gmail.com（O. Sliti），habib. umoncton.ca（H.Amiri）。沙特国王大学负责同行审查任务，如语义解释和目标识别。为了处理所有这些问题，直观的想法是在前一帧中的目标模型和对应于当前对象外观的目标候选者从本质上讲，均值漂移算法满足我们的要求，因为它最佳地估计目标 信 息 ， 从 当 前 的 测 量 和 以 前 的 状 态 。 它 通 过 基 于 目 标 模 型 的Bhattacharyya系数和连续帧中的目标候选来测量相似性而用于跟踪算法中，Singh和Mishra（2011）。均值漂移过程基于通过在帧上扫描搜索窗口来从给定的离散数据样本中找到密度函数的局部最大值。事实上，在目标跟踪系统中，有很多方法采用均值漂移算法。目标模型和候选的表示主要基于颜色，并且在每个帧中通过其颜色直方图来描述，Ju等人（2010）和Ning等人（2011）。（ 2012年）。事实上，为了应对不同的情况，我们应该利用多个图像属性，因为它们中没有一个单独提供不同成像条件的不变性。我们建议加入各种本地二进制模式（LBP和LTP）纹理的颜色特征，以提高自适应尺度和方向均值漂移框架内的目标表示。此后，我们建议在两种方案中使用Guo等人（2010）提出的完全局部二进制模式（CLBP）纹理;第一种提出的方法称为CLBP_MS 1，它仅使用CLBP算子（颜色）来描述目标http://dx.doi.org/10.1016/j.jksuci.2017.05.0031319-1578/©2017作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comO. Sliti等人/Journal of King Saud University417ð Þ½一千块！ð Þ¼JJJJComaniciu等人（2003），通过减少目标候选计算中背景特征的显著影响。但如果-我1/1H1/1H第1页均值漂移框架中的信息被替换），而在CLBP_MS2表示中，我们提出组合完全局部二进制模式（CLBP）纹理和颜色特征。本文在均值漂移框架下提出了CLBP_MS2，并证明了它是一种鲁棒的自适应均值漂移跟踪算法。事实上，通过使用颜色和纹理这两个属性，我们的跟踪器的性能得到了增强，并且对于在无约束条件下获取的序列中常见的数据的大变化变得更加鲁棒。本文的组织如下：在第2节中，我们回顾了一些最有影响力的跟踪算法的基础上的均值漂移框架。第3节回顾了基于自适应尺度和方向的均值漂移跟踪器，而第4节描述了所提出的方法：LBP_MS，LTP_MS，CLBP_MS1和CLBP_MS2，使用嵌入到基于均值漂移的跟踪系统中的新特征提取。实验结果和讨论见第5节，结论见第6节。2. 相关工作有大量的对象跟踪方法依赖于亮度的变化。因此，一个更有区别的目标表示是第一步，迈向准确的跟踪，因此，我们提出的跟踪器描述的对象使用两个加权的特征空间的颜色和纹理，他们受益于他们的互补性，以确保其位置，规模和目标的方向变化的完美估计。3. 传统均值漂移算法尺度方向自适应均值漂移算法在跟踪应用中是一它分为两个部分：3.1. 目标表示在本节中，我们回顾了经典均值漂移跟踪器中使用颜色直方图的目标表示，Comaniciu等人。（2003年）的报告。被跟踪的对象的目标模型被定义为：8>：q^u^CXkjjxωjj2d½bxω -u]ð1Þ采用均值漂移算法。这种算法的性能取决于目标相对于背景的可分离性。到克服这问题，的校正背景加权直方图（CBWH）同样地，候选区域的目标候选模型Py定义如下：8>p^uychXnhkjjy-xijj2d½bxi-u]ð2Þ和谐地的CBWH不能手柄变化在颜色和照明。为了减少均值漂移跟踪算法中由照明变化引起的干扰，Ju等人（2010）描述了一种由自构造模糊聚类给出的模糊颜色直方图，其中由所提出的方法生成的颜色箱的数量取决于目标图像。此外，对均值漂移算法进行了改进，使其能够处理由帧产生的颜色变化概率分布这个改进版的意思是其中q^u和p^u是特征u在q^和tar中的概率其中，d表示克罗内克δ函数，m是特征空间的数量，fxωigi/1. . n礼物在（1）以原始位置为中心的目标区域中的归一化像素位置，并且在（2）中描述了当前帧中以y为中心的目标候选区域中的像素位置，并且b<$xωi<$i将像素xωi 到直方图箱。最后，常数C和Ch是归一化函数，分别定义为：CAMShift（Continuously Adaptive Mean Shift，连续自适应均值漂移）Martin等人（ 2010年）。不像均值漂移只处理当搜索具有固定C¼Pnkjjxωjj2<$;Ch¼Pnh kjjy-xij j23大小，它使用动态搜索窗口，不断适应其大小（即，在每个视频帧之后，这取决于目标对象的大小然而，只有在目标与背景有准确的边界，并且目标的颜色明显不同的情况下，它才能提供可靠的结果。此后，Stolkin等人（2008）提出了一种新的基于颜色的跟踪算法，称为ABCshift（自适应背景CAMSULT）跟踪器，该跟踪器使用贝叶斯概率方法对背景进行建模。之后，Zivkovic等人（2004年）开发了EM_shift，并成功地同时估计了描述局部模式的近似形状和位置的协方差矩阵。在这些种类繁多的方法中，请注意，kx是一个各向同性核，它将较小的权重分配给远离中心的像素。核kx具有单调和凸递减的轮廓，并且它被定义为function：k：0;R withk x k x2，Comaniciu et al.（2000）.目标模型和目标候选之间的相似性使用Bhattacharyya系数来计算，该系数定义了两个归一化直方图之间的对应关系：Xmq我们的工作受到Ning等人（2012）提出的关于在均值漂移跟踪框架下估计目标的尺度和方向的尺度和方向自适应均值漂移跟踪（SOAMST）算法的该跟踪器已被证明是有效的，在解决如何估计的规模和方向变化的目标跟踪的问题。事实上，EM_shift和SOAMST仅使用颜色信息来描述模型，并且通常，此类算法的性能严重依赖于目标表示。然而，空间信息的缺乏可能在某些条件下导致目标位置的丢失，诸如类似的遮挡和尺度方向自适应均值漂移跟踪算法利用Bhattacharyya系数估计目标的位置、尺度和方向。当目标区域（在前一帧中）中的颜色分布接近候选区域（在当前帧中）中的颜色分布时，该相似性函数取高值（接近1）因此，如果对象及其背景具有显著不同的颜色分布，则随着Bhattacharrya系数增加，目标候选者越来越有可能捕获当前帧中的实际对象，Comaniciu等人。（2003年）的报告。因此，目标模型和候选模型之间的距离为：1/1：1/1q½p^uy;q^u] ¼普乌伊奇乌ð4Þ418O. Sliti等人/Journal of King Saud Universityð Þ ðÞXRð ÞXX¼xx;MiX¼xxi（c）20M001M00M001q½p^y;q^]2p^uy0q^u2ChH2016年12月 26日¼10k2×Muu;12;k1K2.Σ.ΣM10¼xixi1;M01¼umxixi2×11mmd<$p^y;q^] <$q<$1-qp^y;q^]ð5Þl¼M20-<$x2; L¼M11-<$x1<$x2;L¼M02-<$x2ð14Þ3.2. 目标定位p^y_n和q^y_n之间的距离（5）的最为了估计要跟踪的对象的尺度和方向，将（14）转换为协方差矩阵：公司简介l20l11磅15磅需要最大化巴塔查里亚系数（4）;因此，泰勒展开用于线性近似（4）如下：Lows，Comaniciu等人（2000年）：l11 l02使用奇异值分解（SVD），（15）变为：1Xmq1X第1页1/1y-xi2T. u11u12u21u22.K20分！. u11u12T2u21u22其中y0是前一帧中的位置，x是 计算ð16Þ通过：xi¼X sq^ud½bxω-u]7与Uu11 u12S21 22k202和0K22作为特征值-第1页p^uðy0Þi其中，两个向量u11;u 21T和u12;u 22T是目标候选区域中目标的两个主轴目标是目标候选中的像素的由（7）给出的权重值区域描述了它属于目标的概率因此，所有像素的权重之和（即，零阶矩）由椭圆表示，并且其半短轴和半长轴的长度分别由a和b表示：可以被认为是要跟踪的对象的加权区域a¼sk1A;b¼sk2Að17ÞNing et al.（2012）and Singh et al.（2012年）。M00是目标区域的估计，并被正式给出pk2pk1通过：nM00¼x10001/1在估计当前帧中的目标的位置、尺度和取向之后，表示以下协方差矩阵以定义下一帧中的目标候选的大小每当目标x的权重为xxi变得更大，Cov2¼U×2012年4月20日 02号！× Uð18Þ估 计 误 差 将 是 显 著 的 ， 反 之 亦 然 。 根 据 Ning 等 人 （ 2012 ） ，Bhattacharyya系数可用于在估计目标区域时调整M00，通过提出以下等式：A¼cqM009其中c是单调递增函数。它用于将M00收缩回真实目标标度，定义为：ðaþDdÞ其中，采用Dd来递增下一帧中的目标候选区域。目标候选区域的初始位置由以下椭圆区域给出：x-y1克河2 0 % 的有效期q-1ð10Þ4. 该方法几种均值漂移跟踪算法采用颜色信息，当r的最优值在1 ~ 2之间时，Ning et al. （2012年）。如果q近似取上界1，则意味着目标候选模型接近目标模型如果它更接近于0，则候选模型与目标模型不相同，因为cq变得非常小，并且M00放大，直到它超过目标区域。假设候选区域中每个像素的坐标为 1 ;x i;1; x i;2 ，则候选区域的矩变为， Ning et al.（ 2012年）：nhnh;i;我恩恩考虑到目标的代表性。虽然时间有效，但当考虑非刚性物体时，它们通常会失败，Ning等人。（2012年）。基于目标的颜色辨别的均值漂移此外，现在大多数相机使用颜色过滤器来调整其白平衡，并根据全局图像强度执行一些颜色校正，这会显着影响精度。为了解决这些问题，已经提出了各种类型的扩展，并且许多作者通过将均值漂移与局部方法相结合，Sliti，M202i;1我202i;2我ð12Þ等 人 （ 2014 b ） 或 通 过 引 入 对 象 / 背 景 分 类 （ Aliabadian 等 人（2012）），以便处理严重的遮挡。通过考虑（8），并假设x1;x2是目标候选区域，目标y1的新位置将由下式定义：使用LBP纹理的变体，我们在本节中介绍四种尺度方向自适应均值漂移跟踪算法：LBP_MS，LTP_MS，CLBP_MS1和CLBP_MS2。我们提出了一个仔细的y1¼英寸x1;x2¼ 英寸M10M00M01M00ð13Þ颜色和纹理特征的组合，并表明，这提高了跟踪非刚性物体在高度动态和嘈杂的场景的准确性。用于纹理分析的特征一阶矩与零阶矩之比y1描述了目标的位置，而二阶中心矩描述了目标的形状和方向。当量可以使用（8）、（11）和（12）将（7）重写为二阶中心矩：是传统的LBP，Ojala et al. （1996），局部三元模式LTP，Tan和Triggs（2010），以及完全局部二元模式（CLBP），Singh等人（2012）。我们的假设是，通过将这些纹理特征集成到均值漂移框架..1102nhxikj公司简介×¼¼不O. Sliti等人/Journal of King Saud University419中，然后将其与LBP_MS、LTP_MS、CLBP_MS1和420O. Sliti等人/Journal of King Saud Universityð ð Þ ðÞÞ我Jð Þ×ð-Þ ð-þÞ××公司简介¼ ¼¼¼Snpn-pc2;Sn¼<.ðÞHeikkilä和Pietikäinen（2006年）提出的LBP过程，CLBP_MS2，目标的位置，尺度和方向变化的估计将显着增强。4.1. LBP_MS和LTP_MS局部二值模式：LBP算子在纹理分析和模式识别的研究领域中是众所周知的。Ojala等人（1996）提出，帧中区域的纹理可以由LBP的分布来表征。它是一种有效而简单的算子，描述了图像局部纹理的空间结构。该方法首先对中心像素的P个邻域进行阈值化，然后将阈值化后的值乘以二项权值，最后拼接得到LBP码。最后，将得到的二进制代码分配给中心像素（图1）。给定图像中的一个像素，LBP是通过将其与其相邻像素进行比较来生成的：n-1LBPN;Rxc;ycn. 1; p n-p c P 0其中pc表示中心像素的灰度值，pn为相邻像素的灰度值;N和R分别为相邻像素的数量和半径。设图像的大小为I×J，则pc的坐标为<$0;0 <$0，pn的坐标为Rcos 2pn=N; Rsin 2pn=N。LBP纹理是由创建一个histogram：XX.1; x¼ yFig. 1. 中心像素p及其圆形相邻像素N = 8，半径R = 1。LTP由零生成，而LTPL由两个步骤生成：首先，原始LTP中的所有值1被替换为零，然后，负值被替换为1，Akhloufi et al.（2010）。LBP描述符的两个独立通道，分别用于正和负计算各个分量，最后将结果连接起来。联系我们联系我们f=LBPN;Ri;j;T;T2½0;T];fx;y0;否则ð21Þ通常，颜色可以提供许多线索，并且众所周知的颜色描述符是经常使用的RGB颜色直方图在不同的场合进行跟踪。为了提取相关的其中T是最大LBP代码值。本质上，在具有几乎均匀外观的帧的区域中，中心像素及其相邻像素的灰度值因此，LBP算子导致对目标的微不足道的描述通过替换LBP运算符中的项，s n p np c在（十九）与s n p np c本发明公开了一种复合材料，海基莱和Pietikäinen（2006）成功地修改了阈值策略，这使得LBP更具判别性。为了保持LBP算子的鲁棒性，α的值应该相对较小。局部三元模式LTP：LBP算子在各种计算机视觉应用中的成功激发了研究人员开发不同的变体。由于其灵活性，已经发明了局部三值模式（LTP）描述符的泛化。为了构建一个新的纹理算子，Tan和Triggs（2010）首先提出了这个特征;这是二进制模式到三值模式码的简单扩展。在LBP中，a3.考虑帧中中心像素周围的3个邻域，LTP的数学表达式描述如下：为了确定目标的信息，与由（20）提取的LBP图案或由（22）提取的LTP图案一起选择最后一个。在Eq.的目标模型中，（1），通过将RGB颜色空间的三个分量固定为16 16 16，并通过向纹理值的颜色直方图添加新的bin，可以充分描述对象的颜色信息，u¼ 16 × 16× 16 ×LBP在的LBP_MS跟踪器和LTP_MS跟踪器中的u<$416× 16× 16×LTP同样，坎迪-日期模型p^u_y_n用（2）计算。4.2. 完全局部二值模式纹理CLBP是LBP的扩展版本，具有一些差异，Guo等人（2010）;Ahmed等人，2011年; Singh等人，2012年。在传统的LBP特征中，仅考虑像素差异的符号。相比之下，CLBP特征进一步考虑局部差异的幅度（M）和原始中心灰度级（C）。给定一个中心像素pc和它的邻居pn，我们假设8>1;xPp-pt：LTPN;R¼spn-pc2;sx¼dn是局部差异向量，它表征图像N-1NN Cp c处的局部结构，其中d n<$pn-pc。我们建议嵌入n¼0>：-1;xpn-pc-t：ð22Þ新CLBP操作员，因此，在本发明中，的当地差异将被d npnpca.形式上，CLBP将dn分解为两个分量，嫩茨称为的当地差异符号-幅度变换其中t表示用户定义的阈值。在LTP方法中，模式字符串是根据以下条件生成的，具有三个值：（LDSMT），Singh et al. （2012年）：与以中心像素的值为阈值的LBP不同，像素值的变化随着我们增加t的值而变得更加重要，这增强了dn<$sn×mn; 带sn¼符号dn23mn<$kdnk阈值结果，并且在我们的实现中，我们选择了T5。 为了去除负值，将三元模式转换为两个LBP单元;正的是上LTP（LTPU），负的是下LTP（LTPL），如图所示。二、LTPU是通过替换原始其中mn等于中心像素与其邻居在我们实验，我们固定R1;N8和5计算CLBP纹理。在此基础上，我们得到了三个对纹理合成非常重要的特征;XXn¼00;pn-pc0<ð20Þ0;pn-pc-txpn-pct：<：xi¼q^up^uy0>0;xc<图二. 基本LTP运算符的图示。– CLBP_S是传统的LBP，– CLBP_M利用幅度信息，其中c是阈值。目标模型和目标候选将如下所示，u将是纹理功能：8>q^^fq^ugu^CLBPS;CLBPM;CLBPC：n-1n.1; x Pc>p^^fp^uyygu^CLBPS;CLBPM;CLBPC：ð26ÞCLBP MN; R¼tm n;c2;tx; c24– CLBP_C用于对原始图像中心：第1页4.4. CLBP_MS2CLBP C1/4tg; c g;ttx; cg。1; x Pcð25ÞN; Rc我0;xc<在所提出的方法中，三个特征CLBP_S，CLBP_M，和CLBP_C将被融合，以通过使用其中cI表示平均灰度级中的阈值，输入帧。本节有两个主要部分;首先，我们Xn¼0d½b<$xωi< $-u]：422O. Sliti等人/Journal of King Saud University总结的特征提取使用只CLBP织构(CLBP_MS1方法），然后将其与颜色特征相(CLBP_MS2方法），这些方法共同产生极高性能其次，我们描述了嵌入它在的“规模和取向自适应是说shift跟踪框架”。4.3. CLBP_MS1CLBP_MS1仅基于纹理，该纹理由CLBP过程。它被认为是一个重要的特征，该算子的关键项是CLBP（S/M/C）。在CLBP_MS1目标由独特的直方图表示对象轨迹由图像区域识别，并且其中包含的信息用于描述移动对象;但是相反，为了仅关注单个像素的值（CLBP_C），使用在每个像素处定义的特征的分布（CLBP_S和CLBP_M）。这些信息可以包括均匀度、对比度、密度和粗糙度。实际上，跟踪是通过扫描实际帧来执行的，以便找到一个类似的区域，该区域具有与前一个目标模型直方图最佳匹配的直方图。特征提取过程在跟踪算法中起着重要作用。CLBP纹理直方图通常基于其三个算子的属性：CLBP_S、CLBP_M和CLBP_C（图3）。因此，我们建议用CLBP（S/M/C）代替R/G/B通道。因此，目标的外观将与此纹理分布建模。的O. Sliti等人/Journal of King Saud University423α混合法这种技术在计算机图形将第一个图像中的每个像素与相应的第二个中的响应像素，Cao et al.（2010）。共混因子称为-alph-。我们将目标模型关联到框-opacity value = alpha value-，它表示亮度能量概率在这种技术中，alpha值为每个像素描述目标的透明度1如果表面是100%不透明的，如果它表示透明，则为0Object，Singh and Mishra（2011）. 首先，CLBP_S的每个像素将与CLBP_M中的值组合使用混合方程：CLBPS=MCLBPS×@CLBP M1- @27我们在第一步中使用CLBP_S和CLBP_M，然后添加CLBP_C. 结果将是新图像，它覆盖了原始三个CLBP分量矩阵S/M/C。CLBPS=M=C¼CLBPS=M×@CLBPC1- @28物体在连续帧中的缩小或放大通常是一个渐进的过程。事实上，相邻帧中尺度的突然变化因此，我们假设目标的大小变化是光滑和轻微的，并且这种假设在大多数视频中正确地维持，包括具有高动态场景的视频。通过计算从目标模型和目标候选项导出的权重图像来确保对移动对象的尺度和取向的评估。在传统的尺度自适应均值漂移跟踪算法中，每个像素的权值表示其属于目标候选的概率，并且由（7）定义为其颜色与目标候选的比率的平方根。424O. Sliti等人/Journal of King Saud Universityð Þ¼×× ×ð n n Þ××图三. 通过CLBP直方图的外观。概率在q^到它的颜色概率在p^，Juetal. （2010年）。在我们的方法中，这样的权重图像值可以通过CLBP纹理与目标模型在目标候选区域中的密度分布函数的组合来生成。 使用（1）、（2）和（28），CLBP纹理和RGB通道描述目标模型q^u和目标候选者p^u，y。 为了获取目标区域的纹理和颜色分布，我们使用（7），同时向u添加纹理值的另一个bin CLBP;因此，它变成： R G B CLBP。前三个维度图示-第四维度（即CLBP）是CLBP S M C纹理模式的仓（图1B）。4）.5. 实验结果与讨论在本节中，我们对一系列代表各种挑战的真实世界序列进行实验，例如照明变化、快速移动对象、多个对象相交和移动相机。序列包含各种类型的目标（刚性，铰接）和不同的闭塞情况我们应用了三种最先进的跟踪算法进行了一系列的实验，旨在证明我们提出的跟踪方法的可靠性，使用变体的LBP纹理和颜色量化。将我们提出的算法LBP_MS、LTP_MS、CLBP_MS 1和CLBP_MS 2与Ning等人（2012）的校正背景加权直方图方法（CBWH）、Zivkovic等人（ 2004 ） 的 EM_shift 跟 踪 算 法 （ EM_shift ） 以 及 Ning 等 人（2004）的尺度和方向自适应均值漂移跟踪（SOAMST）进行比较。（2012年）。在所有跟踪方法中，我们选择RGB颜色作为的特征空间和我们量化它161616箱。第一个视频是一个赛车序列，100帧; CBWH跟踪器、EM_shift跟踪器、SOAMST跟踪器和我们提出的跟踪器的结果的一些样本帧索引分别为51、71、79和100。该序列用非典型的数字相机配准此外，噪音水平相对较高，因为它是由赛车和碰撞的持续快速运动引起的。这一序列的第一部分的七个算法的跟踪效果绘制。由于该设备配备了强大的变焦，我们看到一个明显的尺度变化，因此固定尺度的均值漂移算法CBWH无法实现良好的跟踪效果。从第71帧开始，EM_shift、SOAMST和CLBP_MS 1可以成功定位赛车，但偶尔会丢失方向和比例。尽管使用了颜色和纹理信息，但LBP_MS和LTP_MS跟踪结果并不令人满意，而CLBP_MS 2方法成功地定位了目标，将椭圆调整到其精确大小，并在事故期间处理了赛车在旋转出通道时的方向。只有一个假设;当目标表示基于一个单一的特征时，见图4。 CLBP_MS2纹理特征框架。CBWH、EM_shift和SOAMST中的颜色，或者CLBP_MS 1中的纹理，跟踪器不能处理具有挑战性的视频，并且不能提取目标的最佳特征。实际上，在实践中，LBP的可靠性在大的光照变化下显著降低。实验证明了LTP算子对噪声的敏感性。颜色与CLBP纹理的结合成功地描述了目标并给出了其准确的特征，并将此特征提取嵌入到尺度和方向自适应均值漂移跟踪算法中，使CLBP_MS2方法更容易收敛到候选目标。第二个镜头是用一个贴在滑板底部的小相机拍摄的。它展示了一个滑板表演。这段视频被认为是具有挑战性的，因为目标的速度，以及它的曲折和扭曲。图6在帧25、46和56中呈现了七种方法的跟踪结果。CBWH和CLBP_MS1无法跟踪滑板运动员，最终偏离滑板运动员，而所有其他跟踪器都成功定位了目标。滑板者的腿与道路颜色相同，导致目标边界重叠。这将禁用EM_shift、SOAMST、LBP_MS和LTP_MS的椭圆以适应目标的大小和方向。由于CLPB纹理，虚假的边缘和边界间隙不能阻止我们提出的方法CLBP_MS2，以定位和适应滑板的规模和方向。颜色特征和CLBP纹理的结合足以克服这些困难，这显著地增强了特征提取过程。因此，CLBP_MS2通过杂波鲁棒地跟踪目标。O. Sliti等人/Journal of King Saud University425图五、通过目标表示模型CBWH、EM_shift、SOAMST、LBP_MS、LTP_MS、CLBP_MS1和CLBP_MS2跟踪赛车序列的结果显示帧51、71、79和100图7示出了具有79帧的序列的帧9、47和60的跟踪结果，其中目标是白色卡车。CBWH、EM_shift和CLBP_MS1在跟踪目标方面表现良好，但无法确定目标的正确大小和方向，因为这些跟踪方法无法处理姿态变化。相比之下，SOAMST、LBP_MS、LTP_MS和CLBP_MS 2可以成功地实现井眼跟踪过程。实际上，利用Bhattacharyya系数、零阶矩和修正的二阶中心，目标模型和候选模型之间的矩使得高度、宽度和方向变化的估计非常准确。由于SOAMST和CLBP_MS2在此视频中获得了最佳结果，因此我们建议在收敛到正确位置和方向时比较每种方法的迭代次数。图8示出了由新方法CLBP_MS2和SOAMST在第三实验上执行的迭代次数。426O. Sliti等人/Journal of King Saud University图六、目标表示模型CBWH、EM_shift、SOAMST、LBP_MS、LTP_MS、CLBP_MS1和CLBP_MS2对滑板序列的跟踪结果显示帧25、46和56顺序在下图中，描述了基于两种跟踪方法计算跟踪卡车的整个过程的迭代总数。基于上述观察，我们可以看到我们的方法的迭代次数少于SOAMST（以红色表示）。红色曲线通常在蓝色曲线的上方，这表明该方法需要比我们的方法（框架11，17，33，43）。CLBP_MS2在杂波和该序列较差的条件下找到最佳尺度位置和方向所需的较低迭代次数证明了颜色和CLBP纹理的组合生成了与模型和可识别目标强匹配的有效特征O. Sliti等人/Journal of King Saud University427图8.第八条。迭代（SOAMST，CLBP_MS2）。见 图 7 。 目 标 表 示 模 型 CBWH 、 EM_shift 、 SOAMST 、 LBP_MS 、 LTP_MS 、CLBP_MS1和CLBP_MS2对白色卡车序列的跟踪结果。显示第9、47和60帧这个实验（图9）是一个235帧跳伞运动的序列。我们的目标是失控的跳伞者。CBWH方法的设计是为了减少背景对目标定位的干扰，因此这一特性使该方法能够给出良好的跟踪结果。但由于它是一种固定尺度的均值漂移跟踪方法，使得尺度和方位的确定成为不可能。EM_shift通过帧165、186和294中的杂波鲁棒地跟踪skydiver，但是它漂移远离目标并且不能从丢失的跟踪中恢复。因此，该方法不处理不一致的运动和姿态变化。SOAMST跟踪结果是本实验中最差的，该方法甚至不能定位目标。它在杂乱的背景中不起作用，因为它在每帧中挑选有区别的颜色特征，这使得它在处理低对比度图像时效果不佳。因此，当目标和背景之间存在相似性时，它无法完成跟踪过程。通过观察目标这是由于该跟踪器主要基于CLBP（M/S/C）的三个特征 （ 对 目 标 的 描 述 只 需 要 纹 理 特 征 ） 。 LBP_MS 、 LTP_MS 和CLBP_MS2方法联合使用LBP纹理的颜色和变体来描述跳伞者，这使得这些特征对图像模糊不太敏感。当目标在杂乱的背景中经历大的姿势和外观变化时，这些跟踪器在这个视频中工作得非常好，这解释了与其他方法相比，漂移错误的图图10和图12给出了另外两个不同序列上的跟踪结果。图10中的实验是在橄榄球比赛中的车辆上进行的，其中车辆快速移动。通过SOAMST和CLBP_MS2获得的结果是相同的，不仅在定位对象方面，而且在有效地定义其比例和方向方面都获得了非常LTP_MS和LBP_MS给出的结果的相似性是由LTP运算符继承了LBP的大多数其他关键优点这一事实来解释的图11中示出了通过（5）针对每个帧计算的巴塔查里亚距离的值。该相似性系数在取零值时指示目标模型与所选候选模型之间的完美匹配。在该序列的第一帧中，汽车被很好地检测到，因此Bhattacharyya距离的值在0： 1和0： 2之间。之后，如帧36中所示，CLBP_MS 2、SOAMST、LTP_MS和LBP_MS的峰值分别达到0：61、 0： 65、 0： 68和0：69。由人群引起的完全遮挡提高了剩余距离值。CLBP_MS2跟踪器的蓝色曲线劣于该序列中的其他曲线。可以理解 ， 在 困 难 的 实 验 设 置 下 ， 在 四 个 跟 踪 器 中 ， CLBP_MS2 的Bhattacharyya距离最低。因此，组合的颜色和CLBP纹理是目标的适当表示。这些结果表明，建议CLBP对新开发的纹理算子，LBP和LTP的优越性。这是因为CLBP纹理对噪声不敏感，并且具有实现令人印象深刻的跟踪结果的高鉴别特性。428O. Sliti等人/Journal of King Saud University见图9。目标表示模型CBWH、EM_shift、SOAMST、LBP_MS、LTP_MS、CLBP_MS1和CLBP_MS2对跳伞序列的跟踪结果。显示帧165、186、195和294图12是用固定摄像机拍摄的更复杂的Gym_ball序列。这里跟踪的物体是一个蓝色的球，由于它的快速性，它表现出明显的形状变化和虚假的球边缘（第41和75帧）。实验结果表明，LBP_MS、LTP_MS和CLBP_MS 2在定位球方面取得了很好的性能，而其他跟踪器不能快速跟踪球。SOAMST使用RGB颜色直方图来表示目标，这在本实验中是足够的。表1列出了平均迭代次数实验序列上的七个追踪器CLBP_MS2的迭代次数是最低的，因为它完美地模拟了目标，因此它不需要大量的迭代来收敛。所提出的CLBP_MS2和SOAMST的平均迭代次数近似相等。影响EM移位和这两个跟踪器的收敛速度的主要因素是协方差矩阵的计算。对于每次迭代，EM_shift 估 计 它 并 运 行 均 值 偏 移 算 法 三 次 ， 而 SOAMST ，LBP_MS，LTP_MS，CLBP_MS1和CLBP_MS2对于每个帧仅估计迭代一次。所 有 算 法 均 在 MATLAB R2013 a 接 口 中 实 现 ， 并 在 配 备Intel®CoreTM2 Duo 2.1 GHz CPU和2 GB RAM的PC上运行。我们计算每种方法的时间需求分析表2显示CBWH、EM_shift、SOAMST和CLBP_MS1具有最低的计算时间，因为它仅使用颜色或纹理来对目标和候选对象进行建模。对于LBP_MS、LTP_MS和CLBP_MS2，跟踪器在跟踪算法中联合使用颜色和纹理特征，因此与其他方法相比，在未来，我们将努力在减少计算时间和提高跟踪精度之间找到平衡。最后，CLBP_MS2在图1所示的赛车的噪声序列中进行评估。 13岁该视频遭受各种类型的伪影。因此，只有第二种方法在这些不方便的混乱和遮挡下成功地事实上，为了实现稳健的跟踪结果，出现-O. Sliti等人/Journal of King Saud University429见图10。目标表示模型CBWH、EM_shift、SOAMST、LBP_MS、LTP_MS、CLBP_MS1和CLBP_MS2对车辆序列的跟踪结果。显示帧165、186、195和294必须仔细考虑姿态和姿态更新。这些目标的变化在整个跟踪过程中形成，导致定位不良，并使跟踪器对噪声和遮挡非常敏感。仅显示五帧对于该实验，其中图像的质量是模糊的，特别是在帧141中。尽管第99帧中的帖子造成了部分遮挡，但我们的方法证明了其是一个鲁棒的跟踪器，而不会增加复杂性。对目标模型和候选模型的精确表示和描述克服了这些限制，使CLBP_MS2方法有效地处理不同的条件。表3列出了通过使用CLBP_MS2方案估计的赛车序列中的椭圆的半长（宽）、半短（长）高度和方向。在每个帧（1，19，85，99，107和141）中，我们计算红色汽车的实际尺寸和椭圆的估计尺寸。方向被计算为长轴和水平轴之间的角度。序列（赛车，滑板，白色卡车，见图11。车辆序列的帧索引的Bhattachayya距离函数的最小值Bhattacharyya的平均距离为每帧0.2894。430O. Sliti等人/Journal of King Saud University图12个。目标表示模型CBWH、EM_shift、SOAMST、LBP_MS、LTP_MS、CLBP_MS1和CLBP_MS2对Gym_ball序列的跟踪结果显示帧1、41、52和75表1实验的均值漂移迭代视频序列帧目标表示均值偏移迭代平均数CBWH5,85EM位移6SOAMST5.15赛车100LBP_MS5.09LTP_MS6.21CLBP_MS14.52CLBP_MS24.46CBWH6.5714EM位移6.02SOAMST5.2286滑板35LBP_MS5.1142LTP_MS7CLBP_