基于马尔可夫链的超像素分割跟踪算法

1812基于马尔可夫链JeanySon Bohyung Han Joon Hee Han Dept.计算机科学与工程，POSTECH，韩国<$donghun. stradvision.com{<$hanulbog，jeany，bhhan，joonhan} @ postech.ac.kr摘要提 出 了 一 种 简 单 有 效 的 基 于 吸 收 马 尔 可 夫 链（AMC）的超像素分割跟踪算法，该算法采用自底向上和自顶向下相结合的方法估计目标状态，并以递归方式将目标分割传播到后续帧。我们的算法使用在两个连续帧中识别的超像素来构建AMC的图，其中前一帧中的背景超像素每个边缘的权重取决于通过支持向量回归学习的最终超像素中的分数的相似性一旦完成图形化，则使用每个超像素的吸收时间来估计目标分割所提出的跟踪算法在多个具有挑战性的数据集上实现了与最先进的基于分割的跟踪技术相比大幅提高的1. 介绍视觉跟踪是计算机视觉中的一个传统主题，但由于目标外观涉及显著变化并且通常需要高级别场景理解来处理异常，因此仍然是一项具有挑战性的任务。检测跟踪[14，2，4，20，16，42]是应对这些挑战的常见策略之一。然而，它们通常依赖于用于目标表示的边界框，并且当目标涉及大量非刚性或铰接运动时，常常遭受漂移问题。最近，基于分割的跟踪算法已经被积极地研究[3，13，6，10，34]，但是它们中的大多数仅依赖于不足以对目标的语义结构进行建模的像素 级 信 息 ， 或 者 利 用 外 部 分 割 算 法 ， 例 如Grabcut[33]。与来自边界框或像素的信息相比，诸如超像素的中间级线索可以有效地对目标的特征级和语义级信息进行建模。超像素已经用于各种计算机视觉任务，对象分割和识别[31，12，28，8，32]，背景减除[24]和多目标跟踪[26，29]，因为它在基于中级线索的表示中的有效性。此外，超像素的使用大大降低了复杂图像处理和计算机视觉任务的复杂性，因为超像素的数量明显小于像素的数量。视觉跟踪技术通常采用超像素。已经提出了依赖于超像素的基于分割的跟踪算法来处理非刚性和可变形目标[36，37，18，40]。Wang等人[36]使用超像素通过均值漂移聚类进行区分性外观建模动态贝叶斯网络跟踪[37]采用基于超像素的星座模型来处理非刚性变形，而不是用单个整体模型来表示每个对象。然而，由于这两种方法都基于低级特征将每个超像素独立地分类为前景或背景，因此在分割时没有适当地考虑超像素之间的语义关系。为了克服平面表示法的局限性，Hong等提出了一种新的平面表示法. [18]提出了一种基于使用诸如像素、超像素和边界框的多个量化级别的分层外观表示的跟踪方法。Xiao等[40]还提出了一种用于跟踪的动态多级外观建模技术，其使用从三个不同级别（像素、超像素和边界框）获得的信息来维护自适应聚类决策树最近，已经提出了一种将来自像素的信息与边界框相结合的分段跟踪算法[34]。请注意，[34，18]需要外部分割技术，如Grabcut[33]。我们提出了一种新的跟踪分割框架，使用吸收马尔可夫链（AMC）的超像素分割，其中估计的目标分割以递归方式传播到后续帧。为了获得当前帧中的目标分割，我们首先使用先前帧和当前帧中的超像素构建AMC的图一旦图被构建，目标分割从1813IJIJ最后通过识别目标对应的超像素的连通分量来给出跟踪结果我们的算法自然地估计目标分割，通过AMC上定义的时空域中的图。与现有方法相比，我们的算法具有几个有趣的功能，总结如下：• 我们提出了一种新的和原则性的跟踪分割框架非常适合非刚性和铰接对象使用AMC。我们的算法获得初始分割掩模以及目标segmenta- tions自然在所提出的框架。• 该算法基于支持向量回归机的得分准确区分前景和背景超像素，比度量学习更有效地学习区分特征。• 我们的算法在非刚性和可变形对象跟踪的挑战性基准数据集上大大本文的其余部分组织如下。我们首先在第2节中回顾AMC，并在第3节中概述拟议的租赁。第四节详细介绍了算法中AMC的图构造，第五节描述了基于分割的跟踪过程。我们在第6节中说明了实验结果，包括与现有方法的比较。2. 吸收马尔可夫链AMC是一种特定的马尔可夫链，它至少有一个吸收状态，可以从其他状态到达AMC中的非吸收状态被称为瞬态。每个顶点都有其吸收时间，这是通过随机游走从其自身到任何吸收状态的期望步数。我们采用AMC在时空域中估计和传播目标AMC已经被研究用于几个计算机视觉任务，包括图像匹配[7]、图像分割[15]、共活动检测[41]和显著性检测[19]。用G=（V，E）表示AMC的图，其中V和E分别表示顶点（状态）和边的集合顶点集可以进一步分为瞬态 和吸 收顶 点集 ， 分别 用 VT 和 VA 表示 ， 其中Mt=|VT|M a= |VA|.为了计算AMC中顶点的吸收时间，我们首先定义正则转移矩阵如下：其 中 Q∈RMt×Mt 是 所 有 瞬 态 对 的 转 移 概 率 矩 阵 ，R∈RMt×Ma包含从瞬态到吸收态的转移概率P中的每一行都被归一化为和为1。 所有从吸收态到瞬态的跃迁几率都是零，所有的吸收态都只有单边，是自环;相应的转移子矩阵由零矩阵0和单位矩阵I给出。设qT是在T步中从vi∈VT到vj∈VT的转移概率然后，从vi开始的随机游走将访问vj几次，然后到达一次。的吸收状态，并访问每个瞬态节点的预期数量由qT的总和给出，其中T∈[0，∞）。通过单个矩阵求逆进一步简化该过程，Σ∞F=QT=（I-Q）−1，（2）T=0其中F被称为基本矩阵。从vi开始的随机游动的吸收时间yi由F的第i行中的元素之和给出。3. 算法概述我们的跟踪算法是自下而上和自上而下程序的组合，图1说明了所提出的算法的总体框架。我们首先使用两个连续帧中的感兴趣区域内的对应于前一帧中的背景超像素的顶点创建吸收状态，而所有其他超像素被视为瞬态顶点。边缘连接两个相邻的超像素，其中运动信息被合并以确定两个不同帧中的超像素之间的时间相邻性。每个边缘的权重由末端超像素的预测得分的相似性给出，其中得分通过学习支持向量回归器来获得，该支持向量回归器最大化具有不同标签的超像素之间的差异，同时最小化具有相同标签的超像素之间的差异。在下一步骤中，通过简单地计算AMC中的瞬时顶点的吸收时间来识别初始二进制分割掩模。由于由于前景和背景超像素之间的意外特征相似性和/或前景超像素之间的潜在特征不相似性，初始分割掩模可能是有噪声的，因此我们通过提取AMC图中两跳内的前景超像素的多个连接分量并选择最相似的连接分量来识别对应于目标的最终前景片段。.Q RP =0 IΣ、（1）基于颜色直方图的全局目标外观模型。在第一帧中，给定目标边界框注释，我们将边界框外的超像素设置为ab，1814AMC图嵌入一不是空间不FFFF+-AMC图一不不不初始分割图构造目标分割BBBSVRAT颜色空间BFFFBBF基于特征嵌入的边缘加权图1：所提出的跟踪算法的总体框架我们首先识别帧t-1中的背景超像素，并将它们设置为AMC中的吸收顶点。AMC图由两个连续的帧t-1和t构成，其中帧间边缘由运动信息发现的空间邻近度创建边缘权重由嵌入空间中连接的超像素的相似性确定分割的最终跟踪结果是通过使用吸收时间对各个顶点进行阈值化后，基于整体外观模型评估超像素的连通分量来获得的。吸收顶点，并通过阈值吸收时间获得初始分割掩模请注意，在对应于第一帧的图中没有帧间边.4. AMC的图构造本节描述了关于AMC的图形构造过程的细节，包括基于支持向量回归的判别边缘加权。4.1. 图拓扑我们的AMC的图G=（V，E）是基于超像素来构造的，所述超像素对应于图像中的顶点。graph.结合SLIC [1]超像素分割算法从每帧中的感兴趣区域（ROI）获得一组超像素。请注意，当前帧中的ROI由使用光流从前一帧中的分割传播的前景周围顶点和边的正式定义如下所述。顶点将顶点划分为两个子集;一一个是瞬变顶点集，另一个是吸收顶点集，分别记为VT和VA.所有超像素在图中都有相应的瞬态顶点而背景超像素则创建了额外的吸收顶点。该设置对于处理前一帧中的假阴性片段特别有效，因为可以根据超像素中的特征来恢复错误标记的背景超像素图中有两种类型的边：帧内和帧间边缘。帧内边缘基于同一帧中的顶点相邻性在2跳内连接超像素。1跳内的顶点表示直接邻居，而2跳内的顶点表示邻居的邻居。如果单个超像素与瞬态顶点和吸收顶点两者相关联，则它们彼此是1跳邻居。帧间边缘基于两个连续帧中的超像素的时间相邻性来连接它们，所述时间相邻性由在通过运动矢量扭曲超像素之后的超像素的空间重叠来确定。我们采用EPPM [5]来获得逐像素光流。所有的边都是双向的，并且具有对称的权重，除了那些去吸收顶点的边;这种边缘是单向的以满足吸收特性。为了方便起见，我们定义了两种边类型;瞬态边包括两个瞬态顶点，从瞬态顶点到吸收顶点的边称为吸收边。4.2. 使用回归嵌入要素每个边的权重由与各个顶点相关联的分数的相似性给出，这些顶点是通过超像素中的特征来学习的。具有相同标签的超像素之间的边缘权重应该大于具有不同标签的超像素之间的边缘权重。因此，我们学习对比度分数，它最大化前景和背景样本之间的差异，同时最小化具有相同标签的示例之间的差异。为此，我们采用支持向量回归，其中回归器通过将每个超像素的原始特征投影到嵌入空间来学习分数为了训练回归量，前一帧和第一帧中的目标段内的超像素被视为前期示例。背景示例由背景超像素和当前帧中的ROI边界处的超像素组成，背景超像素不对应于前一帧和第一帧中的目标，而超像素用于表示看不见的背景。注意，利用来自第一帧的信息来避免漂移问题。设{（x1，y1），. . .，（xn，yn）}表示训练数据集，1815J我其中xi∈Rd是样本i的特征向量，yi∈R是每个样本的标签。注意，标签在概念上是实数，但对于前景和背景样本分别注释为+1或-1，因为在实践中难以提供具有实数标签的各个示例我们采用简单的特征来表示超像素，LAB空间中的平均颜色，以有效地学习可选地，来自卷积神经网络[27]的特征描述符也用于学习SVR。然后，目标函数定义如下：（a）输入图像（b）地面实况argminw，，1周22Σn+Ci=1（中文）（3）(c)πt = 1和πa= 1（d）πtπ a = 1，πa = 5S.T. yi−εw，Φ（xi）ε−b≤ε+εi，εi≥0，w，Φ（xi）其中C是常数，并且Φ：Rd→Rd（dd）表示非线性特征映射函数。我们采用径向基函数作为内核，图2：权重调整系数对分割结果的影响。该系数倾向于增加前景和背景超像素的吸收时间的区分度调整权重以增加AB的区分度κ（xi，xj）=εΦ（xi），Φ（xj）ε=exp.||Xi--||2Σγ2、（四）前景和背景超像素的吸附时间令qij和rij表示调整后的边缘权重，并且分别对应于（i，j）处的Q和R的元素。对于隐式非线性特征映射，其中γ是连续的，然后，它们由stant. 训练后，任意πtwijq=和rπa wik=，（7）输入xi由下式给出ijΣ|V|l=1 πil威日ikΣ|V|l=1 πil威日ri=f（xi）=ωw，Φ（xi）ω.（五）边的权重由与两个端顶点相关联的回归得分的相似性给出，其中vi，vj∈VT，vk∈VA，并且.πt， 如果vl∈VTπ=.（八）W =exp .Σ− |r i− rj|、（6）IL πa，如果v1 ∈VAijσr其中ri和rj是两个相邻顶点的回归得分，vi∈V和vj∈V，σr是常数。5. 使用AMC的本节描述了我们的分段跟踪算法的过程，主要是关于如何结合自底向上和自顶向下的估计来进行鲁棒的目标跟踪。我们还讨论了如何在第一帧从边界框注释初始化分割。5.1. 使用修改的吸收时间通过计算构造的AMC图中的修正吸收时间并对瞬态顶点的吸收时间进行阈值化，得到每帧中的初始目标分割掩模为了计算标准AMC中的吸收时间，我们通常采用正则跃迁注意，不同的系数乘以原始系数。最终权重取决于边缘的类型πt πa，这有助于从背景超像素开始的随机游走的快速吸收，并导致更具区别性的吸收时间。图2示出了系数的参数设置当转移到吸收节点和过渡节点的概率相等I.E. πa=πt，背景超像素通常被标记为前景，如图2（c）所示。一旦基于调整后的边缘权重构建了过渡矩阵，我们就使用等式（1）中的基本矩阵来计算每个超像素的吸收时间。（二）、然而，代替标准吸收时间，我们采用修改的版本，其是在对应于前一帧中的前景的顶点处的预期访问次数，用于前景和背景超像素之间的分类。修正的吸收时间正式定义为：Σ矩阵P，其是基于由等式2给出的图中的边的权重构造的。（六）、然而，我们稍微y新=VFt−1fij，（9）vj∈1816t−1不不IJ(a)（b）第（1）款(c)（d）其他事项图3：原始和修改吸收时间的分割结果比较：（a）输入图像，（b）地面实况，（c）原始吸收时间的结果，以及（d）修改吸收时间的结果。图4：目标超像素合并与超像素邻接的（左）1跳和（右）2跳邻域系统的比较边界框表示目标候选者，洋红色表示使用我们的整体模型识别的目标。两跳邻域系统是有效的合并分裂的超像素属于目标。其中VF是一组顶点对应前景图5：整体外观模型的好处。 有帧t-1中的超像素。原始吸收时间计算在每个瞬态顶点上花费的时间，直到随机游走到达任何吸收顶点。 在这个公式中-因此，对应于不可见背景的超像素通常具有大的吸收时间。修改后的吸收时间的影响如图3所示，其中我们修改后的吸收时间更有效地处理不可见的背景区域。注意，用于分类的阈值由当前帧中的ROI内的所有瞬态顶点的平均吸收时间给出5.2. 基于全局外观模型的目标检测通过在先前子部分中描述的纯自下而上方法生成的目标分割掩模可能由于丢失前景超像素而被分段并且包含假阳性超像素。为了缓解目标碎片化问题，我们将AMC图中2跳内连接的前地面段分组在一起以构建目标区域候选。图4两帧中的两个目标区域候选者，并且我们的算法-Rithm使用基于颜色直方图的整体模型来选择真实目标（品红色）。率图5显示了整体目标建模识别真实目标连接组件的优势5.3. 第一帧我们应用类似的方法在第一帧初始化目标分段。由于光流在第一帧中不可用，因此通过仅使用帧内边缘对AMC图上的吸收时间进行阈值化来获得初始分割。瞬时顶点由与目标的初始地面真值包围盒重叠超过50%的超像素扩展目标边界框中的超像素（不对应于瞬态顶点）创建吸收顶点。每个边缘的权重基于两个超像素的平均颜色的L2范数来计算，如在这是前景超像素分组的示例由于在2跳内的超像素合并之后可能存在多个目标区域候选者，因此我们选择最简单的目标0= exp.Σ−ci−cjσc、（11）该模型基于前景分割模板中像素不相似性由两个直方图之间的Bhattacharyya距离定义一旦识别出目标，直方图h_new被递归地更新为：hnew=（1−wc）·ht+wc·hc，（10）其中h t是当前外观模型，h c是候选者的外观模型，并且w c= 0。1、学习其中ci和cj分别为v i∈ V和v j∈ V对应的超像素在LAB空间中的平均颜色，σ c为常数。我们构建了基本的模型-通过将不同的常数因子乘以取决于边类型的权重来计算，如等式（1）所示。并且使用修改的吸收时间对各个超像素进行分类。6. 实验本节描述了有关数据集和我们的评估方案的详细信息，并介绍了定量和定性分析。W1817我们的算法的结果。6.1. 数据集我们在五个独立的数据集中评估我们的算法：非刚性对象跟踪数据集（NR）[34]，广义背景减除数据集（GBS）[22，25，24]，视频显着性数据集（VS）[11]，SegTrack v2数据集（ST2）[23]和DAVIS数据集[30] 1。用像素级二进制分割掩模和轴对齐的最小边界框来注释目标。NR由11个视频组成，其中包含可变形和关节连接的对象，并已用于评估基于分割的跟踪算法，包括[34]。其他数据集是为其他类型的任务构建的，例如前景和背景分割[25，24，23]和视频显着性检测[11]。GBS和ST2中的一些视频在每个帧中有多个前景对象，因此我们为单个对象构建单独的序列。因此，GBS和ST 2最初分别含有13和14个序列，而现在分别具有15和24个靶。请注意，这两个数据集中的目标还涉及大变形、遮挡和低分辨率。VS由10个具有目标尺度变化的序列组成，其中VS中的一个视频包含多个对象，但我们选择仅跟踪其中一个对象，因为其他对象在整个视频中太小。DAVIS包含50个用于分割的高质量视频，其中每个视频包含单个可变形和铰接的对象。6.2. 比较算法我们的跟踪算法，表示为AMC跟踪（AMCT），与最近的四个基于分割的跟踪器和一些包围盒跟踪器进行比较测试的基于分割的跟踪技术包括在线梯度提升决策树跟踪器（OGBDT）[34]，HoughTrack（HT）[13]，超像素跟踪器（SPT）[36]和PixelTrack（PT）[10]。我们选择DSST [9]，MUSTER [17]和MEEM [42]在常规边界框跟踪器中。除了与这些外部算法的比较之外，我们还实现了我们的方法的变体，包括没有SVR的AMCT（AMCT-NR），没有整体外观模型的AMCT（AMCT-NA）和带有CNN特征描述符的AMCT（AMCT+CNN）。对于AMCT-NR，我们用Lab颜色替换SVR分数以定义如等式中的边缘权重。（十一）、AMCT+CNN集成了CNN的特征描述符以及Lab color来学习SVR。我们采用预先训练的CNN进行语义分割[27]，其已经用于在线视频分割[35]。对于这三个内部变体，其余的实现与我们的完整算法相同1我们算法的主要目标是跟踪的像素级分割，因此它不能直接与在线跟踪基准[39]和视觉对象跟踪基准[21]上评估的边界框跟踪方法进行性能是基于像素级掩模来测量分割精度的，而我们采用边界框注释来与常规跟踪器进行比较。我们还将AMCT应用于在线视频分割任务，其目的是在第一帧处传播给定初始分割注释这个任务是从我们的主要问题，跟踪检测，在第一帧的边界框注释不同，ferentiated。 我们选择两种最先进的视频分割算法进行比较：联合在线跟踪和分割（JOTS）[38]和对象流（OF）[35]。为了公平比较，我们为所有方法提供了初始的地面实况分割掩码。 在这些变化中，在我们的算法中，我们选择AMCT+CNN用于该实验，其表示为AMCT+CNN*，其中aster- isk意味着在第一帧处使用地面实况分割注释。6.3. 评估指标有两个主要标准来定量评估跟踪算法，跟踪成功率和精度，这是由在线跟踪基准协议[39]给出的。每个跟踪器使用跟踪成功率评估的基础上重叠率（交集超过工会）之间的地面实况和跟踪结果。我们采用边界框和分割掩码来计算成功率。每种算法的代表性成功率由成功图的曲线下面积（AUC）给出，其中在各种重叠比阈值下计算跟踪成功率。另一个标准，精度，是基于地面实况和跟踪结果之间的中心位置误差。中心位置由包围盒的质心给出，精度由两个包围盒的中心位置之间的欧几里得距离通常，跟踪算法的精度使用20个像素的中心位置误差进行比较。除了标准的评估措施，我们提出了地面实况和跟踪结果之间的平均重叠率。6.4. 实现细节我们分别采用SLIC [1]和EPPM [5]进行超像素分割和稠密光流计算。这两个算法是使用默认参数与公开可用的源代码一起运行的。超像素的数量与每帧中ROI的大小成比例，最大为600。在第一帧中，我们从600个超像素和地面实况边界框注释开始，以估计初始分割掩码，如第5.3节所述。在我们的算法中有几个参数对于SVR，等式中的C（3）和方程中的γ（4）分别设置为10和1用于边权重计算的两个自由参数σr1818表1：用于分段跟踪算法的分段掩模的平均重叠比率AMCT AMCT+CNN AMCT-NR AMCT-NA OGBDT [34] HT [13] SPT [36] PT [10]NR58.666.323.149.353.341.129.728.3GBS74.877.153.070.459.740.445.935.3VS84.182.371.483.879.851.261.073.9ST258.871.347.260.747.643.026.321.2戴维斯59.265.141.256.944.933.127.126.1表2：用于分段跟踪算法的边界框的平均重叠率(a)基于分段的跟踪器(b)常规追踪器AMCT AMCT+CNN AMCT-NR AMCT-NA OGBDT [34]中文（简体）SPT [36] PT [10]DSST [9] [17]第十七话 MEEM [42]NR66.973.325.750.860.840.935.716.135.436.233.1GBS80.081.953.771.461.243.055.244.762.959.452.6VS88.288.775.488.178.857.661.551.966.964.160.3ST264.876.350.364.350.244.953.532.262.058.859.5戴维斯60.967.844.560.150.035.843.241.658.425.952.7由方程式（6）和σc在方程。（11）分别设为0.1和0.05，重新计算。定义方程中转移概率的参数。（7）πt=1，πa=3。在整个评价过程中，所有参数都是固定的。6.5. 结果我们现在介绍并分析了五个不同数据集的比较评估结果，包括NR，GBS，VS，ST2和DAVIS。表1和表2总结了五个数据集中所有比较算法的总体性能，其中最佳和次佳跟踪器分别用红色和蓝色突出显示我们在表3中以粗体标记了在线分割方法的最佳准确性。所提出的算法AMCT和AMCT+CNN与其他跟踪方法（包括OGBDT [ 34 ]）相比，在分割掩码和边界框重叠率方面表现出出色的性能，OGBDT [34]是目前最先进的分段跟踪方法。请注意，AMCT的准确性通过合并CNN特征来提高。不带支持向量回归的AMCT（AMCT-NR）在大多数数据集上表现不佳，而不带整体表观模型的AMCT（AMCT-NA）虽然有竞争力，但平均而言仍不如我们的完整算法。这些结果说明了我们算法中两个附加分量的贡献;特别是支持向量回归机在鲁棒跟踪中起着非常重要的作用。所提出的方法，AMCT和AMCT+CNN，也优于最先进的跟踪算法的边界框预测在所有测试数据集的大幅度。这主要是因为边界框跟踪不能有效地跟踪高度铰接或可变形的对象。所有五个数据集的成功和精密度图如图6所示。图7示出了五个数据集中所有比较的分段跟踪算法的目标分割结果。第二列介绍了地面真相，表3：用于在线视频分割算法的分割掩模的平均重叠率。AMCT+CNN*[35]的第[38]节NR66.422.341.6GBS79.047.276.5VS89.779.288.8ST274.551.569.5戴维斯73.247.670.7分割和包围盒。我们的算法提取目标对象的边界更准确，即使在高跳跃序列之间的前景和背景之间的低AMCT和AMCT+CNN算法在板序列中成功地跟踪了目标，而其他算法在其结果中产生了不合理的分割，并在嗡嗡鸟2序列中准确地识别了非凸目标形状。AMCT+CNN倾向于通过合并CNN产生的高级语义表示来捕获跳高，扣篮，嗡嗡鸟2和摩托车越野跳序列中更精确的目标分割[27]。虽然AMCT最初是为分段跟踪而设计的，但它在在线视频分割任务中也取得了优异的性能，如表3所示。特别是，AMCT+CNN* 在NR中的表现优于OF，NR包含具有可变形对象的所提出的算法AMCT以约4fps运行，其包括用于EPPM光流计算（0.11秒）、SLIC超像素分割（0.02秒）、图形构造（0.10秒）和吸收时间计算（0.01秒）的时间。与仅基于LAB颜色描述符的AMCT相比，AMCT+CNN较慢，因为由于CNN特征的高维性，SVR训练相当慢。AMCT+CNN每帧需要15秒，但仍然比JOTS和OF快得多，后者每帧需要大约80秒和150秒。在MAT-LAB中，采用Intel Core i7- 5930 KCPU@3.50GHz对算法进行了测试. 我们使用单个NVIDIA Titan-X PASCALGPU，1819(a) 细分结果1(b) 边界框结果10.9(c) 精密度图0.90.90.80.80.80.70.70.60.50.40.30.70.60.50.40.30.60.50.40.30.20.10.20.10.20.100.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.91重叠阈值00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.91重叠阈值00 5 10 15 20 25 30 35 40 45 50定位误差门限图6：所有五个数据集的成功率和精度图：（a）分割重叠率方面的成功图（b）边界框重叠率方面的成功图（c）精度图输入帧地面实况AMCT AMCT+CNN OGBDT [34] HT [13] SPT [36] PT [10]图7：定性性能评价结果。每个图像中的数字表示分割重叠率。从上到下，我们呈现了NR跳高、 GBS扣篮、VS板、ST 2蜂鸟2和DAVIS越野摩托车跳的结果CNN特征计算。请参阅我们的项目第2页以了解更详细的结果。我们计划发布源代码和我们实验的所有结果，以方便我们算法的复制。7. 结论我们提出了一个简单但功能强大的基于超像素的跟踪分割算法使用AMC。该算法有一些有趣的功能，其中包括应用AMC的视觉跟踪，使用SVR的边缘权重学习，和准确的初始分割从包围盒注释。由于我们的算法估计目标分割，而不是目标包围盒，它是更有效的跟踪非刚性和可变形的对象。我们把我们的算法和现有的技术做了比较-2http://cvlab.postech.ac.kr/research/AMCT/Niques涉及多个具有挑战性的数据集中的分段跟踪和最先进的常规跟踪器，并实现了显著更好的性能。确认这项工作部分得到&了MSIP/IITP的ICT研发计划[2014-0-00059，预测视觉智能技术（DeepView）的开发; 2016- 0-00563，智能自主数字公司的自适应机器学习技术开发研究]和NRF资助[NRF-2011-0031648，全球前沿&研发计划以人为中心的共存互动]。引用[1] R. Achanta、A.Shaji，K.史密斯，A.Lucchi，P.Fua，和S.暂停 切片超像素与最先进技术的AMCT+CNN [69.1]AMCT [64.0]AMCT-NA[61.3]OGBDT [53.7]AMCT-NR [42.1]高[35.5]SPT [34.0]PT [33.1]DSST [32.8]MEEM [31.2]MUSTER [24.1]AMCT+CNN [73.5]AMCT [67.5]AMCT-NA[61.3]OGBTT [57.3]DSST [53.9]MEEM[46.6]标准普尔500指数[42.8]AMCT-NR [42.4]MUSTERAMCT+CNN [76.2]AMCT [65.6]OGBDT [53.3]AMCT-NA [52.8]DSST [51.1]MEEM [37.7]标准普尔500指数[36.3]AMCT-NR [32.5][31.9]MUSTER [31.6]PT [29.2]成功率成功率精度1820超像 素方 法IEEE Transactions on Pattern Analysis andMachine Intelligence，34：2274-2282，2012。三、六[2] A. Adam，E.里夫林和我希姆索尼使用积分直方图的基于片段的鲁棒跟踪。见CVPR，第7981[3] C. Aeschliman，J. Park和A. C.咔咔联合分割和跟踪的概率框架。见CVPR，第1371-1378页，2010年。1[4] B. Babenko，M. H. Yang和S.贝隆吉 具有在线多实例学习 的 鲁 棒 对 象 跟 踪 。 IEEE Transactions on PatternAnalysis and Machine Intelligence ， 33 ： 1619-1632 ，2011。1[5] L.鲍角，澳-地Yang和H.晋大位移光流场的快速边缘保持 块 匹 配 。 IEEE Transactions on Image Processing ，23：4996-5006，2014。三、六[6] V. Belagiannis，F. Schubert，N. Navab和S.伊利克基于分割的粒子滤波用于实时二维目标跟踪。ECCV，第842-855页，2012年。1[7] M. Cho、J. Lee和K. M.李你图匹配的加权随机游动。ECCV，第492-505页，2010年。2[8] T. Cour和J. Shi.通过拼凑分割拼图来识别物体。在CVPR，第1-8页，2007中。1[9] M. 达内尔扬湾 H？ge r，F. khan和M. 费尔斯贝河用于鲁棒视觉跟踪的精确尺度估计。InBMVC，2014. 六、七[10] S. Duffner和C.加西亚Pixeltrack：一种快速自适应非刚体跟踪算法。在ICCV，第2480- 2487页一、六、七、八[11] K. Fukuchi， K.Miyazato ，A.Kimura ， S.Takagi 和 J. 是的。基于图割和顺序更新先验的显著性视频分割。ICME，第638-641页，2009年6[12] B. Fulkerson，A. Vedaldi和S.索阿托基于超像素邻域的类载于ICCV，第670-677页，2009年。1[13] M. Godec，P. M. Roth和H.比肖夫基于Hough的非刚性物体跟踪。载于ICCV，第81-88页，2011年。一、六、七、八[14] H. Grabner，M. Grabner和H.比肖夫通过在线增强进行实时跟踪BMVC，第6页，2006年。1[15] P. 他，X。Xu和L.尘具有局部约束传播的约束聚类在ECCV，第223-232页，2012年。2[16] J. F.恩里克斯河Caseiro，P. Martins，and J.巴蒂斯塔利用核函数挖掘检测跟踪的循环结构在ECCV，第702-715页，2012年。1[17] Z.洪，智-地Chen C.，马缨丹属Wang，X. Mei，D. 普罗霍罗夫，以及D.涛.多悬挂物跟踪器（集合）：一种认知心理学启发的对象跟踪方法。在CVPR，第749-758页，2015年。六、七[18] Z. 洪角，澳-地Wang，X.Mei，D.Prokhorov和D.涛. 使用多级量化跟踪在ECCV，第1551[19] B.江湖，澳-地Zhang，H. Lu，C.杨和M.- H.杨基于吸收马尔可夫链的显著性检测。在ICCV，第1665-1672页，2013中。2[20] Z. Kalal，K. Mikolajczyk和J.马塔斯跟踪-学习-检测IEEETransactionsonPatternAnalysisandMachineIntelligence，34：1409-1422，2012. 1[21] M. Kristan 等人 视觉 对象 跟踪 vot2014挑战 赛结 果。ECCVW，2014年。6[22] S. Kwak，T.林，W。南湾Han和J.H.韩基于置信传播和贝叶斯滤波混合推理的广义背景减除。在ICCV，第21746[23] F. Li，T. Kim，A.胡马云D. Tsai和J. M.瑞格通过跟踪多个图形-背景段进行视频分割。在ICCV，第2192-2199页，2013年。6[24] J. Lim和B.韩广义背景减法使用超像素与标签集成的运动估计。在ECCV，第173-187页，2014年。1、6[25] T.林，S。洪湾，澳-地Han和J.H.韩自然视频中人体的联合分割与姿态跟踪在ICCV，第8336[26] L. 刘，J.Xing，H.Ai和S.痨基于语义超像素的车辆跟踪。见ICPR，第2222-2225页，2012年。1[27] J.朗，E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在CVPR，第3431四、六、七[28] A. Lucchi，Y.Li，K.Smith和P.呸使用核化特征的结构化图像在ECCV，第400- 413页1[29] A. 米兰湖Leal-T ai xe'，K. S c hindle r和I. 里德多目标联合跟踪与分割。在CVPR中，第5397-5406页，2015年。1[30] F. Perazzi，J.蓬蒂塞湾 麦克威廉斯湖 范古尔M.恶心，A。索金-霍恩视频对象分割的基准数据集和评估方法。在CVPR，第724-732页，2016年。6[31] X. Ren和J. Malik学习用于分割的分类模型。ICCV，第10-17页，2003年。1[32] A. Rosenfeld和D.韦恩希尔面向对象识别的前景掩模提取。在ICCV，第1371- 1378页1[33] C. Rother，V. Kolmogorov，and A.布莱克Grabcut：使用迭代图切割的交互式前景提取。SIG-GRAPH，23：309-314，2004. 1[34] 杰森岛荣格，K. Park和B.韩使用在线梯度提升决策树的分段跟踪在ICCV，第3056-3064页，2015年。一、六、七、八[35] Y.-- H.蔡美儿H.杨，和M。J.布莱克。通过对象流的视频分割。在CVPR，第3899-3908页，2016年。六、七[36] S. Wang，H.Lu，F.杨和M.-H. 杨超像素追踪.在ICCV，第1323-1330页，2011年。一、六、七、八[37] W. Wang和R.奈瓦提亚基于超像素星座模型的鲁棒目标跟踪。在ACCV，第191-204页1[38] L. Wen，D.杜，Z. Lei，S. Z.李和M H.杨关节：关节在线跟踪和分割。在CVPR中，第2226- 2234页六、七[39] Y. Wu、J. Lim和M.- H.杨在线对象跟踪：基准。在CVPR，第2411-2418页，2013年。6[40] J. Xiao，R. Stolkin和A. Leonardis基于自适应聚类决策树和动态多级外观模型的单目标跟踪。在CVPR，第497811821[41] D. 杨湾Han和J.H. 韩基于吸收马尔可夫链的多视频无监督协同检测在AAAI，第3662-3668页，2016年。2[42] J. Zhang，S. Ma和S. Scaroff Meem：使用熵最小化通过多个专家进行鲁棒跟踪。在ECCV，第188-203页，2014年。一、六、七