从未标记的视频中学习无监督单对象跟踪器的挑战与方法

13546学习从未标记的视频中郑继来1超马1*侯文鹏2小康杨11上海交通大学人工智能研究所MoE部人工智能重点实验室2微软研究院{zhengjilai，chaoma，xkhang} @ sjtu.edu.cn，houwen. microsoft.com摘要在本文中，我们建议从头开始学习无监督单对象跟踪器（USOT）。我们确定了三个主要挑战，即：移动对象发现、丰富的时间变化利用和在线更新是现有无监督跟踪器的性能瓶颈的主要原因。为了缩小无监督跟踪器和有监督跟踪器之间的差距，我们提出了一种有效的无监督学习方法，该方法由三个阶段组成。首先，我们采样顺序移动的对象与无监督的光流和动态规划，而不是随机裁剪。其次，我们使用单帧对从头开始训练一个天真的暹罗跟踪器。第三，我们继续训练跟踪器与一种新的循环记忆学习计划，这是在更长的时间跨度进行，也使我们的跟踪器更新在线。大量的实验表明，从未标记的视频中学习的USOT在很大程度上优于最先进的无监督跟踪器，并且与最近的监督深度跟踪器相当。代码可在https://github.com/VISION-SJTU/USOT 上 获得。1. 介绍视觉目标跟踪是计算机视觉中最基本的任务之一，在自动驾驶、智能监控、机器人、人机交互等领域有着广泛的应用。在过去的几年里，由于深度学习的强大表现，视觉对象跟踪取得了相当大的进展。尽管取得了成功，但最先进的深度跟踪算法是数据饥渴的，需要大量的注释数据用于监督训练。由于人工标记的数据是昂贵和耗时的，利用无处不在的未标记的视频视觉跟踪最近引起了越来越多的关注。遵循非监督学习的经典管道，现有的无监督跟踪器在未标记的视频上随机裁剪模板区域，并采用ei-*通讯作者。图1：VOT 2017/18基准与最近的深度跟踪器的比较所提出的跟踪器USOT和USOT* 的性能优于最先进的无监督深度跟踪器，包括LUDT [38]，LUDT+ [38]和S2SiamFC [34]，并且与最近的监督跟踪器相当。符号：SiamFC [2]、SiamDW [47]、SiamRPN [26]、C-RPN[12] 、 DaSiamRPN[50] 、 ATOM[8] 、SiamRPN++[25]、DiMP [3]、KYS [4]。ther自我一致性[34]或周期一致性[37]作为学习跟踪的前文本任务尽管取得了令人鼓舞的结果，但在无监督跟踪器和有监督跟踪器之间仍然存在很大的性能差距。鉴于无监督学习在许多其他视觉任务上取得了巨大成功，例如视频对象分割[23]，光流[28]和深度估计[14]，缩小无监督跟踪器和监督跟踪器之间的差距非常有趣。我们确定了三个关键的挑战，导致无监督跟踪器的性能瓶颈。1）移动对象发现。由于地面实况边界框不可用，现有的无监督跟踪器随机地将帧中的区域采样为伪模板[37，34]。随机样本远不能精确地定位物体，更不用说学习区分物体和背景了。此外，由于随机样本不包含对象的清晰边缘，因此它们不适合用于边界框重定位。13547回归学习缺乏边界框回归尺度变化估计严重限制了无监督跟踪器的性能。2）丰富的时间变化开发。由于在时间跨度中缺乏标签，现有的无监督跟踪器难以从丰富的运动线索中学习例如，UDT [37]在至多10帧内执行前向和后向跟踪。在这样的短片段中，前景对象显示出具有很小变化的高度相关的外观，导致无法在长跨度上利用丰富的时间变化进行训练。3）在线更新。在线更新有助于利用时间平滑性，并且已经在领先的监督跟踪方法中取得了巨大成功[35，3，46，48]。虽然监督跟踪器通常在分离的帧中收集多个对象样本以用于学习在线模块[3，13]，但由于视频中缺乏甚至粗糙的对象位置，因此为无监督跟踪器训练在线分支更具挑战性。为了解决这些挑战，我们建议从未标记的视频中训练一个首先，对于数据准备，我们开发了一个顺序框采样算法，从未标记的视频中粗略地发现移动对象。特别是，我们使用无监督光流检测移动对象和应用动态规划顺序连接候选框。其次，我们使用单帧对从头开始训练无监督的暹罗跟踪器。也就是说，我们使用基于单个帧中的采样框裁剪的每个连体对进行训练。尽管它的简单性，我们表明，这种策略提供了一个很好的初始化的无监督跟踪器，从而有利于未来的训练在较长的时间跨度。第三，我们提出了一个循环的神经网络学习计划，以继续训练天真的跟踪器。具体来说，我们根据检测到的运动对象trajec- tory将整个视频分成若干片段。然后，我们进行前向跟踪从一个单一的帧到其他几个帧在同一片段，并存储在内存队列中的所有中间跟踪结果。然后，我们向后跟踪到初始帧以计算一致性损失。 由于视频片段的长度相当长，长（平均64. VID [33]上的6帧）与UDT [37]（10帧）相比，我们的跟踪器可以捕获大的运动和外观变化。更重要的是，所提出的循环存储器方案允许更新存储器在线排队进行模型更新（参见第4.3）。我们评估建议的无监督跟踪六个大规模的基准。大量的实验表明，我们提出的跟踪器表现良好，超过了最先进的无监督跟踪器的大利润率，并与最近的监督跟踪器（见图2）。①的人。本工作的主要贡献总结如下：• 我们从无标记的视频中粗略地发现移动对象，以进行无监督学习。• 我们用单帧对训练一个天真的暹罗跟踪器，并逐渐将其扩展到更长的时间跨度。• 我们提出了一个循环记忆学习方案，允许无监督的跟踪器在线更新。2. 相关工作监督跟踪。深度学习通过强大的表示方法彻底改变了视觉跟踪领域。在过去的几年里，基于模板的深度跟踪器与暹罗网络受到越来越多的关注，由于在基准数据集上的有希望的结果。这些跟踪器将目标对象视为模板并搜索 一个裁剪的窗口来定位目标SiamFC [2]首先利用相同的骨干网络从模板补丁和搜索补丁中提取深度特征，并计算具有互相关的响应图。从那时起，已 经 做 出 了 相 当 大 的 努 力 来 扩 展 暹 罗 追 踪 器 。SiamRPN [26] 将 区 域 建 议 网 络 （ RPN ） [31] 纳 入Siamese框架。DiMP [3]建议将在线模块附加到Siamese跟踪器以进行模板更新。Siamese框架中的其他值得注意的改进包括先进的骨干网络[47]，相关方法[25]，注意力机制[45]，重新检测模块[36]，掩码生成[40]，特征对齐[48]，无锚回归[6，15]等。通过这些努力，Siamese跟踪器迄今为止表现出优越的跟踪性能。然而，训练暹罗跟踪器需要大量的标记训练数据。在这项工作中，我们的目标是一个新的无监督学习计划，这有助于学习基于模板的跟踪器从未标记的视频在野外。无监督跟踪先驱无监督深度跟踪器（UDT）[37]表明，鲁棒的跟踪器能够在视频中向前和向后跟踪对象，并最终返回到其在起始帧中的初始位置。UDT基于DCFNet [39]对跟踪器进行解算，并在训练阶段计算前向和后向传输之间的周期一致性损失。UDT的当代方法是TimeCycle [41]，它提出了周期一致性来生成无监督视频表示。JSLTC [27]提出计算帧间亲和矩阵以对视频帧之间的过渡进行建模，并使用这种对应来跟踪对象。S2SiamFC [34]采用自Siamese流水线从单帧对训练前景/背景分类器，如SiamFC [2]，显示与监督对应物可比较的结果。尽管结果令人鼓舞，但在最先进的无监督跟踪器和性能最好的有监督跟踪器之间存在很大的性能差距。我们确定了三个关键的挑战，移动对象发现，丰富的时间变化开发，和在线更新，导致无监督跟踪器的性能瓶颈。通过有效地解决这些挑战，所提出的无监督跟踪器大幅优于现有技术的无监督跟踪器，并且与最近的有监督跟踪器不相上下。13548我BB∈MMt=B不不不不不不2不3. 该方法在本节中，我们将详细介绍所提出的无监督跟踪器。无人监督的培训计划包括三个阶段。第一个阶段在SEC。3.1旨在从未标记的视频中产生移动对象的轨迹。第二阶段在SEC。3.2使用单帧对学习朴素的暹罗跟踪器。第三个阶段在SEC。3.3通过循环记忆学习继续训练朴素跟踪器，这在较长的时间跨度中执行，并且还使得无监督跟踪器能够在线更新。3.1. 移动对象发现而不是随机裁剪对象，我们建议生成一个平滑的边界框序列移动前地面对象在未标记的视频。为了发现移动的物体，我们有两个关键的观察结果：• 与背景环境相比，前景对象倾向于具有可区分的这启发我们通过无监督光流来发现候选前景对象。It It+TfFtMtDtBt图2：经由光流的候选框生成。流图Ft包含移动对象的有区别的运动模式。我们使用距离度量Dt来二值化流图Ft以生成候选框Bt。图像的中间应该具有更高的质量分数。设B=（x0，y0，x1，y1）表示盒子的左上角和右下角盒B的质量分数Sc被定义为：• 移动物体的轨迹往往是平滑的。这促使我们采用动态规划Sc（B）=（x1−x0）（y1−y0）+β·min（x0，W−x1）min（y0，H−y1），（二）(DP)以得到时间上可靠的盒序列。候选框生成。 设任意视频为I，包括具有相同大小W × H的L个连续帧，即I={I × H}|1≤t≤L}，其中I t是第t帧其中β是权重参数。具有最高分数的框被选择作为帧It的最终候选框Bt。我们将所有这些选择的候选框的集合表示为视频I作为B ={B t|1 ≤ t ≤ L}。在. 为了定位帧I1，t中的潜在前景对象，我们首先计算具有帧I t 和帧It+Tf 的 光 流 图 F t， 即 ，Ft=Flowt-t+Tf。 Tf是用于计算光流的区间。如图所示2，我们使用现成的无监督ARFlow [ 28 ]算法从帧I t和帧I t+Tf获得Ft，然后将F t转换为距离图D t。我们将D t二值化以得到掩码M t，如下所示：框序列生成。所产生的候选限界框可含有归因于相机抖动、遮挡等的噪声框。为了去除不可靠的盒子，我们应用动态规划来创建一个更可靠的绑定盒子序列。根据第二个观察，即视频中运动对象的轨迹应该是平滑的，我们选择了候选包围盒的子集从B，其中所选盒子的轨迹为I. 1，如果D i≥ α·maxj（D j）+（1 −α）·meanj（D j）尽可能平稳。 对于动态编程，关键问题是如何衡量转型的回报0o.w.其中Di= ¨Fi−meanj（Fj）¨，从一个边界框到另一个边界框的框轨迹。我们修改DIoU [49]度量，其最初考虑（一）两个盒子之间的重叠和距离。形式上，Theα（0，1）是一个超参数。这里上标去注释逐像素索引。空间维度内的最大值和平均值分别由max和mean表示。所有内部像素满足以下条件的每个连通区域i=1对应于与It中的背景相比具有明显运动的区域，并且该区域更可能覆盖前景对象。为了进一步从这些候选区域中过滤掉不可靠的区域，我们将所有这些区域的圆形矩形作为初始候选框，并根据它们的大小和位置对框进行评分。由于中心偏置，动态规划的报酬R_dp定义为：Rdp（Bt，Bt′）=IoU（Bt，Bt′）−γ·RDIoU（Bt，Bt′），（3）其中γ是超参数。为了鼓励平滑的轨迹，我们针对RDIoU上的距离惩罚设置γ >1[49]。请注意，动态规划的目的是发现具有最高奖励累积的盒序列中的最优路径（完整算法请参见补充文档）。如图3、对于DP没有选择候选框的帧，利用DP选择的相邻候选框，利用线性插值生成伪框13549BB我LR×LL××R我我I≥LL{|联系我们{|联系我们vLSItIt+3It+6It+9通过动态规划的轨迹线性插值候选框图3：框序列生成。我们使用动态规划从黄色的候选框生成平滑可靠的框轨迹。通过线性插值生成剩余帧中的绿色伪框。3.2. Naive Siamese Tracker使用生成的框序列，我们从头开始使用单帧对训练一个朴素的暹罗跟踪器该借口任务基于一个简单的观察，即图像及其任何子区域自然形成暹罗网络的训练对[34]。然而，如[34]中的随机采样此外，随机样本不适合学习边界框回归。这极大地阻碍了无监督跟踪器的性能。 我们建议利用可靠的盒子序列’作为训练数据。以确保最精确的界限-通过数据加载器对“中的框进行采样，采用两级评分机制，在序列和帧两级过滤掉低质量我们发现，更密集的帧选择DP在视频中往往意味着一个更成功的移动对象发现。因此，我们定义视频I的质量得分Q v={I t|1≤t≤L}为：Q（I）=Ndp，⑷基于Bt′从 I t 裁 剪 。 在从输入对中提取深度特征之后，我们采用PrPool [19]来池化模板特征，然后计算多尺度相关图[48]。 输出响应图cls的大小25 25 1用于前景/背景分类。另一个输出响应映射reg的大小为25 25 4，用于回归从中心位置到四个位置的距离。边界框的边。损失函数naive是回归损失和分类损失的总和：Lnaive=Lreg+λ1Lcls，（6）其 中 reg 和 cls 分 别 是 IoU 损 失 [44] 和 二 进 制 交 叉 熵（BCE）损失[10]。λ1是权重参数。3.3. 循环记忆训练我们将上述无监督暹罗跟踪器视为幼稚跟踪器，因为它引起两个限制。首先，由于模板和搜索区域在同一帧中被裁剪，因此跟踪器不会学习大的运动和外观变化. 第二，这个追踪器不能在线更新其中，Ndp指示由DP选择的视频中的帧的数量类似地，评估框B’的帧质量分数是因此无法在长时间跨度中或在复杂场景下跟踪对象。我们建议继续训练天真的追踪者-以帧不It可以通过帧使用循环记忆学习方案，旨在使跟踪器来处理大的变化以及更新MEM。由DP在其所有相邻帧内选择。设Ts为固定帧间隔。我们将帧质量分数Qf正式定义为：Nd′pQf（Bt′）=2T+1，（5）其中Nd′p指示帧之间的帧的数目It−Ts和帧It+Ts由DP选择当加载训练对时，我们依次进行视频采样和帧采样。我们仅在视频的质量得分Q v（）时对视频进行采样θ1，其中θ1是阈值。在帧采样期间，我们从所选择的视频中随机采样若干帧，其总数与1/Q v（）正相关，然后选择具有最高帧质量得分Q f（Bt′）的帧进行训练。我们遵循SiamFC中的常规训练范式[2]。输入模板zt和搜索区域xt的大小分别为127×127和255×255，ory队列在线。循环存储器的主要思想可以概括为图1所示。4.第一章简而言之，我们首先从一个模板zt向前跟踪到N个相邻的存储器帧，然后将所有中间跟踪结果的特征存储为一个存储器队列，最后向后跟踪到原始搜索区域xt。一个周期的记忆丧失mem使用与以下cls具体地，在每个训练步骤处，我们同时裁剪帧I t中的训练对z t和x t（相同作为训练朴素暹罗跟踪器），以及从xtTltTu采样的Nmem个存储器搜索区域。 这些存储器搜索区域根据框序列Bt′TltTu从It的Nmem个相邻帧中裁剪。这里，T1和T2是用于对存储器帧进行采样的每帧下索引和每帧上索引这两个指标的选择是非常重要的。 为了从长期变化中学习，T1和T2之间的帧间隔13550∗Corr×CorrValValB我softmax（Cconf）⊙Cval，（8）图4：拟议的无监督跟踪框架概述。左：整个培训管道。右图：用于自跟踪和前向跟踪的朴素暹罗跟踪器的详细结构，以及使用循环记忆方案学习的在线模块朴素跟踪器用模板和从同一帧裁剪的搜索区域来训练，而在线模块旨在按照循环学习流水线从存储器搜索区域向后跟踪圆圈符号表示深度特征的多尺度相关性[48]，其中相同的颜色表示权重共享。具有W的圆圈是指用于整合相关图的置信度值模块（等式1）。（八）。应该足够大。然而，过大的帧间隔对学习过程有害，因为目标对象可能在远离It的帧中消失。在实践中，我们在帧It处动态地设置Tl和Tu。由于它们是两个镜像变量，我们正式定义Tu如下：中间箱然后，我们使用合并的特征作为模板，与xt的深度特征进行多尺度相关[48]。注意，原始分类分支和存储器分支在多尺度相关模块方面共享相同的权重。所有N个内存相关图，表示为{C u|1≤u≤N mem}，是整数。Tu（It）=max不{k}通过信任价值策略整合在一起具体地说，≤k≤LS.T.ntt′≤k，Rdp（Bt′′−1，Bt′′）≥θ2（七）给定相关映射Cu，我们利用两个33孔-u卷积层以生成置信度图C_conf和a_conf。t0. 3），而模板帧中超过42%的采样框足够精确以覆盖大约整个对象（IoU >0. （五）。此外，从两个数据集上的模板帧和记忆帧中的伪框的IoU成功率之间的小差异，我们得出结论，与模板帧相比，使用大帧间隔进行循环记忆训练仅略微降低记忆帧的可靠性。这解释了为什么我们的无监督跟踪器可以从大的运动中学习。训练数据集。由于大多数现有的无监督深度跟踪器都是在VID数据集上训练的，因此我们研究了训练数据对VOT 2017/18基准测试中USOT* 的影响。如Tab所示。6，当仅使用VID作为训练集时，所提出的跟踪器仍然达到0。315在EAO，有一个8。比最先进的提高5个百分点无监督跟踪器LUDT+（即，0的情况。EAO中为230此外，我们的跟踪器受益于更多未标记视频的训练，推断出无监督跟踪的巨大潜力。表6：训练数据的消融研究。随着更多未标记视频用于训练，拟议的USOT* 在VOT 2017/18数据集上取得了更好的结果。训练数据A↑R↓EAO↑表7：VOT 2017/18数据集上在线记忆队列长度和权重的参数敏感性。Nq\w0.30.50.60.70.850.2890.3020.3230.3130.32360.2940.3120.3120.3290.32270.3100.3180.3360.3440.33180.3020.3000.3190.3410.338在线更新。我们研究了在线记忆模块中Nq和wNq指示在存储器队列中在线收集的存储的特征的数量，而w指示用于mem的权重。选项卡. 7报告了VOT 2017/18数据集上USOT* 的EAO评分。 离线和在线模块的协作，w=0。7最有利于所提出的跟踪器，并且将存储器队列的长度Nq设置为7是最合适的。5. 总结发言在本文中，我们提出从头开始学习一个强大的跟踪器从未标记的视频。我们首先生成候选框序列，以覆盖视频中的移动对象。然后，我们使用单帧对训练一个天真的暹罗跟踪器。最后，我们继续训练天真的跟踪器在较长的时间poral跨度与一种新的周期记忆方案，使跟踪器在线更新大量的实验证明，所提出的无监督跟踪器设置了新的最先进的无监督跟踪结果，甚至与最近的监督深度跟踪器表现相当。这项工作揭示了无监督学习在对象跟踪中的作用鸣谢。本课题得到了国家自然科学基金（61906119，U19B2035 ） 、 上 海 市 科 技 重 大 专 项（2021SHZDZX0102）和上海市浦江计划的资助。VID GOT-10k LaSOT YT-VOS✓0.576 0.3370.315✓✓0.5870.3230.320✓✓✓0.579 0.3280.337✓✓✓✓0.5780.3040.3440.30.50.30.5GOT-10k百分之六十三点二45.5%62.0%百分之四十三点八13554引用[1] Boris Babenko，Ming-Hsuan Yang，and Serge J.贝隆吉具有在线多实例学习的鲁棒对象跟踪。TPAMI，2011年。[2] LucaBertinetto ， JackValmadre ， J oa oF. Henriques ，AndreaVedaldi，and Philip H.S.乇用于对象跟踪的全卷积连体网络。2016年ECCV研讨会[3] Goutam Bhat ， Martin Danelljan ， Luc Van Gool ， andRadu Timofte. 学习判别模型预测跟踪。在ICCV，2019年。[4] Goutam Bhat ， Martin Danelljan ， Luc Van Gool ， andRadu Timofte.了解你的周围环境：利用场景信息进行目标跟踪。在ECCV，2020年。[5] 陈新蕾，范浩琪，Ross B. Girshick和Kaiming He。改进了动量对比学习的基线。arXiv：2003.04297，2020。[6] Zedu Chen，Bineng Zhong，Guorong Li，升平Zhang，and Rongrong Ji.用于视觉跟踪的连体盒自适应网络。在CVPR，2020年。[7] Martin Danelljan，Goutam Bhat，Fahad Shahbaz Khan，and Michael Felsberg. ECO：用于跟踪的高效卷积算子。在CVPR，2017年。[8] Martin Danelljan，Goutam Bhat，Fahad Shahbaz Khan，and Michael Felsberg.ATOM：通过重叠最大化进行精确跟踪在CVPR，2019年。[9] MartinDanelljan，Gusta vH aüger，FahadShahbazKhan和Michael Felsberg。鲁棒视觉跟踪的精确尺度估计。InBMVC，2014.[10] 放大图片作者：Peter Tjerk de Boer，Dirk P. Kroese，Shie Mannor，and Jumven Y.鲁宾斯坦关于交叉熵方法的教程。安。Res. ，2005年。[11] Heng Fan ， Liting Lin ， Fan Yang ， Peng Chu ， GeDeng ， Sijia Yu ， Hexin Bai ， Yong Xu ， ChunyuanLiao，and Haibin Ling. Lasot：用于大规模单个对象跟踪的高质量基准。在CVPR，2019年。[12] 范恒和凌海滨。用于实时视觉跟踪的Siamese级联区域投影网络在CVPR，2019年。[13] Zhihong Fu ， Qingjie Liu ， Zehua Fu ， and YunhongWang. Stmtrack：具有时空记忆网络的无模板视觉跟踪。在CVPR，2021年。[14] C le'mentGodard ， OisinMacAodha ， andGabrielJ. 兄 弟 -拖。 具有 左右 一致 性的 无监督 单目 深度 估计 。在CVPR，2017年。[15] Dongyan Guo，Jun Wang，Ying Cui，Zhenhua Wang，and Shengyong Chen. Siamcar：用于视觉跟踪的Siamese完全卷积分类和回归。在CVPR，2020年。[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。[17] J oaoF. 恩里克斯，鲁伊·卡塞罗，佩德罗·马丁斯，还有乔 · 巴 蒂 斯 塔 。 用 核 相 关 滤 波 器 进 行 高 速 跟 踪 。TPAMI，2015。[18] Lianghua Huang， Xin Zhao， and Kaiqi Huang. Got-10k：用于野外通用对象跟踪的大型高多样性基准测试TPAMI，2019。13555[19] 蒋博瑞，罗瑞轩，毛嘉源，肖特特，蒋云英获取用于精确对象检测的定位置信度在ECCV，2018。[20] MatejKristan ， Ales Leonardis ， Jiri Matas ， MichaelFelsberg，RomanP. Pflugfelde r，LukaCeh o vin，To ma´sVo j´ı r，Gust a v H ge r，AlanLu kezic，Gust av oFer na´ndez，etal. 视觉对象跟踪VOT2016挑战赛结果。2016年在ECCV车间[21] 作者声明：未经授权使用本网站的内容，请勿转载.Pflugfelde r，Joni-KristianK