软件X 12（2020）100623原始软件出版物用于视觉跟踪性能评估的模块化工具包卢卡·切霍温·扎伊奇斯洛文尼亚卢布尔雅那大学计算机和信息科学学院ar t i cl e i nf o文章历史记录：收到2020年2020年11月6日接受关键词：计算机视觉视觉跟踪性能评价实验结果分析a b st ra ct我们提出了一个模块化的软件包进行单目标视觉对象跟踪实验和分析结果。我们的软件支持开箱即用的视觉跟踪评估中的许多常见使用模式，但也是模块化的，并允许各种扩展。用户能够使用标准化和灵活的通信协议集成现有的视觉跟踪算法的实现，而无需额外的努力。该软件多年来一直是VOT挑战赛的技术支柱，并随着它所支持的比赛而发展和演变。我们目前的状态和能力的包，并得出结论，为未来的发展一些计划。©2020作者由爱思唯尔公司出版这是一个在CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。代码元数据当前代码版本7.0.2此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_180法律代码许可证GNU GPL v3使用Git的代码版本控制系统使用Matlab /Octave的软件代码语言、工具和服务编译要求、操作环境依赖性Windows、Linux、OSX链接到开发人员文档/手册http://docs.votchallenge.net/问题支持电子邮件luka. fri.uni-lj.si1. 介绍客观性能测量是大多数工程学科的重要组成部分，设计新的视觉跟踪算法也不例外。与其他计算机视觉研究领域相比，视觉跟踪性能评估是一个较为复杂的研究领域。评估可以集中在具有不同规则和期望质量的不同使用场景。当考虑到时间分量时，执行评估尤其具有挑战性（即时重新初始化、实时评估、参数的影响）。正因为如此，使用一致的方法进行大规模比较在过去是一项具有挑战性的任务，在许多方面受到限制。这些评估的作者只能调整甚至实施跟踪器，这通常会导致独立的调查论文[1最近，更多的焦点已经电子邮件地址：luka. fri.uni-lj.si。https://doi.org/10.1016/j.softx.2020.100623一直致力于设计一致的评价方法[4Wu等人[3]提出了一个基准数据集，并提供了一组简单的脚本，仅实现了一个离线评估策略。需要修改源代码以添加新的跟踪器。在[4]中，作者只提出了一种新的方法，但没有发布任何源代码，这使得它的采用变得困难。从那时起，针对不同的视觉跟踪场景提出了许多基准，其贡献范围从解决新的挑战性场景，例如长期跟踪[7-9]或大多数这些基准测试都得到了某种软件的支持，然而，如表1所示，软件的设计非常狭窄，要么是因为它与数据集或评估方法紧密相连[8，10，12]，要么是因为它以某种方式限制了跟踪算法的集成（例如，编程语言，实验方法学）[9]。2352-7110/©2020作者。由Elsevier B. V.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxL. 切霍温·扎伊茨软件X 12（2020）1006232表1比较最知名的单目标视觉跟踪评估工具的灵活性。 提供了以下属性：语言-编写工具的编程语言，跟踪器-跟踪器集成的机制是什么，数据集-在不对源代码进行重大修改的情况下支持什么类型的数据集，实验-支持什么类型的实验，Active-工具的源代码在去年是否更新过语言跟踪器数据集实验活性OTB [3]MATLAB文件没有无监督没有无人机[10]MATLAB文件没有无监督没有OxUvA [7]Python文件没有无监督是的GotT-10k [9]PythonPython API是1许多2是的LaSOT [12]MATLAB文件没有无监督没有[第11话]Python不适用3没有无监督是的我们MATLABTraX协议是的许多是的1实验是硬编码的，用于相应的数据集。2更多实验类型仅适用于VOT数据集，其他数据集仅限于无监督用例。3该工具只负责下载数据，而不运行跟踪器。在视觉跟踪性能评估方面最成熟的努力之一是VOT挑战计划[13]。该计划始于2013年，旨在通过组织年度挑战赛和基于挑战赛结果的研讨会，巩固单一目标视觉跟踪的评估方法。从技术的角度来看，挑战的核心是软件，我们在本文中介绍。 该软件，我们将称为VOT工具包或工具包，可以在不同的环境中始终如一地执行挑战性实验，并可以随着研究社区不断增长的需求而扩展。尽管VOT工具包已被许多研究人员广泛使用，但其设计和广泛的适用性尚未在任何先前的工作中讨论。这是本文的主要原因。在接下来的章节中，我们将描述该工具包正在解决的问题，它的模块化结构和一些不同的用例。2. 问题和背景从一开始，VOT工具包设计的主要目标就是使单目标无模型视觉跟踪评估的挑战更快、更一致。很明显，视觉跟踪领域的评估方法并不固定，可能会变得更加雄心勃勃和复杂，因此工具包的设计考虑到了增长该工具包必须适应的其他问题是研究人员在视觉跟踪领域使用的各种开发环境在最初的版本中，大多数研究人员使用Matlab编写自己的算法，只有少数例外，即用C/C++实现的跟踪器。现在Python在这个领域占主导地位。为了解决这种多样性，必须开发一种独立于语言的沟通方式。通信还必须是交互式的（工具包必须能够对每个给定帧的信息采取行动），并支持多模式序列，以允许更复杂的跟踪评估场景。这个标准协议被称为TraX协议，在[14]中有更详细的介绍。 该工具包可以直接与协议一起使用，但也提供了特定于语言的包装器，使其更容易采用，并隐藏了一些不常用的功能（运行时参数，内存映像等）。3. 架构该工具包是一组Matlab（Octave兼容）脚本和一些性能关键算法的C++代码它具有最小的依赖性，只有图像处理工具箱。这些脚本被结构化在几个模块（目录）中，这些模块使用最重要的数据结构进行操作。3.1. 跟踪器跟踪器实体表示特定的视觉跟踪算法及其配置参数。多个跟踪器可以在一个数据集上进行评估，并通过它们的结果进行比较。跟踪器由其唯一标识符表示，它们还具有通过跟踪器描述文件分配给它们的一组其他元数据。在此文件中定义的主要数据是对应的可执行文件或包含跟踪算法入口点的脚本，但它也可以包含有关解释器的数据，链接所需的路径以及在评估或分析期间有用的其他信息。跟踪器描述文件的示例如图所示。1 .一、通过设计，跟踪器总是包含在一个单独的可执行文件中，当需要时，该文件在新的临时目录中由工具包运行。其主要原因是评估过程的稳定性和所有算法的平等处理，而不管它们是用哪种编程语言实现的。工具包和跟踪器使用TraX协议相互通信[14]。通信流由所进行的实验的类型来调节。这种方法也有缺点，主要是跟踪器的调试更加困难。如果跟踪会话因错误而中断，工具包会将跟踪器的整个输出保存在日志文件中，从而减轻这种情况。日志文件保存在工作区中（见第3.4节）。3.2. 序列序列是具有用于评估的对象的手动注释的地面实况位置的图像的列表该工具包支持每帧序列一个文件，这是视觉跟踪评估的标准。图像的文件名可以遵循序列元数据文件中定义的任意数字模式，默认为%08d.jpg。元数据包含有关序列的其他信息，如帧速率和其他有用的元数据。另外，每个序列可以具有多于一个通道。有了这个工具包可以支持不同的模式，甚至多模式的跟踪方案，例如。红外（IR）、RGB-T（可见光和热）、RGB-D（可见光和深度信息）。多个序列组合在一个数据集中。针对各种VOT挑战组装了几个自定义数据集也可以由任何研究人员以最少的工作量从各种来源组装，有时只需添加描述其结构和属性的元数据文件。序列描述文件的一个例子如图所示。 二、L. 切霍温·扎伊茨软件X 12（2020）1006233Fig. 1. 跟 踪 器描述示例和跟踪器执行说明。3.3. 实验图二. 单 个 序 列 的 目录结构和序列元数据文件的结构。由于可执行脚本在其创建期间在每个工作区中自动生成，因此更易于访问。其中包括测试一个实验定义了一个跟踪场景，一个跟踪器暴露在一个给定的序列。这包括任何序列修改（例如图像噪声、初始化错误、跳帧）以及跟踪流的控制（例如监督或实时跟踪）。目前，该工具包支持三种类型的实验：无监督（在没有任何干预的情况下对序列运行跟踪器），监督（运行跟踪器并在它偏离目标时重新初始化它通过实现一个定义良好的接口可以添加更多的实验。实验堆栈是一组已配置的实验。 堆栈用于表示与特定挑战相关的高级评估配置，但也可以轻松创建自定义实验堆栈。堆栈配置的示例如图所示。3.第三章。3.4. 工作空间工具包工作区是包含本地副本的目录数据集和将数据集绑定到特定实验堆栈的配置。其主要思想是，评估不是在工具包的源代码所在的同一目录中执行的，这是许多其他评估框架的情况。工作空间存储原始跟踪结果 在一个结构化的文件层次中。这些结果可用于后续分析，也可打包并提交用于外部比较（例如VOT挑战）。尽管该工具包的本质是非常可扩展的，但代表最常见用例的几个入口点已经跟 踪 器 集 成 （ run_test ） 、 运 行 实 验 堆 栈（run_experiments）、执行分析（run_analysis）和打包结果（run_pack），因为创建工具包的主要动机是支持VOT挑战的组织3.5. 分析和报告该工具包的最后两个模块专门用于分析原始结果和生成基于分析的报告。该工具包支持各种性能测量，例如：OTB重叠阈值曲线[3]和VOT挑战中使用的更复杂的测量，例如准确性-稳健性（AR）[6]分析和预期平均重叠（EAO）[15]。分析模块由报告生成模块使用，该报告生成模块包含生成涉及多个跟踪器和大型数据集上的多个实验的高级报告的功能这类报告的例子见图10。四、报告支持生成图和表，所有这些都可以在一组HTML文档中浏览。此外，还支持导出到EPS或原始Matlab图形，可以将图和表导出为逗号分隔值（CSV）。4. 用例示例在本节中，我们将简要介绍在设计工具包时考虑的几个用例请注意，这些不是唯一可能的场景，但仍然显示了该工具包超越VOT挑战的巨大潜力。L. 切霍温·扎伊茨软件X 12（2020）1006234图三. 两个实验的堆栈配置示例。图四、生成的HTML报告的几个示例。VOT挑战参与历来是核心用例。用户为工具包中与开放挑战对应的预定义实验堆栈用户集成跟踪器，测试它，然后进行实验。实验结束后，可以将结果打包提交给组织者进行审查。在线工具包文档中提供了有关如何执行此操作的详细教程。专门数据集的跟踪器比较。 如果需要为特定场景找到最佳跟踪算法，该工具包支持手动创建自定义数据集。然后，一组跟踪器可以通过特定的实验进行评估，并相互比较。跟踪器的开发可以很容易地通过评估多个替代修改来促进。在工具包中注册多个跟踪器实例，并在给定的序列数据集上或与现有的相关跟踪器进行比较算法行为分析使得能够在一组输入参数上深入研究个体跟踪算法。在这种情况下，多个跟踪器实例注册到工具包中，它们都使用相同的代码库，但初始化参数不同。这些参数也可以在初始化期间使用TraX协议的自定义参数传递给跟踪器[14]。进行了一组实验，并对结果进行了分析。通过实验功能的模块化设计，可以支持新的实验。[16]中给出了一个示例，其中基于变化参数的动态序列生成被集成到评估管道中。5. 结论在本文中，我们提出了VOT工具包，一个框架，工作评估的单目标视觉目标跟踪算法的性能我们已经说明了它如何用于执行VOT挑战中使用的各种实验，并指出它如何用于执行甚至其他类型的跟踪实验。由于其灵活性，该工具包能够经受住时间的考验，经历了七年的成长和演变，它支持不同类型的实验，不同的注释格式，甚至多模态序列数据集。该工具包是作为一组Matlab脚本编写的，在创建初始版本时，这很有意义。由于研究社区的编程趋势已经转向其他语言，特别是Python。因此，我们未来的目标是使工具包更接近新一代的研究人员，有可能按照相同的设计概念用另一种语言重写它，并保持持久数据的兼容性。此外，该工具包还将随着VOT Challenge的新版本而增长，预计将推动单目标视觉跟踪性能评估的竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作·····L. 切霍温·扎伊茨软件X 12（2020）1006235确认这项工作得到了ARRS项目Z2- 1866的部分资助。引用[1] 王强，陈芳，徐伟，杨明华.在线目标跟踪算法的实验比较。在：SPIE光学工程+应用。San Diego; 2011，http://dx.doi.org/10.1117/12.895965，第81381 A-81381 A-11页。http://adsabs.harvard.edu//abs/2011SPIE.8138E.56W网站。[2] 彭毅，凌华。从次优中求优--抑制视觉跟踪算法评价中的主观偏差。在IEEE计算机视觉国际会议上。2013，第 2784-91页。 http://dx.doi.org/10的网站。1109/ICCV.2013.346。[3] 作者声明：Zhang Jiang，Lim J.在线对象跟踪：一个基准。在：IEEE计算机协会计算机视觉和模式识别会议。2013年，第2411-2418[4] [10]张文辉，张文辉.视觉跟踪：一项实验调查。IEEE Trans Pattern AnalMachIntell2013;36（7）：1442-68.http://dx.doi.org/10.1109/TPAMI.2013.230网站。[5] 吴H，Sankaranarayanan AC，Chellappa R. 跟踪算法的在线经验评估。IEEETransPatternAnalMachIntell2010;32 （ 8 ） ： 1443-58.http://dx.doi.org/10.1109/TPAMI.2009.135网站。[6] 放大图片作者：Kristan M.视觉对象跟踪性能措施重新审视。IEEE TransImage Process2016;25（3）：1261-74.[7] [10] 杨 文 辉 ， 杨 文 辉 . 野 外 长 期 跟 踪 ： 基 准 。 在 ： 欧 洲 计 算 机 视 觉 会 议（ECCV）的会议记录。2018年，第670-685[8]Moudgil A ， Gandhi V. 长 期 视 觉 对 象 跟 踪 基 准 。 亚 洲 计 算 机 视 觉 会 议（AsianConference on Computer Vision）Springer; 2018，p.629-45[9]黄丽，赵X，黄凯. GOT-10 k：用于野外通用对象跟踪arXiv预印本arXiv：1810.11981。2018年[10]Mueller M，Smith N，Ghanem B.无人机跟踪的基准和模拟器。参加：欧洲计算机视觉会议。 Springer; 2016，p. 445-61[11]Muller M，Bibi A，Giancola S，Alsubaihi S，Ghanem B. TrackingNet：一个大规模的数据集和基准的对象跟踪在野外。欧洲计算机视觉会议（ECCV）2018年[12]范华，林林，杨芳，朱平，邓国，于胜，白华，徐勇，廖春，凌华。Lasot：高质量的基准为大规模单个对象跟踪.在：IEEE计算机视觉和模式识别会议论文集。2019年，第5374-5383。[13]Kristan M，Matas J，Leonardis A，Vojir T，Pflugfelder R，Fernandez G，Nehroy G，Porikli F，Čehovin L.一种新的单目标跟踪器性能评估方法。IEEETransPatternAnalMachIntell2016.http://dx.doi.org/10.1109/TPAMI.2016.2516982网站。[14] 切 霍 温 湖 Trax ： 视 觉 跟 踪 交 换 协 议 和 库 。 神 经 计 算 2017;260 ： 5-8.http://dx.doi.org/10.1016/j.neucom.2017的网站。02.036[15]Kristan M ， Matas J ， Leonardis A ， Felsberg M ， Čehovin Zajc L ，Fernandez G ， Vojir T ， Häger G ， Nehry G ， Pflugfelder R ， et al. TheVisual Object Tracking VOT 2015 challenge results.在：视觉对象跟踪研讨会2015在ICCV 2015. 2015年。[16][10] Chehovin L ， LukežiA ， Leonardis A ， Kristan M.Beyond standardbenchmarks ： Parameterizing performance evaluation in visual objecttracking.IEEE International Conference on Computer Vision（ ICCV） 2017年。
