视觉信息学4（2020）58AntVis：一个基于网络的可视化分析工具，用于探索蚂蚁运动数据胡天晓a，郑浩b，陈良c，朱思柔c，娜塔莉·伊米尔齐安d，张一哲b，王超利b，David P.休斯，丹尼。陈ba Facebook，Inc.， Menlo Park，CA 94025，美国bUniversity of Notre Dame，Notre Dame，IN 46556，美国卡内基梅隆大学，匹兹堡，PA 15213宾夕法尼亚州立大学University Park，PA 16802，美国ar t i cl e i nf o文章历史记录：2019年12月22日收到2020年2月12日收到修订版2020年2月12日接受在线预订2020年保留字：蚂蚁运动物体检测图像分割视觉分析知识发现a b st ra ct我们提出AntVis，一个基于网络的可视化分析工具，用于探索收集的蚂蚁运动数据从蚂蚁在树枝上移动的视频记录中。我们的目标是让领域专家可视化地探索大量蚂蚁运动数据，并通过有效的可视化、过滤和比较获得有价值的见解。这是通过一个深度学习框架来实现的，该框架用于自动检测、分割和标记蚂蚁，基于蚂蚁轨迹相似性的蚂蚁运动聚类，以及设计和开发用于用户交互和探索的五个协调视图（运动、相似性、时间轴、统计和属性视图）。我们证明了AntVis的有效性与领域专家密切合作开发的几个案例研究最后，我们报告了由昆虫学家进行的专家评估，并指出了未来的研究方向版权所有2021作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍许多活的有机体都参与了类似流动的集体运动。准确的移动或轨迹数据收集和分析对于理解这些行为模式（如迁移）至关重要（Wang et al. ，2016年）和觅食（Imirzian等人，2019）。与大多数物种的流动是单向的不同，蚂蚁的运动主要是双向的（Four-Becaé et al. ，2010年）。蚂蚁运动的新兴研究提供了有趣的见解蚂蚁交通规则，揭示了作为一个整体的蚁群可以被认为是一个典型的自组织自适应系统。这些研究可以揭示蚂蚁行为生态学和进化的基本原理。例如，Imirzian等人（2019）最近发现，大多数觅食蚂蚁在与其他蚂蚁相同的区域几乎是直线行走，但有一部分觅食蚂蚁更具探索性。为了更好地帮助领域专家分析大量蚂蚁监测数据，迫切需要一种交互式工具。在设计和开发这样一个工具方面仍然存在一些挑战。第一个挑战是我们需要很好地理解领域专家*通讯作者。电子邮件地址：tianxiaohu@fb.com（T.Hu），hzheng3@nd.edu（H.Zheng），liangchendlj@gmail.com（C.Liang），srzhu97@gmail.com（S.Zhu），nsi2@psu.edu（N.Imirzian），yzhang29@nd.edu（Y.Zhang），chaoli.wang @ nd.edu（C.Wang），dhughes@psu.edu（D.P.Hughes），dchen@nd.edu（D.Z.陈）。https://doi.org/10.1016/j.visinf.2020.02.001需求和期望，以便我们能够设计有效的功能。我们提出AntVis，一个工具，以分割和跟踪的蚂蚁运动数据作为输入，并提出了一个交互式的视觉界面，由协调的多个视图，供用户直观地探索蚂蚁运动数据。我们与领域专家合作，执行任务分析并确定设计要求。我们从七个独立的视频记录序列中收集数据视频剪辑显示木匠蚂蚁（一种名为Camponotus rufipes的特定物种）在树枝上移动，因此它们的运动可以抽象为二维平面上的一维轨迹或轨迹。这些视频是在同一个晚上录制的，几乎所有的蚂蚁都来自同一个巢穴。在最后三个视频剪辑中，由于摄像机旋转，背景与之前记录的不同为了保持运动数据的一致性，我们执行图像旋转以校正拍摄角度。第二个挑战是，准确的蚂蚁检测是运动分析和行为研究的关键先决条件然而，由于数据量巨大，对监控视频进行手动注释是繁琐且耗时的。因此，从监控视频中自动检测和分割最近，卷积神经网络（ConvNets）显著提高了图像的对象分割和检测的性能（Ronneberger et al. ，2015; Shin等人，2016年）。我们设计了一个自动分割和检测框架，以获得对象（即，我们从其中，2468- 502 X/©2021作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfT. Hu，H.郑氏C.Liang等人/视觉信息学4（2020）5859从所述视频剪辑获得所述结构化运动数据。对于视频剪辑的每一帧，结构化数据由三部分组成：蚂蚁蚂蚁的位置为每个视频剪辑提取的数据保存到单个文件中。我们还计算了统计特征，并将其保存到单独的JSON文件中，以使数据更易于阅读和操作。第三个挑战是，我们需要仔细设计工具的不同视图，以帮助领域专家从多个角度探索蚂蚁轨迹数据，以获得全面的理解。AntVis界面包括核心移动视图、相关相似性视图、时间轴视图、统计视图和属性视图，以及用于交互的控制面板。这些视图通过刷和链接连接在一起。用户可以通过各种方式交互式地过滤数据，以获得有价值的见解。我们记录了专家2. 相关工作2.1. 视频中的目标检测和分割目标检测是一项需要区分图像中目标的位置、类别和数量的任务。它在图像处理和计算机视觉领域引起了极大的关注。由于传统算法很难很好地解决这一复杂问题，基于深度学习的新方法得到了应 用 。 例 如 ， 一 系 列 基 于 区 域 的 卷 积 神 经 网 络 （ R-CNN ）（Girshick，2015; Ren et al. ，2015; He et al. ，2017）首先生成区域提议，然后在每个提取的边界框内同时进行回归和分类。最新的进展已经实现了更好的检测精度和更高的帧速率（Lin et al. ，2017年）。另一种方法是在一次前馈过程中直接预测边界框，而不重用神经网络的任何组件或生成任何类型的建议，从而加快了检测器的速度。YOLO家族（Redmon et al. ，2016年;Redmon和Farhadi，2017年，2018年）将对象检测重构为单个回归问题，并输出每个像素的边界框坐标和类概率。通过这种方式，可以实时处理图像每秒67帧，准确度高。SSD家族（Liu et al. ，2016年;F u 等，2017年）使用各种大小和纵横比的参考框来预测对象实例， 回归器和分类器。最近，Refinedet（Zhang et al. ，2018年）试图通过在单阶段经典架构中加入两个新模块来结合双阶段方法和单阶段方法的优点。CornerNet（Law和Deng，2018）通过预测边界框作为成对的左上和右下关键点，提供了一种新的对象检测方法。Zhou等人（2019）提出了一种新的无建议方法，通过将五个检测到的关键点（最顶部、最左侧、最底部、最右侧的极端点和一个中心点）分组到边界框中（如果它们在几何上对齐）。然而，标记用于检测的图像要昂贵得多在大多数情况下，真实世界的视频是弱标记或几乎没有标记。此外，手动标记的数据通常包括有限类别的对象。在这样的数据集上训练的模型在看不见的类别上的泛化能力有限。Hartmann等人（2012）将图像标记公式化为学习弱监督分类器以识别一组独立的时空片段。他们利用图形切割来细化获得的对象，以生成最终的对象遮罩。Zhang等人（2015）提出了一种检测分割框架，其中使用在静止图像上预训练的对象和区域检测器来生成检测和分割方案。 然后，通过推断形状，抑制背景噪声的可能性，同时保持前景对象的时空一致性。最近，Zhang et al. （2017）将自定进度学习机制和深度神经网络集成到一个统一且兼容的框架中，即，一种新颖的自定步调的微调网络（SPFTN），学习探索视频帧内的上下文信息，并在不使用负面视频的情况下捕获足够的对象语义。帕塔克等人（2017）在视频上使用基于无监督运动的分割来获得片段，这些片段被用作一般来说，现有的工作通常首先在弱监督下训练分割级分类器或推理模型，以识别视频中与给定对象类别相关的片段。然后应用后处理方法来细化对象分割掩模。尽管该管道在各种情况下都取得了良好的性能，但在我们的特定情况下，仍可能存在一些首先，它通常需要昂贵的预处理方法来生成辅助片段建议或伪掩码（例如，光流图像）或甚至大量的手动注释。其次，在开源数据集中，蚂蚁监控视频没有弱标签。在我们的场景中，视频中只有一类对象，这更容易获得监督训练过程的伪掩码。大多数错误可以被检测和纠正，并且需要有限的手动纠正2.2. 运动数据近年来，运动或轨迹数据可视化一直是信息可视化和可视化分析领域的一个活跃研究课题。运动数据可视化的研究主要集中在交通数据上，这些数据是在运动车辆和物体上产生和收集的。例如，Wang et al. （2013）利用GPS轨迹来可视化城市中的交通堵塞，并探索交通堵塞的传播。Wang等人（2014）使用交通单元记录的稀疏城市交通数据来帮助用户找到城市规模的宏观交通模式。Huang等人（2016）将出租车轨迹转换为图形，并将图形划分为块以可视化城市交通数据。 Al-Dohuki等人 （2017）整合了地图轨迹数据和出租车文档，帮助非专业用户利用语义信息更轻松地探索和查询城市交通数据。来自各种来源的时空数据的日益增加的可用性为交通控制和城市规划提供了新的机会来发现移动模式。例如，Tominski等人（2012）研究了一种新方法，该方法通过堆叠的颜色编码轨迹带将空间，时间和属性整合在一起，使用户能够清楚地查看时空属性 Doraiswamy等人 （2014）使用时空城市数据，使用户能够探索和查询城市中的事件模式。von Landesberger等人（2016）开发了一种基于图形的方法，该方法结合了空间和时间简化来显示城市人口的移动模式此外，社交媒体数据还提供了有关城市移动模式的各种信息和背景 Chen等人 （2016a）开发了一个界面，帮助用户从稀疏的地理标记社交媒体数据中探索和检测移动模式。Cao等人（2018）使用热图来可视化来自流源的时空数据，并提出了一种检测异常移动模式的方法。鉴于大量的运动或轨迹数据，必须在可视化之前执行数据聚合和聚类，以实现具有成本效益的查看、导航和理解。Andrienko和Andrienko（2008）介绍了各种可能的方法来聚合大量的运动数据，使用抽象和概括来支持信息可视化。安德里延科60T. Hu，H.郑氏C.Liang等人/视觉信息学4（2020）58等人（2009）提出了一种聚类无法加载到主计算机内存中的非常大的数据集的方法。提出的工作流程通过取子集-聚类-建立分类器-分类来解决这个问题。该工作流可以应用于其他类型的结构复杂的空间和非空间对象。为了解决大量轨迹数据可视化中的大量交叉和重叠问题，Andrienko和Andrienko（2011）提出了一种数据聚合方法，该方法隐藏了数据的细节，同时保持了它们的本质特征。除了城市交通数据之外，与之关系更密切的工作是关注人类社会的轨迹数据。Stein（2018）利用从足球视频中提取的数据来提高足球分析的准确性和有效性。 Andrienko等人 （2018）提出了一种对海量航空公司轨迹数据进行聚类的方法。它们的轨迹之间的距离度量忽略了不相关的元素。 对于蚂蚁运动数据，Imirzian et al. （2019）最近提出使用探索指数（EI）来衡量一个单独的轨迹是如何探索的，通过计算与其他轨迹相比，特定轨迹覆盖了多少“不同”的地方。他们还提出了一个评估轨迹直线度的指标，用于确定一些蚂蚁是否在觅食。在这项工作中，我们研究了很少探索蚂蚁运动数据从数据可视化的角度。我们首先使用深度学习从录制的视频片段中提取蚂蚁轨迹数据，然后进行层次聚类和降维，最后，为用户提供一个名为AntVis的可视化界面，以探索蚂蚁运动模式并识别异常。3. 任务分析和设计要求3.1. 任务分析领域专家在巴西东南部的一个研究站收集了数据（Imirzian etal. ，2019）。我们与专家定期举行会议，讨论收集到的监测数据的处理和可视化。专家们想知道蚂蚁的运动模式，因为野外疾病威胁持续发生。检测群体运动模式和识别个体蚂蚁的离群值是感兴趣的。因此，我们认识到以下任务。T1移动数据概览。该任务旨在回答诸如“蚂蚁在空间和时间上的运动的一般模式是什么？”''，''分支中是否有任何区域蚂蚁经过的频率比其他地方高吗和"蚂蚁数量如何随时间变化？在我们的场景中，一个典型的视频片段大约是20分钟，记录了近30，000帧。大多数蚂蚁的运动都是穿过树枝（从一端移动到另一端），但有些蚂蚁只是“四处游荡”（在同一端开始和结束，或者盘旋或盘旋）。我们的可视化应该允许用户在检查细节之前首先获得运动数据的概述以获得更多的见解。T2调查个人动向。该任务旨在回答诸如"我们能否选择单个动作并详细检查或比较它们？“"和"蚂蚁个体运动的异同点是什么？在一个视频片段中有数百个动作，每一个动作都对应着一只蚂蚁的踪迹或轨迹。不同的蚂蚁沿着树枝移动时，可能有不同的目标或目的地，这导致不同的移动模式。重要的是这也有助于验证是否或者没有一组蚂蚁具有相似的移动模式，这可能表明这些蚂蚁正朝着相同的目的地移动（例如，从巢到食物或反之亦然）。鉴于一个大数量的运动，检查它们之间的相似性和差异性将提供有价值的洞察他们的模式，允许更好地总结和区分蚂蚁的行为。T3探索运动属性和统计。该任务旨在回答“我们能否关注特定的运动并检查其相关属性或统计信息”等问题。“”和“”一个属性是否与另一个属性相关？''它有助于用户检查各种运动属性和高级统计信息，如平均速度和运动的总长度或持续时间选择特定移动并挖掘其属性将允许用户获得对数据的更详细的理解，并进一步探索共享类似属性值范围或统计的移动数据的子集。此外，用户经常渴望调查不同属性之间是否存在某些关系例如，较长的移动可以与较高或较低的移动速度相关联，反之亦然。使得能够检测多个属性之间的相关性将允许用户发现属性相关性。T4 探索集群级移动模式。这任务的目的是回答诸如"我们能否自动地将类似的蚂蚁运动分组以识别运动模式？““，”不同的移动模式看起来像什么？“”和“”多个移动模式的统计数据有多大不同？如果两只蚂蚁在空间上沿着它们各自的轨迹彼此靠近，我们说它们相应的运动是“相似的”。用户感兴趣的是在给定感兴趣的运动的情况下找到类似的运动。此外，由于相似的运动反映相同的运动模式，因此将相似的运动分组到集群中将允许用户探索集群级别的运动模式。在获得运动的聚类之后，用户想要比较不同的运动模式。例如，蚂蚁是在树枝上移动，还是在中途掉头？多个类之间的属性比较将允许用户进一步了解高级属性的分布。例如，用户将能够调查分支的上部的移动是否通常与比下部的移动更高的速度相关联。所有这些见解将使用户能够更好地发现多种移动模式之间的相似性和差异性。T5 识别异常移动。 这项任务旨在回答“蚂蚁有没有什么特殊或不正常的运动？这些不正常的运动与正常或普通的运动相比有什么不同？它研究异常运动是很重要的，例如，那些具有非常高的速度或长的路径。检测和可视化异常蚂蚁运动将吸引用户注意这些特定的运动或离群值。对异常运动的详细探索也将帮助用户更全面地了解整个蚂蚁运动数据。3.2. 设计要求为了允许用户执行T1到T5，我们的可视化工具应满足以下设计要求。R1显示上下文。该要求对应于T1和T5。为了描绘蚂蚁的原始运动，可视化系统应该复制它们的痕迹。为了效率，上下文可以以伪视频格式示出，其中背景图像（示出树枝）从视频中提取，并且蚂蚁运动以静态或动画方式显示为轨迹。这种可视化将帮助用户获得运动数据（T1）的第一手视图，并发现可能的异常运动（T5）。R2.检查运动分布。该要求对应于T1。可视化时空运动分布将帮助用户获得总体印象并识别T. Hu，H.郑氏C.Liang等人/视觉信息学4（2020）5861Fig. 1. 用于从视频中自动分割蚂蚁的FCN结构。卷积（Conv）操作的内核大小和通道数已标记。上卷积层通过向后跨步卷积（4× 4 w/stride=2）对特征图的大小进行上采样蚂蚁运动的规律提供移动数据的热图可以检测树枝上是否有流行的痕迹，以及有多少蚂蚁具有特定的移动模式。此外，显示蚂蚁随时间的时间分布允许用户精确定位蚂蚁离开巢穴觅食和将食物带回巢穴的时刻R3.过滤动作。该要求对应于T2和T5。提供各种过滤器可以帮助用户从多个角度观察移动数据，并选择他们感兴趣的蚂蚁进行更深入的探索。在缩小到选定的动作之后，用户将能够比较多个动作（T2）的相似性和差异性。此外，这些过滤器还使用户能够更容易地检测异常运动（T5）并调查或分析可能的原因。R4比较统计属性。该要求对应于T3和T4。在计算蚂蚁运动的统计属性并将它们分组到聚类中之后，将这些统计属性在不同的聚类中进行比较可能会导致有趣的发现。例如，用户可能想弄清楚相似的运动是否具有相似的统计属性（T3），或者从统计属性的角度来看聚类之间的差异（T4）。R5.发现属性相关性。该要求对应于T3。各种运动属性不是独立的，相反，它们可能彼此高度相关。我们的系统应该为用户提供不同属性分布的概述，并向用户显示其趋势和相关性（例如，移动的平均速度和轨迹的长度）。同时，检测某些属性是否随时间具有上升或下降趋势对于用户发现发现结果或得出结论可能是必不可少的。R6.可视化集群和（不）相似性。该要求对应于T4和T5。将相似的运动聚类将有助于用户观察具有相同运动模式的多个蚂蚁轨迹，并研究内部的运动。一旦可以显示相似的移动，下一个逻辑步骤是观察具有不同移动模式的移动之间的差异。提供移动模式的可视化将帮助用户弄清楚为什么这些移动被聚集到不同的组中，以及移动模式的关键属性是什么（T4）。此外，通过聚类，与其他运动没有共同点的运动将被孤立出来，这有助于揭示异常运动（T5）。4. 数据分析4.1. 通过深度学习尽管基于深度神经网络（DNN）的监督分割已经在计算机视觉领域中在自然场景图像（Long et al. ，2015）和生物医学图像（Ronneberger et al. ，2015; Chen et al. ，2016 b; Liang et al. ，2019; Zheng et al. ，2019年），很少有研究探讨了生物图像计算领域，其中数据通常是大容量的，缺乏足够的注释。我们应用修改的2D全卷积网络（FCN）（Longet al. ，2015）以获得每个帧中的片段，其遵循深度上下文网络（DCN）的结构（Chen etal. ，2016 b）。基于DNN结构的最新进展，例如剩余学习（Heet al. ，2016年）和批量归一化（Ioffe和Szegedy，2015年），我们使用ResNet块和批量归一化层来缓解梯度消失的问题，并显着减少参数的数量（为了更好的通用性），同时保持合理的结果。图1显示了我们的FCN模型的详细结构。与原始DCN相比，我们的FCN模型更深入，主要基于两种类型的残差模型构建。因此，我们的模型具有更大的视野，以适应输入图像的大小。具体地，其包括提取输入图像的多级信息（即，来自较浅层的低级局部/上下文信息和来自较深层的高级全局/语义信息）。全局信息有助于定位感兴趣区域，局部信息有助于提高分割精度。多层次的上下文信息融合的级联操作，其次是两个卷积操作。最后，通过将融合图输入到softmax分类层来生成概率图。图2概述了我们的深度学习框架的主要思想和步骤。在第一步，给定一组未注释的视频，我们的方法通过将这些视频分解为帧并为这些帧生成伪标签来一旦监控摄像头被设置好，背景就被确定了，蚂蚁（和一些飞虫）是视频中唯一移动的物体。因此，通过对连续帧进行平均，我们可以去除移动对象和噪声。在实践中，我们计算50个连续帧中的然而，正如我们在图中看到的。 2（a），这些初始伪标签是62T. Hu，H.郑氏C.Liang等人/视觉信息学4（2020）58图二. 蚂蚁检测框架由（a）背景图像提取和伪标签生成、（b）语义对象分割和（c）轨迹组成数据生成相当嘈杂和破碎，可能完全错过了相当多的帧。因此，需要更准确地检测蚂蚁受最近关于使用伪标签训练深度学习模型的工作的启发（Pathak et al. ，2017年），我们进一步提出训练深度学习模型来细化这些蚂蚁分割掩码，并自动传播到其他分割不良的帧。如图2（b）在第二步中，我们利用将自动生成的伪标签作为“基本事实”来训练上述2DFCN以分割语义对象（即，蚂蚁）在每一帧中。虽然训练数据是有噪声的，但学习的FCN可以生成更平滑，更准确的分割结果。蚂蚁的位置是构建蚂蚁轨迹的关键。最后一步（图）2（c）），我们计算每个检测到的蚂蚁的中心点并进行后处理（例如，合并两个检测到的极小且接近的蚂蚁）以消除错误分割的分量并生成结构化的蚂蚁轨迹数据。4.2. 分割结果在得到蚂蚁的像素级分割结果后，蚂蚁分开移动在所有这些场景中，都有蚂蚁ID在奇怪的位置出现或消失（大多数情况下，在树枝的中间）。然而，根据我们的先验知识，蚂蚁通常出现在特定的位置，即，框架的左侧或右侧。我们可以通过绘制一个图来检测和纠正异常的跟踪结果，其中x轴代表蚂蚁出现的x坐标，y轴代表蚂蚁消失的x坐标。在这样的图中，正常的蚂蚁应该落在左上角和右下角，而异常的蚂蚁会落在其他区域。4.3. 蚂蚁运动聚类相似性度量在我们的蚂蚁运动数据中，每条轨迹P由一系列离散点组成，这些点由蚂蚁的（x， y）像素位置表示。给定两个迹Pi和Pj，我们使用欧氏距离来衡量它们的相似性。点对是通过将轨迹上的每个点映射到另一轨迹上的最近点来形成的。具体来说，我们应用最近点距离（MCP）的平均值，其定义如下dm（Pi，Pj）+dm（Pj，Pi）首先消除一些主要的误分割成分，如少数飞行物体和其他噪声点的背景以外的分支然后，我们应用一系列的图像处理技术，以获得精细的分割结果。具体来说，我们计算连通分量（CC）来填充分段“蚂蚁”中的连接孔接下来我们dM（Pi，Pj）=哪里dm（Pi，Pj）=2pk∈Piminpl∈Pj<$pk−pl<$N计算每个CC的中心位置以表示蚂蚁。最后，我们使用地球移动器距离（EMD）匹配模型（Chen et al. ，2016a）并获得结构化的轨迹数据。每个蚂蚁都通过其ID进行索引， 我们记录其出现和消失的帧编号以及在每帧中的物理位置。由于自动分割和跟踪算法的局限性主要有三种错误：（1）当蚂蚁走在树叶后面时，分支然后重新出现（通常离消失的位置不远），其ID在此过程中发生变化。(2)由于蚂蚁的复杂形态，蚂蚁和胃之间的连接部分身体和后部）很难分割。如果一只蚂蚁在一个中间帧中被分割成两部分，它将被视为两个独立的蚂蚁，我们的算法将为这只蚂蚁分配一个新的ID。(3)当两只蚂蚁相遇并用触角接触对方时，如果它们非常接近，它们就会被视为一只蚂蚁。另一只蚂蚁并且N是Pi中的点的数目，dm（Pj，Pi）被类似地定义dM（Pi，Pj）越小，Pi和Pj越相似.层次聚类。我们使用自底向上的凝聚层次聚类方法聚类蚂蚁痕迹。该方法在包含点对之间的距离的数据上表现良好。此外，它允许我们方便地确定适当的集群数量。聚类从单独的聚类中的每个迹线开始。然后，它以迭代的方式将两个最相似的聚类合并为一个，我们使用平均连锁层次聚类，也就是说，我们使用所有轨迹对（一个来自第一个聚类，一个来自第二个聚类）的平均MCP距离来衡量两个聚类之间的平均MCP距离越小，两个集群越相似。对于每个视频剪辑，左侧是食物所在的位置，右边是巢穴所在的地方除了考虑所有蚂蚁的运动，我们还按它们的运动方向进行分组：从右到左（开始觅食），从左到右（返回巢穴），从右到右，从左到左。对于这五组中的每一组（所有、左→右、右→左、右→右和左∑T. Hu，H.郑氏C.Liang等人/视觉信息学4（2020）5863→→→→→图3.第三章。 AntVis界面（a）至（f）分别是控制面板、相似性视图、运动视图、时间轴视图、统计视图和属性视图左），然后我们单独执行蚂蚁运动聚类。根据我们的经验观察手动选择所需的集群数量。聚类结果用于我们的可视化系统中的用户探索。降低成本。多维缩放（MDS）是一种将高维数据投影到较低维（通常为2D）以进行可视化和探索的流行降维技术，它MDS算法有两种类型：度量算法和非度量算法。在我们的实现中，我们选择度量MDS。由于我们定义了蚂蚁迹对的MCP在执行MDS之后，为每个迹线分配2D平面中的坐标。在这个2D投影平面中，每个点代表一只蚂蚁的踪迹。在平面中彼此更靠近的点指示它们对应的迹线更相似。5. AntVis工具我们开发我们的可视化系统称为AntVis，使用户能够可视化地探索蚂蚁运动数据。如图3所示，我们的AntVis系统有六个组件：控制面板、运动视图、时间轴视图、相似性视图、统计视图和属性视图。当前系统包括多个视频剪辑。每个视频剪辑中的蚂蚁根据运动方向分为五个不同的组（全部、左左、左右、右左和右右）。用户可以在控制面板上选择视频剪辑和运动方向，以快速缩小到选定的运动组。之后，所选组内的聚类和每个聚类中的蚂蚁显示在两个单独的列表中，以进行进一步的交互，如图3（a）所示。运动视图（图）3（c））显示蚂蚁移动的实际轨迹，使用户能够检查原始空间域中的数据。树枝是从视频中提取的并在此视图中显示为上下文。时间轴视图（图3（d））向用户提供蚂蚁运动的时间分布信息。用户可以将帧作为伪视频播放。相似性视图（Fig. 3（b））在MDS之后可视化蚂蚁集群。每个轨迹由2D投影平面中的一个点表示，该视图通过点之间的距离显示聚类之间的相似性。最后，统计视图（图）。 3（e））和属性视图（图。3（f））提供了聚类和单个迹线的定量属性之间的比较。所有这些视图都通过刷和链接连接在下文中，我们将详细描述这五种视图5.1. 运动观蚁群运动视图作为蚁群可视化系统的主视图，主要展示蚂蚁运动的原始数据，为用户提供了蚂蚁路径及其在树枝上分布的直观视图此视图对应于设计要求R1、R2、R3和R6。通过这个视图，用户不仅可以检查蚂蚁的痕迹，而且可以选择和过滤蚂蚁痕迹进行详细的探索。视频剪辑和移动方向可以在界面的左上角选择。在移动视图中显示的蚁群和单个蚁与控制面板上显示的复选框相关联。伪视频。当用户点击时间轴视图右下角的“播放"按钮时，当前选择的蚂蚁轨迹将显示为伪视频。我们在运动视图中逐帧更新蚂蚁的像素位置。痕迹是随机着色的。如图4（a），对于轨迹，当帧被更新（播放）时，新的步骤（由三角形图标）出现在移动视图中，而先前的步骤逐渐淡出。步骤由线段连接形成移动路径。当前步骤的三角形边界以黄色突出显示速度信息通过三角形的大小进行编码：较大的三角形对应较高的64T. Hu，H.郑氏C.Liang等人/视觉信息学4（2020）58××→→∈ []→→∈ []∈ []·见图4。 （a）五只蚂蚁的轨迹可视化显示了它们沿着树枝的运动。他们目前的位置用白色圆圈标记。(b)的所有278条蚂蚁踪迹的热图对应于一个集群，显示了这些蚂蚁喜欢的某条“路径带”，如红色方块所示。(c)中心三个所选聚类的线和包络显示了它们各自的蚂蚁迹线的汇总信息。红色的集群有蚂蚁穿过整个分支，橙色和绿色的簇没有蚂蚁穿过整个分支。速度此外，三角形的方向指示速度方向。播放速度可以通过“播放"按钮左侧的下拉列表我们提供三种播放速度：快，中，慢。上面的热图我们的视频剪辑的原始大小是960 540像素。我们将运动视图划分为10 - 10像素的正方形，并产生5184个正方形。对于每一个方格，我们都要计算经过的蚂蚁数量如果“热图”为了给热图着色，我们使用彩虹色图，其中蓝色（红色）对应于更少（更多）的蚂蚁。通过这种方式，蚂蚁经过的受欢迎区域将以饱和红色显示，相反的区域将以浅蓝色显示。图4（b）显示了一个集群中所有蚂蚁踪迹的热图示例，它清楚地表明这些蚂蚁喜欢沿着分支的某个“路径带”中心线和包络线。对于在控制面板上选择的每个簇，我们计算其中心线和包络作为簇中的蚂蚁迹线的总和。我们生成中心线沿着x轴。对于背景上的每个xp0，959，我们首先选择具有点（xp，y）的蚂蚁迹线，其中y0，539，on跟踪并将所有y值的平均值分配给中心线上xp的y坐标因此，对于具有穿过背景图像的蚂蚁的聚类（全部、左右、右左），中心线也将穿过背景图像。否则，中心线将在中间某处结束（即， 左，左，右）。在我们的实现中，不同的集群被分配给不同的颜色。如果对于每个包络，以类似的方式，我们沿着y轴为每个xp0， 959生成其上界和下界。然后，如果“信封”复选框处于启用状态，我们将边界，并为当前选定的聚类的相应区域着色。上下边界都将在移动视图中绘制，并且包络将使用簇的相应颜色以透明方式绘制。图图4（c）示出了三个所选聚类的中心线及其对应包络的示例。痕迹如果'' Trace ''复选框被选中，我们将在移动视图中绘制所有选定蚂蚁的轨迹。从视频帧中提取的蚂蚁位置我们随机地将不同的颜色分配给不同的痕迹，以便清晰地观察。图3（c）示出了这样的示例。用户可以在控制面板上选中或取消选中蚂蚁的复选框来过滤显示的轨迹。他们也可以刷一个移动视图中的矩形区域，以缩小到通过选定区域的轨迹。过滤结果将链接到控制面板上的蚂蚁复选框并且未被选择的轨迹将在移动视图中被隐藏。我们注意到，移动视图中的每个刷动都是新的滤波不累积）。此外，用户可以点击背景图像来取消过滤。属性过滤器。 我们为用户提供了一个筛选器，在给定属性的特定范围内跟踪。贡品是按字母顺序排列的.用户可以在下拉列表中选择这些属性中的任何一个，然后拖动最小值-最大值属性栏来设置范围。只有属性值在选定范围内的轨迹才会显示在移动视图中，过滤结果将链接到控制面板。我们为用户提供了以下属性：• 累积角：沿着蚂蚁的轨迹，中间点p i有两个邻居：p i − 1和p i + 1。线段pi−1p和线段pp i+1之间形成一个缠绕角，表示蚂蚁改变了多少方向。“累积角”是沿轨迹的所有缠绕角的总和。具有大累积角度的迹线具有长或弯曲的路径对的树分公司最大角度：蚂蚁轨迹上的最大缠绕角度这个属性将帮助用户识别蚂蚁，使任何突然急转弯沿其轨迹。平均角度：蚂蚁轨迹的平均弯曲角度。一个小的“平均角”的轨迹最大/平均/最小速度：我们计算每个点的速度p沿着蚂蚁的轨迹使用两个邻居的长度-视频点和两个对应视频帧之间的时间。这三个属性显示蚂蚁轨迹的最大/平均/最小速度出现的帧数：我们计算蚂蚁第一次和最后一次出现在每个轨迹之间的帧数，这可以衡量蚂蚁在视频剪辑中出现的时间。较大的值表示蚂蚁可能有一条长而曲折的路径，或者经常在树枝上停留或停留一段时间。旅行距离：我们把蚂蚁的轨迹上所有线段的长度加起来作为它的“旅行距离”。长距离意味着蚂蚁在树枝上来回移动trace x（y）range：我们确定蚂蚁轨迹的最小和最大x（y）坐标值此属性反映轨迹如何沿x（y）轴展开此外，我们在属性过滤器下拉列表的底部提供了·····T. Hu，H.郑氏C.Liang等人/视觉信息学4（2020）5865→→ →→在应用任何基于属性的过滤之前，对所选择的蚂蚁轨迹进行过滤。互动当“跟踪”复选框打开时，用户可以将鼠标悬停在任何跟踪上以突出显示它，以便进行详细观察。其他轨迹将淡出，代表速度的三角形图标将在高亮显示的轨迹上自动绘制。一个工具提示也将显示相应的蚂蚁的属性。可以按任意顺序应用“热图”、“中心线”、“包络”和“跟踪”复选框。对于“中心线”、“包络”和“轨迹”复选框，它们将被绘制到移动视图然而，为了提供上下文并避免覆盖其他线和段，我们总是在底层绘制热图（即，在背景图像的正上方5.2. 时间轴视图时间轴视图主要向用户提供蚂蚁随时间的时间分布的概览。它允许用户找出蚂蚁在视频剪辑中出现最频繁的时刻，以及它们何时离开巢穴觅食并将食物带回巢穴。该视图对应于设计要求R2、R3和R6。时间轴视图中显示的方向、群集和单个蚂蚁与控制面板上的下拉列表和复选框相链接通过这个视图，用户可以检查蚂蚁的时间分布，以及选择和过滤蚂蚁的出现时间时间轴。我们的每个视频片段由近30，000帧组成，并分为时间间隔，每个时间间隔包括1000帧。然后我们计算每个时间间隔内出现的蚂蚁数量。如图在图3（d）中，我们在框架条的顶部放置了一个堆叠的直方图，显示了蚂蚁计数随时间的变化。这允许用户快速拖动最小-最大帧栏来检查移动视图中感兴趣的时间间隔。三个直方图堆叠在显示中。第一个最浅的灰色显示了所选方向上的蚂蚁数量（所有、左左、左右、右左和右右），第二个中灰色对应于控制面板上所示的所选集群中的蚂蚁数量，第三个最深的灰色与控制面板上的蚂蚁复选框相关联。通过打开和关闭蚂蚁的复选框，用户可以获得所选蚂蚁的时间分布的高度定制视图用户可以设置一个范围，通过拖动最小-最大帧栏或在给定的两个输入框中键入来过滤出现在特定帧范围内的蚂蚁因此，只有第一次出现的帧落入该范围的蚂蚁才被显示在移动视图中。过滤结果链接到控制面板上的5.3. 相似观如第4.3节所述，我们对蚂蚁运动数据执行MDS，以在2D中呈现蚂蚁轨迹的投影视图。该视图对应于设计要求R3和R6。 每个轨迹将由2D投影平面上的一个点表示。如果两条迹线相似，则它们的对应点彼此接近。MDS相似性相似性视图上显示的点链接到控制面板上的选定聚类。为了更好地观察，我们为不同的聚类分配了不同的颜色（颜色分配与运动视图中所示的中心线或包络一致）。相似性过滤器我们为用户提供了一个过滤器，以选择相互接近的轨迹进行仔细检查。用户可以在相似性视图中刷一个矩形区域来进行选择。所选区域中的点将以更饱和的颜色标记。过滤结果将链接到控制面板上的蚂蚁复选框和移动视图中显示的蚂蚁轨迹此外，用户可以通过单击相似性视图来撤销过滤。类似于运动视图中的刷牙，相似性视图中的每次刷牙都是新的选择，即，滤波不累积。5.4. 统计视图与设计需求R4相对应，该视图旨在帮助用户比较不同聚类的统计属性。除了属性过滤器中提供的属性之外，我们还添加了七个属性供用户探索：framestart/end id：蚂蚁第一次/最后一次出现的帧ID。speedrange/std：我们确定蚂蚁轨迹的最小和最大速度。我们将它们的绝对差指定为最大正/负加速度：我们使用两个相邻点之间的速度变化和两个相应视频帧之间经过的时间来计算沿着蚂蚁轨迹的每个点的加速度。我们记录它的最大正加速度和最小负加速度作为这两个属性。加速度范围：此属性是“最大正加速度”和“最大负加速度”之间的绝对差值。方框图。属性按字母顺序排列。用户可以在下拉列表中选择他们想要比较的属性，然后单击“添加"按钮.然后一个方框图将显示在控制面板上选择的聚类的属性分布。每个框对应于一个簇，并填充相应簇的中心线或包络颜色，如移动视图所示。该复选框后打开或关闭群集的属性，统计视图中相应的框将更新。用户可以创建两个箱形图同时查看两个属性。此外，通过双击一个箱形图，用户可以删除它，并为一个新的箱形图腾出空间。用户可以将鼠标悬停在任何框上，以显示相应集群的ID。如果“显示离群值”复选框处于启用状态，离群值（如果有）将显示为圆形。默认情况下，此复选框处于关闭状态，因为在显示中添加离群值会挤压框，使用户更难阅读框。5.5. 属性视图此视图对应于设计要求R3、R5和R6。由于属性通常是相互关联的，因此此视图主要是为用户快速发现两个选定属性之间的相关性而设计的。这个视图还可以作为一个过滤器，让用户将范围缩小到具有特定属性值范围的蚂蚁散点图。这里提供的属性与统计视图中的属性相同。不同之处在于，用户可以从两个下拉列表中同时选择他们想要探索的两个属性。点击“添加"按钮后，将显示一个散点图，显示两个属性的联合分布，帮助用户检测所选的两个属性是否显示正相关或负相关。此外，用户可以选择“帧开始id”作为属性之一，以查看另一个属性是否随时间呈
