不同任务场景下文本修饰叙事可视化的注视行为分析

=视觉信息学4（2020）41不同任务场景下文本修饰叙事可视化的注视行为分析Chris Bryana，Aditi Mishraa，Hidekazu Shidarab，Kwan-Liu Maba美国亚利桑那州立大学计算、信息学和决策系统工程学院b美国加州大学戴维斯分校计算机科学系ar t i cl e i nf o文章历史记录：收到2020年2020年8月3日收到修订版，2020年2020年8月24日网上发售保留字：叙事可视化眼动追踪感知用户研究a b st ra ct我们进行了眼动研究，以探讨在不同的任务条件下的感知文本修饰的叙事可视化。研究刺激是用基于文本的元素修饰的数据可视化：注释，标题，标签和描述性文本。我们考虑三种常见的观看任务时，这些类型的图形被视为：（1）简单的观察，（2）主动搜索回答查询，（3）信息记忆为以后的回忆。总体目标是了解，在一个感知水平，如果以及如何任务影响这些可视化如何相互作用。通过分析收集的凝视数据和进行高级语义扫描路径分析，我们发现，在高水平上，凝视行为的不同模式：简单的观察和信息记忆导致类似的光学观看策略，而主动搜索显着分歧，无论是在哪些领域以及装饰与之交互的频率。我们讨论的背景下，美化可视化与文本的各种使用场景的研究成果©2020作者（S）。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍叙事可视化是一种数据叙事的形式，其中统计图形用于补充（甚至取代部分）故事（Segel和Heer，2010）。叙事可视化可以根据其提供的交互性分为对于静态图表和信息图表，叙事修辞不仅可以通过构建图表的设计选择来实现在报纸上- 例如，在PowerPoint幻灯片上对于交互式图表和仪表板，用户通过使用工具提示、过滤器、链接视图、动画、过渡、弹出窗口等来操纵可视化以探索底层数据集在当今的数字世界中，叙事可视化在计算新闻和在线媒体中得到广泛采用（Cohen et al. ，2011年）。在本文中，我们研究了叙事可视化的一个特定子集：基于文本的叙事线索点缀的静态图表。这样做有很好的动机叙事可视化通常是*通讯作者。电子邮件地址：cbryan16@asu.edu（C. Bryan）。网址：https://chrisbryan.github.io（C. Bryan）。https://doi.org/10.1016/j.visinf.2020.08.001用于公共消费，如报纸、媒体网站、政府报告和网站（Cohen etal. ，2011），并且应当被设计为确保有效和期望的压缩。这种可视化 提 供 的 信 息 部 分 可 能 是 图 表 的 视 觉 特 征 （ 或 属 性 ） 的 组 合（Matzen et al. ，2018年），用户的任务（或期望）（Healey和Enns ， 2012 年 ） ， 以 及 可 视 化 提 供 的 信 息 类 型 （ 参 见 Shah 和Hoeffner，2002年的评论）。为了帮助更好地理解当一个人正在执行各种任务时，静态叙事可视化中存在的特征的视觉重要性，我们进行了一项受控的眼动跟踪用户研究。眼动跟踪是理解场景的视觉显著性的一种方式，因为凝视通常被认为与注意力密切相关（Rayner，2009a）。特别是，我们收集和分析参与者（n16）的眼动数据，以评估如何注视行为和视觉扫描策略根据参与者的当前任务而不同。我们围绕以下两部分的研究问题正式化了这一探索：研究问题：（1）当观看静态叙事可视化与文字元素点缀，是凝视行为和视觉扫描策略受观众(2)如果是，怎么做？在我们的研究中，我们考虑了三个任务，每个任务都反映了一个人可能会看到可视化的常见原因2468- 502 X/©2020作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfC. Bryan，A.米什拉，H。Shidara等人视觉信息学4（2020）4142观察：图表被观看只是因为它存在，也许是电视上播放的新闻故事的一部分，作为一篇文章中的补充图，或者作为演示文稿中幻灯片的一部分。搜索：明确查看图表以了解特定信息，可能是对信息搜索查询的响应。回顾：图表被观察了一段时间。在稍后的时间点，当图表不再存在时，需要从存储器中调用图表上我们对研究问题的第一部分的假设是微不足道的，“是的在某种程度上，我们是基于之前对人类如何将视觉转化为记忆的研究引导搜索（Wolfe，1994）是空间集中注意力以执行复杂认知操作作为搜索任务的一部分，查找和验证目标-使用来自早期注意力过程的在缺乏任何指定目标的简单观察场景中，引导搜索将不会发生，或者它将由观察者自行驱动。相比之下，当刺激不再可用时，回忆任务需要使用短期或长期记忆进行更长时间的信息存储（Atkinson和Shiffrin，1968）。我们研究问题的第二部分（也是更有趣的部分）着眼于任务如何影响凝视和扫描行为。例如，我们假设当没有提供特定的目标时（如在观察和回忆任务中），将有不成比例的集中在刺激中的文本元素为了进行我们的研究，我们使用眼动仪，该眼动仪记录参与者在执行三项任务时观看显示的刺激时的眼球运动由于注意力通常被认为与凝视有关，因此眼动追踪可以提供一个窗口，让人们了解当一个人进入场景时的认知过程（Holmqvistet al. ，2011年）。先前的工作已经表明，凝视可以受到两种刺激的影响（例如，Netzel等人，，2017 a;Goldberg和Helfman，2011）和正在执行的任务（Yarbus，1967）。为了使研究接地，我们使用真实世界公布的视觉化作为刺激，这些刺激经过精心选择和平衡，以最大限度地减少混淆变量的可能性（Borkin et al. ，2013，2016）。我们分析了收集的研究数据在不同层次的语义复杂性。首先，我们评估传统的“基于点”的眼动跟踪指标：注视持续时间和扫视距离。对于高级分析，我们进行了广泛的手动兴趣区（AOI）标记，占主题查看语义。对于16个受试者，这导致由超过47，000个AOI标签组成的960个扫描路径。我们分析了AOI转换和聚合扫描路径，以辨别任务之间的查看策略的变化。在高水平上，研究结果验证了我们研究问题的第一部分：是的，该任务确实影响了文本修饰的叙事可视化的凝视行为。对于第二部分，研究结果表明，基于任务的注视差异存在于感知水平（基于点的注视度量）和更高级别的观看策略（基于AOI和扫描路径的数据）。值得注意的是，当比较具体任务（搜索）和两个开放式任务（观察和回忆）时，我们发现凝视策略存在很大差异。最后，我们讨论这项工作的贡献(1)一个强大的匿名眼动跟踪数据集，包含基于点的和语义/注释的凝视数据（超过47，000个手动标记的AOI），1（2）任务影响凝视1 补充材料托管在https://github.com/chrisbryan/StudyData_AnalyzingGazeBehaviorByTask。行为，这加强了以前和相关研究的几个发现，（3）新的见解如何文本作为叙事可视化的凝视行为的“焦点第一”特征的重要性2. 相关工作2.1. 图形知觉与视觉注意图形感知考虑人们如何感知和解释图表，图形和其他可视化技术中的标记和通道编码（Cleveland和McGill，1984）。Healey和Enns提供了一个关于注意力和记忆如何影响数据可视化和图形感知的很好的概述（Healey和Enns，2012）。视觉注意是一个复杂的过程，它结合了低水平的感觉和知觉过程与认知考虑。这些直接影响我们在看一个场景时实际上“看到”了什么，不仅取决于我们看的地方，还取决于我们的头脑。例如，能够解释图表中的显著 特征或 区域对 于整 体理解 很重要 （Hoffman 和Singh，1997）。人们早就知道知觉会受到任务的影响Neisser当观察者被要求数低音炮时，只有一小部分人注意到了这个女人在场景中。当任务是简单的观察时，100%的参与者注意到了这个女人。2.2. 叙事可视化除了Segel和Heer对叙事可视化的正式分类（Segel和Heer，2010）之外，可视化对数据故事讲述的重要性在许多应用领域都得到了认可，包括InfoVis（Gershon和Page，2001），SciVis（Ma et al. ，2012），新闻和媒体（Cohen et al. ，2011年），以及商业和工业（Knaflic，2015年）。Moere和Leuven认为，用于交流的 可视化除 了合理性 和实用性 之外， 还应该关 注美学（Moere和Purchase，2011）。在实践中，这通常意味着精心设计的图表和图形，带有修辞暗示和装饰，以促进所需的解释（Hullman和Diakopoulos，2011）。图形修饰，如注释和其他设计提示（有时被贬损为 在认知心理学和教育领域，注释的数字已被证明可以提高积极参与，密切相关 的 处 理 和 创 造 力 ， 同 时 带 来 更 好 的 学 习 成 果 （ Sedig 和Parsons，2013; Mayer等人，2014）。，1995，2005）。InfoVis最近的研究已经证明了美化静态可视化的几个好处，包括增强的回忆、记忆力和可理解性（Bateman et al. ，2010; Borgo et al. ，2012; Borkin et al. ，2013，2016）。然而，必须达到一个谨慎的设计平衡，因为太多的“垃圾”不仅会阻碍记忆，还会阻碍其他任务，如视觉搜索（Borgo et al. ，2012）。也就是说，"一个令人难忘的可视化往往是一个有效的“为以后的认识（Borkin等人。，2016年）和附加有趣的视觉线索的一个共同的方法，创造记忆力（Borkin等人。，2013）。C. Bryan，A.米什拉，H。Shidara等人视觉信息学4（2020）41432.3. 眼睛跟踪为了量化给定场景的中央凹焦点，眼动仪记录人的眼睛如何移动和注视物体（Holmqvist et al. ，2011年）。虽然眼动追踪并不是感知和注意力的完美代理，但它们是一般认为密切链接（Rayner，2009 b）。基于点的注视数据主要有两种类型：注视是眼睛短暂地保持近似静止的位置。扫视是连续注视点之间的光学“跳跃”。交替注视和扫视刺激的轨迹被称为扫描路径。刺激中的有意义的区域可以被组织成感兴趣的区域（AOI）。访问AOI和AOI之间的转换提供了对更高级别的查看行为的洞察例如，扫描路径可以被解释为分类AOI标签的序列（每个固定属于一个AOI），从而使用事件序列和语言处理技术（如n-gram分析）进行分析（我们在第6节中使用这种技术）。使用眼动追踪，不同类型的可视化已被证明会引起不同的注视行为。Goldberg和Helfman比较了几种图表类型的径向和线性版本，显示了相同查找任务的不同注视模式（ Goldberg 和 Helfman ，2011）。他们发现，受试者根据他们查看图表元素的顺序进行了三阶段的认知过程。更广泛地说，已经证明（可以追溯到20世纪60年代的Yarbus即使是同一项任务，视觉扫描策略也会有所不同。研究地图，Netzel等人发现，不同的地图变体促进了搜索任务的不同查看策略（Netzel等人。，2017 a）。在一项关于地铁图的单独研究中，Netzel et al. （2017 b）路径跟踪任务的聚类扫描策略-根据受试者如何解决线跟踪问题来寻找不同的凝视行为眼 动 追 踪 也 揭 示 了 叙 事 可 视 化 是 如 何 被 感 知 的 。 Acartürk（2012）研究了标注折线图上搜索任务的注视分布，发现注视对注释的关注是以牺牲对其他部分的关注为代价的的图表。 在Bateman et al.的“图表垃圾”研究（贝特曼等人，，2010年），提供了各种海图AOI的注视的总体百分比，以证明对各种类型的海图元素的总体关注。使用MASSVIS数据集，Borkin等人进行了几项关于叙 事 可 视 化 的 记 忆 性 和 回 忆 的 研 究 （ Borkin 等 人 ， ， 2013 ，2016）。 (We使用他们的数据集作为我们研究刺激的候选池，请参见第二节。第四条）Matzen等人对修饰可视化的注视百分比进行了时间分析（Matzen et al. ，2017），类似于我们在第6节中的部分分析。然而，他们的研究设计只着眼于聚合和时间固定分布（类似于我们的假设H43. 假设为了研究第1节提出的研究问题，我们列出了一组假设。如前所述，我们考虑三个任务（观察，搜索，回忆）。在完整的研究设计中（见第5节），我们测试了四种类型的可视化（条形图、折线图、地图、基于点的图表），这意味着研究中有两个独立的变量。收集的具体数据点（即，因变量）包括任务表现（搜索和回忆任务要求受试者回答每个试验的问题）、基于点的凝视数据、AOI访问和扫描路径。这四个假设分别考虑这些依赖变量中的每一个，并被写入以确定任务是否对该数据点的注视行为H1搜索任务与回忆任务相比，任务表现会更好。H2基于点的注视数据将主要基于任务而变化H3图表功能，特别是基于文本的叙述性修饰，将以不同的频率和每个任务的不同时间。H4聚合查看行为将因任务而异通过详细分析每个假设的数据，我们可以探索凝视行为如何根据任务变化。下面，我们简要概述了我们认为任务将如何影响每个假设的凝视行为的假设。3.1. 按任务列出的受试者表现[H1]由于研究的重点是凝视行为，因此H1主要作为一种合理性检查，以确保在任务中，搜索和回忆任务中适当地反映了难度当刺激存在时（搜索任务），答案可以简单地查找，因此与使用记忆来回答问题的回忆任务相比，性能应该更高。如果这些任务之间的表现相似，则可能表明由于不平衡的问题而导致研究混淆。3.2. 基于点的凝视数据[H2]平均注视持续时间和平均扫视长度是基于点的注视数据的两个最常见的度量。注视持续时间有时被认为是认知过程的代表（Holmqvist et al. ，2011年）。较高的值可以指示受试者花费更多的时间停留在刺激特征上，可能是由于视觉复杂性或场景新颖性，而较低的值可以由压力和/或狂热的扫描行为引起。较长的眼跳长度可以指示探索或搜索行为;较短的眼跳长度要么是小区域内的较长焦点，要么是跨越刺激的短跳跃（Holmqvist et al. ，2011年）。我们的假设是，研究参与者将以不同的速度（不同的注视持续时间）和不同的跳跃模式（不同的扫视长度）阅读图表。阅读文本通常会导致短暂的扫视（Rayner，1998），我们认为这将是观察任务中不成比例的焦点。3.3. 关注图表功能[H3]为了评估H3，我们首先考虑图表元素（标记为AOI）可以归类为（表1显示了图表元素的具体分类。）我们的假设是，对这些项目的光学聚焦将根据任务而变化。例如，由于观察是一项无方向的任务，参与者将过度关注嵌入（例如阅读图表的标题，这是一个比解释抽象标记和通道更容易的在搜索任务中，受试者可能会略过那些不相关的修饰，从而减少对这些特征的关注3.4. 聚合观看行为[H4]最后一个假设涉及在观看图表时的整体观看行为通过分析当观看刺激时的participants的聚合扫描路径，我们可以研究整个场景的注视行为如何变化。C. Bryan，A.米什拉，H。Shidara等人视觉信息学4（2020）4144表1分类图表元素（AOI）和操作标签。研究期间的每个固定被分类为四个AOI组之一的AOI：一般扫描路径AOI，SCE，NTE，NPE或QA元素。一些AOI也可以有动作标签，参见5.5节。请注意，在第6.3节H4-H6的分析中省略了Z和E AOIAOI描述一般扫描路径AOIZ起始-扫描路径轨迹上的起始固定E End-扫描路径轨迹上的结束固定N Nothing-无法与任何AOI关联的页面区域标准图表元素（SCE）D数据标记-点、线或面标记。B背景-图表K键-键或图例。XX-Axis -x轴。XL X-Axis Label-文本标签表示x轴YY轴-y轴。YL Y-Axis Label-表示y轴值的文本标签叙述性文本元素T标题-图表C标题-文本标题或副标题。S Source-表示数据源或发布信息的文本标签DL数据标签-引用数据标记值或时间步长的文本标签注释-将图表置于上下文中的覆盖文本注释、文本框或描述性句子叙事性图像元素（NPE）H突出显示-指向或突出显示图表上的一组数据点或区域的形状或图形。P图片-非文本修饰（图片，绘图等）;也可以作为背景元素。问答元素（仅搜索任务）Q Question-向主题提出的问题文本QA Answers-问题的答案（一组输入框）。操作标签Jump -将中央凹的注意力引导到一个新的区域，开始一个新的，不相连的注视序列。R引用-将注意力明确地引导到基于前一个图表元素的图表元素4. 刺激概述在运行研究之前，我们必须首先选择一组适当的可视化作为刺激。为此，我们转向MASSVIS数据集。2从这个数据集中总共选择了66个可视化：每个任务20个图表，加上6个用于训练的图表选定的图表仅用于一项任务，没有两个图表完全相同。这可能导致潜在的研究混淆因为没有两个图表是完全相同的：在样式、数据密度和组成、文本内容等方面可能会有轻微的变化。为了解释这一点，我们仔细地选择了三个刺激：三个相似的可视化被一起选择-基于几个设计和样式约束-每个分配一个观察、搜索和回忆任务。4.1. 从MASSVIS数据集中MASSVIS数据集是从多个公共在线资源中抓取的静态可视化的大型集合：政府报告、信息图表博客、设计网站、新闻和媒体网站以及科学期刊（Borkin et al. ，2013，2016）。它最初是作为研究人员的资源出版的，以更深入地了解可视化元素如何影响记忆力，回忆和理解。超过5000个图像文件，它代表了当前“野外”设计趋势和模式的广泛交叉采样广泛的可视化类型，样式和复杂性。4.1.1. 一般刺激约束我们使用MASSVIS数据集的“targets393”子集作为刺激的候选池。该子集包含393个满足特定设计约束的可视化：它们是单面板、独立图表，已根据许多编码和元数据属性。3重要的是，2 http://massvis.mit.edu/网站。3 可以找到targets393子集的元数据和标签信息网址：https://github.com/massvis/dataset。目标393子集已经被用于先前的眼睛跟踪研究中，并被证实包含有助于眼睛跟踪的适当的纵横比（Borkin等人，，2016年）。在从targets393子集中选择候选图表时，最初应用了以下约束：可视化类型。targets393子集中包含十几种可视化类型。其中，我们将潜在刺激限制为四种最常见的类型：条形图，折线图，地图和基于点的图表。这些图表约占目标393子集的60%（233/393总图表）。我们的三个研究任务中的每一个都有每种类型的五个可视化（每个任务总共有20个图表）。基于文本的叙事元素。只有包含基于文本的修饰的可视化被认为是潜在的刺激（见表1中的NTE）。通常，这些类型的修饰由图表 设 计 者 手 动 添 加 ， 以 提 供 解 释 和 框 架 （ Hullman 和Diakopoulos，2011）。易读性。我们丢弃了潜在的刺激，targets393元数据指出，一些刺激在以前的研究中被标记为难以阅读，主要是因为图像文件是像素化的，包含模糊的文本或数据标记。4.1.2. 为每个任务选择三个刺激除了上述限制，当选择刺激三联体时，我们还通过平衡以下因素来评估相似性：视觉密度。 这是相对于整个图像的可视化数据标记的密度。我们不希望刺激过于密集，因为这通常对应于非常复杂的图表。数据-墨水比率。 图表中非数据元素的数据量就像视觉密度一样，我们在过度密集图表和那些只包含一些稀疏元素的图表。不同的颜色。黑白图像被丢弃。对于颜色可视化，不同颜色的数量通常在2基于文本的修饰的数量每个三联体的基于文本的修饰的计数和组成是平衡的。C. Bryan，A.米什拉，H。Shidara等人视觉信息学4（2020）4145总体而言，图表平均有15.35个叙事元素，但重要的是要注意，不同的三联体之间的差异有时很高。例如，虽然所有图表最多只有一个标题元素，但地图通常包含若干个标签，用于标识各个国家、州、城市、地理特征等。条形图定期标记每个条形标记（有时用冗余编码的数值）。这种差异突出了选择刺激作为三胞胎的重要性，因为它均匀地分布在每个任务之间的图表中的个体差异总字数。 我们汇总了可视化中的所有单词，包括基本图表元素（键和轴，请参见表1中的SCE）。总的来说，图表平均有85.85个单词。同样，虽然个别图表之间的差异有时很高，但三个图表是平衡的，具有相似的单词数量。视觉复杂性。视觉复杂性被松散地定义为图表中的细节数量（Borgo et al. ，2012）。这在一定程度上是上述因素（密度、数据墨水比率、字数）的函数，但也取决于图表视觉搜索可以高度依赖于图表的视觉复杂性（Reppa etal. ，2008年）。为了缓解这种情况，具有类似视觉复杂性被选为三胞胎图片装饰。叙事可视化还可以包含非文本修饰（参见表1中的NPE）。这些形状包括箭头、圆圈、线条和其他用于突出显示数据的矩形形状，例如，将文本标签连接到数据点。装饰还可以包括人类可识别的对象，例如覆盖在图表上或设置为背景的绘图或图片。渲染样式。 由于MASSVIS数据集来自多个来源，因此其图表中有各种各样的设计样式和长宽比。例如，政府图表在设计上往往更简约和传统，具有清晰的边框和衬线字体。来自博客的信息图表通常具有艺术风格，例如使用多种字体风格和添加图片装饰。一个示例刺激三元组如图所示。1.一、重要的是要注意，这些因素不被视为控制变量，因为在一项研究中严格减少这么多变量是非常困难的（如果不是不可能的话）。尽管如此，在三项任务中选择和划分图表时，对每个因素进行了审查和平衡补充材料包含可数变量的统计列表;这些在平衡图中用作定量参考点。通过最大化刺激三联体之间的相似性，我们最大限度地减少了由于图表呈现的变化而导致的潜在混淆 这种平衡方法类似于先前的研究（Borgo et al. ，2012; Matzen et al. ，2017年），它也使用真实世界，基于叙事的数据集进行刺激，必须全面平衡几个微妙但重要的因素。4.2. 回忆和搜索问题为了使搜索和回忆任务变得容易处理，我们需要一种机制来激励受试者认真执行每项任务。为此，我们将搜索和回忆任务格式化为“回答问题”练习。受试者被给予一个多项选择题，关于图表上显示的数据，有四个可能的答案。每个刺激被分配一个问题，这意味着总共产生了40个问题。每个刺激的问题要求受试者（1）识别显示的数据值或极值（2）理解图表中显示的趋势，模式或主题，这两者都是常见的可视化任务。补充材料举例说明了在研究过程中，参与者完成了搜索和回忆任务。对于搜索和回忆任务中的每组刺激，10个可视化被随机分配问题被写得这样，他们可以通过查看数据可视化来回答。也就是说，我们没有提出需要阅读任何修饰的问题，尽管在少数情况下每个图表的问题的相对难度也各不相同，以免促进统一的审查和搜索策略。问题的措辞尽可能使受试者不能使用他或她先前的知识来选择答案。幸运的是，许多被选为刺激的图表都可视化了生态位数据（如图所示）。 1），使得参与者不太可能使用先前的知识。在研究界面中，使用四个可点击的答案按钮显示问题5. 用户研究如前所述，该研究有两个独立的变量：任务和可视化类型。该设计是在主题内;一个轮廓显示在图。二、任务顺序是随机的，每个任务使用相同的刺激，但每个任务内的试验顺序是随机的（减轻潜在的学习影响）。三项任务各有16名用户和20个刺激，研究包括：16× 20× 3=总共 960次试验。5.1. 议定书参与者通过输入人口统计信息开始研究提交这些进展的介绍页面，其中给出了第一个任务的例如，观察任务如下所示：每个可视化将显示10秒。你的任务就是简单地看一下视觉化。没有其他要求！前进到下一页开始一组22重复，如图所示。 二、每个任务的具体程序如下：观察。刺激显示10 s，然后显示中断屏幕按空格键进入下一个刺激。记得了刺激显示10 s，然后显示灰色屏幕5 s，然后显示一个关于刚才看到的刺激的多项选择题选择一个答案进入中断屏幕，然后按空格键进入下一个刺激。搜索 问题和答案显示10秒，在刺激物通常所在的位置出现空白。10 s后，空白处出现刺激。在这一点上，选择一个答案进行到一个休息屏幕，按空格键到下一个刺激。每个任务的前两次重复被认为是训练，不包括在结果中。在培训期间，如果受试者感到困惑，允许他们向课程监考人提问。休息屏幕允许受试者在试验之间休息、放松和调整位置。受试者可以在此屏幕上停留所需的时间。当一项任务的20次试验完成后，研究会重定向到下一项任务的介绍页面完成三项任务后，完成页面会说明研究已完成，并报告受试者在搜索和回忆任务期间正确回答的问题数量C. Bryan，A.米什拉，H。Shidara等人视觉信息学4（2020）4146××==-+=-=-Fig. 1. 研究中使用的一个示例图表三元组。根据第4.1.2节中描述的几个因素，基于相似性选择三个图表，包括设计样式、宽高比、文本修饰和信息内容量图二. 研究设计。在进行眼动仪校准后，每个受试者首先填写人口统计信息，然后完成三项任务阶段随机排列。对于每个任务，总共进行22次重复：2次训练，然后20次试验。每个任务阶段内的刺激顺序是随机的。5.2. 试点研究在开始主要研究之前，我们与三名参与者进行了一项简短的试点研究。每个人都按设计完成了主要研究，但被指示用语言描述过程中发生的任何问题或困惑。这使我们能够验证设计的几个方面：任务被清楚地解释，任务阶段按预期进行，研究持续时间不会因过长或繁琐而导致过度疲劳，刺激是适当的，等等。没有刺激被认为是不适当的，并取代，但三个问题的措辞被改变为更明确。5.3. 测试设置和硬件这项研究是在一个校园研究实验室进行的，这是一个安静的、类似办公室的环境，有正常的人工照明条件。受试者坐在一张桌子前，面前是一台19英寸的戴尔显示器，屏幕分辨率为1980 ×1080像素，以全屏模式运行Microsoft Internet Explorer 11。刺激大于1100 - 900像素缩小，以适应这些限制（同时保持纵横比）。Tobii X2-60眼动仪安装在监视器的底部。受试者眼睛高度约为显示器顶部的三分之一（尽管这取决于受试者身高），距离眼动仪约60-65 cm（Tobii推荐的最佳点）。X2-60眼动仪以60 Hz的采样率记录每只眼睛的注视位置。Tobii Pro Studio软件处理了记录的眼动追踪数据。在开始研究之前，每个参与者都进行了9点眼睛校准。为了将原始凝视数据转换为注视和扫视，使用Tobii Studio中的I-VT滤波器。5.4. 参与者16名研究参与者从加州大学戴维斯分校招募（13名男性，3名女性，年龄M26。5，SD 5。3）。13名参与者有计算机科学背景，每个人都有经济学，设计和生物化学背景。根据5点李克特量表，受试者报告中度以前熟悉的数据讲故事（M2。4、SD0.9）和英语课文阅读能力高（M4。6，SD0. 8）。参与者平均花了29.7分钟（SD4。4）完成研究，从加载人口统计页面到到达完成页面的时间所有受试者自我报告视力良好，无色盲。5人戴眼镜，2人戴隐形眼镜，1人不幸接受了眼科矫正手术，8人不需要视力矫正。眼动仪的准确性可能因受试者而异，受眼镜的存在，受试者面部的形状，与眼动仪的距离和角度等的负面影响所有受试者记录的凝视样本的收集阈值均高于75%（每秒45个样本）。因此，无需丢弃受试者。5.5. 创建AOI和扫描路径为了评估H3和H4，必须根据受试者在每次注视期间查看的图表元素将单个注视标记为AOI值得注意的是，眼动追踪有其固有的局限性：准确度和精确度永远不会达到100%，并且不考虑周边视觉。虽然中央凹视觉很可能是视觉的主要信息收集区域（阅读依赖于直接用中央凹Drieghe，2011固定在单词上的能力），但周边视觉在帮助我们确定下一步看哪里方面起着重要作用尽管如此，将注视点转换为AOI并将它们链接到一起成为扫描路径是一种流行且有效的技术，用于理解场景的高层次注视行为。我们创造C. Bryan，A.米什拉，H。Shidara等人视觉信息学4（2020）4147===-=-===-×=-×每个研究轨迹的扫描路径，使用基于Netzel等人2016年研究的广泛手动AOI标记方法。（2016年）。与基于图形的方法相比，人工AOI标记克服了以下挑战：（1）图表上的文本元素通常很小，可能会被放置在其他AOI（例如地图上的城市/州标签）的顶部，导致歧义。(2)当前注视周围的子扫描路径可以提供关于受试者注视的附加语义信息。 例如，如果受试者看了数据标记，然后看了注释该标记的文本标签，则可以合理地推断正在参考数据标记查看文本AOI。(3)由于固定精度和精确度可能略有偏差，因此可以产生自动标记贴错标签如果一个固定被记录为刚好在AOI的边界之外AOI的手动注释导致标记了960项研究试验中的47，778次固定。表1列出了可以分配固定的所有AOI，以及它们的聚合图三. 按图表类型和任务绘制的平均注视持续时间和平均眼跳长度。误差条显示95%置信区间。方差分析表明，任务有显着的影响，平均‘‘AOI 像Netzel等人。 （2016年），我们在扫描路径中使用先前和随后的固定扫视长度：（F二、三十=63.94，p<0.01，η2=0.81）。Bonferroni根据（1）正在查看的图表元素，以及（2）用户是否合理地执行两个过渡动作之一来标记每个注视：跳跃（J）或引用（R）。这两个动作标签表示在观看刺激物时可能发生的特定眼睛动作。当一个过渡动作发生时，一个固定点会接收两个标签，一个表示动作，一个表示AOI;例如，正如Netzel et al. （2017 a）注意，由于这种方法间接地考虑了附近的扫视信息，因此它我们将此固定到AOI标记数据集包括在材料中。6. 结果我们根据假设H1-H4组织结果。在适当的情况下，我们使用阈值α0的情况。05之间的显著性差异。 在这些情况下，6.1. 按任务分析受试者表现[H1]对于搜索和回忆任务，参与者的表现是以正确回答问题的数量来在每个任务中，配对样本t检验表明问题类型（数据值与趋势）对性能没有影响（p> 0. 05）。05）的情况。正如预期的那样，任务之间的表现更高的搜索任务（M16。25/20，SD1。53）相比，回忆任务（M8。5/20，SD1。86）。配对样本t检验表明任务对受试者表现有显著影响：t（15）16.812，p<0.01。因此，H1得到支持。6.2. 分析基于点的凝视数据[H2]为了分析基于点的注视数据，我们考虑注视持续时间和扫视长度。图3按任务和可视化类型绘制这些值。我们对这种基于点的凝视数据进行分析：(1) 作为初步评估，我们进行了一对双向重复测量方差分析，使用平均扫视长度和平均注视持续时间作为因变量和任务作为自变量。第一个方差分析表明，任务对平均注视时间没有统计学显著影响：（F2，30= 1.034，p=0.368，η2=0.064）。第二事后检验显示，所有三项任务中的眼跳长度之间存在统计学显著差异（p <<0.5）。(2) 接下来，我们分析任务和图表类型之间的关系，看看图表类型是否对基于点的凝视数据有很大的影响，无论任务如何。我们使用平均注视时间和平均眼跳长度作为因变量，任务和视觉化类型作为自变量，进行了一对双向重复测量方差分析。每个方差分析表明，存在显著的任务可视化类型交互作用，无论是对于注视持续时间（F 6，902.862，p<0.05，η20.16）和扫视长度（F6，90 ±7.562，p0.01，η2<0.3）。然而，在这方面，注视持续时间的效应量（η20. 16）是非常小的，这表明，虽然存在的影响，它是非实质性的，因此可以忽略不计（科恩，1992年）。对于扫视长度，效应大小（η20.3）被认为是中等水平（Cohen，1992）。员额特设分析，我们运行内科目对比测试的扫视长度。该交互项的对比表明，当将观察和回忆任务之间的眼跳长度差异与地图和点图表类型进行比较时，存在显著差异（p<0.05）。然而，未观察到其他相互作用效应。这可以通过检查图来验证。3，这表明在每个任务中没有明确的扫视长度值的模式或顺序。(For例如，条形图在搜索任务中具有最高的扫视长度，线形图在回忆任务中具有最高的扫视长度总之，对任务可视化类型的后一分析（2）表明注视持续时间的相互作用是微不足道的，并且扫视长度没有显示出明确的排序，表明可视化类型不是基于点的注视数据的差异的驱动因素。与初始的“仅任务”分析配对6.3. 重点分析图表特征[H3]为了理解参与者关注的图表特征，我们分析了标记的AOI（通过第5.5节中的手动过程创建）。具体来说，图3列出了三个AOI组：NTE、SCE和Q QA（仅搜索任务）。我们首先比较AOI组访问的总体归一化分布，使用配对样本t检验。为了观察，NTE组中AOI的观察率更高（M= 0。45，SD= 0。02）比SCE AOI（0. 21，SD= 0。08）：t（15）= 8。7，p <0. 01. 为搜索，SCE组中的AOI以更高的比率被查看（M=0的情况。27，SD= 0。03）均高于NTE（M= 0 . 03）。21，SD=0。03）和Q QAC. Bryan，A.米什拉，H。Shidara等人视觉信息学4（2020）4148==-=-===-=见图4。对于每个任务，每个AOI组的注视点百分比以及扫描路径前50个注视点中包含动作标签的注视点百分比。在（a）中，附加呈现标题AOI以证明该标签构成观察任务期间NTE注视的大部分AOI（M）0的情况。18岁，SD0的情况。03）：分别地，t（15）四、5，p<0. 01和t（15）6。625，p<0。01.对于回忆，NTE组中AOI的查看率较高（M0的情况。38岁，SD0的情况。05）比SCE AOIs（M 0. 24，SD0。008）：t（15）38，p<0. 01）。换句单词，每个任务显示图表特征被关注的频率有显著差异。为了更好地理解参与者如何专注于图表的动态性质，我们接下来分析参与者如何专注于（即，查看）AOI随时间的变化。图4绘制了AOI组随时间的注视百分比。有趣的是，时间AOI注视显示出与图1所示的基于点的注视数据相似的趋势。3，观察和回忆任务与回忆任务相似。为了获得AOI分布如何随时间变化的量化感觉，对于每个任务，我们将注视点分为5组，扫描路径（即，注视0-5、6-10、11-15等）。 在每个箱中，我们将注视聚集到AOI组中，并在AOI组之间进行配对样本t检验（忽略NPE组，因为它具有最小的焦点）。对于观察，检验表明，直到<“25 - 30”固定箱，NTE组具有显著更高的分布（p 0 . 05）。05，p> 0 . 05。05用于随后的箱）。对于搜索，虽然一些箱显示NTE具有比SCE更高的分布，但情况并非总是如此（例如，我们的结果显示在箱5-10，20-25，30-35和40-45中SCE>NTE），表明关注NTE和SCEAOI之间没有一致的模式。对于回忆，t检验表明，直到<“20 - 25”固定箱，NTE组具有显著更高的分布（p 0 . 05）。05，p> 0 . 05。05用于后续的仓）。由于观察和回忆任务在“20 - 25”区间内表现出惊人的相似行为，我们在扫描路径的这一部分上比较了这两个对于每个固定箱0-5，6- 10，11-15，16-20和20-25，我们进行重复测量单因素方差分析，其中任务是自变量，每个任务中每个受试者的NTE标签的归一化数量是因变量。方差分析表明，任务具有统计学上的显着影响NTE分布在任务中的每