视觉信息学3（2019）177你得到了一点帮助：不同指导程度对表现和精神状态的影响Davide Ceneda，Theresia Gschwandtner，Silvia MikschTU Wien，Faculty of Informatics，Institute of Visual Computing Human-Centered Technology，Favoritenstrasse 9-11/193，A-1040 Vienna，Austriaar t i cl e i nf o文章历史记录：收到2019年收到修订版2019年10月16日接受2019年10月25日在线发售2019年关键词：引导用户学习知识信任可视化数据分析a b st ra ct由于用户有效地利用交互式可视化可能具有挑战性，因此通常提供指导以帮助用户解决任务。制导被认为是克服分析过程中出现失速情况的有效手段。然而，一个特殊的指导解决方案的有效性通常会因不同的分析方案而异。相同的指南可能对具有（1）不同专业水平的用户产生不同的影响。选择适当的（2）指导程度和所考虑的任务类型也影响提供指导的积极或消极结果考虑到这三个因素，我们进行了一项用户研究，调查的有效性，不同程度的指导相对于用户以前的知识，在不同的分析方案。我们的研究结果揭示了适当的一定程度的指导，在不同的任务，和用户的心理状态和分析性能方面的分析结果的指导的整体影响2019浙江大学出版社版权所有由爱思唯尔公司出版这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍混合主动可视化数据分析（Horvitz，1999）是一种有效而强大的方法，可以理解大型数据集合并支持完成复杂任务。在这种分析中，用户和计算系统的优势联合起来，以达到共同的分析目标。一方面，用户能够通过外部认知来理解数据另一方面，计算系 统 提 供 了 执 行 复 杂 计 算 、 精 细 统 计 或 发 现 模 式 的 手 段（Gibson，1977）。虽然视觉解决方案已被证明是有效的，在其范围内（Bederson和Shneiderman，2003年; Keim等人，2004年）。，2008年;库克和托马斯，2005年），研究仍然远远没有实现有效的混合主动集成，其中用户和分析系统的启示是平衡的（吉布森，1977年;贝尔蒂尼和拉兰内，2009年;塞内达等。，2019）。因此，有时有效地使用复杂的分析解决方案并与之交互是一项挑战.因此，分析可能会停止。在过去，已经开发了许多方法，试图减轻用户的负担并帮助他们进行这首歌的名字来自披头士乐队的一首流行歌曲。它应该传达，如果有指导，VA并不难*通讯作者。电子邮件地址：davide. tuwien.ac.at（D. Ceneda）。同行评议由浙江大学和浙江大学出版社负责。https://doi.org/10.1016/j.visinf.2019.10.005数据和视觉界面的感觉。Ceneda等人（2017）将这些方法归类为指导。指南描述了实现有效人机协作的结果。具体而言，指导涉及为用户在执行分析任务时开发的需求提供解决方案。这些需求被称为知识差距。理想情况下，指导过程可以向用户提供各种支持指示，从提示和建议到逐步说明，以促进分析的积极成果，解决上述知识差距并解决停滞的虽然制导的定义是相当新的，制导方法已经存在了相当长的一段时间（Horvitz，1999）。因此，显示在分析过程中提供指导的益处的方法之多并不令人惊讶虽然指导的好处是明确的（Cenedaet al. ，2019年），目前尚不清楚的是，指导的有效性如何根据提供指导的用户而变化，手头的任务例如，不同类型的指导可能更有效地支持探索性分析，而其他类型的指导可能更有效地验证假设。此外，指导的有效性还可以根据用户的先前知识而变化，例如，如果用户是新手或者他/她拥有关于分析域和可视化系统的一些因此，我们进行了一项用户研究，调查不同的指导程度如何影响用户与不同水平的先前知识，以解决不同类型的任务。我们追求这一目标，不仅通过调查指导对任务的影响，2468- 502 X/©2019浙江大学和浙江大学出版社。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf178D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177性能，而且还取决于提供指导如何影响用户例如，我们通过分析提供（或缺乏）指导如何引起挫折感、迷失感、提高用户对结果的信心等来实现这一点我们认为，这项工作是有用的设计师谁打算创建引导的可视化数据分析系统，促进提高认识的用户总之，我们的主要贡献是：调查指导程度、用户专业知识、任务绩效和用户心理状态之间的相互依赖关系。描述不同程度的指导对用户任务绩效和精神状态阐述用户专业知识对任务绩效和精神状态的影响。2. 相关工作我们的工作阐述了两个主要研究主题的概念在文献中：可视化的指导和分析过程中用户心理状态的动态2.1. 可视化指导指南是一个研究课题，包括人机交互，信息可视化和可视化分析 （ Keim et al. ， 2008; Dix et al. ， 2004;Smith 和 Mosier ，1986）。指导的根源在于混合主动数据分析（Horvitz，1999），它考虑了用户从系统获得的帮助，以及用户向系统提供的指导，以引导分析（Ceneda等人，2004）。，2018年）。指南介绍了混合举措分析的好处以及如何进行这种协作分析从形式上讲，指导被定义为“计算机辅助过程，旨在积极解决交互式视觉分析过程中的知识差距”（Ceneda et al. ，2017，第2页）。简单地说，指导的主要目标是解决特定的用户需求，即用户这种差距可能与分析的不同方面有关，例如缺乏适当的交互手段，或解释数据所需的特定领域相关概念。指导过程的输出是以某种视觉形式提供给用户的对知识差距的回答。可以提供不同程度的指导，以满足用户的需求。Ceneda等人（2017）描述了不同的指导程度导致不同类型的指导。 在实际场景中，相同的任务可以用不同的指导来支持：3、在时间序列中搜索特定数据可以在没有指导的情况下得到支持，但也可以通过直接建议或处方行动得到支持。关于指导的著作数量是巨大的：Cenedaet al. （2019）最近回顾了视觉数据分析中的指导方法的文献。指导范围从推荐系统（Wongsuphasawat et al. ，2016; Gotz andWen，2009）到用户建模（Brusilovsky and Millán，2007 ; Mazurowski et al. ，2010年）。在下文中，我们描述了指导方法，并将我们的工作与以前的评估研究区分开来。Willett等人（2007）引入了有气味的小部件，这些小部件是通过从其他用户的交互选择中获得的知识而增强的常见UI元素。作者强调，这些元素的引入可能会消除专家和新手用户之间的性能差异。Gotz和Wen（2009）介绍了行为驱动的建议，显示在完成时间和结果的正确性方面的改进。在数据挖掘领域，Bernstein et al. （2005年）一个智能的基于本体的助手，支持选择适当的数据挖掘算法相对于特定的问题设置。他们的研究结果表明，专家用户也需要指导。Streit等人（2012）生成用于支持分析员的任务的分析模型。这项工作的好处是提供了不同程度的指导。与这些方法类似，我们希望评估引入指导是否会导致研究参与者的表现然而，我们的目标超出了对特定工具的有效性事实上，与这种方法相比，我们的目标是了解这种有效性如何根据任务而变化，以及不同程度的指导对不同水平的用户专业知识2.2. 用户Chen（2005）区分了在分析过程中取得进展所需的两种主要类型：操作知识和领域知识，用户是否能够以有效的方式与分析工具进行交互，或者拥有必要的领域概念来解释上下文和数据。在我们看来，根据用户缺少哪种知识，可能需要不同类型的指导。因此，我们的目的是调查，如果类似的指导程度有不同的效果，根据知识差距，即，缺乏操作或领域知识。与我们的工作相关的最后一个研究分支是研究视觉分析与用户心理状态和情感发展之间的关系Sacha等人（2016）指出，在分析过程中，数据中存在的不确定性与用户在进行分析时产生的信任之间总是存在匹配。探索越深入，他们的信任感就越强。虽然没有明确提及，但是指导也可以有助于增加或减少用户许多其他心理方面也与分析过程有关。Celik等人（2013）指出，挫折和悲伤通常与无法执行任务有关。同样，Kapoor et al. （2007）表明，在执行任务期间，可以自动推断和预测挫折的增长，因此他们确定了触发指导的可能然而，引导对用户的挫折感，并在一般用户的心理状态的影响为了了解指导如何影响数据分析过程中情绪的发展，我们要求用户研究的参与者在解决一系列任务后评估他们的挫折感，信任度和然后，我们将这些值与提供的指导、用户的专业水平和分析结果相3. 目标和术语这项工作的目的可以归纳为以下几个问题：(1) 不同的引导程度如何影响具有不同先前知识程度的用户的表现和心理状态？(2) 指导的有效性和效果是否根据用户必须解决的任务类型而变化我们的假设是，三个维度在视觉数据分析的指导设计中起着重要的作用，这三个维度是任务类型，用户的知识和指导程度。我们想测试其中一个维度的变化···D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177179+影响其他人，并最终影响分析结果，就用户表现和精神状态而言。我们首先描述这三个维度，然后用严格的假设来正式确定我们的目标。知识和任务类型。我们描述的第一个因素是完成任务所需的知识。完成可视化数据分析通常需要两种知识：操作知识和领域知识.我们的目的是测试所涉及的知识类型是否影响所提供的指导程度的有效性。根据业务知识和领域知识之间的区别，可以区分两种一般类型的任务：探索性任务涉及操作知识，因此涉及与工具交互的能力。这些任务需要基本的交互能力，如在不同的交互方式中进行选择（例如，过滤器，选择），并有效地使用它们。领域任务需要领域特定的知识来完成。这些任务与推理能力有关，并将给定的领域概念与分析中的任务和数据联系起来。用户知识。第二个维度，我们解决，是用户的能力程度之间的区别。通常，用户知识的缺乏，也可以看作是解决任务所需的知识与实际用户知识之间的差异，我们称之为知识差距。当这种情况发生时，用户可能很难完成任务，并且分析可能会停止。我们假设，不同程度的指导会有不同的影响，对用户与任务相关的知识我们区分：知识渊博的用户，拥有完成任务所需的知识（即，操作或领域知识，见前一段）。新手用户，他们可能不具备完成任务所需的知识，但之前的经验除外。指导度。最后，我们区分三种不同程度的指导，我们提供给研究参与者，以协助他们完成任务。我们的假设是，具有不同知识的用户可能需要不同程度的指导，并且在解决任务时获得更多或更少支持的事实将对任务绩效和用户的心理状态产生不同的影响。根据Ceneda等人描述的指导度，（2017），我们列出了我们在研究中包括的指导类型。没有指导：当没有提供指导时，用户必须自己解决任务。这被翻译成简单可视化的亲视觉，没有任何进一步的支持。根据Ceneda等人，提供额外的聚合值（即，最小值、最大值、离群值）并不构成更高的指导。指导性指导：这类指导旨在提供不同的分析选项。因此，在基本可视化的基础上，我们指出了可能的分析路径。在特定情况下，向用户推荐感兴趣的数据子集，但是系统也可以推荐动作以继续调查。这是最高的指导。它旨在提供逐步的指导以达到结果。在不同的分析路径和建议（参见指导指南）中，系统选择一个并将其提供给用户，用户必须遵循指示（不同步骤）才能获得最终结果。上述三个方面都有助于向用户提供有效的支持。综合考虑所有这些因素，我们就可以推断出不同指导类型在不同情况下的有效性特别是，我们调查（1）如果指导可以弥补缺乏用户的知识，即，如果在具有类似程度的指导的新手和知识渊博的用户之间存在明显的差异我们研究(2)如果某种程度的指导比其他的更适合对于给定的任务类型即，如果某种程度的指导更适合于探索性分析或完成领域任务，此外，通过比较同一用户在不同引导条件下的结果，我们研究了（3）引导是否会对这类用户的表现以及情感和心理地图的发展产生积极或消极的影响。4. 假设我们根据不同的研究假设将前面描述的目标形式化，我们将其分为两个假设组，H1和H2。H1中的假设侧重于变化用户假设组H1。第一个目的是调查指导对任务绩效的影响。首先，我们分析了指导对新手用户的影响，并评估了指导的积极影响是否在知识渊博的用户中被减轻。 我们的假设是，知识渊博的用户仍然可以从减少任务完成时间方面的指导中受益。这在以下假设中得到了形式化：H1.1高度的指导会显著提高新手用户的任务性能（计时、正确性、距离、总步数）。H1.2高度的指导减少了知识渊博的用户的完成时间和步骤假设组H2。我们的第二个目标是评估用户在接受不同程度的指导时的精神状态。特别是，我们想了解指导是否会对用户的精神状态产生积极影响。具体地，如果指导增加了用户对分析结果的信心，或者如果在某些情况下指导可能使用户受挫。这在以下假设中得到了形式化：H2.1高度的指导可显著提高参与者H2.2高度的指导对知识渊博的用户比对新手用户造成更多的挫折感。5. 研究设计为了验证H1和H2中的假设，我们设计了一项用户研究，包括6个特定任务（3个探索性3域任务），我们要求65名参与者在不同的专业知识和指导条件下解决。基于这些假设，我们设计了如下的评价环境和评价程序5.1. 数据我们使用了美国地质勘探局旧金山湾研究和观测计划的数据集（Cloern和Schraga，2016）。这个数据集与精心的任务设计相结合，评估探索性任务和领域任务指导的有效性。该数据集包含沿145 km样带采集的水样的多个每日测量值，·······180D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177Fig. 1. 评估环境的接口。在右上角（A），一个文本框显示当前任务。另一个文本框给出了解释的指示的指导建议。在左上角（B），一些组合框提供了过滤数据集的可能性。在可视化（C）的底部，一个文本框显示逐步说明以达到预期结果（如果提供处方指南）。在可视化的中心（D），矩形选择工具显示。旧金山海湾整个数据集跨越了不同的几十年（1969年至今），但在我们的研究中，我们只选择了特定的子集，每个子集大约跨越一年。特别是，从主数据集中，我们提取了六个子集。每个数据集都与一个任务相关联，以避免学习效应。三个数据集用于领域相关的任务，而其他三个用于探索性任务。每个数据集在涉及的数据维度数量方面与其他数据集等效它们只是专注于原始数据集的特定维度我们用衍生的统计值补充了六个数据集平均值、最大值、最小值）。我们使用这些派生值作为指导指导的基础，在任务执行期间将用户指向感兴趣的数据5.2. 与会者和评价会议我们有65名本科生参加了我们的研究。他们都是计算机科学专业的学生，信息设计和可视化课程，这意味着他们对提供给他们的视觉环境有一定的了解。然而，我们认为所有的学生都是新手参与者，因为他们从未对给定的数据集进行过分析，也不具备任何关于该主题的领域知识在向学生展示任务之前，我们与四名参与者进行了试点测试，以纠正小错误并微调测试。对于评估会话，我们使用EvalBench（Aigneret al. ，2013年），专门设计用于评估交互式可视化的软件（见图1）。交互式可视化是用Java开发的，使用了Prison库（Heer et al. ，2005）和TimeBench（Rind et al. ，2013）来管理数据的时间方面。研究结构。用户研究分为两个后续的评估会议，如图所示。 2：一个会话处理探索性任务，另一个会话处理域任务。我们将被试分为两组，A组和B组，每个人都在两个任务会话中执行探索性任务和领域任务，但A组在研究的第一个会话中执行探索性任务，在第二个会话中执行领域任务，而B组则相反。我们做这是为了避免参与者的学习效应，并比较具有不同专业知识水平的相同任务一开始，两个小组都收到了关于用户研究主要主题的介绍。我告诉他们，他们将执行一些任务，他们（可能）将在执行过程中接受指导。他们没有得到任何其他信息，只是说这些数据是从旧金山湾的水样中提取的我们故意决定不向他们提供任何关于交互方式或特定领域概念的进一步信息，以模拟新手用户的行为。因此，在第一次会议中，参与者没有任何数据，可视化和任务的经验。此外，我们没有为他们提供解决任务可能需要的任何额外知识。因此，我们认为他们是新手用户。在第二次会议中，所有参与者都已经有了一些数据、可视化和任务的经验。此外，我们在两个任务会话之间添加了一个学习会话，以培训参与者完成以下任务所需的概念。在经历了学习阶段之后，我们认为这些参与者是知识渊博的用户。我们选择这种研究设计，以确保两种类型的用户进行两种类型的任务，同时避免对两组的学习效果。学习课程。第一次任务会议之后是下一次会议的情况介绍会，在这一会议上，与会者将接受所需领域或作战概念方面的指导在接下来的会议中解决剩下的三个任务。因此，A组在完成探索性任务后，接受了解决领域任务会话所需的领域概念的指导。而B组则接受了关于交互手段和探索性会话的教育。在这个学习阶段，属于两个组的参与者也有可能与样本工具进行互动，并进一步沉淀所获得的知识。这使我们能够将新手用户（没有先验知识）的表现与接受与解决任务（探索性任务和领域任务）相关的概念指导的用户的表现进行比较，同时减轻了D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177181图二. 用户研究的一般结构。我们进行了两次平行的评估会议。在简短的介绍之后，参与者完成了两组任务。每项任务之后都有一系列问题。在两个任务会话之间，参与者有一个积极的学习阶段，在那里他们被分别指示交互概念或领域概念。随后，参与者完成了第二组任务。选择交叉结构以最小化对参与者的学习效果表1业绩指标。我们在参与者执行任务时记录了这些指标 完成时间由评价环境EvalBench直接提供（Aigner et al. ，2013）。其他（正确性、距离、步长）根据相互作用日志计算（见第6.1节）。性能描述完成时间计时器测量任务开始和提交答案之间的时间间隔。正确性[0，1]中的实数。此值是正确选择的数据项与所有选择的数据项之间的加权比率。距离[0，1]中的实数，用于测量语义所选数据项与正确数据项的距离。表2用户精神状态的指标。我们要求参与者回答一些关于他们在每次任务后的感受的问题。 每个变量均采用5分Likert量表进行评分。然后，我们将用户的感受与他们所接受的指导程度和他们的知识水平联系起来精神状态描述迷失我们询问参与者在执行任务时有多迷失。沮丧我们询问参与者在执行任务时有多沮丧。自信我们询问参与者他们对提交的结果的正确性我们要求参与者评估任务的容易程度。操作总数（点击、筛选等）用户需要完成一项任务。适当指导我们询问参与者他们是否认为他们收到的指导适合解决任务。学习对后续任务的影响。事实上，在这种交叉结构下，A组在进行第一个会话时获得的专业知识不需要完成域任务的后续会话。这同样适用于在第一次会议期间获得的领域知识组B，它不需要解决下一个任务。 我们做没有精确地测量知识的增长，根据学习的概念，由于学习会议。然而，从研究结果中我们可以看到，在学习课程之后，能够在没有指导的情况下解决任务的参与者数量有所增加。平均而言，10%以上的参与者能够在没有指导的情况下解决探索性任务。对于域任务，此百分比增加到20%。这意味着在学习了适当的领域概念后，20%以上的参与者可以在没有指导的情况下解决领域任务。为了收集测试H1所需的数据，系统自动记录完成任务所需的时间、正确性和操作次数，见表1。在执行每个任务后，我们要求参与者回答关于可视化和交互方式的十个问题（即，他们是足够吗？有用吗？）这个工具提供了我们想要的来测试他们是否能正确解读视觉编码我曾问过他们，他们是如何被引导的。我们将可能的答案编码为多个选择，但如果参与者觉得提供的选项不够充分，我们也让他们添加自由文本。为了测试H2，另一组问题询问参与者在解决任务时的感受（见表2）。所有这些主观感受（Celik et al. ，2013; Kapooret al. ，2007）在五点Likert量表上测量。最后，我们还收集了交互日志（例如，悬停一个点，改变选择，过滤数据集）进行评估和提取进一步的指标（见第6.2节）。5.3. 任务设计我们总共设计了六个任务：三个侧重于操作知识，三个侧重于领域知识。探索性任务。这些任务与用户的操作知识和他/她与分析工具交互的能力有关182D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177我们要求参与者执行一些交互来探索数据集。我们没有将这些任务与任何领域概念联系起来，而是要求用户查找和选择特定的数据值，而没有任何相关的含义。一个典型的探索性任务要求参与者通过反复使用该工具提供的交互方式来隔离具有某些特征的数据点。换句话说，探索性任务由长序列的选择和过滤操作组成。解决探索性任务所需的动作数量和推理努力构成了与域任务的主要区别。我们设计了这些探索性任务，以便正确有效地解决它们所需的唯一知识是能够与可视化工具进行交互。相比之下，领域任务需要领域知识，而几乎没有互动，除了简单的选择。我们设计了探索性任务，这样参与者就可以在没有我们在学习课程中介绍的高级交互手段的情况下完成任务。总的来说，大约一半的新手参与者能够在没有指导的情况下，仅仅通过使用提供的基本交互手段正确完成探索性任务如前所述，在第一个任务会话之后，参与者通过一个学习会议，让参与者获得解决以下任务所需的知识。对于探索性任务，我们向B组的参与者介绍了一些先进的交互技术的使用，例如多个数据点的矩形选择和过滤器的使用等。所有的交互手段从研究开始时就对所有参与者可用。然而，我们假设在学习过程中我们教给B组的能力可以让他们更有效地完成任务，就新手用户而言。此外，虽然知识渊博的用户有时间尝试不同的交互方式，但新手用户必须在解决任务时发现它们，这标志着两组之间的另一个差异。因此，我们预计这两种类型的用户在性能、挫折感和信心方面域任务。同样的设计原则也指导了do- main任务的设计。我们基于这三个任务的三个具体领域的概念：高盐度的海水，在给定的一年中的干旱时期，和危险的低浓度的营养物质在海湾的水。特别是，我们要求参与者通过分析不同的时间序列来识别干旱和高盐度的条件，这些时间序列显示了给定时间段内水盐度的发展。在第三项任务中，我们要求参与者通过探索海湾特定区域不同深度的散点图可视化水营养物来推断营养物浓度低。同样对于这些任务，我们努力在新手和知识渊博的参与者之间进行区分，在学习期间为后一组提供对这些主要概念的介绍，包括巩固知识的练习例如，在一项领域任务中，要求参与者选择与干旱时期相对应的所有数据点我们只向知识渊博的用户解释了如何识别这些时期，而新手只依赖于他们对概念的因此，对于没有得到任何指导的新手用户来说，有时不可能找到这些任务的正确答案。总的来说，只有三分之一的新手参与者能够在没有指导的情况下正确完成领域任务学习课程影响了参与者平均而言，20%以上的参与者在没有指导的情况下正确完成了领域任务。图3.第三章。 同一领域的 任务支持不同程度的指导。(a)无指导：时间序列折线图显示不同年份海水盐度的变化。(b)指导性指导：突出显示可能感兴趣的数据以解决分析（例如，表示高盐度值的数据）。 这些时间段在可视化的顶部以红色表示（1）;（c）规定指导：向用户呈现逐步说明（2）以及突出显示感兴趣的数据点（3）。5.4. 具体任务示例为了让读者更好地了解任务设计，我们更详细地描述了一个领域和一个探索性任务为了完整起见，我们为每种任务类型再创建了两个任务，总共有六个任务。在下文中，我们将针对每种类型仅描述其中一种域任务。受试者在不同的指导条件下解决以下领域的任务。我们要求他们D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177183[−]为了解决这个问题，研究人员向参与者展示了一个折线图，该图显示了给定时期内盐浓度的波动。在这个基本的可视化之上，我们添加了指导。所有用于此任务的可视化如图所示。3 .第三章。这些图示出了三个引导度的编码。当解决任务时，用户将直接知道（如果知识渊博）或可能的原因（如果新手），干旱期会影响水的矿物质成分。对于海水，最明显的结果之一是盐的浓度增加。因此，用户应该选择具有最高盐度值的最长时间作为正确答案。除了折线图之外，其他线条编码了每个可视化年份的平均盐度值。我们在所有不同的指导程度上都分享了相同的可视化。在此可视化之上，我们添加了额外的视觉线索，以支持不断提高的指导水平。例如，当提供指导性指导时，我们突出显示了平均温度和盐度值特别高的年份的数据点（图3b）。这些提示将用户指向有助于解决任务的数据区域/子集。根据定义，定向指导并不给出解决任务的确切指令，而是向用户推荐并引导用户到感兴趣的数据区域。在最后一种情况下，提供了处方指南。我们引导参与者沿着一条选定的分析路径进行分析。虽然用户可以自由地与工具进行交互，但我们以文本形式为他们提供了精确的分步说明，以遵循选定的分析路径并找到正确的答案。由于（图3b）中概述的任务是领域任务，因此需要领域知识和推理来解决它，而不是操作知识。目的为了限制操作知识对解决此类任务的影响，我们将所需的交互限制为简单的选择。在处方指南的情况下，这意味着我们突出显示了正确的数据点，并要求用户只需点击它们就可以选择对于所有三个制导角度，正确的答案是选择图3c中突出显示的数据点。域任务的解析主要依赖于用户的知识，对于新手用户，则依赖于他们的推理能力。因此，我们希望新手用户，特别是没有指导支持的新手用户，花费更多的时间进行推理，并获得相当近似的结果。然而，同样当没有提供指导时，一部分新手参与者能够在没有指导的情况下解决领域任务。探索性任务。我们创建了第二组任务，专注于操作知识。当要求参与者解决这些任务时，我们避免了任何领域概念的引用，只是要求参与者寻找具有特定特征的数据特别是，如前所述，我们将这样的任务构造为一长串的过滤和选择，以达到和选择所需的数据。在一项任务中，我们要求参与者为每个测量站选择第一个数据点，使盐度值（x轴）大于2，但低于3个盐度单位。可以看出，除了阅读和理解图表（在本例中是散点图）以及与执行选择和过滤的工具交互之外，不需要任何领域知识。根据提供的指导程度，用于此任务的可视化在图中显示。 四、在这种情况下，向参与者展示了由于此任务侧重于交互，因此我们为用户提供了选择和过滤数据的方法，例如，根据捕获测量的测量站进行过滤。还提供了其他高级交互手段，例如可以执行套索选择并避免多次点击的需要见图4。相同的探索性任务有不同的指导支持。（a）无指导：散点图显示盐度值（x轴）与水深变化（y轴）的关系。小部件允许用户根据测量站过滤数据集。(b)指导方针：可能感兴趣的数据点和过滤选项被突出显示;（c）规定指导：逐步指令和正确值的突出显示以及要执行的过滤动作。在第一种情况下，一些参与者没有得到任何指导。处理这种任务的参与者只是简单的图表（见图4a）。在第一种情况下（没有指导），我们希望参与者通过选择和探索所有不同测量站（也是没有感兴趣的测量站）的测量来过滤数据集，并选择具有所需特征的数据。在第二种情况下，其他参与者得到指导指导的支持（见图4b）。在这种情况下，参与者还可以依赖于落入请求范围23内的测量结果的突出显示，因此在数据检索中被引导此外，我们还用不同的颜色突出显示了过滤选项，即，捕获这些数据值的测量站，184D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177图五.根 据 测 量 站 显示营 养 素 汇总值的 图 表 （y轴）。所请求的数据点，以这种方式向参与者发送一组可能的过滤器以供选择。通过这种方式，我们希望通过突出显示数据和使所请求的数据可见所需接受指导指导的参与者还可以跳过不必要的操作，检查突出显示的数据。最后，在后一种情况下，一部分参与者不得不依赖处方指导（见图1）。4c）。与领域任务类似，这种指导除了突出显示数据外，还包括一系列指令。然而，虽然通常对于域任务，该列表由一个或两个动作组成，但对于域任务，它由一长串过滤和选择步骤组成，以模拟彻底的探索性分析。在处方指导下，用户必须尽职尽责地遵循平均20个交替过滤和选择的连续步骤，以完成此任务并选择所需的数据。显然，这个任务的正确答案是相同的，尽管提供的指导类型不同。在这项任务的背景下，我们期望更快的互动和更多的指导。然而，我们还分析了必须严格遵守规定动作才能完成任务的用户的挫折水平和信心的变化5.5. 视觉编码设计我们选择了基本的可视化类型进行研究。我们选择了散点图、折线图和时间汇总图，并排显示了每年的数据值（图5）。我们希望尽可能保持研究的可视化方面，以免干扰分析结果和所提供指导的有效性。同时，我们选择这些可视化也是因为参与者熟悉它们，而且对给定的任务也很有效散点图将数据值表示为点，x轴为三个变量之一（水盐度、叶绿素或悬浮固体），y轴为水深折线图表示由线连接的点，x轴为时间，y轴为盐度，时间聚集图表示年度（x轴）氧值（y轴）。我们所使用的视觉编码描绘在图。 3，1，和5。互动意味着。对于所有图表类型，我们提供了基本的交互方式，例如悬停数据点时按需提供详细信息，单击单个数据点时选择单个数据点，用于选择多个数据项的直角选择（通过拖动鼠标以跨越矩形），以及通过右键单击取消选择所有数据点。数据点的成功选择/取消选择通过填充颜色的变化来可视化对于探索性任务，我们还提供了单选按钮，根据测量的时间戳（月和日）过滤显示的数据点。我们没有为域任务提供过滤，因为这不是必需的。这种交互方式的差异并不影响研究的结果，因为领域和探索性任务从未直接进行过比较。作为最后一句话，从研究开始，所有参与者都有可能使用所有的互动手段。在学习期间，向B组的学员介绍了所有可用的互动手段的使用5.6. 指导在他们的工作中，Ceneda等人描述了三种程度的指导：定向，指导和规定（Ceneda等人。，2017年）。然而，由于可视化中的常见做法（如轴标签）也可以被视为非常低的指导水平，因此无指导和定向（提供一些定向提示）之间的边界变得模糊。所以，为了避免混淆，并有一个明确的基线进行比较，我们只实施了其中的三个：（1）没有指导，（2）指导，（3）处方指导。根据设计，参与者在每个任务集中接受所有三个指导程度。总的来说，每个参与者都接受了两次相同程度的指导：一次是在执行探索性任务时，一次是在执行领域任务时。D. Ceneda，T. Gschwandtner和S. Miksch /视觉信息学3（2019）177185≈∑≈在没有提供指导的情况下，我们向参与者展示了一个共同的可视化（例如，折线图）示出了数据子集之一，其中一些附加数据被可视化，如平均值或最小值（例如参见图1A和1B）。3a和4a）。当提供指导性指导时，参与者会收到关于可能感兴趣的数据或需要考虑的行动的额外指示图图3b和4b示出了选择用于定向引导的编码。有趣的交互选项被突出显示用于探索性任务（界面的上侧），而有趣的数据点被突出显示用于可视化内的特定领域任务最后，向接受处方指导的参与者提供逐步说明，以达到如图1A和1B所示的期望结果。 3c和1。在可视化的左下角，指示以红色文本给出处方指南产生强制性措施（Ceneda et al. ，2017年）。因此，尽管参与者可以执行任何其他操作并偏离分析路径，但只有在用户执行所需步骤后，指令才能继续。此外，我们为他们提供了重新启动指导进程的可能性。我们鼓励引入这种极端程度的指导，以探索指导的全部可能性。值得澄清的是，这种高指导度并不对应于结果的简单呈现，它也不同于纯自动化数据分析（Ceneda et al. ，2018年）。用户始终需要进行交互并确认不同的步骤和移动。此外，正如已经指出的，与会者总是有可能偏离建议的分析路径，进行进一步分析。6. 结果65名参与者提交了他们的结果和交互日志。6.1. 分析方法我们使用R环境进行统计计算（R Core Team，2014），分析了日志和用户研究的结果。我们的目的是发现亚组之间的显著差异。在我们的研究中，我们主要比较了三组（即，三个引导度）之间的关系。因此，我们使用了在一些测试中，我们比较了单个指标的变化（例如，在不同的专业知识的用户。例如，对于相同类型的任务（例如，探索性任务）。在这种情况下，由于我们只需要比较两组（即，新手vs知识渊博），我们应用了我们从来没有直接比较探索性任务和领域任务。由于我们进行了许多测试，因此考虑到假阳性发现的可能性，我们将Benjamini和Hochberg的校正技术应用于所有测试（Benjamini和Hochberg，1995）。这种选择意味着，虽然通常为所有测试选择一个公共阈值（通常设置为p . 01），在我们的研究中，它根据测试而变化。在在特定情况下，对于每个测试，计算两个p值，是由试验得出的，而p经校正，由p.考虑到进行的检验总数和初始显著性水平0.05，计算校正的p值。因此，当我们报告检验的可接受性时，我们还将报告相应的校正p值。当检测到显著差异时，我们进行了事后检验，将不同组相互比较并评估成对差异。作为分析的最后一步，我们手动检查数据，并使用箱形图和散点图进一步分析结果6.2. 用户性能系统自动提取了一组测量值，以了解任务绩效（见表1）。这些测量包括用户完成给定任务所执行的操作总数：点击次数、矩形选择和应用过滤器。我们还计算了一个正确性值，以反映正确选择的数据项与正确数据项总数的比率，该比率由选择的数据项总数加权。我们包括这种措施，以解释参与者选择大量数据项的情况，这使得他们也可能选择一些正确的数据项。计算另一个度量，距离，以量化答案的语义距离，根据选定的数据项，正确的答案。我们通过对所选点与解决方案的时间距离进行平均来distance（avg）（temporal_dist（x，solution））total_data_selected由于所有任务都包含时间方面，因此在不同时间段进行的测量被认为是遥远的。我们这样做是为了理解错误选择的数据项是否在语义上接近正确的数据项（例如，它们在同一个月）或者如果它们完全错误（例如，不同年份）。感情 除了绩效指标外，本研究还包括一套衡量用户感受的指标。指导方针本质上是针对用户的。因此，了解指导如何影响用户心理方面的发展是很重要的表2中列出了这些。类似于用户的知识，这种心理方面是难以测量和量化的。然而，为了得出相关性和趋势而不是定量值，我们使用一个简单的定性量表来衡量参与者对自己感受的评估。通常，这种方法可能会受到参与者个性的影响，他们可能会呈现极端/平均的输入风格。然而，这些缺点被所涉及的参与者的数量所减轻和因此，我们没有对这些测试进行任何进一步的校正6.3. 结果测试表明，指导对用户的表现和精神状态有总体积极的影响。指导对于解决探索性任务的新手用户特别成功，并且可以轻松弥补操作知识的缺乏。相反，测试强调，对于领域任务，用户至少应该拥有最低限度的知识，不仅要理解任务和上下文，还要正确解释指导。我们的研究强调了指导在复杂场景中的重要性：我们表明，当需要领域知识和推理时，这种好处尤其明显：对于解决领域任务的知识渊博的用户，直接指导所获得的结果与规定指导所获得的结果一致。然而，我们的研究表明，如果指导程度与知识差距和用户的期望不匹配，指导甚至可能从我们的研究结果可以看出，新手用户，倾向于过度信任的指导建
我的内容管理
展开
