人机分析：指导与视觉信息学

视觉信息学2（2018）166人机分析过程中的指导Christopher Collinsa，*，Natalia Andrienkob，i，Tobias Schreckc，Jing Yangd，Jaegul Chooe，Ulrich Engelkef，Amit Jenag，Tim Dwyerha加拿大安大略省安大略理工大学理学院b德国圣奥古斯丁弗劳恩霍夫研究所c奥地利格拉茨格拉茨技术大学CGV研究所d美国北卡罗来纳州夏洛特市北卡罗来纳大学计算机科学系e韩国首尔高丽大学计算机科学与工程系f澳大利亚塔斯马尼亚州霍巴特CSIROG IITB-Monash研究院，印度h澳大利亚墨尔本莫纳什大学信息技术学院英国伦敦大学城市学院ar t i cl e i nf o文章历史记录：收到2018年8月18日2018年9月19日接受2018年9月24日在线提供关键词：指导可视化分析模型评估a b st ra ct在本文中，我们列出了指导的目标和利弊，我们讨论了它不仅在关键的低级可视化任务中，而且在可视化分析的更复杂的模型生成任务中可以发挥人工智能，特别是机器学习的最新进展，使人们对使用自动技术来执行一些目前由数据分析师使用可视化手动完成的任务的可能性寄予厚望然而，可视化分析仍然是一项复杂的活动，结合了许多不同的子任务。这些任务中有一些是相对低级的，很明显自动化可以发挥作用，例如，数据的分类和聚类其他任务则更加抽象，需要大量的人类创造力，例如，将从各种不同和异构的数据工件中收集到的见解联系起来，为决策提供支持在本文中，我们概述了指导的潜在应用，以及指导的输入我们讨论了实施指南的挑战，包括对指南系统的输入以及如何为用户提供指导。我们提出了潜在的方法来评估质量的指导在不同阶段的分析过程中，并引入潜在的负面影响的指导作为一个来源的偏见在分析决策。2018浙江大学出版社版权所有由爱思唯尔公司出版这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍Thomas和Cook在2005年提出的一项研究议程提出了“具体来说，它旨在解决使可视化分析扩展到非常大量的数据的问题，但也旨在扩大研究范围，考虑人类推理模型和过程，以创建真正有效的分析工具。它还呼吁探索在这中间的几年里，机器已经取得了很大的进步。通讯作者。电子邮件地址：christopher. uoit.ca（C. Collins）。同行评议由浙江大学和浙江大学出版社负责https://doi.org/10.1016/j.visinf.2018.09.003学习和数据挖掘研究人员建立自动化的数据分析工具越来越复杂。我们已经开始在日常生活的更多领域依赖算法，一个关键的例子是现代驾驶员对逐向导航系统的普遍依赖。在这种情况下，机器是真正的向导，而人类则执行相对卑微的驾驶汽车的操作虽然在2005年Thomas和Cook经常谈到“便利化”来描述可视化分析系统在支持人类数据分析中的作用，但Ceneda等人最近将机器“指导”的概念引入了可视化分析。 （2017年）。在视觉分析领域，用于描述人类和机器之间协作的语言的蠕变可能意味着人们越来越相信，视觉分析系统的未来是分析师被机器引导到洞察力中，而不是通过他们自己的机构来实现这些洞察力然而，我们还没有达到这一点--还没有实用的可视化分析系统2468- 502 X/©2018浙江大学和浙江大学出版社。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf*C. Collins等人/视觉信息学2（2018）166167其中在人类允许他们自己在汽车导航系统中被引导的水平上将控制交给机器视觉分析中的这种引导系统在很大程度上仍然是理论上的，而实际系统中的引导大多只在演示阶段，如第2节所述。在第3节中，我们大致了解了在理想的可视化分析系统中，引导系统的目标应该是什么。在第5节中，我们更仔细地研究了视觉分析的最新指导模型，并指出了它们的缺点和不兼容性。在第6节中，我们试图统一和扩展这些模型，为可视化分析系统中的指导从视觉分析文献中出现的引导系统的工作在第7节中，我们回顾了这些任务，并扩展了我们的讨论，以包括这里的指导机会在第8节中，我们将这些结合在一起，作为构建模块，为用户提供实用的工作流程，包括指导。最后，在第9节中，我们将研究如何评估视觉分析中的引导系统的有效性。2. 背景随着机器学习的力量开辟了新的机会，分析活动的机器指导主题越来越受到关注Ceneda et al.的最新论文。 （2017）介绍了视觉分析中自动指导机会的正式描述，围绕知识差距，输入和输出以及指导程度。我们计划扩大这一模式，扩大指导的概念，包括及时的便利，这可能使分析过程更有效地在适当的时候提出的工具和模板Ceneda等人在van Wijk的可视化模型（van Wijk，2006）之上构建了他们的指导模型我们研究了促进在低级别任务分类中的潜在作用，例如， Becommer和Munzner（2013）以及更复杂的视觉分析模型（Andrienko等人， 2018年）。已经报道了指导的具体实例，例如，当眼动跟踪指示分析师表现出混淆的迹象时，有帮助的干预（Conati等人， 2013年; Toker和Conati，2014年; Panwar和Collins，2018年）或当日志系统检测到次优搜索策略时（Brown等人， 2014年）。也有人研究机器智能在揭示分析过程中的潜在偏见方面的作用（Wall等人， 2017a），通过暴露用户所看到的数据与完整数据集的整体特征之间的差异。另一方面，其他人则对指导或机器学习的潜在负面影响表示担忧，主张分析师的代理和自由（Dörketal.， 2013年）。我们对指导作用的探索将承认每种形式的指导的潜在优点和缺点，并在适当的情况下引用文献中的例子我们考虑不同层次的指导和促进，从低层次的操作调整的视觉显示，以高层次的分析任务，如模型的开发和评估。术语指导是指在以下情况下向用户提供帮助：用户经历困难，例如，不知道使用哪种工具或如何进行分析。便利化一词有更广泛的含义。它包括指导，但也包括使分析师的工作更有效的任何可能的这两个术语之间还有一个微妙但重要的区别，机器指导可能意味着机器对用户具有控制或权力，而机器促进意味着机器在支持用户代理方面扮演更中立的角色Federicoetal. （2017）通过包括不同的知识类型（即领域和操作知识），引入了知识辅助可视化分析的概念模型以及用户的隐性和显性知识。他们的模型建议通过隐性知识的外化或计算机模拟的认知过程来捕获用户的显性知识。Federico模型的一个局限性在于，它只考虑了从机器到人类的信息流的一个渠道：可视化本身。Ceneda模型包括从机器引导到人类的额外信息流通道，通过用户指导的元素目前可以在许多最先进的可视化分析（VA）系 统 中 看 到 ： Advizor SolutionsAdvizor 、 Tableau 、 Qlik 、TIBCOSpotfire、TIBCOJaspersoftSASJMP、SASVisualAnalytics 、IBMCognos Analytics 、SAPLumira 、MicrosoftPowerBI、ESRIArcGIS、GeoTime和GoogleAnalytics，其中每一个都支持探索性分析、目标驱动分析或两者的混合其中一些VA系统针对特定的领域，例如ArcGIS和GeoTime专注于基于位置的分析，以及针对网络安全和非结构化网络数据的分析。其他系统声称提供多域交互式可视化和分析解决方案。Behrisch等人（2018 b）评估了商用视觉分析系统的以下功能：数据处理和管理;自动分析;复杂数据类型，可视化;用户指导，感知，认知;和基础设施。最先进的可视化分析系统具有高度交互性，允许对数据进行交互式探索以进行分析。所有这些VA系统都支持对较低级别的任务进行自动预测分析，例如聚类和离群值检测，分类和回归，警报机制以及数据源的自动更新，但它们无法实现逻辑驱动的条件分析和潜在场景的比较分析。Advizor能够通过基于采样的计算和预测分析方法计算中间可视化结果，而SAS可视化分析系统使用长期运行任务的增量更新来实现相同的功能。Behrisch等人的综述揭示了当今的VA系统具有丰富的功能来减少认知过载：推荐可视化（例如，Tableau它们还支持通过记录和重新运行过程来构建宏。一般而言，在最先进的VA系统中实现的分析工作流模型更具交互性，并且能够处理大量和变化的数据，但指导仍然有限。分析师经常被单独留在一个巨大而令人困惑的可视化空间中，这个空间太大了，无法自己探索3. 指导的目标和方面为了系统地讨论指导，我们首先定义可视化分析中的指导目标我们可以从很大的范围开始什么是理想的导游？这个问题的确切答案将根据域、数据类型和所需查询的类型而有所不同可视化分析工具的用户的目标最广泛的是获得关于数据集的准确知识，以便回答分析问题。这与汽车导航的例子不同，汽车导航是一种现有的、可以说是成功的导航系统，在我们的介绍中提到，在汽车导航中，计算机解释性地指导用户完成相当琐碎的任务。用户事实上，他们不再需要注意地理，他们的注意力减少到保持车道和避开障碍物。用人工智能完全取代人类驾驶员来完成剩余的任务只是一小步我们目前所描述的一些数据分析也可能或已经完全自动化。分享168C. Collins等人/视觉信息学2（2018）166贸 易 （ Cha ， 2007 ） 和 肿 瘤 检 测 （ te Brake 等 ，2000; BabuVallabhaneni和Rajesh，2017）是至少部分任务可以完全自主执行的例子。可视化数据集的内容是未知的，分析数据的机会不被理解或仅被部分理解，等等。在这些情况下，人类能够意识到数据的更广泛背景，并将越来越多的数据意识转化为影响现实世界的决策，这是关键，而且远远超出了我们委托给人工智能的能力因此，我们目前有限的机器过程可以在哪些方面补充人类的能力？也就是说，制导系统研究议程的适当和可实现的目标通知：这个最广泛的目标与上面描述的总体指南可以为人类视觉分析提供有用的起点例如，Voyager系统是一种混合主动系统，其将数据中特定维度的潜在感兴趣视图的推荐与用户界面相结合， 该用户界面使 得用户易于浏 览，然后 钻入或重铸结果（Wongsuphasawat等人， 2017年）。减轻偏见：心理学家对人类的易感性和避免不同类型偏见的困难进行了很好的研究 Wall等人 （2017 b）讨论了视觉分析系统中偏见的危险，以及它在分析中所扮演的角色，通过探索数据积极反驳偏见，是推动知识和共识向前发展的合法途径。因此，指导系统的目的可能不是消除偏见，而是让分析师意识到自己的偏见或他人的偏见。减少认知负荷：引导系统可以跟踪分析过程（捕获出处）并提出建议，使分析更有效，例如从当前观点或最近的行动中推断，以建议替代的下一步（Gotz和Zhou，2009）。对于培训：指导系统可以用于提高初学者学习新的可视化或可视 化 分 析 系 统 的 可 用 性 。 类 比 可 视 化 （ Ruchika-chorn 和Mueller，2015）和建议的交互性（Boy等人，2016）在这里可能是有用的，如果使它们按需动态地出现的话。此外，利用专家进行的分析过程的指导系统对于经验转移以提高新手的技能水平可能是有用的（Matejka等人， 2009年）。对于参与：混合主动交互系统可以利用生物感测和情感计算的其他工具来提供个性化和及时的指导，以减轻或防止挫折并增加分析过程中的参与（Conati等人， 2013; Panwar和Collins，2018;McDuff等人， 2012年）。验证结论：引导系统可以在与可视化分析过程相关的下游测试中提供验证，例如对特定假设进行统计测试，验证发现，监控检测到的患者变化的传入数据，以及测试发现的稳定性和灵敏度除了支持这些目标之外，适当的指导永远不应该是有害的，并且应该只是建议行动和观点，而不是规定它们。指南可以大致分为低级指南和高级指南。低级指导处理建议，例如单击特定按钮或在可视化中查看特定数据。高级指南提供了有关分析过程的建议。这里的策略包括分支此外，高级指导也可以与工具本身而不是数据相关联，以提供关于接口功能的及时帮助指导可以由若干投入驱动，本文件将通篇作为介绍，可用于创建指南的一些信息包括：交互日志、视图日志（已看到的内容）、数据日志（数据中已更改的内容）以及分析师知识、任务、需求或数据（属性分布、连接、离群值等）的模型指导方法可根据其前端（面向用户）和后端（系统）特征加以描述。前端包括视觉形式，交互技术，系统与用户之间的通信风格，以及分析过程中的指导集成后端由制导内容、算法方面、制导算法的输入和输出以及具体信息组成用于获得指导建议的来源4. 智能制导支持第3节所述目标的指导方法应满足某些预期要求。从文献上看，可以确定一些经常假设的要求。我们讨论一些重要的抽象和更具体的要求如下。一般来说，导航系统应该能够提供有效的导航，即，实现指导目标。在这方面，制导系统应证明对用户有用，并允许对其相对于无制导支持系统的附加值进行指导功能应易于用户访问;培训所需的用户反馈（见第8.1节）应直观，且不会中断分析过程。显示建议或潜在有用的附加信息的方法需要了解可用的环境，并避免分心或模糊当前的可视化。在提供指导时，系统应该传达为什么要给出建议或指导具体而言，指南应更像是一个白框而不是黑框，以支持用户对指南适当性的信心关于何时以及提供哪种指导的系统置信度也可以变化或较低。当指导可能有帮助时，系统应确定适当的阈值;或者至少在发布指导步骤时清楚指导的置信水平。还需要跟踪所提供的指导和用户响应所采取的步骤，并将其添加到分析出处。更一般地说，提供的指导应适应用户分析过程的背景根据分析阶段，例如，无论是探索还是确认，还是任务、已经看到的数据子集，或者考虑的当前和过去的观点及其顺序，不同类型的指导都是合理的。引导系统的调整应包括针对不同类型的用户、不同专业水平和不同状态的用户的不同引导水平，例如，感到沮丧、困惑、忙碌等。此外，在探索性数据分析和可视化分析的其他方面（通常更面向目标），可能需要不同的指导角色在面向目标的任务中，指导或建议应该比探索性分析更具体，在探索性分析中，指导可能会运行一整套分析，并为探索提供摘要信息或指南应适合用户，但也可提供给用户群体，例如，如果需要，在协作更具体的要求规定，应在正确的时间以正确的方式提供指导关于C. Collins等人/视觉信息学2（2018）166169时间，系统应监控分析过程并预测适当的时间进行指导。例如，这可能是用户在分析阶段可能感到困惑或迷失的时候。实现后者的启发式方法可以是检测用户何时重新访问先前看到的状态（Behrisch等人， 2014）或以非系统的方式搜索（Brown等人，2014年）。关于模式，可以以同步方式提供指导，在分析过程中发出通知或干预。还可以以异步方式提供指导，允许用户根据他或她的判断返回到指导（Mehta等人， 2017年）。逐步指导也是可能的，系统在早期阶段提供一些指导，并仅在用户请求时提供更多指导还应授权用户主动设置所需的指导水平，或最终根据需要选择退出任何指导如果考虑特定的可视化设备，则要求也可能不同，例如，基于桌面的与增强或虚拟现实分析环境。具体地，交互和可视化选项的模式需要使用诸如语音或手势的交互范例。上述要求是最广泛讨论的要求之一仅从这些例子中，我们观察到制导方法的设计和需求空间很大。迄今为止的现有解决方案解决了特定的目标和要求。5. 可视化分析过程中的指导5.1. 现有指导概念模式的局限性Ceneda等人提出的制导概念模型。 （2017）基于van Wijk的通用可视化模型（vanWijk，2006），其中可视化使用规范（方法和参数）应用于数据并创建图像。用户使用他/她的当前知识来感知和解释图像，从而增加或修改该知识。基于他们当前的知识，用户可以执行交互式探索，这影响规范并因此修改图像，图像被进一步感知和解释。Ceneda等人对这个基本模型做了一点修改用"可视化分析“取代”可视化“。与原始模型中的可视化一样，可视化分析将数据转换为用户可以感知的图像。在这种观点中，可视化分析基本上被认为是可视化和分析方法的结合。可将指南应用于这些方法的规范。因此，Ceneda等人的指导模型并不局限于可视化分析。引导被表示为帮助用户创建、感知和变换图像。后来的论文（Federico等人，2017）讨论了可视化分析过程中明确知识的可能作用，指出指导输入 是明确的知识，数据和规范，包含勘探中使用的先前设置的完整历史。分析这些输入以生成具体建议。这种概念模型的主要局限性在于它过于抽象，无法用于指导工具的设计和实现它表明了可以在哪些方面提供指导，并提出了一套指导的特征（如何），但它并没有提出或暗示任何理解可以提供哪些为了理解这一点，有必要更具体地考虑用户希望从数据中获得什么知识。由于用户通过感知图像获得知识，因此引导的主要任务是帮助用户创建这样的图像，从这些图像中可以通过感知有效地获得所需类型的知识。因此，引导系统的设计者需要预测将需要或可能需要的知识的种类。Ceneda等人的指导模型对此无能为力因为，类似于“视觉分析”，它代表了最高可能抽象级别的“知识”，即，作为整个方案中的单个原子块。此外，知识的推导不仅涉及图像感知和探索，而且还涉及发现的验证（Sacha等人， 2014年），Ceneda等人没有考虑，尽管这一非常重要的活动可能也需要得到指导。同样，为了能够提供具体的指导，有必要预测可能的调查结果。为了将现有的指导模型扩展到哪里和如何到什么之外，我们建立在最近提出的概念框架之上，在该框架中，视觉分析被表示为模型构建过程（Andrienko等人， 2018年）。该框架将进一步被称为模型构建框架（MBF）。5.2. 可视化分析作为模型构建的概念化MBF基于知识的定义，将其定义为世界上某个部分的模型，称为模型是任何类型的表示，例如，语言的、图形的或数学的。主题的模型表示其方面（即，组件及其属性）以及它们之间的关系。分析的目的是使用部分反映主题的数据（观察和测量）建立主题的适当模型模型适当性的标准包括正确性、全面性、适用性、一般性、特殊性等。分析从生成一个试验性的初始模型开始。在整个分析过程中，根据适当性标准对当前模型进行反复除了这些核心活动之外，分析过程还可能包括收集来源和将所获得的模型5.3. 为建模活动提供所需支助介绍MBF的论文（Andrienko等人， 2018）还讨论了如何在可视化分析系统中支持这些活动。因此，初始模型的生成需要使用视觉和/或计算方法来促进抽象和概括。指导可能有助于选择这些方法并使用其结果。对于模型评估，统计学和机器学习中采用的方法可以应用于以计算机可读形式表示的模型组件心理模型或模型组件可以使用可视化和交互式手段进行评估，包括重新应用具有不同参数设置的先前使用的方法，应用替代方法，以及采用不同的数据子集。本文指出，虽然在统计和数据挖掘中存在评估模型的既定做法，但在可视化和可视化分析研究中，心理模型的评估没有得到足够的重视它指出：‘‘Although 实验室软件既不通知/提醒分析师可能使用可用的交互式技术进行心理模型评估，也不鼓励分析师甚至关注这样的评估“（Andrienko等人， 2018年，第289）。这表明需要明确的用户指导。类似的考虑也适用于模型开发，其中分析师可能需要根据评估结果修正、扩展或简化当前模型。来源收集和模型外化涉及发现、解释、判断、推断和最终模型的外显表示，其形式可以转移到170C. Collins等人/视觉信息学2（2018）166他人这些活动需要用于注释图像、组织和链接注释以及构建更抽象的表示（如知识图）的工具。用户可以极大地受益于智能引导和便利。因此，系统可以提出结构化模板来描述和组织发现，甚至基于数据中模式的自动检测来构建草稿注释5.4. 模式在数据分析中的作用模型的一个基本特征是它是一个广义表示（Andrienko et al.，2018年，第283）在这个意义上，它指的是多个观察一起，而不是由个别观察的具体表示此外，泛化扩展到可用的观察之外（即，以数据表示或为分析员所知）与将来可能进行的观察相模型的这一必要特征意味着可视化分析系统的用户应该能够一起感知多个数据项，并将它们共同概念化为一个有意义的整体。这样的整体在可视化和可视化分析文献中通常被称为虽然被广泛使用，但术语我们提出以下模式的工作定义模式是将任何类型的项目集合表示为具有特定属性的集成整体，这些属性不仅仅是组成项目的属性的组合模式可以被视为正在构建的模型的可能组件如果它与分析目标相关，则可以包含在当前模型需要评估相关模式，例如，通过检查在改变可视化或分析方法之后它是否仍然可以被感知或以其他方式被提取，或者通过计算模式中涉及的数据项的聚集特性并将它们与剩余数据的相应聚集特性进行由于泛化是模型构建的核心和本质，因此分析过程主要以模式为中心，这些模式从数据中提取，评估，精炼，组织，互连，注释并集成到最终模型中。因此，指导的任务是帮助分析师提取和管理模式。5.5. 对设计和实施指导的影响5.5.1. 帮助模式提取分析从生成初始模型开始，这需要从数据中初始提取一个或多个模式还可能发生的是，一些初始模型已经存在于分析师的头脑中（例如，由于以前对类似数据的分析）。在这种情况下，分析师需要检查预先存在的模型是否符合当前数据，这需要从当前数据中提取模式。因此，在分析的初始阶段，指导的主要任务是帮助分析人员从数据中提取模式模式提取不仅发生在分析的初始阶段，而且发生在模型评估和开发的后续循环中。在模型评估中，分析师修改数据（例如，取不同的样本），方法（例如，使用另一种聚类算法或应用另一种可视化技术）或参数，提取模式，并将它们与先前提取良好的对应性提供了模式可信度的证据在模型开发过程中，分析人员可能需要搜索可以改进或扩展当前模型的其他模式，或者如果先前提取的模式在评价中未得到确认，则需要搜索不同的模式因此，在模式提取是相关的整个过程中的模型建立。模式可以从精神上或计算上的数据中提取。心理提取需要对数据进行适当的视觉表征，从而实现模式感知。可以使用适当的算法进行计算提取，结果需要提交给分析师进行解释，评估和纳入整体模型。为了支持模式的心理提取，引导子系统（进一步称为“引导”）可以建议合适的可视化技术或自动创建有效的对于计算提取，指南可以建议合适的算法。如果向导知道，第一，数据的结构和属性，第二，分析重点（哪些方面是相关的），第三，分析目标（例如，描述或预测）。了解数据结构和属性后，指南可以预测可能存在的模式类型。了解分析重点和目标后，指南可以确定哪些类型的模式可能是重要和有用的。作为一个例子，让我们从VAST迷你挑战1的分析任务：“调查一个城市的流行病爆发的情况，并预测它将如何进一步发展”（格林斯坦等， 2011年）。这些数据包括来自社交媒体的地理参考因此，数据结构包括时间、空间和文本组件。模式可以存在于消息的数量和内容的时间演化、消息发布位置的空间分布以及消息及其内容的联合时空分布中。帖子数量的时间演变可能的模式包括时间趋势（增加或减少）、峰值或凹坑、一些较小模式或模式序列的周期性重复以及随机波动。消息内容的时间演变中的可能模式包括关键字频率的变化。柱的空间分布的可能模式包括空间均匀性、空间聚类、密度的空间趋势（例如，从北到南或从中心到外围增加或减少），以及空间排列。信息内容空间分布的可能模式包括特定关键词在领土不同地区出现的频率较高或较时空分布的可能模式包括空间集群的集中和消散、出现、消失、增长、收缩、移动、合并和分裂，以及领土不同部分的关键字频率的变化所有这些类型的模式都与描述疾病爆发的任务有关，而只有时间和时空趋势对预测进一步发展的任务通常，为了支持分析过程的不同阶段（初始模型生成、评估和进一步开发）的模式提取，指南可以（1）建议或自动选择显示数据分布（统计、时间、空间、时空）和数据组件之间相关性的可视化技术，和/或（2）建议或自动运行适当的模式提取算法，例如聚类、趋势检测或基序发现。由于数据可能包含离群值，这可能会阻碍模式提取，该指南还可以建议离群值检测和删除的方法，并帮助使用这些方法。5.5.2. 帮助模式和模型评估对所提取的模式的评估包括测量它们的特性（多频繁、多高、多密集、多大、多快、多规则等），关于提取模式的方法的改变和关于数据中的噪声，检查模式的稳定性或灵敏度，并调查模式的范围（它们存在于数据的什么部分对于计算C. Collins等人/视觉信息学2（2018）166171通过提取图案，可以自动进行属性测量为了在评估心理提取的模式时提供有价值的帮助，指南将需要知道已经提取了哪些特定模式，即，分析员需要在可视显示中标记图案，并以结构化的形式注释它们，告诉向导它们是什么类型的图案关于模式稳定性/灵敏度和范围，分析员可能不仅需要帮助选择和应用合适的方法来测试，而且可能还需要参与这种测试（Andrienko等人， 2018年）。作为最低限度，指南可能会给出一般性建议，以不同的方式查看数据，采取不同的随机样本，尝试其他方法或参数，在数据中引入一些噪音等。除此之外，分析师应该得到适当的工具，支持和指导，以比较不同设置下获得的模式一个模型可以被看作是一个由模式组成的系统，这些模式通过关系联系在一起，比如层次关系（较大的模式包括较小的模式）、时间关系、空间关系或因果关系。模型还可以包括表示数据的不同部分的模式这些模式通过数据的相应部分之间的除了评估组成模式外，模型评估还包括评估其总体正确性（与数据的一致性）、全面性（包括所有相关方面和关系）、覆盖范围（包括所有可用数据）、一般性（对未用于模型生成的数据的适用性）、特异性（重要区别和细节的表示）、预测能力、复杂性（组件和关系的使用更少的时间和/或计算机资源获得类似结果的可能性）。这些标准中至少有一部分因此，关于全面性和覆盖范围，指南可以通知分析师尚未考虑的数据成分或子集，这可以在没有以计算机可读形式的当前模型的显式表示的情况下完成。对于基于计算机的模型，比对于心智模型，更容易支持关于其他一些标准的评估。有既定的技术测试基于计算机的模型，这可以推荐给分析师。此外，该指南还可以显示好的和坏的模型结果的分布，帮助识别和比较模型结果好的和坏的数据子集，并突出不确定和边界情况。对于未外化的心理模型，指南只能提供一些关于潜在重要评估标准和常用评估方法的一般性建议。有了心智模型的结构化明确表示，指南可能能够提供更具体的帮助。因此，通过明确表示模式，指南可以帮助分析人员检查：是否存在引用不同数据子集的相似模式，因此可以连接;是否存在适用于相同数据子集的不同模式，因此需要解决冲突让我们用一个例子来说明这个想法。一位分析师研究了一个旅游地区的社交媒体发布活动，该地区这些数据包括发布时间、位置参考（坐标或地名）和文本（例如Twitter中的消息或照片标题）。分析师想知道在一年中的不同季节，哪些地方最受欢迎，以及根据文本中出现的关键字，人们在那里做什么分析师首先获取冬季生成的数据子集，并使用密度图来识别帖子数量较多的地方，这些地方在地图上显示为分析师勾勒出这些地方的边界并检查哪些关键词频繁出现在整个地点集合中。她发现了两组流行的关键词，一组是冬季运动，另一组是圣诞节和新年庆祝活动。分析师分别选择了涉及前一个和后一个主题的帖子，并明确记录了两种空间模式：用于冬季运动的地方和人们庆祝圣诞节和新年的地方。然后，分析师将重点放在夏季生成的数据上，其中的关键词是指冬季和夏季运动、徒步旅行和观光。当分析师获取冬季运动的帖子子集时，智能指南可以找到之前记录的冬季运动场所的空间模式，并将其显示在密度图上，帮助分析师检查该模式是否也适用于夏季。分析师注意到，有些地方在冬季和夏季都用于冬季运动她将之前的模式细分为仅在冬季用于冬季运动的地方和在任何季节用于冬季运动的地方当分析师创建观光相关帖子的密度图时，智能指南可以检测到先前记录的圣诞节和新年庆祝活动的空间模式与密度分布非常匹配事实上，有有趣的景点看的地方也很受欢迎的地方度过寒假。当导游将庆祝图案放在密度图的顶部时，分析者可能会决定该图案也可以表示观光活动，并相应地扩展图案的注释当分析者调查远足相关关键词的空间分布它可能会发现，这些关键字在冬季的频率足够高，以减少注意力，并通知分析师这一点。分析师可能没有注意到这些关键字是冬季子集中出现最频繁的关键字，因为它们主要是冬季特定的关键字。在被向导通知之后，分析者可以在冬季子集中寻找徒步旅行相关关键词的空间分布，并记录相应的空间模式。指南可以检测该模式与冬季运动分布模式的高度重叠，并将其展示给分析师以解决可能的冲突。作为响应，分析师可以选择用于冬季运动和徒步旅行的地点，并比较与冬季运动和徒步旅行相关的关键词在几天或几周的时间分布。没有时间重叠可能意味着地点的使用取决于天气，特别是雪和/或冰的存在在这个假想的场景中，指南不仅帮助分析师评估提取的模式，而且还帮助分析师开发模型，这将在下面的小节中讨论。一般来说，模型评估中的支持和指导问题尚未在可视化分析研究中得到充分解决，因此提供了一个具有挑战性但有趣且重要的研究方向。5.5.3. 帮助模型开发模型开发是指在评价所确定的问题方面改进现有模型。对于不够正确或不够具体的计算机模型，指南可以建议修改建模方法参数，尝试替代方法，或将异构数据划分为更同质的部分，并通过更具体的模型组合来替换整个模型数据划分之后提取更具体和准确的模式也可以被建议用于改进心理模型。为了增加模型的全面性和覆盖范围，指南可以显示尚未覆盖的数据子集和方面，并支持从中提取模式。该指南还可以告知分析师存在替代分析和建模方法或其他数据源。与初始模型生成一样，模型开发涉及模式提取，这在前面讨论过（第5.5.1节）。172C. Collins等人/视觉信息学2（2018）1665.5.4. 帮助收集出处为了支持来源收集，有必要跟踪应用于数据的所有操作和方法（Xu等人， 2015年）。历史可以可视地表示，例如，作为图表（Shrini-vasan和vanWijk，2008）。Gotz和Zhou（2009）描述了如何使用用户行为的分类来自动捕获语义上有意义和逻辑上有组织的这就要求系统有一个“语义”用户界面，或者根据动作分类来组织。除了勘探历史跟踪之外，还需要启用和方便注释。注释不仅对追踪起源很有价值，而且对模型评估和开发也很有帮助（见5.5.2节）。为了鼓励和促进注释的创建，指南可以提出结构化的模板，甚至是分析师可以用很小的努力完成的注释草案这种帮助的基础是可能的模式的知识，使用的方法，以及对于计算方法，获得的结果的属性。特别地，当系统面向特定类型的数据和分析任务时，模式、方法和结果属性对于系统设计者是已知的，系统设计者可以推断所需的注释内容和结构，从而准备合适的模板（ Eccles 等人 ，2008 年; Chen 等人， 2010年 ） 。因此， 系统Click2Annotate为流行类型的模式或事实提供了预定义的模板可以响应于分析者在视觉显示中对观察到的图案的交互式标记来生成用于精神上提取的图案的模板或草稿注释除了创建注释之外，指南还应该帮助分析人员组织和管理它们。例如，在Aruvi（Shrinivasan和van Wijk，2008）中，用户可以将注释附加到表示探索历史的图的节点，并将它们链接到视觉显示的状态，并且类似的功能存在于一些其他系统中（Gratzl等人，2016; Walker等人，2013），然而，其不提供注释创建和管理的在系统沙盒中存在一种指导（Wright等人， 2006），其使用分析框架的模板（例如过程模型）为收集的信息片段和注释提供自动布局。分析师需要明确地选择合适的模板在分析过程中创建的注释表示分析师的知识片段分析对象的心智模型），并因此可用于最终模型的外化5.5.5. 帮助模型外部化如MBF论文（Andrienko等人， 2018年，第290页），附加到视觉显示的某些状态的零碎注释并不构成分析师心目中模型的充分表示。为了更完整、更系统地对模型进行外部表示，分析师需要组织注释，并可能提供额外的注释。当外部化模型仅意味着由人类查看时，分析师可以以“故事”的形式表示模型以及出处（ Eccles 等 人 ， 2008; Gratzl 等 人 ， 2016; Walker 等 人 ， 2015年）。为了构建一个好的故事，分析师可能需要指导，这在当前系统中是不可用的。在Sandbox（Wright等人， 2006年），用户从证据和笔记中构建一个图，它代表了用户的心理模型。除了提供基于工作流模板的自动布局外，Sandbox还可以自动从文本注释中导出概念图概念图是一种常用的知识表示形式（Dwyer，2016）。 它可以用于在人类分析师之间传递知识（Zhao等人， 2018），而且这种格式也适合计算机处理。 系统HARVEST（Gotz等人，2006）使得用户能够创建和管理概念和实例，维护概念、实例和注释的基础，可视地表示所收集的知识片段，并且允许用户将其链接到数据显示中的相应证据。用户还可以分析和进一步开发所合成的知识该系统通过自动化知识管理和可视化为用户的活动提供便利，但不提供明确的MBF论文指出，需要进一步研究支持来源收集和知识外化，这也适用于指导。特别地，需要解决以人类可读形式的计算机模型到目前为止，这已经针对特定类型的模型完成了，例如因果网络（Wang和Mueller，2017），可以用图形形式表示。6. 智能向导在第5节中讨论可视化分析过程，特别是在第5.5节中讨论对它的可能支持时，我们已经提到了实现预期功能所需的不同类型的知识和能力在这里，我们总结并在必要时扩展这些要求。 图 1示意性地表示视觉分析过程和可能的类型的指导和帮助，和图。 2显示了什么样的知识可以用来提供它们。在分析之前，智能指南需要具有以下的一般知识库：（1）数据类型和结构，（2）数据成分之间可能的关系，（3）数据中可能的错误和不确定性，（4）检测和校正数据错误以及处理不确定性的现有方法，（5）可能的模式，例如时间序列中的趋势和季节性，（6）可能的分析任务和可能与它们相关的模式类型(7)现有的可视化和分析方法，它们对数据类型的适用性以及它们展示或检测模式和关系的能力，（8）可能的用户动作以及进行这些动作的可能目的。如果指南能够有一个用户模型，包括用户的专业知识和背景，目标和问题，那也是很好的当分析开始时，指南应该（1）理解加载数据的结构和属性，（2）预测可能存在的模式和关系，以及（3）能够找到其他相关数据的来源该指南还应帮助用户（4）检测和纠正数据中的错误，以及（5）了解数据的不确定性及其对分析的可能影响在分析过程中，指南应该能够（1）跟踪过程，（2）促进收集出处，（3）了解当前情况并预测进一步的步骤。对于后者，指南需要在用户进行分析时，对用户当前的知识和进一步的意图有一个适应性的和不断增长的理解这样的理解可以从生成的注释和概念以及它们之间建立的关系，以及从来自用户的连续反馈（显式或隐式）中分析完成后，指南应帮助用户具体化基于先前跟踪的分析过程和收集的注释和概念构建的心理模型。该指南应建议对收集的材料进行适当的安排，并在可能的情况下自动构建草稿表示，例如知识图或故事，分析师可以轻松编辑和完成7. 可视化任务前面的部分研究了指导在可视化分析过程中的作用，指导系统的知识将需要提供建议。在本节中，我们将深入研究分析师在使用C. Collins等人/视觉信息学2（2018）166173Fig. 1. 可视化分析过程的示意图以及可能的指导和帮助类型。椭圆表示分析师的活动：IM-生成初始模型，EvM-评估模型，DM-开发模型，CP-收集来源，ExM-外部化模型。双线表示过程流;有向线表示顺序，而无向线连接并行执行的活动。细箭头表示数据和信息流。灰色背景的方块代表可能的支持和