数据视频中叙事结构的研究

视觉信息学4（2020）8研究数据视频中叙事结构的使用曹若尘a，张文，苏布拉塔·戴伊b，安德鲁·坎宁安a，詹姆斯·沃尔什a，罗斯·T.史密斯答：Joanne E.作者声明：John H. Thomasaa澳大利亚南澳大利亚大学信息技术和数学科学学院b澳大利亚阿德莱德大学媒体系ar t i cl e i nf o文章历史记录：接收25十月2019收到修订版2019年12月17日接受2019年12月19日在线预订2019年保留字：叙事可视化数据视频Taxonomy叙事方法a b st ra ct数据视频是一种极具影响力的通信方法，正在成为一种流行的信息传播媒介虽然目前的研究大多集中在数据视频的电影方面，但对所涉及的叙事方法知之甚少。本文介绍了我们的见解，来自这一领域的初步探索。我们提出了一个分类的基础上分析70个现有的数据视频检查他们的叙事和视觉方法。我们提出我们的分类法可以用来解释数据视频的特征或设计。应用这种分类法，我们提出了我们的观察结果，包括当前数据视频中应用的流行技术的趋势，有前途的方法的利用率不足，并突出该领域的研究机会。版权所有2021作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍数据视频-讲述数据驱动的故事的视频-显示了支持叙事可视化任务的巨大潜力。尽管数据视频在诸如新闻和教育的各种领域中普遍存在，但是创建这些视频的理论基础很少（Amini et al. ，2015，2017）。 这种理论基础的缺乏导致创作者花费大量的时间和精力来创建这些视频，并且因此，所创建的视频并不总是满足设计者的期望。在这个问题的驱动下，研究人员最近开始研究数据视频，目的是了解它们的结构和创建方法。例如，Aminiet al. （2015）专注于数据视频的组成特征; Amini et al. （2017）提出了一个用于数据驱动视频的创作工具。通常，这些检查集中在数据视频的电影方面，例如摄像技术或者应用电影摄影中常用的分类虽然数据视频的电影化方面已经被探索，但我们仍然对所涉及的叙事方法知之甚少。在我们的工作中，我们定义叙事方法论“建立叙事的方法”，比如叙事结构。本文提出了一个理论框架，*通讯作者。电子邮件地址：ruochen.cao@ mymail.unisa.edu.au（R.Cao），subrata.adelaide.edu.au（S.Dey），andrew. unisa.edu.au（A.坎宁安），詹姆斯沃尔什@ unisa.edu.au（J。Walsh），ross.t. unisa.edu.au（R.T.Smith），joanne. unisa.edu.au（J.E.Zucco），bruce.unisa.edu.au（B.H.Thomas）。https://doi.org/10.1016/j.visinf.2019.12.002叙事方法应用于数据视频，同时包括一些基本的电影方法。作为叙事可视化的一种方法，数据视频使用叙事结构以更全面、美观和可口的方式传达给定的数据集。因此，应用合适的叙事结构对于创建数据视频至关重要（Claes和VandeMoere，2017）。当讨论叙事的结构时，对从文学，戏剧和电影领域演变而来的叙事结构和体裁的基本理解 是必需的.这些知识对于帮助更广泛的受众设计和制作更好的数据视频至关重要，并在未来帮助开发创作工具，以支持创建引人注目的数据视频。为了对类型进行分类并理解数据视频中叙事结构的使用，需要进行一些形式化。形式化的一种表现形式是通过分类法（CardandMackinlay ， 1997;Heer and Robertson ， 2007;Broder ，2002）。使用通过比较不同部门或在一个部门内找到规律模式而创建的分类法，分析师可以通过识别每个部门的独特特征来了解复杂主题，然后确定每种技术的最佳用例。例如，Chi（2000）使用数据状态参考模型对现有的可视化技术进行了分类这样的研究结果可以是复杂的可视化系统的设计的基石分类法的另一个例子是来自Becommer等人的设计空间。（2017），它介绍了数据可视化中涉及的时间线的不同设计策略。2468- 502 X/©2021作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfR. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）89我们的工作是由两个重要的叙事可视化研究工作的动机。Segel和Heer（2010）提出了叙事可视化的分类。虽然这项工作介绍了叙事可视化中使用的技术，但他们的分类只包括四个数据视频。因此，我们相信在数据视频中使用的许多应用方法在其分类中没有得到解决。Amini等人（2015）对50个数据视频进行了编码，并列出了一些流行的创作方法和数据视频的结构模式。受这两篇论文的启发，我们提供了一个更详细的分类，重点是数据视频中的叙事方法关注数据视频中的叙事方法是必要的，因为这样的工作可以帮助理解数据视频的构建，并有助于该领域的其他相关研究。在本文中，我们编码和分析了70个数据视频（其中两个来自Segel和Heer（2010））的视觉和叙事方法，并创建了一个新的分类法。与以前的研究相比，我们的分类法侧重于数据视频中的叙事方法，并突出了更广泛的应用方法。我们的工作的贡献是：（1）提供了一个分类的数据视频，是对以前的研究的补充。与以往的研究不同，我们的分类侧重于叙述方法的(2)突出当前数据视频的特点;（3）明确数据视频未来的研究机会在回顾了相关工作和背景之后，我们提出了我们的分类法-包括其组成和验证过程-最后讨论了突出的维度，以突出现有数据视频的特征，并建议未来的研究机会。然后，我们提供了五个案例研究来说明我们如何应用我们的分类。我们还提供了如何使用我们的分类法的指导。最后，我们讨论了局限性和未来的工作。2. 背景和相关工作定义数据视频类型是我们分类学中的一个关键过程。因此，我们提供了一个理论的概述，有助于分类流派在我们的工作。我们介绍了两种激励我们工作的模型本节最后探讨了模型的局限性，以及我们的工作如何克服这些局限性。2.1. 叙事可视化叙事可视化-使用讲故事的元素来支持信息可视化-是可视化社区中具有实际应用的新兴领域（Satya- narayan和Heer，2014年;Bryan等人，2014年）。，2017; Qu and Hullman，2018; Wanget al. ，2016; Yu et al. ，2010年）。叙事可视化旨在帮助人们理解数据，它以故事的形式提供了一种引人注目的、富有同情心的信息交流方式。与非正式的故事不同，叙事可视化遵循正式的叙事 和 视 觉 结 构 （ Baber et al. ， 2011 年 ） 。 Gershon 和 Page（2001）首次介绍了讲故事对信息可视化的作用，指出“讲故事允许可视化像可视化一样有效和直观地揭示信息，如果观众在看电影的话。Figueiras（2014）同意围绕叙事可视化的研究为理解其构成特征和叙事与信息可视化的互补关系提供了机会（Hullman和Diakopoulos，2011 a）。03TheDog（2011）他指出，叙事有四个基本要素：情境性、事件顺序、世界制造/世界和它是什么样的。这就为我们提供了一个评价叙事的标准。Cohn（2013）提出了一种叙事结构，其核心类别是： 扩展（E），初始（I），延长（L），峰值（P）和释放（R）。这些类别构成了叙事结构的连贯部分，他们称之为“成分的阶段”。Bach et al.（2018）在分析了大量数据驱动的故事后，确定了18种叙事模式，如比较和加速/减速。这些叙事模式可以作为强大的方法论应用于不同的目的;它们被分为五个不同的组：论证，叙事流，框架，移情和情感，以及参与。他们将叙事模式定义为Hullman和Diakopoulos（2011 b）通过使用他们提出的分析框架介绍了七种修辞技巧及其好处。 为了验证序列选择可能给叙事可视化带来的影响，Hullman等人（2013）对42个专业叙事可视化进行了分析，并提出了一种图形驱动的方法，该方法可以自动识别一组线性可视化中的有效序列。2.2. 数据视频2010年，Segel和Heer提出了七种叙事可视化类型，其中正如多媒体研究所建议的那样（Mitra和McEligot，2018年; Mayer et al. ，2001），当在既有视觉叙述又有音频叙述的多媒体环境中提供信息时，信息更容易处理。数据视频是多媒体的一种形式;因此，我们认为它们是传递信息的有效媒介。Amini等人（2015）将数据视频描述为“包含关于事实的可视化的运动图”。此外，他们还为数据集提供了一个选择标准，该标准应被视为定义的一部分“（1）它包含一个核心信息，并提出由数据支持的论点;（2）它包括至少一个数据可视化，以及;（3）它遵循一种叙事格式，指的是以顺序给出的相关事件的口头或书面描述。这个定义加上他们研究中的标准代表了从巨大的视频池中识别数据视频的第一次尝试。我们的数据样本的选择是基于这个定义。数据视频的创建是非常困难和耗时的（Amini et al. ，2017年;Bulterman和Hardman，2005年），因为它涉及大量的技术和技能，如电影制作，计算机图形技术，甚至可能是计算机编程。尽管数据视频的复杂性和流行性，但关于数据视频的研究相对较少Amini等人（2015）研究了数据视频的组成特征。在研究了50个数据视频后，他们发现视频最常见的模式是科恩符号中的叙述者（E）指的是初始（I）指的是“启动动作或事件的序列”。峰值（P）意味着释放(R)指的是“展示高峰期后果的序列”。“+"号表示重复前面的元素（E、I、P和R之一）。随后，Amini等人（2017）提出了一种基于网络的数据视频创作工具10R. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）82.3. 流派文学的创作者和读者都从这套明确的体裁分类中受益匪浅。我们认为，类型的分类在数据视频领域也很重要。也就是说，一个清晰的类型分类可以帮助我们更有逻辑地呈现我们的分类，并且有利于生成和审查未来的数据视频。术语体裁（意为“种类”或“阶级”）已被广泛用于修辞学、文学和电影相关理论。Robert Allen说：在其2000年的大部分时间里，体裁研究在功能上主要是法理学和类型学的。 也就是说，它的主要任务是把文学世界划分为各种类型，并为这些类型命名--正如植物学家将植物区系领域划分为植物种类一样（Allen，1989）。关于体裁的定义有许多理论，史蒂夫·尼尔（Steve Neale）宣称关于电视技术，Abercrombie（1996）断言“Stam（2000）指出了四个关键问题正如Chandler（1997）所指出的，由于体裁的定义不是一个中立和客观的过程，因此对于具体的体裁定义没有共同的共识;一旦给出一个体裁，人们就会对其进行争论，重新定义它，从而出现更多的体裁理论2.4. 为我们的分类学提供我们的工作受到两个模型的启发，叙事可视化的分类模型和数据视频的编码模型。第一个分类来自Segel和Heer（2010）;他们分析了从多个来源（如在线新闻，博客和研究论文）收集的58个叙事可视化示例。然后，他们提出了一个分类法，其中包含三个分类特征：体裁，视觉叙事和叙事结构。这些突出了每个叙事所使用的独特的可视化方法在此基础上，作者提出了创造良好叙事形象的有效方法。一种这样的方法涉及在作者驱动的元素（其中向观众提供没有交互能力的叙事）和读者驱动的元素（其中使观众能够与叙事交互）之间提供平衡。然而，Segel和Heer此外，他们没有探索这些数据视频的叙事学方面。根据Segel和Heer的编码方法Amini et al. （2015）不是严格的分类，他们研究了如何编码数据视频。这是对数据视频进行分类的第一次调查。根据Cohn（2013）的叙事结构理论，Amini等人收集了50个数据视频，并对其叙事类别进行了编码，从电影的角度对数据视频通过使用小叙事方面的研究非常简短，只确定了叙事结构。有大量的叙事技巧需要研究。我们通过研究数据视频中使用的更广泛的叙事技术，受这两种动机模型的3. 分类学的设计空间在本节中，我们将详细描述我们的分类设计空间。此外，我们还讨论了从这种分类法得出的意见和研究机会。分类学提出了70个现有的数据视频的设计技术，强调其应用的叙事方法。通过应用这种分类法，我们提供了一种方法来描述数据视频的设计和数据视频的设计选项的初始指南。3.1. 方法为了避免主观性，并提供一个强大的分类，我们遵循系统的方法Amini等。（2015年）。我们进行了开放（Glaser和Strauss，2009）编码以创建类别，并进行了封闭（Richards，2014）编码以进行分类和修改。我们从YouTube上收集排名靠前的视频开始由于YouTube上没有明确的“数据视频”分类，我们开始使用“数据视频”作为关键字进行收集。从结果中，我们选择了排名靠前的数据视频，并从相关视频和渠道中进一步添加为了获得良好的话题覆盖率，我们选择了娱乐、新闻、历史、教育等各类频道的数据视频。为了完整起见，我们还从激励模型中提到的来源收集了视频。然后将收集到的20%的数据视频发送给我们的一位作者（SD1），以描述内容并规划分类，采用开放编码方法。研究人员这些定义通过多次讨论反复定义和完善。在收到分类法的初始版本后，我们的两名研究人员进行了采用封闭编码方法完成剩余数据视频的编码。随后对定义作了进一步修订，以消除任何模糊或误解。应该指出的是，由于这项工作的新颖性，很难识别有效的数据视频。我们严格按照Amini等人提出的定义过滤和收集数据视频。 （2015年）。但是，有些视频很难清晰分类例如，“DeltaAirplane Safety Video 2”是Segel和Heer（我们的激励论文之一）（Segel和Heer，2010）分类中包含的视频之一，但是，根据Amini等人的定义和标准，它不能被分类为数据视频。为了保持我们数据集的一致性，我们将此视频从我们的分类中然而，这确实揭示了可能需要修改数据视频的当前定义。为了识别突出特征，收集了高质量的数据视频。虽然没有关于什么构成高质量数据视频的既定指导方针，但我们确定观众数量、视频的有效覆盖范围和视频评论是视频受欢迎程度的有效指标我们认为，受欢迎程度（虽然不是绝对的）是我们系统地判断数据视频质量的最佳衡量标准。我们收集了大部分视频（81.43%）单位（初始，峰值和发布），他们提供了一个有效和灵活的方式来建立叙事结构，用于描述和创建数据视频。然而，他们的调查1 SD具有叙事学背景2 https://www.youtube.com/watch? v= IFG-XIIVS7w。R. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）811来自YouTube上排名靠前的视频，其余来自专业数据可视化和新闻网站。3我们试图通过包含包含各种数据视频类型、叙事结构和一系列叙事方法的数据视频来丰富我们的数据集。为了限制我们的研究范围，我们还根据长度对数据视频进行了筛选;收集了短于20分钟的视频。总之，要包含在我们的数据集中进行分析，数据视频必须：（1）遵守Amini有一个例外这个例外是因为这个数据视频启发了分类法的创建，并且encom-传递了我们分类法设计空间中的大多数属性，充当了理想的范例。我们并不声称我们的数据集是详尽的，而是提供了我们定义的标准的信息概述。表A.1列出了我们数据集中用于分析的数据视频及其URL。我们在表A.2中给出了分类。虽然我们试图将Segel和Heer的工作（Segel和Heer，2010）中的四个视频纳入我们的数据集，但其中一个视频不符合当前数据视频的定义（如上所3.2. 分类设计空间我们的分类设计空间包括四个功能部分(1)时间，（2）体裁，（3）叙事方法，（4）视觉方法。第一部分表示数据视频的持续时间。第二个标识每个数据视频的类型，这将在下一节中介绍。第三部分是指叙事方法分为：（一）叙事结构，（二）叙事属性，（三）叙事工具。第四部分是指数据视频中使用的视觉方法。3.2.1. 流派我们根据叙事理论定义了五种类型的数据视频。我们使用目标或意图（例如，数据视频的目的是什么）作为确定不同类型的主要 条 件 ， 这 与 Ojo 和 Heravi （ 2017 ） 以 及 Kelliher 和 Slaney（2012）使用的方法相同我们使用目标/意图的原因是，我们认为这是数据视频相比之下，其他功能可能是可互换的。例如，Cao等人（2017）使用媒体的形式（即2D，2.5D，3D和虚拟现实（VR））对数据视频进行分类。如果我们只讨论数据视频类型的命名，然而，就类型而言，形式的使用有两个主要问题：（1）一些数据视频包含不止一种形式的内容（例如2D和3D）;（2）数据视频的形式可以很容易地改变（例如3D数据视频可以通过简单地导入并在VR环境中播放而成为VR数据视频同时，数据视频的目标也是决定其播放位置和目标受众的重要关键，进而影响其创作。也就是说，通过事先知道数据视频的目标，设计者可以创建更好的数据视频。我们的流派是：事实事件：可视化历史事件的数据视频。我们将事实事件定义为在特定时间间隔内在特定地点发生的事情。例如，表示已知的历史事件将符合此描述。3 我们的数据样本收集分为两个阶段：（1）2017年12月6日：首次收集;（2）2019年8月13日：访问重新检查和数据集重新填充。事实事件数据视频旨在显示或回放事件和相关信息，如时间，位置和参与人员。一些例子是事实知识：可视化和呈现事实的数据视频。事实知识类型的数据视频的目的是提供关于事实的知识或信息在这里，例如，视频“这个令人难以置信的假设：数据视频可视化和呈现假设的情况或概念。我们采用假设的哲学含义，假设一个特定的，有时是反事实的真理，无论是一个事件还是概念，都被用来呈现一个为了说明，视频通过折纸去月球是不可能的。然而，这段视频提供的假设是基于事实的，比如纸的厚度和地球与月球之间的距离说服力：数据视频可视化和呈现支持作者观点或观点的信息。说服性数据视频的目标是向观众传达作者自己的观点，并试图说服观众接受这种观点。与使用事实来支持尚不能证明的假设的假设不同，说服力提出了一系列有形的东西来支持作者一种常见的方法是首先给出作者例如，视频是第25章穷人和富人预测：数据视频可视化和提供预测。预测数据视频旨在提供对未来的预测同样，这些预测必须基于当前的事实或者真相我们数据集中的两个典型例子是“100年后地球会是什么样子？”2017年美国经济究竟会是什么十五岁3.2.2. 叙事结构叙事结构代表了结构框架，它是叙事呈现给读者、听众或观众的顺序和方式的叙事文本的结构是情节和背景。值得注意的是，“情节”和“背景”是与我们在戏剧和小说电影中看到的虚构故事有关的基本叙事结构。然而，在我们的工作中，我们将叙事结构的概念应用于数据视频，这些视频可能缺乏小说电影和戏剧的核心虚构戏剧。因此，我们需要借鉴传统的叙事结构思想，建立合理的叙事结构，解释数据视频中使用的结构。在叙述结构上有明显的区别在Amini et al. （2015年）。还有我们的工作Amini et al.（2015）的作品中的叙事单位和模式。专注于电影序列和场景的构建，而我们的叙事结构则来自用于构建叙事的数据和信息结构。在我们的工作中，我们定义了当前数据视频中使用的以下四种叙事事实链事实链结构呈现了一系列事实及其相关数据，以支持主要观点或实现最终目标。 这12R. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）8结构与Kosara（2017）先前确定的索赔-事实-结论模式密切相关。典型示范一个事实链结构化视频是“17万亿美元的美国债务-视觉该视频使用计算机生成的虚拟对象（例如100美元纸币的3D模型）按顺序呈现不同金额（从100美元到17万亿美元）。假设链：假设链结构只包含一组有序的假设。在这里，我们采用了与“假说”体裁（3.2.1节）中定义的“假说”相同的哲学含义。例如，如果澳大利亚是100人。事件链：利用事件链结构的数据视频由一系列事件组成。我们使用术语‘‘Toddler survives 30ft fall through bleachers’’论证链：利用论证链的数据视频由一组论证和反论证组成。例如，数据视频可以探索争论的所有方面，并且可以试图说服观众的特定观点或让观众决定。一个例子是从我们的研究中，我们发现引人注目的数据视频有一个突出的叙事结构，然而，它们可能会从其他结构中借用元素。因此，在我们的分类中，我们关注的是数据视频呈现的突出叙事结构。3.2.3. 叙事属性我们在分类法中确定了六个强制性的叙述属性。这些属性本质上是二进制的。例如，数据视频必须具有“结束类型”属性，“结束类型”可以是“打开”或“关闭”。这些属性总结在表1中。在形成数据视频的主要分类时，我们使用了两个术语：叙事结构和叙事属性。基于我们分析的70个数据视频，我们认为，叙事结构不能用线性/非线性或互动/非互动这样的术语来充分描述。虽然其中一些术语通常用于描述叙事结构，但对数据视频的更精细研究显示了这种区分-两个数据视频都可以是线性的，但它们的叙事结构仍然不同因此，我们使用术语叙事结构来描述视频的固有结构，使用叙事属性来描述数据视频可能显示的特征应该指出的是，我们所研究的叙事结构和 我们承认 我们还没有识别出包括我们已经定义的一些叙事属性的范例视频。例如，没有使用无限制叙述的数据视频。在这种情况下，我们将在观察部分介绍缺乏的可能原因及其可能提供的研究机会。3.2.4. 叙事工具叙事结构依赖于一些潜在的技术和工具来向观众传达信息（Orehovec和Alley，2003）。我们在叙事工具下确定了六个部门。数据视频可以使用任意数量的这些工具。符号视觉：在数据视频中，可能需要说明来自现实世界的对象（例如，一个人，一辆车，或者武器），其可以通过使用虚拟对象（例如，虚拟角色、2D图形或3D模型）来表示。我们称之为符号视觉。2D指的是2D样式的视觉内容（例如，2D图形），而3D指示3D样式的视觉内容。 VR意味着可以使用VR技术观看数据视频的内容。事件创建：数据视频的另一个要求可能是呈现或再现事件（例如犯罪、会议和课程的时间轴）。此过程称为事件创建。根据内容的形式，我们进一步将其分为2D、3D和VR。2D是指使用2D视觉内容而不移动3D摄像机来重放事件3D是指使用3D视觉内容和3D相机移动来重放VR意味着可以使用VR技术观看视频内容。重要的是，我们发现有两种类型的视频，这可能是令人困惑的。第一种是应用2D视觉内容的视频，同时使用3D相机技术（例如将相机从对象的后部移动到其前部）。另一种是利用3D视觉内容但不应用任何相机移动的视频我们将这两种方法都定义为2D。真实视觉提示：除了2D、3D和VR内容，我们发现一些数据视频也包含真实的视觉元素，例如真实图像和视频片段。我们将真实的视觉内容归类为真实视觉线索。有一种特殊的情况，其中一些数据视频被制作为真实的电影。也就是说，他们在视频的持续时间内使用真实的演员和环境。我们将这种风格的视频归类为应用真实视觉线索。画外音：画外音是一种已知的制作技术。在将真实语音应用于数据视频的情况下，通常作为用于介绍目的的背景语音。注释：注释是数据视频中出现的注释或评论，用于进一步解释数据视频中呈现的数据、图形或概念。它们可以出现在数据视频中的任何地方和任何时间音乐：音乐是指在数据视频期间播放的任何音乐。它可以是整个视频的背景音乐，也可以是视频的一部分。3.2.5. 突出突出显示是引导观众注意力的基本观看控制机制之一在我们的研究中，我们确定了用于突出显示的四种主要视觉效果类型：特写镜头：特写镜头表示相机的大部分放大（放大/缩小）：放大（放大/缩小）是指摄像机的运动，有效地远离感兴趣的对象放大或缩小相机框架中的对象对比度/亲和度：对比度/亲和度表示场景中不同对象之间的颜色区分，以突出主体。运动/动画：运动/动画是指角色或动画对象的动作，引导观众3.2.6. 过渡效果过 渡 效 果 是 从 一 个 场 景 转 换 到 另 一 个 场 景 的 重 要 方 法（Beaver，1983）。由于在视频编辑领域中使用了大量的过渡效果，我们列出了一些更常见的效果，如剪切，查看器运动，淡入/淡出，溶解，擦拭，滑动和虹膜，并提供了一个名为其他的列，用于上述技术之外的技术。R. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）813表1叙事属性。属性选项描述结束类型开放关闭在开放式叙事中，数据视频的结尾没有明确的结论，观众可以自己得出结论。封闭式叙述有一个结构化的结尾，包括一个具体的结论。Story Strand单链单股数据视频只有一个故事情节。在文学、戏剧和电影作品中，故事情节一词指的是故事的情节和发展。在我们的工作中，我们将故事情节定义为用于呈现数据及其故事的线程。多股多股数据视频有几个故事情节。调查调查调查性叙述的重点是寻求问题的答案，它展示了一系列系统的动作或调查数据的过程，之后-取决于结尾类型-显示有/无结论的结尾。非调查性非调查性叙事数据视频不展示调查的行动或过程，只是呈现数据或讲述故事秩序线性在线性叙事中，事件以清晰的线性方式进行（例如明显的时间线，标题或因果关系线索）。非线性在非线性叙事中，事件是无序呈现的，没有明确的线性线索。说书人限制限制性叙述从一个人的角度呈现一个故事无限制在无限制叙事中，故事是从许多人物交互性互动数据视频具有交互功能。非交互数据视频没有交互能力。3.3. 观察与探讨在本节中，我们将讨论我们在设计空间中对样本数据集的每个维度的观察结果，包括特征和研究机会。这是undertaken的意图，提供了一个详细的了解目前的数据视频，反过来，有利于设计和使用的数据视频为未来的研究。值得注意的是，我们获得的见解是基于对我们数据集中的短数据视频（短于20分钟）的观察。我们断言，我们的见解可能对长数据视频无效3.3.1. 时间如图1，我们分类中的大多数数据视频长度为2到8分钟。这一发现可以为那些想要创建数据视频的人提供参考。此外，目前尚不清楚数据视频的长度是否会影响人们如果是，它在多大程度上影响理解？数据视频的时间属性特征有待进一步研究。这些研究还可以为内容的安排提供见解，例如故事的细节水平和视频的节奏3.3.2. 体裁与叙事结构在我们的分类法中，体裁和叙事结构的使用总结如图所示。二、从图中可以看出，现有的数据视频大多属于事实知识类型（62.86%），最受欢迎的叙事结构是事实链（82.86%）。我们认为其中一个可能的原因是数据视频的内在意图-呈现一组Fig. 1. 分类法中数据视频持续时间的群集图 我们检查的大多数视频都在2-7分钟的视听叙事中的数据，其中大部分是占主导地位的 因为需要陈述事实此外，在数据视频的编码和分析过程中，我们发现当前数据视频应用的叙事结构相当简单。因此，我们只确定了四个叙事结构，所有这些都是简单的数据和信息链。目前尚不清楚这是否是由于这可能是由于该领域现有研究和技术的不足，或者是由于我们的数据集中只使用了短视频。14R. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）8图二、 体裁（左）和叙事结构（右）的应用。无论哪种方式，我们都不否认其他叙事结构在数据视频中的可能应用，比如三幕结构。3.3.3. 叙事属性根据我们的分析，叙事属性的总结如图所示。3.第三章。虽然线性和非线性同样适用，但大多数属性在每个选项的应用之间有明显的差异。特别是在Story Strand和Sto- ryteller中，我们没有找到任何使用Multi-Strand和Unrestricted的视频。我们认为其中一个原因是这些属性是从叙事学背景中发展出来的，现在才开始应用于数据视频。缺乏这些属性并不意味着它们不存在，而是表明数据视频研究处于早期阶段。这表明，当这些缺失的属性在叙事理论中被接受时，有必要对它们进行开发我们将更详细地介绍叙述属性的观察。在探索结局方面，81.43%的数据视频具有封闭结局。只有18.57%的数据视频在结尾没有给观众故事线方面，所有的数据视频都是单线，也就是说只有一个故事线。的复杂性多线叙事可能是其中一个原因。尽管利用不足，但我们相信多故事情节可以潜在地丰富数据视频的内容，并支持复杂的故事讲述，例如执法领域的刑事案件。然而，需要更多的相关实验此外，由于我们还没有看到多流数据视频，因此仍然不清楚多流数据视频可能是什么样子以及如何创建它。这些问题的答案可以显着有益于数据视频创作工具的研究。非调查性数据视频占主导地位，为92.86%。在某种意义上，这是由于缺乏与视频相关的互动技术。我们从分类中观察到的另一个现象是，只有少数数据视频应用了交互技术（2.86%）。我们相信，尽管当前数据视频的使用量有所减少，但随着交互技术（如VR）的研究和改进，交互式和调查性数据视频的流行程度将有所增加像Story Strand一样，我们找不到任何不受限制的数据视频;我们找到的所有数据视频都从一个角度讲述故事。与运用多线叙事一样，运用无限制叙事也带来了许多复杂的问题，其方法尚不明确。例如，如果一个数据视频使用两个或更多的视角，我们如何安排和平衡这些视角，以避免可能的混乱和冗余？视频的意图是什么？最重要的是，不受限制的讲故事真的更好吗？只有在这些问题得到充分探讨之后，我们才能确定是否应该将无限制叙事应用于数据视频。只有41.43%的视频是线性的，而58.87%是非线性的。这很有趣，因为在电影，戏剧或其他叙事媒介中，线性叙事是最常见的形式（Rayner和Wall，2008）。相比之下，线性和非线性叙事在数据视频中的应用相当3.3.4. 叙事工具最常见的叙事工具是Voice Over- 61数据视频（87.14%）使用VoiceOver。其次是音乐（82.86%）。一些数据视频甚至使用音乐的歌词作为消息传递的配音至于数据视频的格式，目前大多数数据视频都是2D，而少数视频应用3D技术，只有一个使用VR。此外，VR数据视频的交互性非常低，只有移动视野的功能。虽然我们认为2D技术显然适合特定类型的应用，但3D技术提供的优势VR可能会提供一种令人信服的媒介来传达某些叙事。为了支持这一点，Bastiras和Thomas（2017）研究了将叙事可视化与VR技术相结合。虽然他们的结果显示VR和非VR叙事之间没有定量差异，但参与者问卷调查表明VR增强了主观体验。3.3.5. 其他观察结果在我们的分类法的创建和验证过程中，我们观看了200多个数据视频，从中我们获得了一些关于主观性和动画的其他观察。我们将在本节中介绍它们和相关的潜在研究机会。主观性：在我们的审查过程中，我们发现了几个旨在介绍相同数据的视频。然而，他们呈现的故事却各不相同。从这一点上，我们观察到了创建数据视频所涉及的主体性。Thudt等人（2017）断言，“主观视角可以在可视化创建的每一步引入-数据收集和处理，视觉编码和呈现”。这种主观性可能对数据视频的有效性产生积极或消极的影响，这取决于叙述的目的及其使用方式。例如，在刑事案件的数据视频中，为了保持公正，不应该有任何主观的观点，而娱乐性的数据视频可能会有很多个人观点，如果设计得好，会使数据视频更具吸引力。然而，我们还没有发现任何关于数据视频的主观设计的研究。该领域未来的研究方向包括确定可以引入主体性的创作阶段、主体性对受众因果理解的影响R. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）815⃝图三. 叙 事 属 性 的百分比：每个百分比表示使用特定叙事属性的视频数量。动画：我们发现动画是数据视频中常用的工具;我们收集的几乎所有数据视频都有2D，3D或VR格式的动画。动画可以为数据视频带来许多好处。在传统的数据可视化中，故事的许多关键元素都没有呈现出来，例如人物，情节，开始和结束（Marcengo和Rapp，2014）。动画可以极大地支持这些缺失元素的可视化，这有效地增强了数据视频的功能。 Chevalier等人 （2016）进一步提出了动画的23 个好处，如如在导航期间保持定向并保持用户专注。Amini等人（2018）最近证明，动画作为一种设计技术可以显着增加集中注意力 并保持观众的参与度。 然而，这项工作只专注于信息图表。仍然没有证据表明动画在其他类型的数据视频中的力量。这表明在这个领域需要更多的研究4. 数据视频在本节中，我们介绍了五个数据视频案例研究。这五个例子中的每一个我们的目标是为读者提供一个详细的感觉，我们的新分类的设计空间是如何使用的。在整个过程中，所涉及的设计分类将在单空格中标记。我们已获得作者许可，可以使用这些视频中的快照4.1. 1977年《十的力量》Powers of Ten‘‘Powers of 这段视频自创作以来，出于不同的目的被发布在各种网站上，其中大部分网站都有大量的观众和积极的评论（到目前为止，它有5，261，233 观众和3658评论在YouTube上在过去6年）。示于图4、视频开始于一次野餐在芝加哥的一个湖边，将视线转移到了见图4。“十的力量”数据视频。每个场景代表一个渐进的规模，描绘一个真实世界的实体，如地球或人类细胞。由于叙述顺序，每个量表都与前一个量表进行了对比，我们将其确定为事实链结构。然后向内移动到正在睡觉的野餐参加者的手中，最后在白细胞中DNA分子内碳原子的质子内结束视图每10秒移动10的这个视频的目的是向观众介绍宇宙中事物的相对大小。在这个意义上，没有程序技能被教授。因此，我们将此视频归类为事实知识类型。为了给观众提供一个直观的感知，视频只是简单地显示了不同的事实-宇宙中事物的大小-按顺序（如图所示）。4、大小从1米到1亿光年，然后回到10-16米）。因此，我们将其叙事结构定义为事实链。基于这种结构，只有一个故事情节和一个声音，使用宇宙中不同的物体来可视化不同的大小。分类法应用于该视频的特点列于表2。4.2. 肯尼迪遇刺案在4K 360高清 VR这段视频描述了一个历史事件--约翰·F·肯尼迪遇刺。肯尼迪，通过将历史镜头嵌入360度全景视图。 观众可以控制他们的视野，从多个角度观察360度的整个环境（如图所示）。 5），子弹在3D空间中的数字叠加4 Powers of Ten（1977），Charles和Ray Eames的电影，1977年，2018年EamesOffice，LLC（eamesoffice.com）。路径，这增强了理解这种情况的位置信息的能力。这种互动功能（虽然非常16R. Cao，S.戴，A.Cunningham等人/视觉信息学4（2020）8运动/动画表21977年时间9点事实知识叙事结构事实链结束类型：关闭Story Strand：单股表3《刺杀肯尼迪》4K 360高清VR时间3：25事实事件叙事结构事实链结束类型：关闭Story Strand：单股叙事方法叙事属性叙事工具调查：非调查顺序：线性Storyteller：RestrictedInteractivity：Non-Interactive真正的视觉提示配音注释音乐叙事方法叙事属性叙事工具调查：非调查顺序：非线性Storyteller：RestrictedInteractivity：交互式象征性视觉：VR事件创建：VR真实视觉线索画外音视觉方法特写对比度/亲和力削减注释音乐视觉方法突出对比/亲和力过渡效果查看器（摄像机）运动淡入/淡出表4渐变效果淡入/淡出首页>外文书>人文>科普> How Folding Paper Can Get You tothe Moon时间3：48体裁假设叙事结构假设链结束类型：关闭Story