滚动式视觉解释：滚动式视觉解释是一种新颖的可视化设计，用于向非技术用户解释人工智能概念

视觉信息学7（2023）18研究文章VISHIEN-MAAT：用于向非技术用户解释Noptanit Chotisarna，Sarun Gulyanonc，Tianye Zhanga，Wei Chena，b，a浙江大学CAD CG国家重点实验室，杭州，中国b中国教育部浙江大学艺术与考古图像实验室c泰国曼谷法政大学跨学科研究学院ar t i cl e i nf o文章历史记录：收到2022年2022年12月2日收到修订版，2023年2023年1月31日在线提供保留字：Story synthesisScrollytelling视觉叙事可视化深度学习学习科学a b st ra ct自深度学习取得突破以来，过去十年人工智能研究取得了快速进展。人工智能技术已经应用于几乎所有领域;因此，技术和非技术最终用户必须了解这些技术才能利用它们。然而，现有的材料是为专家设计的，但非技术用户需要有吸引力的材料，以易于遵循的步骤提供复杂的想法。一个值得注意的工具，符合这样的配置文件是滚动，一种方法来讲故事这为读者提供了一个自然和丰富的经验，在读者的步伐，随着深入的互动解释复杂的概念。因此，这项工作提出了一种新颖的可视化设计，用于创建滚动，可以有效地向非技术用户解释AI概念。作为我们设计的演示，我们创建了一个滚动来解释视觉相似性匹配问题的暹罗神经网络。我们的方法有助于创建一个可视化的价值为一个短的时间轴的情况下，如销售摊位。结果表明，与在线文章等传统材料相比，基于我们新颖设计的可视化有助于提高非技术用户版权所有©2023作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍在现代世界中，人工智能（AI）非常重要，在商业、社会和日常生活中发挥着重要作用。AI采用的主要障碍是AI通常来自于在一个复杂的和黑盒的解决方案，这使得用户怀疑，因为它是难以理解的概念，过程和任务的味道。因此，建立对人工智能的信任是成功的关键-充分采用人工智能，这就是可解释人工智能（XAI）的目标，通过提高机器学习（ML）模型的透明度和理解来创建安全和值得信赖的ML模型（Lipton，2018）。然而，在应用XAI之前，一个问题出现了：ML模型如何工作并获得解决方案？这个问题通常由客户提出，他们是人工智能相关的非技术利益相关者。鉴于他担任该杂志的主编，Wei Chen没有参与这篇文章的同行评审，也无法获得有关同行评审的信息。本文同行评审过程的全部责任委托给了Jun Tao。通讯作者：浙江大学CAD CG国家重点实验室中国杭州。电子邮件地址：chotisarn@zju.edu.cn（N. Chotisarn），sarung@tu.ac.th（S.Gulyanon），zhangtianye1026@zju.edu.cn（T.Zhang），chenvis@zju.edu.cn（W.陈）。https://doi.org/10.1016/j.visinf.2023.01.004产品. 在销售会议期间，业务营销团队（通常是非技术用户）在这个问题上遇到了困难，在这种情况下，能够控制叙事节奏和内容细节的材料至关重要;同时，材料还必须对用户具有吸引力和吸引力，并将复杂的想法分解为易于遵循的步骤。一个可能的解决方案是讲故事的可视化，这是一种众所周知的和有影响力的传达信息和吸引观众的方法，适合非技术用户。有一种流行的技巧叫做一个富有表现力的视觉故事取决于他们的互动输入。它显示了用户滚动页面时网站内容的变化。内容通常包括视觉图表与相关的叙述性写作，视频/音频剪辑，和互动（Stolper et al. ，2016年）。由于滚动使用户能够完全控制可视化的速度和细节，因此它是向各种受众解释复杂内容的通用工具，特别是对于非技术利益相关者。2468- 502 X/©2023作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfN. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）1819这些属性使得滚动讲述成为企业营销团队的一个实用工具在使用有效的滚动时需要注意的一点是，可视化设计必须与内容保持一致;否则，可能会导致错误的解释、压倒性的可视化和/或用户沮丧。为了避免这些问题，我们的工作采用了两个主要的概念，制定滚动及其交互组件：（a）滚动可视化设计概念和（b）之间的滚动概念的配置。第一个概念确保了内容的布局，使滚动式讲述可以有效地应用而后者关注的是如何使描述的细粒度和粗粒度级别之间的交换引人注目和直观。为了演示我们的滚动可视化设计，选择视觉相似性匹配问题，因为它具有许多应用，例如，视觉推荐和视觉搜索;这是分配给业务营销团队的任务，我们在那里进行了实验。相似性匹配任务的流行技术之一是连体神经网络（SNN），它已经在现实世界商业问题的AI解决方案中实现（Chotisarn et al. ，2021年）。在推销中，业务营销团队通常会介绍和演示AI产品，只介绍产品的前端。当有关于后端的问题时，团队通常会遇到麻烦，所以团队需要一个有吸引力的工具，比如我们可视化设计之后的滚动，以帮助向不熟悉AI概念的资助者和管理人员介绍SNN技术。由于商业机密信息，并使这项工作的用户友好，滚动可视化说明了SNN的概念，通过猫品种的图像，而不是产品设计的目的。为了从非技术用户的角度验证我们的方法的实用性，我们提出了来自业务营销团队的观察性研究和反馈。另一个重要的问题是，使用我们的可视化设计创建的滚动讲述如何与非技术用户的ML知识获取方面的其他媒介进行比较。由于业务限制，我们无法使用完整的问卷对高管或投资者进行评估。相反，我们对另一组非技术用户进行了实验，他们是没有人工智能背景的商业IT学生。我们之所以选择这个用户群，是因为投资者和学生用户都是接收端，而且都不熟悉SNN的概念。学生参与者被要求使用不同的媒介，如滚动和在线文章，并参加测试，以评估他们的知识能力采集这项工作的贡献包括：一种新颖的滚动可视化设计，用于解释真实业务场景中视觉相似性匹配问题上下文中的SNN概念可视化设计有效地提高了非技术用户对深度学习模型如何工作的理解。一项用户研究比较了非技术终端用户在不同媒介（如滚动和在线文章）中的ML知识获取。本文的结构如下：第二节回顾了相关文献，第三节解释了用于演示我们的可视化设计的SNN模型。然后，在第4节中介绍了交互式滚动的新颖可视化设计（见图4）。①的人。第5节解释了可视化的评价和案例研究。第6节讨论了可视化的各个方面，2. 相关工作2.1. 视觉叙事视觉叙事，也被称为视觉故事，是一个主要使用视觉媒体讲述的故事，这使得它吸引人。观众和容易遵循。这个故事可以通过静态摄影、插图或视频，并辅以图形、音乐、语音和其他音频。视觉叙事是视觉上讲述的任何故事（Caputo，2003）。要创建有效的视觉叙事，必须解决两个问题：将数据转换为用于交流目的的故事和叙事可视化。弥合收集数据和交流之间差距的方法之一是故事合成（Chen et al. ，2018年）。故事合成提供了一个易于使用的框架，用于理解复杂的数据，并试图帮助利益相关者将分析结果转化为可操作的信息。要从研究结果中讲述一个故事，分析师必须首先将它们描述为故事片段，故事片段是从研究的原始数据中获得的结构化信息。然后，故事片段以适当的顺序排列，以揭示各种数据之间的联系。作为对实现可视化分析系统的支持，故事切片应该包括系统功能。因此，通过由合成内容构建的数据驱动的故事片段和叙述，故事合成实现了研究和讲故事阶段之间的双向联系，这可以将故事合成技术应用于数据新闻（Chotisarn et al. ，2020年）。2.2. 滚动叙述创建一系列相关的数据驱动的可视化，或视觉片段，被称为叙事可视化（Riche et al. ，2018年）。在网络上，滚动讲述是一种用于叙事可视化的视觉故事讲述方法。滚动讲述，也被称为可探索解释 ， 当 网 页 浏 览 者 滚 动 页 面 时 ， 动 态 地 更 新 网 站 的 内 容 。Scrollytelling为读者提供了一种自然而丰富的体验。简而言之，“滚动叙事”一词是为了描述包含音频，视频和动画的长篇互联网故事讲 述而 创造 的（ Seyser 和 Zeiller ， 2018 ; Lu 等人 。，2021年）。滚动讲述有多种形式，这取决于滚动网页的效果如下：滚动为步骤，连续滚动，滚动为触发器，混合滚动（Ama-bili，2019）。读者可能不必猜测点击、点击或滑动什么来参与故事。用户的位置也可以触发多媒体事件，此外，Schneiders（2020）的研究表明，滚动和视频比音频提供更多的内存，并且在较小程度上，文本媒体适合非技术用户。目前，很少有关于滚动讲述的研究来演示机器学习模型是如何工作的（Seyser和Zeiller，2018）;它可以在Distill中找到，1是一个工作集合在网络滚动中描述机器学习。2.3. 讲故事的媒介除了滚动叙述，还有其他的叙事可视化媒介。在表1中，我们比较了不同的媒介，包括在线文章、视频、数据GIF、数据漫画和滚动讲述。比较基于支持的内容学习ML模型理解的成就最后，第7节总结了结论。1https://distill.pub/。···N. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）1820Fig. 1. 嵌入模型（A）描述了如何将图像批次馈送到特征匹配模型中，并将图像绘制为嵌入空间中的向量。的实线箭头的路径（从A-B-C-D）描绘了模型训练步骤的核心路径，以获得训练模型（B）。然后通过推理找到训练图像中的测试图像，其是圆圈（C）内的气泡，并且呈现来自先前气泡的推断结果，并将它们放置为与测试图像（D）的相似性距离的条。虚线箭头的路径提供了用户必须知道的关于计算用于检测相似性的欧几里得距离（E）和在训练期间使用的三重损失函数（F）。表1不同类型媒介的能力和特点比较媒体文本图像动画播放/播放跳过滚动交互Articles文章视频文章--数据GIF图片-数据漫画文章滚动a是否存在特征。类型，如文本、图像和动画，以及可用功能，如播放/暂停、跳过、滚动和交互。这些文章发表在报纸、杂志上，最引人注目的是在线文章。作者可以通过文字和插图传达许多信息，而在线文章提供更多互动选项，而不是基于纸张。视频和视频剪辑被广泛地用于指代上传到网站或其他介质的任何视频节目。内容创作者可以用完整的动画和图形讲述故事。观众可以跳过、倒带、快进和暂停视频，但不能与之交互。Data-GIF是一种新型的数据驱动的故事讲述方式，它使用嵌入在15秒动画中的简单视觉信息创作者可以根据自己的需要加入尽可能多的图形和动画，但他们的叙事时间更少。与GIF的交互选项是有限的，因为它们只能播放或暂停。数据漫画是一种新颖的数据驱动的故事讲述方法，它采用了受漫画视觉语言启发的连续艺术。读者会感觉更放松，类似于按需撰写长篇在线文章，但强调图像而不是文本。然而，读者无法与漫画互动。与这些媒体相比，滚动讲述支持所有内容类型，具有最多的功能。此外，它还为用户提供了灵活控制节奏的能力，并提供了摩擦力-3. 连体神经网络本节解释了SNN用于展示所提出的滚动显示可视化设计。首先，描述了用于演示的数据集，然后是SNN的关键概念，如距离度量学习（DML）和SNN的重要组成部分。3.1. 猫品种数据集为了使这项工作用户友好，可爱的猫图片已被科学证明，以增加关怀和浓度（Nittono等人。，2012）;选择猫品种2的数据集（图12）。2）经由所提出的用于内部模型训练过程的滚动可视化来表示交互组件，以使非技术消费者注意到用于产品设计匹配的深度学习分类器的概念。我们在滚动式可视化设计中采用了猫品种数据集，作为一个中立的数据集，可以在演示文稿中的任何地方使用，此外，猫数据集与系统的名称有关更少的方式来消化内容。因此，我们选择scrollytelling作为我们视觉叙事的媒介。2https://www.kaggle.com/datasets/ma7555/cat-breeds-dataset。N. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）1821图二、使 用 t-S N E 可 视 化的猫品种数据集。3.2. 距离度量学习DML旨在学习一种转换，将图像转换为距离与相似性概念相对应的表示空间（Rippel et al. ，2016年）。度量学习的示例应用包括零激发学习（Mensink et al. ，2013; Chopraetal. ，2005），高维数据的可视化（Van derMaaten和Hinton，2008），降维（Hadsell等人，2006），以及面部识别和聚类（Schroff etal. ，2015）。有几篇交互式在线文章解释了DML的工作原理以及如何应用它，比如“如何有效地使用t-SNE”（Wattenberg et al. ，2016），允许用户实验t-SNE算法的参数，以及用于DML的技术是SNN（Bromley et al. ，1993年），它是一种神经网络，由具有相同架构和权重的相同模型的许多实例组成。使用标准参数同时学习查询图像和参考图像的嵌入模型。然后比较两个图像的矢量表示以确定它们有多相似。对于特征提取和度量学习，SNN是一个非常强大的架构（Ghojogh et al. ，2020年）。使用SNN和卷积神经网络（CNN）进行视觉相似性匹配的先前工作的一个例子是Veit et al.（2015）中学习二元项共现的方法另一个例子是名为“MILDNet”的方法3.3. 嵌入模型像素图像比光栅图像更不包含关于图像中对象的形状或结构的直接信息嵌入模型将图像存储在嵌入中。在这个低维空间中，记录了相似性匹配的关键特征嵌入模型通常使用深度卷积神经网络（CNN或ConvNet）计算，它将输入图像转换为嵌入向量。3https://colah.github.io/posts/2014-10-Visualizing-MNIST/。图三. SNN模型的架构具有两种不同的损失函数：对比损失函数（顶部）和三重损失函数（底部）。该模型卷积层、池化层和全连接层是构成CNN的三个层。保守的CNN配置使用滤波器和具有激活函数的内核。接下来是池化层，它减少了卷积层的输出。然后CNN输出被展平成一个长向量，以表示CNN提取的“特征”，我们称之为嵌入向量。为了了解这些向量是如何组合在一起的，我们使用t-SNE来显示来自嵌入模型的向量表示语义比较只能在向量之间的距离表示对象之间的相似性的情况下3.4. 架构SNN是一种神经网络，它包含具有相同架构和权重的相同模型的多个实例（图1）。3）。它是一个非常强大的架构，用于特征提取和度量学习（Bromley et al. ，1993; Ghojogh et al. ，2020年）。使用标准参数同时学习查询图像和参考图像的嵌入模型。然后比较两个图像的矢量表示以确定它们有多相似3.5. 损失函数SNN基于查询和参考图像之间的相似性进行优化，损失函数可以测量该相似性。SNN的两个最普遍的损失函数是对比函数（Chopra et al. ，2005）和三重态（Schroff et al. ，2015）损失函数（图3）。对比损失是用于学习对于正样本对给出相似嵌入向量另一方面，三重丢失需要三个输入：基线（锚）、正样本和负样本。它寻找缩短锚点和阳性样本之间的距离，同时延长锚点和阴性样本之间的距离的嵌入N. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）18223.6. 矢量表示可视化通过SNN模型学习的向量表示可以被可视化，以识别这些嵌入向量如何使用t分布随机邻居嵌入（t-SNE）技术聚集在一起，t分布随机邻居嵌入（t-SNE）技术是一种用于将高维向量映射到较低维空间的非线性降维方法（例如，2D或3D）用于数据可视化。猫品种数据集的嵌入向量使用图中的t-SNE显示。 2，其中对象的类别为数据点着色。以同样的方式，类似的设计风格应该映射到产品设计匹配问题中的相似向量和聚类。相反，具有不匹配设计风格的样本应映射到不同的向量和聚类。尽管我们受到了t-SNE的启发，它在我们的ML项目中使用，但其他降维技术仍然可以代替t-SNE。因此，嵌入模型和向量表示可视化可以被认为是不同的降维技术，而不仅仅是t-SNE。4. 可视化设计为了满足企业营销团队和企业IT学生的要求，首先，我们制定了用于创建滚动可视化的设计原理，该滚动可视化可以以有吸引力和用户友好的方式向推销场景中的非专家介绍SNN概念。在这里，我们将解释如何使用我们的可视化设计，并讨论交互组件，这是解释复杂思想时最重要的可视化部分。4.1. 设计依据当向非技术用户解释复杂的AI概念时在短时间内的情况下，如销售摊位，演示材料应该吸引人，但不能过于技术性或学术性，以与普通观众交流，即。，非技术用户。大多数关于人工智能概念的学习材料，特别是SNN，都是在线文章中的文本形式。这些材料要求学习者稍微熟悉基本概念，或者不对材料进行充分的分解，以使非专家能够理解。讲故事的目的是只传达相关和必要的信息，信息应以简单明了和易于获取的方式呈现。这些原因使讲故事适合我们的情况。滚动讲述是一种有效的讲故事方法，具有更动态和友好的交互，适用于需要快速，精确，可交互和简单信息的非技术受众，而无需高级技能。它融合了文本、照片、图形、视频效果和动画，无缝地创造了令人兴奋的故事和创造性的方法，比其他方法（如信息图、数据漫画或数据GIF）更好地显示故事或信息流此外，控制节奏和调整描述层次的能力对这些受众很有用，因为他们可能想回顾一些细节或了解更多关于特定点的信息，我们可以在其中添加额外的互动，以帮助进一步分解复杂的想法为了创建一个有效的滚动讲故事，我们使用两个主要概念，制定滚动和它的互动组成部分：1. 滚动讲述可视化设计概念用于确保故事情节与滚动讲述的性质一致，其中故事以直线进行，并且用户滚动浏览内容。在我们的例子中，这个概念使用户能够控制SNN概念的叙述，用户可以向下滚动并阅读内容，将鼠标悬停在tale组件中的选定项目（例如图形元素旁边的文本描述）上，以突出显示信息。因此，这个概念让用户完全控制叙事节奏。2. 中间配置滚动概念强调滚动讲述的交互组件的特性，其必须补充用于解释复杂概念的故事讲述，并且它们必须是明显的和直观的。在我们的展示中，这个概念有助于描述SNN操作的细粒度和粗粒度描述级别之间的交换过程它有助于解释复杂的想法，例如模型训练期间的参数调整和优化因此，用户可以通过分析故事组件中视觉元素的相互作用来更好地理解调谐方程创建滚动式可视化设计的步骤包括分析和讲故事。我们收集和组织信息组件，选择要显示的内容，并协助创建故事（Segel和Heer，2010;Gershon和Page，2001）。故事合成用于通过将原始分析结果转换为故事片段来帮助处理信息组件，故事片段根据它们之间的关键联系进行排序。它创建了一个故事，通过利用适当格式的故事片段来帮助故事创建，成功地将机器学习模型的操作传达给接受者（Tong et al. ，2018; Chen et al. ，2018年）。我们定义了解释AI概念和生成故事片段所需的系统功能，包括显示视觉显示，处理收集的对象和支持故事合成活动。4.2. 应用故事合成框架通用概念框架将故事合成定义为生成故事内容和结构的过程该框架可以用于设计为故事合成提供支持的可视化分析系统，如下所述：4.2.1. 定义故事片的类型和结构故事创建者设想可以基于数据识别并用作故事片段的事实或模式，分析的目的。机器学习研究通常根据每个模型分为子主题：输入，特征提取，分类和输出。这些子主题可以根据具体用途的目的进行对于SNN，我们将故事切片的类型和结构定义为六个主题，我们将用于不同的设计;六个故事切片是基于概述开始的，以展示SNN的概念，相关概念，例如。嵌入模型和欧氏距离。模型的各个阶段，例如：损失函数和模型训练以及模型结果的推断。描述用户需要了解的方面如下：1. SNN概念片解释了SNN，它的起源和命名。用户应该掌握从双卷积神经网络（CNN）创建的模型概念。2. 嵌入模型切片解释了如何使用具有CNN背景的嵌入模型将图像转换为矢量。用户应该理解使用CNN将一批图像转换为空间中的嵌入向量的概念。3. 欧氏距离切片描述用于确定相似性的计算。用户应掌握变换后的向量之间的关系，将其放在空间中，可用于计算欧氏距离方程。在随后的阶段中，距离结果可以用于确定损失函数。N. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）18234. 损失函数切片演示了当使用不同的函数计算时模型的性能如何5. 训练切片描述了训练过程的变形。用户需要观看训练过程的自动动画，并了解在开发环境中训练模型时后台发生的情况。6. 推理片表示模型推理的使用过程。用户应该了解如何使用模型的输出。一种方法是找到新图像与训练的嵌入空间中的图像的相似性。最后五个切片将被视为交互式组件，除了第一个，这是图像。4.2.2. 设计故事切片在所有六个故事片段都画好之后，下一步是分析什么样的呈现方式适合每个故事片段的叙述。故事创建者选择合适的数据结构，例如图形或向量，以基于故事片段结构在系统内部表示所提取的叙事片段。这种描述可能会也可能不会包含在最终的故事中;因此，故事创作者可能会决定在讲故事阶段用其他更吸引接受者的东西来取代它。事实类型，视觉图表和注释是一个工作的三个领域（Lu et al. ，2021）概述了可以构建一组可视化序列作为滚动讲述故事的规则。图像和图像描述将用于传达故事，它们的交互将用于进一步阐明SNN概念的故事片段（例如，嵌入模型，欧氏距离，损失函数，训练，推理）。选择散射状气泡来表示SNN处理的输入图像数据。由于图像数据将通过放置一个散点状的包含图像数据的空间来转换，因此使用交互式气泡图来描绘模型气泡气泡我们的工作还表示为棕色，灰色，黑色和白色的颜色编码调色板，从暹罗猫的调色板。4.2.3. 定义故事合成支持功能下一步是分析泡沫将具有什么功能。创建故事片段或从可视显示中提取故事片段、管理检索到的对象以及支持故事合成活动需要系统功能。SNN模型的每个故事片段内的气泡，也称为交互组件，具有它们自己的对应功能，可以由用户进行交互。对于每个交互式组件，创建了相应的功能，如故事叙述，这对于非技术用户来说可能难以理解，例如一个类似数学方程的组件，因此它通过自我交互和滚动讲述具有更大的可探索性。4.2.4. 设计可视化分析系统这些功能已经开发成一个可视化的分析系统气泡。它必须基于用户和用于表示支持功能的技术来分析系统。这包括为读者创建交互式和可操作的工具，以找到可能成为故事片段的事实或模式，例如可点击的按钮或动画图像，这些按钮或动画图像在阅读时为读者展开。见图4。将鼠标悬停在图像上可以显示嵌入模型的内部操作。以及从故事合成框架设计故事片段，允许非技术用户，例如，，从未学习过机器学习作为先决课程的学生，分析SNN的应用并从可视化中识别知识（Kirschner et al. ，2020年）。4.3. 交互组件使用六个互动组件呈现故事。这些是用户在滚动期间将暂停的组件，以更好地理解通过每个组件作为故事叙述的相应功能。它在前端使用ReactJS与VEV4平台结合。后端管理数据，使用Python来训练和测试模型，然后生成JSON供前端渲染。4.3.1. 显示嵌入模型一个正确的方法来显示滚动过程中不复杂的组件的快速状态转换是将鼠标光标放置在该组件上，并将状态更改为“图像悬停”。这使用户不必再去考虑这个组件想要表示什么。用户可以理解，只要他的鼠标移动和悬停，有意和无意的.交互的第一个组成部分是图像悬停效果，它可以在不减慢速度的情况下为网站上的元素添加交互性。悬停效果是优雅的，不阻塞设计，并帮助网站顺利运行图像悬停（Fig. 4）用于演示第二个故事切片，嵌入模型，它是图像嵌入的核心，封装了CNN或ConvNet，将图像定位到嵌入空间的源过程。4.3.2. 空间嵌入为了在通过不同过程改变数据状态的同时显示数据流，可以通过“图像比较”使用先前数据如何流过过程和最终结果的比较表示。要向下滚动到这一点，用户将不得不暂停更长时间，因为有许多部分要与此组件通信，包括代码片段、过程和结果。为用户提供空间嵌入的状态转移的前后过程，通过比较可以更好地理解它们。图像比较是第二个交互组件，一个简单但完全可定制的前/后图像比较组件。该组件向两个重叠的图像添加垂直或水平滑块，允许用户调整滑块，他们滚动浏览故事。滚动式可视化（Go-dullaand Wolf，2017）将被用来描述所有定义4 https://a-vishienmaat.vev.site/siamese。N. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）1824图五、 通过向左/向右滑 动 条 进 行 图 像 比 较 ，可以显示图像在 嵌 入 空 间 上 转 化 为 气 泡 。允许用户通过将气泡拖放到不同的位置来自由地改变气泡的位置，并通过解释距离和损失计算来查看每个气泡的距离将对象拖动到新位置时，将计算所有对象之间的距离并显示为损失值。这使观众能够理解，如果类似颜色的物体用户可以尝试手动迭代几次，以查看拖放在新位置的变化。任何DOM元素上的可拖动功能都允许通过用鼠标单击可拖动对象并将其拖动到视口内的任何位置来可拖动组件（图7）用于帮助用户了解如何通过拖动代表嵌入图像位置的气泡（即损失函数故事切片）手动计算损失值随着每个训练周期，气泡的位置将图 6. 的变量 的 的欧氏 距离 方程 是 描述在气泡之间徘徊检查他们的差异。 对于将每个批次的图像定位到嵌入空间中的过程中的嵌入模型的批量馈送的基本描述，使用图像比较（图10）。 5）支持第一层和第二层切片。4.3.3. 距离方程在节点图中显示数据关系的常用方法是将鼠标悬停在节点及其节点链接上，称为“线悬停”;在这里，节点由气泡表示，节点之间的链接是距离方程的原点。当向下滚动到悬停在节点链接上的组件时，这就是用户停止考虑节点及其关系的原因。他们悬停在一条表示数据函数的线上，类似于悬停在一幅图像上。这将指示该行的值如何更改。在这项工作中，使用悬停在线条上来演示如何计算每条线条之间的距离的差异，并描述气泡之间的距离。气泡是嵌入式图像中的一个点，其中通过将两个气泡连接成两对而生成一条线（图1）。6）用于支撑第三层切片。第一对包括锚图像第二对由锚图像和与之不同的图像组成相似性或差异可以从欧几里德距离方程计算。4.3.4. 解释距离计算除了通过悬停在节点和节点链接上来显示节点图中数据的相关性外，每个节点都在不断改变形状。这对于模型训练来说是正常的，因此节点之间的关系也会发生变化。向下滚动到此组件，手动模拟节点位置的变化，这是用户通过“可拖动组件”的气泡。它根据这些情况改变，正气泡的位置将移近锚气泡，而负气泡将移离锚气泡。用户可以通过拖动三个气泡彼此靠近或远离来模拟上述情况正气泡越靠近锚气泡，损失减少越多。负气泡离锚气泡越远，损失减少得越多。4.3.5. 显示模型训练步骤为了显示每个时期中的模型训练变化，气泡的连续运动图像被逐渐分组;该部分被突出显示，显示分散气泡的分组然而，每个时代的变化发生得很快，所以要看到每一步的运动，就必须暂停。用户可以通过将鼠标悬停在气泡的感兴趣位置上来理解每个气泡。我们可以使用的属性是animation-play-state设置动画是运行还是暂停。恢复暂停的动画将从暂停时停止的位置开始实际训练模型中的图像在开发过程中是一个移动的图像（被气泡代替）。在初始条件下，相似的图像会移近，不同的图像会移远，可以计算损失。计算每个训练周期的损失值它被绘制为x轴（训练周期或步骤/时期的数量）和y轴（损失）之间的图表，其中预期损失将针对每个步骤逐渐减少。这个损失图表用于决定何时停止训练;当损失图表减少并在一段时间内保持平稳时，开发人员将命令停止训练。这意味着没有进一步的训练已经学会了，损失并没有显着减少了。这些过程也可以显示为动画播放状态（图1）。8），因此用户可以按下播放/暂停以查看模型N. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）1825见图7。 将气泡拖放到不同的位置，并设置边距以查看损失计算每个气泡的原始图像，这是训练故事切片。 它会发现气泡是用猫的原色编码的，例如。黑色代表黑猫，橙色代表姜猫。相似的颜色（深棕色和浅棕色分别代表暹罗猫和巴厘猫）会相互靠近两种猫的颜色相似，但毛发长度不同此外，具有与那些不同颜色的气泡，例如橙色和黑色，将远离深棕色和浅棕色气泡组。这意味着它们与棕色组（暹罗和巴厘岛）有明显不同的颜色，例如，姜猫，黑猫等。4.3.6. 推断新的嵌入图像允许用户在真实场景中与实现模型的过程进行交互：导入新图像，这是新图像嵌入系统时的推理用一个训练过的模型来编译它对应于不同的交流方式，如上传，放置和投掷。口语化的语言直接呈现更有利于交际。因此，我们选择使用在一个复杂的拖放界面中，当组件保持解耦时，组件会改变它们的外观和应用程序状态以响应拖放事件。它非常适合在不同的应用程序部分之间拖动数据传输-推理部分，它表示使用模型进行测试的图像的转换状态。测试图像将被扔进嵌入模型，然后它将自动嵌入并显示到空间中。拖放被选择在这个投掷，因为它是一个易于理解的交互用户通过用户交互启动推理流（图。9），这是第六个故事切片。此外，一个简单的交互，如点击一个新改变的点，被应用到测试图像，刚刚被嵌入到空间。测试图像被替换为气泡，并使用与空间中的其他气泡不同的新颜色进行编码。用户可以通过点击新嵌入的气泡来查看测试气泡的类似成员;系统将显示一个以测试气泡为中心的圆，其半径并排覆盖最近的气泡。此外，系统将通过比较距离显示附近的图像。找到最近的对象可以使用像k-最近邻这样的算法来计算。5. 评价我们首先描述了我们的滚动式可视化设计所使用的两个场景：业务演示和学习模型。我们使用观察和用户研究来定性和定量地了解这两个用例。研究5.1. 使用场景两个场景解释了用于企业营销团队在公司中进行业务演示的场景，5.1.1. 业务演示场景这个滚动是作为SNN模型的演示之一创建的，作为图像搜索电子商务网站项目的一部分。SNN模型将建筑材料和软垫家具的图像分组到集群中。模型构建者的问题是，他们必须在每次遇到新的群体受众时修改演示文稿，使其相关。因为他们必须记住建筑材料和建筑的术语以及深度学习模型的复杂思想，所以当模型与真实的产品图片一起展示时，观众很难理解模型是如何工作的。猫图像被用来解释模型是如何工作的，使其更容易记住特定领域的术语。非技术人员的观众不需要关注领域术语，因为猫图像很容易熟悉。此外，为了让观众更容易理解，深度学习模型的复杂内容被分解为多个部分，因此叙述者可以根据模型的训练过程通过安排故事片段来分段描述模型有些东西，比如数学方程，在听故事的时候可能很难理解，但是可以通过玩显示方程的气泡来弄清楚。用户可以通过Scrollytelling网站按照观众的节奏进行播放按照演讲者三种类型的用户结果将在第5.2节的观察性研究中显示。5.1.2. 学生学习情景了解各种深度学习模型的算法对于当今的管理信息系统（MIS）是必要的。在MIS领域从事这一领域工作的人需要了解来自技术和业务利益相关者的各种业务需求，因为MIS人员处于技术开发人员和非技术业务用户之间。然而，向学习MIS的商业IT学生教授深度学习概念可能很棘手，因为他们需要从技术和业务两个角度理解概念的复杂性。这种滚动工作可以成为学生的有效教学工具，学生用户可以通过滚动和回顾代表每个模型过程的每个故事片段中的交互来按需学习，这是在线文章的替代品。该用户组的结果将在第5.3节的用户研究中显示。5.2. 观察性研究我们进行了一项观察性研究，以调查VISHIEN-MAAT的目标用户（即机器学习（ML）项目中的业务营销和相关团队）将使用这种滚动来了解SNN并给出反馈。N. Chotisarn，S. Gulyanon，T. Zhang等人视觉信息学7（2023）1826图8.第八条。 用户可以通 过 点 击 播 放 / 暂 停 按 钮 来 观察将气泡运动与损失图进行比较的训练模型。在商业会议演示中使用，以提供特定ML模型如何工作的快速摘要，而无需浪费时间向观众解释。此外，在进行简短的演示时，滚动讲述可以让演示者更容易地浏览可视化内容。此外，在问答环节中，演讲者可以使用互动来解释被问到的具体概念，观众可以同时重播。5.3. 用户研究我们进行了一项统计用户研究，以确定VISHIEN-MAAT的目标用户（即，商业IT学生）将使用滚动作为媒介教程来学习SNN，见图9。一 个新的测试图像被输入到嵌入模型中，该模型在训练的嵌入空间中形成一个气泡，以找到新测试图像半径内的附近图像。5.2.1. 参与者我们询问了来自真实业务的业务营销团队的演示者关于他们使用解释SNN模型的滚动讲述的经验，以评估滚动讲述可视化，该可视化说明了与SNN相关的ML项目中的AI概念。他们已经在这个ML项目的部分工作了大约三年。此外，客户5.2.2. 程序由于业务限制和工作场所文化，很难收集定量评估数据，因此我们通过观察以及对演讲者和观众（如焦点小组）的半正式和非正式访谈来总结用户反馈在演示过程中，我们使用滚动作为产品演示的一部分所提出的scrollytelling解释了这个现有产品的背景5.2.3. 反馈向用户展示了所提出的滚动可视化对于反馈概述，这个项目最好的地方是它让人们使用交互式媒体以自己的速度学习硬想法听众们提到，这种滚动的媒介结合了不同媒介的优点，即。，文章和视频，其中文章让用户按照读者的节奏进行体验相比之下，视频将复杂的想法分解成更吸引人的视觉效果。控制滚动讲述的节奏和叙事风格对于使媒体消费者能够按需学习换句话说，如果一个问题不能在观看时处理，它可能会上下滚动，这表明它可以控制叙事流。此外，观众和业务团队，正如提交者所提到的，随着用户向下滚动，交互被添加到每个部分中，这允许用户探索与其他媒介相比。5.3.1. 参与者本用户研究评估了可视化在非技术用户知识获取中的作用用户研究的参与者包括2021/2022学年的50名他们报名参加了泰国法政大学的商业智能和数据分析工具课程，该课程还必须学习数据科学和机器学习预计学生将能够与业务利益相关者和非技术用户交流人工智能/机器学习。然而，与工程专业的学生不同，商业IT专业的学生并不具备深入的人工智能/机器学习知识。他们被分成两组，在两种不同的媒体（滚动和在线文章）进行测试。5.3.2. 程序本研究将探讨我们的滚动视觉化是否能帮助学生学习SNN的概念和应用比传统的材料。前测和后测的目的是评估参与者在使用两种不同的媒体-滚动讲述和在线文章学习主题后的理解。我们从Keras中选择了关于使用Siamese网络进行图像相似性估计的在线文章，其中对比损失为5，三重损失为6它是一个著名的开源软件库，为人工神经网络提供了一个Python接口，这些主题与我们的工作有关，并且现在正在课堂上使用。之所以选择在线文章进行比较，是因为它们都是额外阅读的常见选择，并且具有滚动功能，如滚动讲述。有了这个功能，用户可以通过在播放时的任何一点暂停或滚动来控制故事的移动速度。此功能允许用户根据自己的需要研究感兴趣的内容，这与其他类似的类型不同，例如数据漫画和数据GIF。这些概念在不同场景中的影响 这是有用用于强化一些复杂机器学习概念的知识。有了这些优势，滚动式可视化5 https://keras.io/examples/vision/siamese_contrastive/网站。6