澳大利亚莫纳什大学数据可视化和沉浸式分析实验室的发展与愿景

视觉信息学4（2020）41莫纳什大学Tim Dwyer，Maxime Cordeil，Tobias Czauderna，Pari Delir Haghighi，Barrett Ens，Sarah Goodwin，Bernhard Jenny，Kim Marriott，Michael Wybrow澳大利亚莫纳什大学ar t i cl e i nf o文章历史记录：2020年11月5日网上发售关键词：沉浸式分析数据可视化网络可视化制图可视化交互式优化a b st ra ct本文回顾了二十年来信息可视化主题的研究，澳大利亚莫纳什大学数据可视化和沉浸式分析实验室（Monash IA Lab）。该实验室在算法，交互技术和网络可视化，交互优化以及地理和制图可视化的实验结果方面做出了贡献。它也是沉浸式分析这一新兴主题的领导者，该主题探索自然交互以及支持数据分析的沉浸式显示技术。我们反思了这些领域的进展，同时也勾勒出了我们对更广泛的数据可视化未来研究和发展的愿景©2020作者（S）。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍澳大利亚莫纳什大学的数据可视化和沉浸式分析实验室（MonashIA Lab）在20多年的时间里不断发展壮大，其最早的优势和兴趣，以人为本的算法设计的视觉数据表示，它也成为一个真正的多学科中心，具有一些关键的研究课题优势跨越可视化领域。我们借此机会回顾该实验室20年来的工作以及表明我们目前和未来的潜在方向。Monash IA实验室追溯其在视觉界面中的起源，以研究diagram和文 档 布 局 优 化 技 术 的 使 用 的 早 期 工 作 ， 例 如 He 和 Marriott（1998），Borning等人（2000），Badros等人（2001），Wybrow等人（2008），Braganza等人 （2009年）。 其中一些工作后来成为Google在Android中使用的基于约束的GUI布局工具（约束布局）和Apple在iOS和macOS中使用的基于约束的GUI布局工具（自动布局）的基础。随着小组的扩大，这些技术被应用于信息可视化主题，特别是网络布局算法，并应用于生物途径和软件架构的可视化，见第2节。与此同时，MonashIA实验室继续建立自己的专业知识，并与莫纳什大学在优化领域的世界领先专家密切合作，重点关注复杂优化技术的可用性，以及从人类角度与这些技术的交互，请参阅第3节。*通讯作者。电子邮件地址：tim. monash.edu（T. Dwyer）。https://doi.org/10.1016/j.visinf.2020.11.001该小组在2014年左右开发了沉浸式数据可视化技术的新焦点很明显，这些技术的发展，特别是VR和AR的成本降低，加上头部和手部跟踪等技术的有效性提高我们领导了一项国际努力，建立了一个新的信息可视化研究子领域，我们称之为沉浸式分析，见第4节。随着该集团在过去五年中进一步扩大，它开发了创新的以用户为中心的设计方法（例如Kerzner et al.（2019）），并获得了Geovisualisation和制图方面的专业知识，见第5节。最近，该小组已经开始探索如何使数据可视化更具包容性，请参阅第6节。2. 网络可视化作为对关系数据建模的一种方式，网络提供了比仅仅是定量或分类数据更高阶的信息表示（Dwyer，2016）。因此，网络可视化跨越了许多不同的应用领域，从科学和工程到执法和艺术。2.1. 自适应网络布局该小组2468- 502 X/©2020作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfT. Dwyer，M. Cordeil，T. Czauderna等人视觉信息学4（2020）4142Fig. 1. 自动绘制的代谢途径（糖酵解和葡萄糖异生途径）布局，显示细胞内发生的化学反应。对齐约束，非重叠约束，以及凸和矩形簇的处理允许强调路径和网络层次结构（Schreiber et al. ，2009年）。编程社区。我们探讨了如何将自动排列网络的算法扩展到受各种约束的操作，这两种约束都是生成的（例如，非重叠）和用户定义（例如，对齐）。根据用户定义的约束优化布局的布局算法可以灵活地重复使用，以捕获许多不同的绘图约定，而无需专门的编程或算法重新设计。这项工作可以通过一系列论文和软件看到，统称为CoLa（约束布局），在算法和能够解决的约束类别方面逐渐变得更加复杂。该系列的第一个是DiG-CoLa，这是一种能够严格执行分层约束以实现有向网络流布局的算法（Dwyer和Koren，2005）。接下来是IP-Sep CoLa，它将这个想法扩展到了分离约束（Dwyer等人，2006年），并成为交互式布局引擎的核心Dunnart交互式排版编辑器（德怀尔等人。，2009 b）（见图1）。作为这项工作的一部分，我们还探索了高质量的算法，增量路由和正交边缘路由（Wybrow et al. ，2005，2009）。我们进一步扩展了基于约束的布局和边缘布线方法，以提供拓扑保持布局（Dwyer et al. ，2009c），这被证明是提供稳定的布局，在增量，交互式探索大型网络（德怀尔等人。，2008年）。我们已经发布了这些算法的源代码，Adaptagrams1C++和Web-CoLa2JavaScript库，以及将算法贡献给布局库，如Microsoft4另一个重要的布局约束是网络中节点集上的分层或重叠分组，我们已经探索了与欧拉图（Riche和Dwyer，2010）相关的问题，并通过幂图分解（Dwyer et al. ，2013; Dwyer et al. ，2014年）。最近，我们探索了最先进的优化技术，为这种嵌套图提供更灵活的约束（Yoghourdjian等人）。，2015年），和大邻域搜索技术，使这种计算密集型的方法规模（见图。 2）的情况。1 https://www.adaptagrams.org/网站。2 https://ialab.it.monash.edu/webcola/网站。3 https://github.com/microsoft/automatic-graph-layout网站。4 https://graphviz.org/网站。图二. 对于大型网络，可以在O（n log n）时间内生成图形缩略图，具有很强的可读性保证。它们特别适合于浏览和比较图表集。在这里，我们比较了七种生物体中蛋白质-蛋白质相互作用的演变（ Y o g h o u r d j i a n e t al. ，2018 b）。2.2. 以人为本的网络可视化莫纳什大学IA实验室采用以人为本的方法进行可视化研究，包括对人类受试者进行受控实验，以了解不同技术的要求。在过去，网络布局算法往往是由算法专家开发的，他们对布局的美学要求进行了一些心照不宣的假设。该实验室已经完成了人类对网络图的理解的基础工作，以获得对这些要求的更细致入微的理解。例如，将人类如何排列图表与算法的工作方式进行比较（Dwyer et al. ，2009a），并试图了解什么样的功能图使他们难忘（万豪等。，2012）。我们采用整体方法来设计以用户为中心的可视化算法。一个例子是以人为中心的正交布局（HoLA）算法。这是通过一系列的研究开发的，从需求引出到分析人类绘制的图表，然后是增量开发和评 估算 法，以实 现具 有类似 质量 的 自 动 布 局 （ Kieffer 等人）。，2015）。一个正在进行的研究领域是网络可视化技术的可扩展性。在对124篇论文中报告的152项研究的调查中，我们发现大多数研究都没有测试规模问题（Yoghourdjian et al. ，2018 a）。也就是说，他们通常专注于评估布局或可视化的特定技术或特征，并且倾向于在他们的刺激中仅选择一个或两个大小的图形，专门选择以允许完成任务。也就是说，它们很少突破人类理解能力的极限. 这一发现促使我们进行了一项研究，记录参与者的生理和主观测量，以了解复杂网络中路径跟踪任务引起的认知负荷（Yoghourdjianet al. ，2020年）。我们能够证明节点链接可视化技术的认知可扩展性在大小和密度方面的限制为了找到一种替代节点链接可视化的方法来表示非常大的图形，我们开发了一种称为图形缩略图的技术（Yoghourdjian etal. ，2018 b），有效地生成具有确定性可读性的空间填充视觉效果（见图2）。2）的情况。最近，我们一直在探索环面拓扑上的布局（Chen et al. ，2020），以创建水平和垂直环绕的网络可视化，以进一步解开密集图。T. Dwyer，M. Cordeil，T. Czauderna等人视觉信息学4（2020）4143图三. 基于Twitter中发布的关于纤维肌痛的术语的介数中心性构建的术语-术语图（Haghighi et al. ，2017年）。2.3. 网络可视化该小组开发的自适应网络布局方法和软件实现已用于生命科学中的应用。由Adaptagrams库提供的基于约束的布局和边缘布线方法已经在生物途径到标准化系统生物学图形表示法（SBGN）表示的布局保留转换期间应用（Czauderna et al. ，2013年），用于自动生成从一系列数据源构建的数千个生物网络图（Büchel etal. ，2013），以及用于从显示蛋白质二级结构的在线数据库自动生成蛋白质拓扑图（Stivala et al. ，2011年）。该小组还探讨了应用分层作为商业推理工具的一部分，用于论证图可视化的网络布局（Dwyer et al. ，2010年;万豪等人，2011），用于生物医学科学中的大型本体的交互式探索（Yang et al. ，2020 b），以及最近的可视化贝叶斯网络的决策工具，由IARPA资助的情报分析师（尼科尔森等人。，2020年）。我们的研究还侧重于社交网络的可视化，特别是使用图形分析的健康相关数据。社区检测可用于识别大型网络中通常相互关联的术语社区（集群）。术语-术语图可以基于中间性中心来构建，如图所示。 3关于纤维肌痛的Twitter数据。这种可视化技术提供了一种强大的方法来探索和理解社区以及术语之间的关系（Haghighi et al. ，2017年;Pokharel等人，2019; Jayaraman et al. ，2020年）。3. 交互式优化该实验室的另一个兴趣是应用程序以及交互式优化的基本技术。我们与医学专业人士合作，评估前列腺癌治疗计划的新型互动方法（Liu et al. ，2017年）。 我们发现交互优化的工作流程（我们称之为“问题解决循环”）与可视化分析的“意义生成循环”之间有许多相似之处。因此，我们进一步探索了交互式优化界面的视觉设计，用于解决交付调度等问题（Liu et al. ，2020a），提出了一套设计准则。虽然上述工作侧重于优化的最终用户见图4。使用我们的优化系统从工艺流程图生成3D工厂布局的半自动过程。以用户为中心的设计方法，我们探讨了视觉搜索空间分析的要求（Goodwin et al. ，2017年）。3.1. 工厂布局优化为化工厂设计设备和管道的布置是一项复杂而重要的任务，通常需要人工解决，通常需要一个工程师团队数月甚至数年才能完成。我们与Woodside Energy的研究合作为工程师创建了一个交互式工作流程，以生成液化天然气（LNG）工厂的半自动布局。工厂布局在以下方面进行了优化：（1）工艺设备的占地面积，（2）连接设备的管道的总长度，以及（3）支撑设备的结构，以最大限度地降低成本，同时满足施工、操作、维护和安全约束（Belov等人，，2017，2018）。工作流程（见图4）支持基于过程流程图（图5）生成优化模型。4a），允许优化过程的简化（图4b），从优化结果生成3D模型（图4c），并提供交互式探索和模型评估的方法。我们当前的工作流程采用传统的显示技术，即，2D屏幕或显示墙（图 5），但最终目标是将其扩展到沉浸式环境。该项目的目标之一是提供布局解决方案，以非传统的设计挑战传统的工程思维。由于这些设计用于决策，人们需要对结果充满信心并了解质量。因此，我们的研究重点是如何使生成的解决方案可理解和可探索，并解释了生成它们的优化过程。另一个焦点在于解释和纠正的不满意的模型所造成的冲突的约束。随着约束的数量以及由此可能的冲突随着模型的大小和复杂性的增加而增加，手动查找并解决这些冲突。因此，我们目前正在探索方法和可视化来指导用户完成恢复过程。4. 沉浸式分析沉浸式分析这个术语最早是在2014年左右在莫纳什大学创造的（Chandler et al. ，2015）。当时，我们正在考虑如何将MonashCAVE2设施（我们于2016年在湘南举办了第一次涉及数据可视化和VR/AR研究的研讨会。5一系列后续行动技术，另一项研究是针对opti的需求，开发模型和求解器的任务专家。 再次使用5 https://shonan.nii.ac.jp/seminars/074/。T. Dwyer，M. Cordeil，T. Czauderna等人视觉信息学4（2020）4144图五. 莫纳什IA实验室的研究人员在莫纳什CAVE2设施中探索生成的工厂布局解决方案。在主要的可视化和HCI网点举办了研讨会（ACM ISS 2016（Bach etal. ，2016），IEEE VIS 2017（Bach et al. ，2017），CHI 2019（Bach et al. ，2019）和CHI2020（Ens et al. ，2020年）。这些活动侧重于各种主题，as 3Dvisualisations 可 视 化 ， perception 感 知 ， interaction 互 动 ，collaboration协作and evaluation评估. 2016年，Dagstuhl研讨会（Dwyer et al. ，2016年），涉及来自数据可视化，VR和HCI的约40名研究人员和从业者。 主要成果是出版了《沉浸式分析》一书（Marriott et al. ，2018年）。这本书包含关于协作、3D感知、讲故事、多模态和不同领域应用的章节（Czaudernaet al. ，2018年）。4.1. 沉浸式环境该小组ContextuWall是一种使用触摸设备和各种尺寸的显示器进行交互式本地和远程协作的系统（Klap-perstuecket al. ，2016，2018）。它为位于不同站点的用户组提供了一个共同使用的虚拟桌面，用于内容共享，可以同时在不同的显示器，显示墙或可视化设施（如Monash CAVE 2）上显示，利用其高分辨率。开发了一个基于触摸的客户端软件，使用户能够跨位置共享、排列和注释图像内容。4.2. 沉浸式协作分析协 作 是 数 据 可 视 化 的 中 心 主 题 （ Isenberg et al. ， 2011;Billinghurst et al. ，2018 年） 。莫纳 什大学于2013 年收购 了CAVE2系统，该系统是一个支持协作、沉浸式数据可视化的有前途的环境与此同时，HMD提供了一种更便宜的替代方案来支持3D沉浸式的协作可视化我们进行了一项研究（Cordeil et al. ，2016），比较了在两种环境中执行3D网络沉浸式协作任务的用户对。我们发现，在这两种环境中，性能是相当的，因此证明了协作数据可视化适用于VR HMD。后来我们设计了FIESTA系统（Lee et al. ，2019年），一个基于VR背包的视觉分析系统，允许多个用户在虚拟房间中执行协作可视化 特别是我们研究了（Leeet al. ，2020 c）参与者如何使用他们周围的3D空间和表面来理解他们的数据并分享见解。见图6。ImAxes是一个沉浸式多变量可视化工具，它使用一个具体的轴隐喻，允许用户快速，直观地构建复杂的可视化。4.3. 实体与具身互动沉 浸 式 分 析 的 一 个 基 本 研 究 驱 动 力 是 使 用 交 互 式 交 互（Dourish，2004）。具体化实现了引人注目的交互，其中用户在他们自己的3D空间中更直接地与系统和数据交互。在我们的工作中，我们已经探索了与数据可视化交互的体现的几个方面。我们的第一次尝试是ImAxes（Cordeilet al. ，2017 b）创作工具;在ImAxes中，数据维度体现在3D轴对象中，用户可以抓取和装配。转 换 为数据可视化（例如，2D、3D散点图、散点矩阵等-见图6）。我们研究了超过30名数据科学家（Batch et al. ，2019年），并发现在这样的具体界面中，用户根据任务采用不同的布局（例如，他们在自由探索数据时创建并放置可视化，但组织他们的可视化在展示他们的发现时，更多的是画廊式的布局我们的工作也研究如何有形混合现实中的交互，作为另一种具体的交互方法，可以增强3D数据可视化的感知（Cordeil etal. ，2017 a）。我们提供了一个有形交互设备的设计空间，以支持导航和与3D可视化的交互，并构建了两个示例设备在后来的一项研究中，Cordeil等人（2020）发现，在与3D可视化进行精确交互时，折叠轴在桌面有形校园能源使用可视化系统UpLift中，我们展示了3D打印建筑模型和乐高滑块等有形交互功能如何实现一种休闲协作分析形式，以吸引利益相关者参与数据分析。4.4. 沉浸式分析工具包当我们开始研究沉浸式环境中的数据可视化时，几乎没有什么工具可以支持我们的研究。因此，我们贡献了一系列工具包（ Cordeilet al. ， 2019; Sicat et al. ， 2019 ） 和 新 的 交互 范 例（Cordeil et al. ，2017 b）以支持沉浸式多维数据可视化的研究。这些工具有助于构建新的可视化平台，如FIESTA工具（Leeet al. ，2019年），但也被用来调查数据分析师在VR和AR中的工作（Lee et al. ，2019; Batch et al. ，2019; Liu et al. ，2020 b）。T. Dwyer，M. Cordeil，T. Czauderna等人视觉信息学4（2020）4145见图7。 Scaptics技术利用控制器上的振动触觉反馈将3D散点图的遮挡特征信息传达给VR中的用户见图8。示例性空间数据协调设备：跟踪触摸立方体（左）和触摸轴（右）支持3D数据的有形和交互式沉浸式可视化。4.5. 沉浸式分析的实验结果虽然沉浸式分析旗帜下的早期工作往往专注于新技术和系统，但最近的工作通过受控实验发现了沉浸式环境中数据可视化的具体好处，并开始引出设计指南。在一项关于如何表示世界地图的研究中（Yang et al. ，2018年），我们发现3D地球比2D投影更有效地在世界地图上传达距离和方向在沉浸式环境中比较2D choropleth和3D prism map，我们发现每个都对不同的任务有好处，因此是互补的（Yang etal. ，2020年）。探索协作沉浸式分析（Lee et al. ，2019年），我们发现用户能够共享他们周围的空间以在环境中执行复杂的分析，通过3D可视化进行舒适的协作，并且能够构建他们的虚拟工作空间以支持协作。空间使用也是小倍数可视化的关键例如，我们发现了由全环绕显示器提供的不动产与由一些信息在用户后面并且在用户的视野之外所引起的问题之间的权衡（Liu等人，2009）。，2020b）。沉浸式分析研究利用和测试了最先进的交互和可视化技术的边界，需要仔细研究，以将人类因素与技术限制分开。例如，在2017年，我们发现了当代AR技术的局限性（微软Hololens V1）强调了视野、分辨率、稳定性和训练要求方面的问题（Bach et al. ，2017年）。有时候，新技术在能力上会超越旧技术，我们将CAVE2与低成本VR头显进行协作分析的比较就证明了这一点（Cordeil et al. ，2016年）。有时是必要的，以适应或重新发明标准的桌面可视化交互技术的沉浸式环境，并评估他们如何执行。例如，在使概览+细节导航适应沉浸中，我们最近发现微缩世界和3D缩放是对物理导航的补充，但是它们以需要视图之间的上下文切换的形式引入开销（Yang et al. ，2020年）。有时，技术的进步提供了全新的功能，而没有现有的经验可用性数据指导其应用程序进行数据分析。我们设计并研究了VR控制器上的具身触觉反馈（Prouzeau et al. ，2019年），以提高3D密集集群的分辨率（图。7），并发现振动触觉反馈有助于感知沉浸式散点图中的孔和密集区。一些实验结果是有希望的，但仍然难以量化，建立未来研究的需要。例如，最近的定性研究（Lee et al. ，2020a）发现，沉浸式可视化提供了一种本能的体验，可以让用户参与到数据故事中。5. 地理可视化和制图莫纳什大学IA实验室有一系列的研究活动，重点是地理信息可视化（geovisualization）和制图，包括地图投影，地形可视化，沉浸式地理空间可视化和创新应用程序的多样性部门，包括能源网络，虚拟生态和健康模型。5.1. 制图和可视化数学定义的地图投影是任何计算机生成地图的基础。莫纳什大学IA实验室最近合作开发了Equal Earth地图投影，这是一种新的世界地图投影，由于其独特的优势，在极短的时间内被地球科学界广泛采用。其视觉上令人愉悦和平衡的大陆轮廓表示，以及区域没有扭曲的事实（Šavriet al. ，2019）。地形的三维表示平面显示是另一项基本制图任务，也是莫纳什IA实验室的一个活跃研究领域。了解地球表面的第三维度对于理解许多地理空间现象至关重要。然而，读取轮廓线（Samsonovet al. ，2019年）对许多地图用户来说很困难，需要大量的培训。我们正在探索更直观和直接的说明性方法，用于传达地球表面的三维形状（Jenny等人）。，2020 b; Jenny，2020），包括用于交互式表面上的3D地形图的轻量级交互式摄像机控制技术（Danyluket al. ，2019年）或制图浮雕着色（珍妮和帕特森，2020年）。我们受到手工制图艺术大师的启发，并使用我们用手工绘制的阴影浮雕杰作训练的神经网络复制瑞士风格的浮雕阴影（Jennyetal. ，2020a）（图9）。Monash IA实验室的地理数据可视化研究探索了新技术，以揭示现有复杂地理数据的复杂性 ;包括跨地理和规模的多变量数据（ Goodwin et al. ， 2016 ） ， 可 视 化 地 图 上 的 重 叠 分 类 集（Meulemans et al. ，2013年），一种用于变形地图以保持拓扑结构的创新方法，T. Dwyer，M. Cordeil，T. Czauderna等人视觉信息学4（2020）4146见图9。使用人工绘制阴影训练的神经网络创建的阴影浮雕（Tutuila，美属萨摩亚）（Jenny et al. ，2020a）。见图10。沉浸式多视图地图，采用球形帽布局，围绕大型中央概览。视觉链接和色调表明层次分组（Satriadi et al. ，2020年）。保持数据的相似性（Bouts et al. ，2015），以及MapTrix，其是地图和矩阵之间的混合以呈现流量数据（Yang et al. ，2017年）。这项地理可视化工作跨越了许多领域，从文化景观（麦康纳奇等人。，2020）、能量消耗（Goodwin et al. ，2016; Ens等人，2020年），疾病建模绘图6和一系列城市可视化研讨会。75.2. 沉浸式地理可视化将地图、地球仪和其他类型的地理可视化引入虚拟现实和增强现实，为更吸引人的探索和更深入地了解地理空间信息开辟了许多令人兴奋的新机会（Yang et al. ，2018年）。然而，在这方面，目前尚不清楚如何最有效地与沉浸式地理可视化进行交互。例如，没有既定的标准来有效地缩放和平移、选择地图要素或在沉浸式地图上放置标记。因此，蒙纳士大学IA实验室将交互式地理可视化和交互式沉浸式地图作为研究重点，最近在这一领域做出了重大贡献。我们探讨了身体姿势如何控制基本的AR和VR地图操作。我们使用运动跟踪控制器（例如，Leap Motion）来捕捉和解释手势，并进行了一系列用户研究，以识别、探索和整合各种手势，用于控制地图相关操作。这包括例如用于缩放和平移的空中手势（Satriadi et al. ，2019年）和选择感兴趣的点，调整地图的方向，或在地图上放置标记（奥斯汀等人，，2020年）。在沉浸式空间中，多张地图应该如何排列？我们的沉浸式布局界面允许用户以不同的比例创建多个地图的大地图，并将它们排列在3D空间中（图10）。 10）。基于这些基本的地图交互技术，莫纳什IA实验室为可视化做出了重大贡献6 https://atlas.cancer.org.au/网站。7 https://cityvis.io/workshop.php网站。见图11。未来的混合现实与全球流动的合作（Yang et al. ，2019）。见图12。地图：调整地图倾斜度，以便在choropleth地图、棱镜地图和条形图之 间过 渡 （Yang et al. ，2020年）。在沉浸式空间中的地理空间数据例如，我们开发了创新的方法来可视化始发地-目的地流（图1）。11）。桌面显示器上的传统流程图很快变得过于杂乱，即使流量数量不多也难以阅读（Jenny etal. ，2018年）。然而，对于沉浸式可视化，我们发现仔细使用第三空间维度可以解决复杂流图中的视觉混乱（Yang et al. ，2019）。TiltMap是另一个成功的例子，证明了经过验证的制图技术可以通过沉浸式可视化来增强和变得更有用（图12）。这种设计概念直观地从2D choropleth图过渡到3D棱镜图，再过渡到2D条形图，以克服各自的局限性（Yang et al. ，2020）。使用增强现实的地理可视化是另一个有前途的途径，可以将现有的可视化与新型交互（例如，Quach和Jenny（2020）。6. 结论和今后的方向最近，Monash IA实验室意识到，传统的数据可视化研究集中在一个相对较小的用户群体的需求：具有强大的图形和数字读写能力的健全人。然而，这实际上是世界人口的一小部分，因此我们正在研究如何使数据可视化更具包容性（Lee et al. ，2020b）。特别是，在印度等发展中国家，有数百万新兴的信通技术用户，由于智能手机的使用日益增加，他们第一次可以使用计算机介导的数据可视化（Jena等人）。，2021年）。该实验室现在正在研究使用多模态图形（Goncu和Marriott，2011），有形图形（Holloway等人，2012）。，2018; Yanget al. ，2020a; Reinderset al. ，2020年）和盲人的声音化，以及为计算机介导的数据可视化 的 新 兴 用 户 设 计 更 容 易 理 解 的 可 视 化 （ Jena 等 人 ， 2010年）。，2021年）。T. Dwyer，M. Cordeil，T. Czauderna等人视觉信息学4（2020）4147竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这 项 工 作 得 到 了 澳 大 利 亚 研 究 委 员 会 的 支 持 ， 通 过 赠 款DP140100077和DP180100755。引用奥斯汀，C.R.，Ens，B.，Satriadi，K.A.，珍妮，B.，2020.启发式研究调查手和脚的手势互动沉浸式地图在增强现实。Cartogr。地理学INF. Sci. 47（3），214巴赫湾，Cordeil，M.，德怀尔，T.，李，B.，Saket，B.，Endert，A.，柯林斯角，Carpendale，S.，2017.沉浸式分析：探索数据分析的未来可视化和交互技术。In：IEEE VIS，Accepted Workshop，vol. 2，pp. 一比四巴赫湾，Cordeil，M.，恩格尔克大学，Ens，B.，塞拉诺，M.，威利特，W.，2019.互动设计原型的沉浸式分析.在：2019年CHI计算机系统中人为因素会议的扩展摘要，2019年，pp. 1-8号。巴赫湾，Dachselt河，Carpendale，S.，德怀尔，T.，柯林斯角，李，B.，2016.沉浸式分析：探索数据分析的未来交互和可视化技术。2016年ACM交互式表面和空间 国 际 会 议 论 文 集 。 ISS'1 6 ， As s o c ia t io nfo rCo m p u t in gMa c h in e r y ， Ne w Yo r k ， NY ， USA ， pp . 529-533.Badros ， G.J. ， Tirtowidjojo ， J.J. ， Marriott ， K. ， 迈 耶 湾 ， Portnoy ， W. ，Borning，A.，2001.可缩放矢量图形的约束扩展。在：第10届万维网国际会议的会议记录，2001年，pp。489-498.Batch，A.，坎宁安，A.，Cordeil，M.，Elmqvist，N.，德怀尔，T.，托马斯，B.H.，Marriott，K.，2019.没有勺子：在沉浸式分析中评估性能，空间使用和专家领域用户的存在。IEEE Trans. 目视Comput. Graph，26（1），536别洛夫，G.，Czauderna，T.，Garcia de la Banda，M.，Klapperstueck，M.，森图兰岛史密斯，M.，Wybrow，M.，华莱士，M.，2018.流程工厂布局优化：设备配置。In：Hooker，J.（Ed.），约束程序设计原理与实践。施普林格，pp.473-489别 洛 夫 ， G. ， Czauderna ， T. ， Dzaferovic ， A. ， Garcia de la Banda ， M. ，Wybrow，M.，华莱士，M.，2017.柔性约束三维管道布线优化模型。在：Beck，J.C. (Ed.)、约束程序设计原理与实践。施普林格，pp. 321-337Billinghurst，M.，Cordeil，M.，Bezerianos，A.，马戈利斯，T.，2018.协作沉浸式分析。在：Immersive Analytics.施普林格，pp.221-257Borning，A.，Lin，R.K.- H、Marriott，K.，2000.基于约束的web文档布局。多媒体系统8（3），177Bouts，Q.W.，德怀尔，T.，戴克斯，J.，Speckmann，B.，古德温，S.，新罕布什尔州里奇，Carpendale，S.，Liebman，A.，2015.通过拓扑保持地图变形的相异数据的视觉编码。IEEE Trans. Vis. Comput. Graphics 22（9），2200-2213.布拉干萨角，Marriott，K.，Moulder，P.，Wybrow，M.，德怀尔，T.，2009.单列和多列布局的滚动行为。在：第18届万维网国际会议的会议记录。WWW '09，ACM，pp. 831-840. Büchel，F.，Rodriguez，N. Swawn，N.，Alzodek，C.，Czauderna，T.，凯勒河，巴西-地Mittag，F.，舒伯特，M.，Glont，M.，Golebiewski，M.，van Iersel，M.，基廷，S.，Rall，M.，Wybrow，M.，Hermjakob，H.，Hucka，M.，Kell，D.B.， Müller，W.，Mendes，P.，Zell，A.，Chaouiya角，Saez-Rodriguez，J.，Schreiber，F.，莱布角，Dräger，A.，LeNovère，N.，2013. Path2Models：从生化途径图大规模生成计算模型。BMC系统生物学七，116.钱德勒，T.，Cordeil，M.，Czauderna，T.，德怀尔，T.，Glowacki，J.，贡库角，Klapperstueck，M.，克莱因，K.，Marriott，K.，Schreiber，F.，Wilson，E.，2015. 沉浸式分析。在：2015大数据可视化分析.BDVA。pp. 73比80陈凯T.，德怀尔，T.，Marriott，K.，巴赫湾，2020. DoughNets：使用环面包装可视化网络。在：2020年CHI计算机系统人为因素会议论文集，pp。1比11Cordeil，M.，巴赫湾，坎宁安，A.，蒙托亚湾，史密斯，R.T.，托马斯，B.H.，德怀尔，T.，2020.三维坐标轴：三维增强现实数据空间的可驱动交互。在：2020年CHI计算机系统人为因素会议论文集，pp。1-12号。Cordeil，M.，巴赫湾，李，Y.，Wilson，E.，德怀尔，T.，2017年a。空间数据协调的 设 计 空 间 ： 沉 浸 式 信 息 可 视 化 的 触 觉 交 互 设 备 。 2017 IEEE PacificVisualization Symposium. PacificVis。IEEE，第46比50Cordeil，M.，坎宁安，A.，巴赫湾，Hurter，C.，托马斯，B.H.， Marriott，K.， 德怀尔，T.，2019. IATK：一个沉浸式分析工具包。 2019年IEEE虚拟现实和3D用户界面会议VR，pp. 200比209Cordeil，M.，坎宁安，A.，德怀尔，T.，托马斯，B.H.，Marriott，K.，2017年b月。ImAxes：沉浸式轴作为交互式多变量数据可视化的体现启示。第30届ACM用户界面软件和技术年会论文集。71比83Cordeil，M.，德怀尔，T.，克莱因，K.，Laha，B.，Marriott，K.，托马斯，B.H.，2016. 网络连接的沉浸式协作分析：洞穴式还是头戴式显示器？IEEETrans.目视Comput. Graph. 23（1），441Czauderna，T.，Haga，J.，金，J.，Klapperstück，M.，克莱因，K.，Kuhlen，T.，Oeltze-Jafra，S.，Sommer，B.， Schreiber，F.， 2018. 生命和健康科学中的沉浸式分析应用。 在：Marriott，K.， Schreiber，F.， 德怀尔T.，克莱因 ， K.， 新 罕 布 什 尔 州 里 奇 伊 托 ， T. ， Stuerzlinger ， W. ， 托 马 斯 ， B.H.（编），沉浸式分析。施普林格，pp. 289-330。Czauderna，T.，Wybrow，M.，Marriott，K.，Schreiber，F.， 2013. 将KEGG代谢途径转换为SBGN图，包括自动布局。BMCBioinformatics 14，250.Danyluk，K.，珍妮，B.，威利特，W.，2019. 3D地形图的视角控制。在：2019年CHI计 算 机 系 统 人 为 因 素 会 议 的 会 议 记 录 。 CHI'1 9 ， As s o c i a t i o n fo rCo m p u t i n g Ma c h i n e r y ， Ne w Yo r k ， NY ， US A ， pp . 1-12号。Dourish，P.，2004年行动在哪里：互动的基础MITPress.德怀尔，T.， 2016. 网络可视化作为一种高阶可视化分析工具。IEEE计算Graph. Appl. 36（6），78德怀尔，T.，亨利·里奇，N，Marriott，K.，Mears，C.，2013.