亚利桑那州立大学可视化分析和数据探索研究实验室：时空数据分析、AI拓扑和全球合作

视觉信息学5（2021）14亚利桑那州立大学可视化分析和数据探索研究实验室Ross Macieboski，Yuxin Ma，Jonas Lukasczyk美利坚合众国亚利桑那州立大学ar t i cl e i nf o文章历史记录：2020年12月16日网上发售MSC：00-0199-00关键词：可视化时空可解释AI拓扑a b st ra ct本文介绍了亚利桑那州立大学可视化分析和数据探索研究（VADER）实验室在过去的十年中，VADER实验室一直专注于为时空数据创建新的算法，工具和可视化。本文将重点介绍过去在时空分析、可解释人工智能、图挖掘和数学拓扑学方面的成功。虽然，在第一，这些主题似乎在很大程度上是不相交的，我们将描述时空分析的基础是如何告知在VADER实验室的各种研究方向，以及如何这个研究议程已经形成了一个强大的国际合作网络。最后，我们将概述实验室未来研究的愿景版权所有2021作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 概述成立于2011年在亚利桑那州立大学（ASU），可视化分析和数据探索研究（VADER）实验室（图。1）开发可视化和数据科学的新算法和方法。虽然VADER实验室的根源与时空数据分析有关，但我们团队研究的发展在这种模式下，ASU阐述了八个设计愿望：1. 利用我们的位置;2. 改造社会;3. 价值创业;4. 进行受启发的研究;5. 让学生成功;6. 知识产权;7. 融入社会，并且8. 全球参与。这些设计的愿望一直是核心的瓦德实验室的使命，在那里我们一直渴望从事可视化研究，是社会嵌入和使用的启发。这里我们视可视化为一种纽带，在跨学科研究中，数据和模型可以被整合，探索和共享。随着特定问题应用程序的开发，可视化的基本挑战出现了。*通讯作者。电子邮件地址：rmacieje@asu.edu（R. Maciebenski），yuxinma@asu.edu（Y.Ma），jl@jluk.de（J.Lukasczyk）。https://doi.org/10.1016/j.visinf.2020.12.001这创造了一个循环，在这个循环中，我们可以开发新的工具来支持重大挑战研究，同时使学生能够同时深入研究正在进行的和新兴的可视化研究课题。 到目前为止，我们已经为警察建立了解决方案，以改善对刑事事件报告的分析（Macieboskiet al. ，2010年，2011年），我们已经设计了优化资源分配的系统，从溢油响应（马等人，，2020 b）和恢复土地管理的环境和城市规划（米德尔等人。，2019年），我们一直致力于为政策制定者和科学家合作和探索大规模的社会问题，如粮食，能源和水资源管理（Opejin等人。，2020; Mathis et al. ，2019; Guan et al. ，2020年）。所有这些工作都得到了对基本可视化挑战的研究的支持，我们为多变量数据设计了新的地图表示（Zhang和Maciebroski，2016; Huang et al. ，2020），探索了可解释人工智能的设计空间（ Ma et al. ， 2017 ， 2020a; Ma et al. ， 2020 c; Ma andMacieboski，2020; Xie et al. ，2020），并应用拓扑的数学概念来创 建 新 颖 的 可 视 化 分 析 框 架 （ Lukasczyk et al. ， 2017b ，2019）。在本文中，我们强调了我们最近在可视化方面的一些进展。第2节描述了时空分析的进展，重点是多元制图表示，分类和不确定性的挑战。我们将描述我们在这些主题的研究如何告知VADER实验室的增长。第3节将讨论可解释AI的可视化，重点是我们如何支持分类任务。第4节从机器学习分类器的可视化转移到基于图的学习、图感知和循环回空间嵌入图。第5节将我们的空间分析与拓扑学的数学理解联系起来，第6节探讨了VADER2468- 502 X/©2021作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfR. Maciebenski，Y.Ma和J.卢卡奇克视觉信息学5（2021）1415图1.一、 可视化分析和数据探索研究实验室。实验室一直致力于全球参与。最后，第7节结束时讨论了未来的研究方 向 。 有 关 VADER 实 验 室 的 更 多 信 息 ， 请 访 问 实 验 室 网 站（vader.lab.asu.edu/），包括开源软件、出版物和视频。2. 时空分析与可视化从智能手机到健身追踪器，再到传感器建筑，数据目前正以前所未有的速度收集。现在，数据比以往任何时候都更能用来深入了解政策决策如何影响我们的日常生活。例如，与普渡大学指挥、控制和互操作性环境可视化分析（VACCINE）中心的联合工作开发了可视化分析解决方案，以帮助预测接下来可能发生犯罪的地方（Malik et al. ，2014; Razip et al. ，2014; Maliket al. ，2010年），为海岸警卫队资源分配决策提供信息（Riveiro et al. ，2018年），并利用饮食和活动模式，以提供改善个人的整体健康和福祉的建议（托雷斯等人。，2012; Whisner et al. ，2015）。所有这些数据的基础是关于空间和时间的测量。然而，在数据集中找到关系并准确地表示这些关系以通知政策变化是一个具有挑战性的问题。对于空间数据，将这种数据转换为视觉形式允许用户快速地看到模式、探索摘要并关联关于在表格形式中不明显的潜在地理现象的领域知识。然而，在可视化和探索这些大型时空数据集时，出现了一些关键的挑战。然而，数据的基本地理成分很适合于传统制图表示形式的通用可视化（例如，等值线图、等值线图、不对称地图），随着数据变得多元，地图表示变得更加复杂。多变量彩色图（Anselin et al. ，2010）、纹理（Cao et al. ，2011）、小倍数（Guo et al. ，2006）和3D视图（Gatalsky et al. ，2004）已经被用作增加在将空间数据绘制到地图时可以传达的信息量的手段。然而，这些方法中的每一种都有其自身的局限性。多变量彩色图和纹理导致认知过载，其中花费大量时间试图在视觉通道中分离数据元素（Kim et al. ，2013）。 在3D中，遮挡和杂乱仍然是有效视觉数据理解的基本挑战（Dübel et al. ，2014;Elmqvist和Tsigas，2008）。利用小倍数可以帮助并排比较，但是它们的可扩展性受到可用屏幕空间和与成对比较相关的认知开销的限制（Liu et al. ，2018年）。VADER实验室的研究解决了我们如何有效地探索这些时空数据以增强知识发现和传播的基本我们采用了一种以使用为灵感的研究方法，我们专注于城市规划中的关键领域问题（例如，微气候模拟（Middel et al. ，2019，2018，2017），smart城市（Steptoe et al. ，2018））、地理（例如，宽带分析（Mack和Maciebroski，2015）、工业组成（Mack等人，，2014）、溢油回收（Ma et al. ，2020b）（参见图2））、经济学（例如，企业家精神（Wang et al. ，2017）），政治科学（Landis et al. ，2017），和可持续性（Opejin et al. ，2020; Guan等人，2020年），并在这些领域的研究挑战通知我们的基础可视化研究。在这里，VADER实验室的研究既扩展了传统的视觉表示（例如，排版地图（刘等）。，2014; Zhang et al. ，2018，2017）和BristleMaps（Kim et al. ，2013）），并开发了新的视图，用于显示相关性如何（Gorko et al. ，2018年;马利克 等人，2012，2011）、簇（Maciebroski et al. ，2010; Zhang et al. ，2016），以及其他各种空间动态随时间变化（Luet al. ，2018; Kim等人，2017; Luet al. ，2016年）。成功的一个关键领域是在发展互动技术的视觉转向和时空数据的分类，特别是在choropleth地图。分区图可能是用于可视化空间参考数据的最常用方法。Choropleths要求数据分析师选择分类方案，将颜色与数据的属性值联系起来。因此，所选择的分类方案直接影响视觉设计。 我们的研究探索了用于引导多变量地图分类以改进分区设计的机制（Zhang et al. ，2016年），开发了一种用于评估分类边界附近空间元素视觉影响的优化方案（Zhang和Macievanski，2016年）（见图3），并创建了区域分类稳定性的视 觉 表 示 ， 用 于 choropleth 地 图 设 计 （ Huang 等 人 ， 2016年）。，2020年）（见图。 4）. 这些探索分类边界和解释决策边界和不确定性的影响的概念为VADER实验室过渡到可解释人工智能的研究奠定了基础。3. 可解释的人工智能和预测性视觉分析随着机器学习模型的大规模部署，越来越需要解释其内部工作原理不仅向模型开发者，而且向政策制定者和广大公众介绍这些模型。目前的许多对于非专家用户来说，模型提供的预测无法有效地支持如何以及为什么在黑盒中做出决策的推理，导致人类用户对底层算法缺乏信任，以及模型无法解释的奇怪行为在可解释人工智能（XAI）中，模型的可理解性是人机预测有效集成的主要障碍到目前为止，VADER实验室已经进行了基础研究，以解释机器学习过程中的问题。从我们对地图分类的研究出发，我们开发了一些方法来支持分析人员探索复杂的分类界限。在Ma和Macieboski（2020）的最近工作中，我们提出了一种在高维标记数据集中检测局部线性分离的方法。我们将这种方法R. Maciebenski，Y.Ma和J.卢卡奇克视觉信息学5（2021）1416图二、用 于 评 估 溢 油 事 件 中 战 术 响 应 的可视化分析框架（Ma et al. ，2020 b）。图三. （A）多变量聚类的地理变化的可视化（Zhang et al. ，2016年）和（B）如何优化视觉影响的评估，分类边界附近的空间要素（Zhang和Macieboski，2016）。到一个可视化的分析框架，在那里我们利用k-最近邻的方法，通过基于图形的可视化显示边界段之间的关系。此外，我们意识到，解释分类器对对抗性攻击的脆弱性也至关重要。Ma et al.的工作（2020 c）扩展了基于k-最近邻图的可视化，以突出分类器的潜在漏洞（见图5）。在这里，数据中毒攻击进行了探讨，并开发了模型脆弱性的可视化表示，以显示对抗性攻击对模型性能，实例属性，特征分布和局部结构的影响。最近的其他工作探索了深度神经网络中的知识转移（Ma et al. ，2020a）。虽然解释分类器、模型性能和潜在漏洞对于模型开发和部署至关重要构建机器学习模型的最终目标是将其部署用于决策任务。在这里，机器学习模型和人工智能算法的部署使我们能够进一步参与最终用户的决策过程。目前，VADER实验室正在研究人在环分析方法如何增强对预测模型的理解，并在人与机器之间建立更有效的关系。预测性视觉分析方法（Lu et al. ，2017年）已应用于各种从社交媒体分析（例如，探索社交媒体中的话题驱动因素（Lu et al. ，2018年），通过事件线索发展媒体话语（Lu et al. 2016年）（见图）。 6），和商业智能（Lu et al. ，2014 b））、医疗保健（Torreset al. ，2012;Whisner et al. ，2015）和紧急危机管理（Lu et al. ，2015）。理想情况下，通过打开黑盒子，R. Maciebenski，Y.Ma和J.卢卡奇克视觉信息学5（2021）1417见图4。 一个可视化分析系统，用于在设计分区图时探索属性不确定性对区域分类结果的影响（Huang et al. 、2020年）。图五. 对抗性攻击中模型漏洞的可视化分析框架（左）（Ma et al. ，2020 c），（中）深度神经网络中的知识转移（马等人，2020a），和（右）类分离（马和Maciebenski，2020）。数据挖掘和机器学习算法，可视化分析可以帮助用户理解预测结果背后的推理，从而提高模型的可理解性。在打开黑盒的同时我们将人机分析的这种交叉4. 图挖掘与可视化虽然我们在机器学习和可视化交叉领域的大部分工作都集中在解释分类器和将预测模型集成到决策支持系统中，但机器学习的另一个关键领域是图挖掘。在许多应用中，对象之间的关系可以表示为图结构，图挖掘方法已被证明是理解现实世界问题中的拓扑性质和复杂关系的有效方法为了进行这样的分析，基于图的机器学习和图可视化是用于通过自动算法或以人为中心的分析来提取有意义的特征的两种常用方法。随着越来越多的图学习模型被开发，需要可解释的图学习模型来为机器学习专家和用户生成可解释的结果，以帮助识别机器学习模型中的公平性、偏差和脆弱性在VADER实验室中，我们专注于建立图学习的解释模型与人在环分析方法，以加强对两个图形数据的理解（索尼等人，，2018;Chen等人，2019年）和学习模型（谢等人。，2020年），以支持专家在意义的过程（见图。 7）。这种支持图形分析专家的概念也直接影响了VADER实验室在时空分析方面正在进行的新工作关键的基础设施问题很适合网络观点，近年来，人们越来越关注粮食、能源和水系统之间的过程和相互作用粮食代表农业贸易和消费，是一个区域经济的重要组成部分。需要能源来供应和处理农业、农业和工业用水，以及使农业活动机械化。水用于人类和工业消费，作物灌溉和能源生产。虽然粮食、能源和水之间多方面的相互作用往往被视为一个系统对另一个系统的威胁或压力，但对反馈动态的基本了解对于确定协同作用和潜在效率是必要的。然而，尽管FEW关系中存在已知的相互关系，但食品、能源和水的政策、规划和管理决策通常是相互孤立的，没有充分考虑部门之间的权衡。这主要是因为每个孤立系统的复杂性，这使得理解系统之间的相互联系难以识别，更不用说以综合的方式进行评估。尽管面临这一挑战，R. Maciebenski，Y.Ma和J.卢卡奇克视觉信息学5（2021）1418见图6。 （左）一个可视化分析框架，用于探索多个社交媒体源上话语的主题驱动因素（Lu et al. ，2018年）。（右）媒体数据中事件提示的可视化分析框架（Lu etal. ，2016年）。见图7。（左）用于解释基于图的排名算法的敏感性的可视化分析框架（Xie et al. ，2020年）。 （右）关于测量人类在不同图形布局算法下捕获图形属性的能力的用户研究（ So n i et al. ，2018年）。图8.第八条。在 人 脚 的计算机断层扫描中 对 个 体 骨 骼 的 基 于 拓 扑 的 检 测 （Lukasczyk等人，，2020 b）。迫切需要对少数妇女群体之间的联系、协同作用和冲突进行分析，为了实现这种整合，决策者需要将有关粮食-能源-水相互作用对国家、区域和地方规模的影响的信息纳入到针对一系列未来条件的强有力的政策决策中。通过这种方式，可以制定政策，确保少数人与妇女之间的关系在多变的气候条件和未来下具有复原力，以帮助确保公共福祉和可持续增长。FEW关系的这种网络化观点需要对食物、能源和水系统动力学进行跨学科的科学理解（White et al. ，2017）为综合FEW系统提供集成建模、可视化和决策支持基础设施。在这里，VADER实验室专注于（i）多分辨率集成建模的开发明确捕捉食品，能源和水部门之间的反馈框架（Guan et al. ，2020; Lukasczyk et al. ，2015a; Lei et al. ，2015年）;和（ii）一个可视化基础设施，使模型组成，并揭示了级联效应在三个少数民族地区，以及他们的多元时空不确定性（Mathis等。，2019;Wang et al. ，2018; Luo et al. ，2017; Lukasczyk et al. ，2017 a;Steptoe et al. ，2015）。这样的基础设施需要易于使用，无缝集成分析和可视化工具，适应新的算法，并应使个人能够获得有关其数据和相关不确定性的知识。5. 拓扑学与科学计算除了地理参考数据外，许多科学模拟还包含定义的时空数据R. Maciebenski，Y.Ma和J.卢卡奇克视觉信息学5（2021）1419图9.第九条。通 过 标 量 场 拓 扑 在 计 算 流 体 动 力 学 模 拟 中 跟踪单个粘性指状物的 寿 命 （Lukasczyk等人，，2017 a）。通过结构化或非结构化网格，其中面积/体素单元由多变量特征向量组成。这些特征向量的基础是一种几何结构，它提供了对特征的空间特征进行定量描述的手段，包括维度、位置、大小、形状和方向。时空关系的一种可能的设想是在数学拓扑学方面属于对象之间的关系向量。因此，VADER实验室还开展了拓扑学的研究：拓扑学是理论数学的一个分支。简而言之，拓扑学的数学概念可用于鲁棒地描述数据集中的特征，并根据重要性对特征进行排序，这对于必须处理噪声和不确定性的现实世界应用特别有用。例如，在手术准备中，医生通常将利用多模态成像扫描来捕获复杂信息，以改善诊断并驱动患者特异性治疗。这些成像扫描可以由来自磁共振成像（MRI）、计算机断层扫描（CT）或其他各种来源的数据组成然而，这些扫描通常包含大量噪声，需要通过称为拓扑简化的过程来去除在图中所示的示例中，8，该手术有效地将单个骨骼与剩余组织分离。VADER实验室、凯泽斯滕理工大学（德国）和索邦大学（法国）的联合研究发现了该程序的一项重大进展具体来说，该合作提出了一种新的算法，该算法比以前的方法快一个数量级，并且能够进行并行数据处理（Lukasczyk et al. ，2020 b）。除了能够鲁棒地表征特征之外，拓扑还可用于跟踪与时间相关的要素数据集，这仍然是科学可视化的一个主要挑战。我们的研究重点是开发新颖的视觉分析方法，将特征检测，跟踪和探索结合在各种应用领域，如医学成像（Fairfield et al. ，2014）、计算流体动力学模拟（ Lukasczyk et al. ， 2017 a ， 2019 ）、流行病学（ Lukasczyketal. ，2015b）和天文学（Lukasczyk et al. ，2017 b）。特别是，VADER实验室正在通过开发接口来弥合拓扑理论与其实际应用之间的差距，这些接口使分析师能够识别和跟踪疾病爆发和犯罪事件的热点（Lukasczyk et al. ，2015 b）。 相同的概念可以转移到其他应用程序域。例如，我们实验室开发的基于拓扑的算法还可以跟踪两种流体混合过程中指状结构（称为粘性指状物）的形成（图1）。9）。这个过程在许多科学和工程领域都很突出，包括地质学、水文学和色谱学。 例如，它在油藏的开采过程和地下水污染过程中起着关键作用。结合上述方法，VADER实验室还在高性能计算领域进行研究，由于数据集的规模和复杂性不断增加，这一事实上，对疾病爆发、气候变化和其他物理现象的模拟在规模上变得如此巨大，以至于将每个模拟都完整地存储到磁盘上以供以后分析不再可行。 VADER实验室开发了几种方法，这些方法在仿真运行时确定实际需要存储仿真的哪个部分，以便在事后分析期间仍然提供尽可能多的灵活性（Lukasczyk et al. 、R. Maciebenski，Y.Ma和J.卢卡奇克视觉信息学5（2021）1420见图10。 科学图像数据库的基于图像的渲染，显示了水通过石灰岩岩溶时的路径（蓝色流线）（Lukasczyk et al. ，2020a）。2019年、2018年、2020年a）。例如，我们建议存储所谓的数据产品，而渲染元素和拓扑抽象-比它们所来源的原始数据小几个数量级，并且这些产品可以在仿真不再位于机器内存中之后用于仿真的高保真可视化（图1）。 10）。6. 国际协作我们强大的研究议程得到了各种合作努力的支持，最值得注意的是与德国和中国的同事。如前所述，拓扑分析的工作是通过与德国凯泽 斯滕 技术大 学的 联合合 作而 出现的 ，合 作伙 伴包括 HansHagen、Christoph Garth和Heike Leitte。这项工作支持了联合学生交流（Jonas Lukasczyk，Christina Gill-mann，Robin Mack），并导致了与医学成像相关的各种出版物（Fairfield et al. ，2014）、拓扑分析（Lukasczyk et al. ，2017a，2019）和科学计算（Lukasczyket al. ，2015a），包括EuroVis 2018年最佳论文奖（Lukasczyk etal. ，2017 b）。Robert Krüger与德国斯图加特大学的VISUS合作，参观了VADER实验室，并发表了关于社交媒体挖掘和预测分析的出版物（Steptoe et al. ，2018; Lu et al. ，2014a）和2015年获奖的VAST挑战赛提交（Steptoe等人，2015）。VADER实验室还积极与中国浙江大学CAD CG国家重点实验室合作。2015年和2016年，Maciebenski教授访问浙江大学，并发表了多篇关于城市分析的联合出版物，i c s （Andrienko et al. ，2017; Gu et al. ，2018; Chen etal. 2017年夏天，黄兆松（Zhaosong Huang）在VADER实验室研究地理不确定性（Huang et al. ，2020年）。因此，VADER实验室一直致力于将ASU的设计愿望融入其研究和教育使命。通过建立国际研究合作，我们能够to engage从事globally全球in use-inspired使用inspired启发research研究.此外，这些机会使学生成功，不仅在亚利桑那州立大学，而且在国外。通过在VADER实验室创建一个全球学生大熔炉，我们能够培养一个跨越文化界限的多元化学习环境，我们希望进一步扩展我们的研究网络。7. 未来方向虽然VADER实验室的研究议程起初似乎很广泛，但与时空数据分析的潜在联系告诉我们，研 究 议 程 。 我 们 在 地 图 分 类 方 面 的 工 作 （ ZhangandMacievanski，2016）为我们在可解释人工智能方面的研究提供了信息，未来的研究将探索公平性和偏见问题，不仅在底层机器学习模型中，而且在可视化中。此外，将机器学习模型集成到空间决策支持系统（Ma et al. ，2020 b; Lu等人，2018; Huang etal. ，2020年）促使我们的团队专注于人类-人工智能团队合作的挑战。随着机器学习模型变得更加准确和强大，如何最好地将人类融入决策过程，以在获取领域知识和人类洞察力的同时建立对AI的信任，这是一个新的问题。最后，我们看到了数学拓扑学和地理分析的交叉点（Lukasczyket al. ，2015 b）是未来研究的沃土。展望未来，我们的议程将是利用拓扑公式进行地理热点分析。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了美国国家科学基金会（奖项编号1639227，1350573和1939725），美国国家科学院和斯科尔基金会，美国和美国国土安全部的支持，获得了2017-ST-061-QA 0001的资助。本文件中包含的观点和结论是作者的观点和结论，不应被解释为必然代表美国政府的政策，无论是明示的还是暗示的国土安全部。引用Andrienko，G.，Andrienko，N.，陈伟，Maciebenski，R.，赵玉，2017.移动性和交通的可视化分析：最新技术和进一步研究方向。IEEE Trans.内特尔运输单系统18（8），2232安瑟林湖，西亚布里岛Kho，Y.，2010. GeoDa：空间数据分析入门。应用空间分析手册施普林格，pp.73比89曹，N.， Gotz，D.， 孙，J.， Qu，H.， 2011. Dicon：多维聚类的交互式视觉分析。IEEE Trans. Vis. Comput. Graphics 17（12），2581-2590.陈伟，黄志，吴，F.，Zhu，M.，Guan，H.，Maciebenski，R.，2017. VAUD：城 市 时空数据可视化分析方法。IEEETrans. 目视Comput. Graphics 24（9），2636R. Maciebenski，Y.Ma和J.卢卡奇克视觉信息学5（2021）1421陈洪，索尼大学，吕，Y.，Huroyan，V.，Maciebenski，R.，Kobourov，S.，2019.Samestats ， different graphs ： Exploring the space of graphs in terms ofgraphsproperties. IEEE Trans.目视Comput. Graphics-遗漏广西快乐克罗，M.，Dabars，W.，2015.设计新美国大学。北京：北京大学出版社.Dübel，S.，Röhlig，M.，舒曼，H.，特拉普，M.，2014.空间数据的2D和3D表示：系统综述。在：IEEE VIS研讨会上3DVis。IEEE，第11比18Elmqvist，N.，Tsigas，P.，2008.三维可视化遮挡管理分类法。IEEE Trans.目视Comput. Graphics 14（5），1095费尔菲尔德，A.J.，Plasma，J.，张，Y.，西奥多，N.，北卡罗来纳州克劳福德弗雷克斯，D.H.，Maciebenski，R.，2014.体积幕显：一种用于多模态体积可视化的焦点+上下文效果。见：SPIE医学成像会议论文集，第9035卷，第100页。903527Gatalsky，P.，Andrienko，N.，Andrienko，G.，2004.利用时空立方体进行事件数据的交互分析。在：信息可视化国际会议的会议记录。IEEE，第145-152Gorko，T.，Yau，C.，马利克，A.，哈里斯，M.，Tee，J.X.，Maciebenski，R.，钱，C.，Afzal，S.，Pijanowski，B.，Ebert，D.，2018.众包多变量时空数据的多尺度相关方法。夏威夷国际系统科学会议论文集。顾，T.，Zhu，M.，陈伟，黄志，Maciebenski，R.，张湖，2018.用自适应图形表示法构造移动性转换。IEEE Trans. Comput. Soc. 系统5（4），1121关，X.，Mascaro，G.，Sampson，D.， Maciebenski，R.， 2020. 粮食-能源-水关系的大都市水管理分析。Sci.全面环境。701，134478。Guo，D.，中国植物研究所，陈杰，MacEachren，上午，Liao，K.，2006.时空与多元模式的可视化系统。IEEE Trans. Vis. Comput. Graphics 12（6），1461-1474.黄志，吕，Y.，麦克，E.A.，陈伟，Maciebenski，R.，2020.属性不确定性条件下脉络膜厚度的敏感性研究。IEEE Trans. Vis. Comput. Graphics 26（8），2576-2590.Kim，S.，郑，S.，喔，我，张，Y.， Maciebenski，R.， Ebert，D.S.， 2017. 无轨迹信息时空统计数据的数据流分析与可视化。IEEE Trans. Vis. Comput.Graphics 24（3），1287-1300. Kim，S.，Maciebenski，R.，马利克，A.，张，Y.，Ebert，D.S.，伊森伯格，T.，2013. Bristlemaps：A multivariate abstractiontechnique for geovisualization（英语：Bristle maps：A multivariate abstractiontechnique for geovisualization）IEEE Trans.目视Comput. Graphics 19（9），1438-1454.Landis，S.T.，Rezaeedaryakenari，B.，张玉，Thies，C.G.，Maciebenski，R.，2017. 克服分歧？缓解尼日尔河流域水不安全状况的条件。Political Geogr.56，77-90.Lei，T.L.，梁湘，Mascaro，G.，罗，W.，怀特，D.，韦斯特霍夫，P.，马切耶夫斯基河，2015.一个基于网络的交互式地理视觉分析工具，用于探索尼日尔河流域的水资源短缺。在：在EuroVis的环境科学可视化研讨会的会议记录，pp。55比59Liu，S.，崔，W.，吴，Y.，刘，M.，2014.信息可视化研究进展与挑战。目视Comput. 30（12），1373刘，X.，Hu，Y.，北，南，沈，H.- W.，2018. CorrelatedMultiples：空间相关的小多次波，具有受限的多维缩放。Comput. Graph. Forum 37（1），7-18.吕，Y.，加西亚河，巴西-地汉森，B.，Gleicher，M.，Maciebenski，R.，2017.最先进的视觉预测分析技术。Comput. Graph. Forum 36（3），539-562.吕，Y.，Hu，X.，王福，库马尔，S.，刘洪，Maciebenski，R.，2015年。可视化灾难场景中的社交媒体情绪。在：万维网国际会议论文集，pp。1211-1215吕，Y.，克鲁格河，Thom，D.，王福，科赫，S.，埃特尔，T.，Maciebenski，R.，2014年a。整合预测分析和社交媒体。在：IEEE会议视觉分析科学和技术，pp。193-202.吕，Y.，Steptoe，M.，Burke，S.，王，H.，蔡杰，Davulcu，H.，Montgomery，D.，Corman，S.R.，Maciebenski，R.，2016.透过事件线索化探索媒体话语的演变。IEEE Trans.目视Comput. Graphics 22（1），220吕，Y.，王，H.，Landis，S.，Maciebenski，R.，2018.用于识别媒体事件中的主题驱动因素的可视化分析框架。IEEE Trans. Vis. Comput. Graphics 24（9），2501-2515.吕，Y.，王福，Maciebenski，R.，2014年b。来自社交媒体的商业智能：从巨大的票房挑战的研究。IEEE计算Graph. Appl.34（5），58-69.Lukasczyk ， J. ， 奥 尔 德 里 奇 ， G. Steptoe ， M. ， Favelier ， G. ， Gueunet 角 ，Tierny，J.，马切维斯基河，Hamann，B.，Leitte，H.，2017年a。粘性指进：一种拓扑视觉分析方法。《应用力学与材料》，第869卷。TransTech Publ，pp.9比19Lukasczyk，J.，加思，C.，Larsen，M.，Engelke，W.，霍茨岛，Rogers，D.，Ahrens，J.，Maciebenski，R.，2020年a。Cinema Darkroom：一个用于大规模数 据 集 的 延 迟 渲 染 框 架 。 IEEE Symposium on Large Data Analysis andVisualization.Lukasczyk，J.，加思，C.，Maciebenski，R.，Tierny，J.，2020年b。标量数据的局部拓扑简化。IEEE Trans.目视Comput. Graphics-遗漏广西快乐Lukasczyk ， J.， 加 思 ， C. ， Weber ， G.H. ， Biedert ， T. ， Maciebenski ， R. ，Leitte， H.，2019. 动 态嵌 套跟 踪 图 。 IEEE Trans. Vis. Comput. Graphics 26（1），249-258.Lukasczyk ， J. ， Kinner ， E. ， Ahrens ， J. ， Leitte ， H. ， 加 思 ， C. ， 2018.VOIDGA：一种面向视图逼近的图像数据库生成方法.在：IEEE大型数据分析和可视化研讨会论文集，pp。12比22Lukasczyk，J.，梁湘，罗，W.，Ragan，E. D.，米德尔，A.，布利斯，N.，怀特，D.，哈根，H.，Maciebenski，R.，2015年a。基于网络的协作环境数据可视化和分析框架。在：在EuroVis的环境科学可视化研讨会的会议记录，pp。25比29Lukasczyk，J.，Maciebenski，R.，加思，C.，哈根，H.，2015年b。了解热点：拓扑可视化分析方法，在：ACM SIGSPATIAL国际会议在地理信息系统的进展SIGSPATIALLukasczyk，J.，Weber，G.，Maciebenski，R.，加思，C.，Leitte，H.，2017年b月。嵌套跟踪图。Comput. Graph. Forum 36（3），12罗，W.，Steptoe，M.，张，Z.林克河，克拉克湖，Maciebenski，R.，2017.空间尺度对气候情景相互比较的影响。IEEE计算Graph. Appl.37（5），40-49.妈妈，Y.，陈伟，妈，X.，徐，J，黄，X.，Maciebenski，R.，董，A.K.，2017.EasySVM：一种开放式支持向量机的可视化分析方法。Comput. 目视Media 3（2），161妈妈，Y.，范，A.，他，J.，Nelakurthi，A.，Maciebenski，R.，2020年a。用于解释和诊断迁移学习过程的可视化分析框架。IEEETrans. 目视Comput. 图形1妈妈，Y.，Maciebenski，R.，2020.用局部线性段进行类分离的可视化分析。IEEETrans.目视Comput. Graphics-遗漏广西快乐妈妈，Y.，Pydi Medini，P.C.，纳尔逊，J.R.，韦，R.，Grubesic，T.H.，Sefair，J.，Maciejew 斯基，R，2020年b。用于溢油响应和恢复的可视化分析系统。IEEE计算Graph. 应用领域妈妈，Y.，谢，T.，李杰，Maciebenski，R.，2020年c。通过可视化分析解释对抗机器学习的漏洞。IEEE Trans. Vis. Comput. Graphics 26（1），1075-1085.Maciebenski，R.，德雷克，T.，鲁道夫，S.，马利克，A.，Ebert，D.S.，2010.癌症诊断学的数据聚集与分析--可视化分析方法。夏威夷国际系统科学会议论文集。IEEE，第1比5。Maciebenski，R.，哈芬河鲁道夫，S.，Larew，S. G.，米切尔，硕士，克利夫兰，西南，Ebert，D.S.，2011.预测热点-预测分析方法。IEEETrans. 目视Comput.Graphics 17（4），440Maciebenski，R.，鲁道夫，S.，哈芬河Abusalah，A.，雅库特，M.，Ouzzani，M.，克利夫兰，西南，Grannis，S.J.，Eb