交互式模型分析：视觉理解、诊断和改进机器学习模型

视觉信息学1（2017）48更好地分析机器学习模型：可视化分析视角刘诗霞*，王希婷，刘梦辰，朱军中国北京清华大学ar t i cl e i nf o文章历史记录：2017年1月18日在线提供保留字：交互式模型分析交互式可视化机器学习理解诊断细化a b st ra ct交互式模型分析是在交互式可视化的帮助下理解、诊断和改进机器学习模型的过程，对于用户有效地解决现实世界的人工智能和数据挖掘问题非常重要大数据分析的巨大进步导致了各种交互式模型分析任务。在本文中，我们提出了一个全面的分析和解释这一迅速发展的地区。具体来说，我们将相关工作分为三类：理解、诊断和细化。每个类别都以最近有影响力的工作为例还探讨和讨论了未来可能的研究机会2017浙江大学出版社由爱思唯尔公司出版这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍机器学习已经成功地应用于从信息检索、数据挖掘和语音识别到计算机图形学、可视化和然而，大多数用户经常将机器学习模型 视 为 黑 盒 子 ， 因 为 它 的 功 能 不 兼 容 和 工 作 机 制 不 清 楚（Fekete，2013; Liu等人， 2017; Mühlbacher等人， 2014年）。如果没有对模型如何以及为什么工作的清晰理解，高性能模型的开发因此，学术研究人员和工业实践者面临着挑战，需要更透明和可解释的系统来更好地理解和分析机器学习模型，特别是它们的内部工作机制。为了应对上述挑战，在交互式模型分析方面有一些初步的努力这些努力表明，交互式可视化在理解和分析各种机器学习模型方面起着至关重要的作用最近，DARPA I2O发布了可解释人工智能（XAI）（DAR，2016），以鼓励对这一主题的研究。XAI的主要目标是创建一套机器学习技术，产生可解释的模型，使用户能够理解，信任和管理新兴一代的人工智能（AI）系统。通讯作者。电子邮件地址：shixia@tsinghua.edu.cn（新加坡）Liu）.同行评议由浙江大学和浙江大学出版社负责http://dx.doi.org/10.1016/j.visinf.2017.01.006在本文中，我们首先提供了一个交互式模型分析的概述然后，我们根据其目标任务（例如理解分类器如何工作）总结了最近的交互式模型分析技术（Heimerl等人，2012年）。研究机会和未来的发展方向进行了讨论，开发新的交互式模型分析技术和系统。2. 范围和概述我们专注于机器学习背景下的 图图1展示了一个典型的机器学习管道，我们首先从中获取数据。然后，我们提取可用作机器学习模型输入的接下来，该模型将根据机器学习专家的评估结果和经验进行训练、测试和逐步完善，这是一个既耗时又不确定的过程。除了关于更好地理解学习结果的研究激增之外（Cui等人，2011，2014; Dou等人， 2013; Dou和Liu，2016; Liu等人，2012，2014 a，2016 c; Wang等人，2013年，2016年），研究人员已经越来越多地关注交互式可视化，以更好地理解和迭代改进机器学习模型。这种研究的主要目标我们将上述迭代和渐进过程称为交互式模型分析。图 2阐述了交互式模型分析的基本思想，其中机器学习模型与最先进的交互式可视化技术无缝集成，能够将模型转换为专家可理解和有用的解释。战略是追求各种可视化分析2468- 502 X/©2017浙江大学和浙江大学出版社。由爱思唯尔公司出版这是CC BY-NC-ND许可下的开放获取文章（http：//creativecommons.org/licenses/by-nc-nd/4.0/）上提供。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf*S. Liu等人/视觉信息学1（2017）4849Fig. 1.机器学习的管道。图二. 交互式模型分析概述。技术，以帮助专家理解，诊断和完善机器学习模型。因此，交互式模型分析旨在创建一套可视化分析技术，理解机器学习模型的行为方式以及它们之间的差异（理解）;诊断训练过程不能收敛或不能达到可接受的性能（诊断）;指导专家提高机器学习模型的性能和鲁棒性（细化）。3. 对现有工作的讨论和分析交互式模型分析的最新成果旨在帮助机器学习专家了解模型如何工作，例如模型中每个组件之间的交互。最近，已经有一些初步的尝试来诊断一种训练过程未能收敛或没有达到预期的性能，或者改进学习模型以获得更好的性能。3.1. 理解已经开发了许多技术来帮助专家更好地理解分类模型（Paiva等人， 2015; Turner，2016; Tzeng和Ma，2005）和回归模型（Zahavy等人， 2016年）。在所有的模型中，神经网络受到了最多的关注。 它们已被广泛使用并在许多机器学习任务中取得了最先进的结果，例如图像分类和视频分类（LeCun等人， 2015年）。为了更好地理解神经网络的工作机制，研究者们提出了各种可视化方法，这些方法可以分为基于点的和基于网络的两类。基于点的技术（Zahavy等人，2016; Rauber等人，2017）通过使用散点图揭示神经网络组件（如神经元或学习表示）之间的关系。每个学习的表示都是一个高维向量，其条目是一个隐藏层中神经元的输出值通常，每个组件由一个点表示通过使用诸如主成分 分 析 （ PCA ） （ Wold 等 人 ， 1987 ） 和 t-SNE （ Maaten 和Hinton，2008）。基于点的技术促进了对神经网络假设的确认和对神经网络组件之间先前未知的关系的识别（Rauber等人，2017年）。图图3显示了Rauber等人开发的基于点的可视化。（2017）。在该图中，每个点表示测试样本的学习表示。每个点的颜色编码每个测试样本的类标签。如图所示，经过训练后，类别之间的视觉分离得到了显著改善。这一观察结果为神经网络学习检测对类别区分有用的表征的假设提供了证据。图3（b）也有助于理解错误分类的样本，这些样本由三角形符号标记该图说明了许多错误分类的样本是视觉异常值，其相邻样本具有不同的类。此外，许多离群值对应于甚至人类也难以分类的测试样本。例如，数字3的图像被错误分类，因为它与数字5的一些图像非常相似虽然基于点的技术对于呈现大量神经网络组件之间的关系是有用的，但是它们不能揭示神经网络组件的拓扑信息图3.第三章。训练之前和之后的测试样本表示的比较（a）（Rauber等人， 2016年）。···50S. Liu等人/视觉信息学1（2017）48见图4。训练神经网络对大脑和非大脑材料进行分类的拓扑结构（Tzeng和Ma，2005）。网络. 因此，它们无法全面了解不同层中不同神经元的作用以及它们之间的相互作用。基于网络的技术（Harley，2015; Streeter等人， 2001; Craven和Shavlik，1992）通过显示网络拓扑解决了这个问题。这些技术通常将神经网络表示为有向无环图（DAG），并通过DAG中节点或边的大小，颜色和字形对网络中的重要信息进行编码图4显示了由基于先锋网络的技术（Tzeng和Ma，2005）生成的可视化。该图显示了一个神经网络，该网络经过训练，可以对头部内的体素是否属于大脑进行分类。这里，每个体素由其标量值s、梯度幅度g、其相邻体素的标量值n以及其位置p表示。每条边的宽度编码相应连接的重要性。 输入和输出层中的节点根据其输出值着色。输出层中节点的颜色表示神经网络能够正确地将左侧的体素分类为非脑材料（低输出值）和右脑材料上的体素（高输出值）。图4（a）和图4（c）中的网络拓扑表明，左侧的体素主要由于其位置而被分类为非大脑材料，而右侧的体素需要除了梯度幅度g之外的所有输入才能正确分类为大脑材料。上述技术可以有效地可视化具有几十个神经元的神经网络然而，随着神经元和连接数量的增加，可视化可能会变得混乱和难以理解（Tzeng和Ma，2005）。为了解决这个问题，Liuetal.（2017）开发了CNNVis，这是一种可视化分析系统，可帮助机器学习专家了解和诊断具有数千个神经元和数百万个连接的深度卷积神经网络（CNN）（图5）。为了显示大的CNN，层和神经元被聚类。为每个层（神经元）簇选择代表层（神经元）。为了有效地显示许多连接，使用基于双聚类的算法来捆绑边缘并减少视觉混乱。此外，CNNVis支持每个神经元的多个方面的分析为此，CNNVis通过使用分层矩形填充算法来可视化每个神经元簇的学习一个矩阵重排算法也被开发来揭示神经元的激活模式。3.2. 诊断研究人员已经开发了诊断二进制分类器的模型性能的视觉分析技术（Amershi等人， 2015）、多类分类器（Liu等人， 2017;Alsallakh等人， 2014; Ren等人， 2017）和主题模型（Chuang etal.， 2013年）。这些技术的目标是帮助机器学习专家理解为什么训练过程没有达到理想的性能，以便他们可以做出更好的选择（例如，选择更好的特征）以提高模型性能。为此，当前技术利用模型的预测分数分布（即，样本类概率）来评估错误的严重性，并研究图五、C N N V i s ，一种理解和诊断深度卷积神经网络（CNN）的 可 视 化 分 析 方 法 （Liu et al.，2016年b）与大量的神经元和连接。S. Liu等人/视觉信息学1（2017）4851见图6。一种可视化分析工具，可以帮助机器学习专家诊断模型性能，包括（a）混淆轮和（b）特征分析视图（Alsallakhetal.，2014年）。见图7。Squares是一种可视化分析工具，支持在单个可视化中对多类分类器进行性能诊断，以减少用户在分析期间的认知负荷（Renetal.， 2016年）。分数分布与误分类和所选特征相关。一个典型的例子是Alsallakh等人（2014）开发的模型性能诊断工具。该工具由一个混淆轮（图6（a））和一个特征分析视图（图6（b））组成。混淆轮通过使用直方图来描绘预测分数分布对于每个类别ci，对应于具有ci的低（高）预测分数的样本的仓被放置为靠近内（外）环。混淆轮中的和弦可视化属于类别ci的样本的数量被误分类为类别cj（类间混淆）。该视图使得用户能够快速识别以低概率被错误分类的样本（例如，c7中的假阴性样本（FN））。与其他样本相比，这些样本更容易改进。特征分析视图示出了两组样本（例如，真阳性样本和假阳性样本）可以通过使用某些特征来分离。该视图帮助用户在功能选择方面做出更好虽然上述技术为性能改进提供了有价值的指导，但混淆轮可能会通过在放射状显示中显示直方图而引入失真研究人员还指出，多个协调的可视化可能会增加诊断过程的复杂性（Ren等人， 2017年）。为了消除失真并减少用户的认知负荷，Ren等人提出了Squares（Ren等人，2017），一个可视化的分析工具，支持在一个单一的可视化性能诊断如图7所示，Squares能够显示多个细节级别的当展开以显示最低级别的详细信息（例如，c3和c5）显示为框。每个方框代表一个（训练或测试）样本。框的颜色编码相应样本的类标签并且纹理表示样本是否被正确分类（实心填充）或不被正确分类（条纹填充）。细节数量最少的类（例如，c0和c1）显示为堆栈。正方形还允许机器学习专家探索类间混淆（见图中的折线）。（7）在同一个视觉中。最近，已经有一些关于诊断深度学习模型的初步努力（Liu etal.， 2017; Zahavy等人， 2016年）。一个实例是CNNVis（Liu等人，2016年b）（图。 5）。通过揭示神经元的多个方面，神经元之间的相互作用以及层之间的相对权重变化，CNNVis允许机器学习专家调试无法收敛或无法实现可接受性能的训练过程它还有助于找到潜在的方向，以防止训练过程陷入困境或提高模型性能。另一个例子是Zahavy等人开发的方法。 （2016），它采用t-SNE来揭示学习表征之间的关系，并使用显着图来帮助用户分析有影响力的特征。三个ATARI游戏的案例研究表明，该方法能够找到问题，涉及到游戏建模，初始和终端状态建模，得分过拟合。3.3. 细化在他们了解机器学习模型的行为方式以及为什么它们没有达到理想的性能之后，机器学习专家通常希望通过整合所学习的知识来改进模型。为了促进这一过程，研究人员已经开发了视觉分析系统，该视觉分析系统提供了用于改进监督的性能的交互能力（Paiva等人，2015）或无监督模型（Wang等人，2016年; Liu等人， 2016年）。52S. Liu等人/视觉信息学1（2017）48图8.第八条。交互式训练样本选择使得能够进行分类器细化（Paiva等人， 2015年）。候选样本由（a）圆圈和（b）图像表示见图9。UTOPIAN（Choo等人，2013年），一个可视化分析系统的主题模型的交互式细化。用于精炼监督模型的当前技术主要集中在多类分类器（Paiva等人，2015; Alsallakh等人，2014年）。这些技术允许用户通过控制显著影响分类结果的因素来插入他们的知识。通常考虑的因素包括训练样本、特征、分类器类型和训练中使用的参数例如，Paivaetal. （2015）允许用户交互式地选择训练样本，修改它们的标签，不断更新模型，并通过使用新类重建模型。 图 8显示了这种技术如何支持知情的训练样本选择。在这里，每个样本在图中显示为一个点。 8（a）和图中的图像。第8（b）段。 这些样本通过使用邻居连接树（Paiva等人，2011年）。在观察树木后，用户从树的核心和树枝的末端使用这些样本进行训练生成的分类器的准确率为97.43%。改进无监督模型的技术通常在-以半监督的方式将用户知识合并到模型中（Tzeng和Ma，2004;Choo等人， 2013年; Liu等人，2014年b）。该领域中的典型示例是UTOPIAN（Choo等人，（2013）视觉用于精炼主题模型结果的分析系统在UTOPIAN中，最初使用非负矩阵分解（NMF）（Lee和Seung，1999）学习主题，并使用散点图可视化显示学习的主题 如图 UTOPIAN允许用户交互式地（1）合并主题，（2）基于范例文档创建主题，（3）拆分主题，以及（4）基于关键字创建主题。此外，UTOPIAN还支持主题关键字细化。所有这些交互都围绕着NMF的半监督制定，使用户知识和主题模型的增量更新容易合并还有一些旨在帮助业务的改进工具不熟悉复杂机器学习模型的专业人士。例如，Wang等人开发了视觉分析系统TopicPanorama（Wang等人， 2016年; Liu等人，2014年b），以帮助商业专业人士分析和完善在多个文本来源中讨论的相关主题的全貌。通过将从不同来源提取的主题图与可扩展算法进行匹配以学习相关主题模型来生成完整图片（Chen等人，2013年）。TopicPanorama允许用户通过检查不确定性来识别潜在的不正确匹配S. Liu等人/视觉信息学1（2017）4853见图10。TopicPanorama（Wang等人，2016），一种用于分析来自多个源的相关主题的全貌的视觉分析系统：（a）全景可视化，（b）具有两个不正确匹配A和B的匹配结果，（c）具有校正匹配C和D的更新匹配结果，以及（d）不确定性矩阵。的比赛。此外，通过将度量学习和特征选择结合到图匹配模型中，TopicPanorama允许用户逐步改进和细化匹配模型。图 10 （ a ） 显 示 了 与 三 家 IT 公 司 （ Google 、 Microsoft 和Yahoo）相关的主题的全貌。在这里，不同公司（来源）的主题节点用不同的颜色表示，共同的主题编码在饼图中。一位公关经理关心游戏相关的话题，所以她启用了不确定性符号（图10（d））来检查潜在的不正确匹配。 经过一番探索，她发现了两个不正确的匹配，A和B，这匹配微软的Xbox游戏雅虎体育游戏（图。 10（b））。 在她匹配B之后，她发现A被更改为C，B被更改为D，这正确地匹配了Google体育游戏和Yahoo体育游戏。10（c））。另一个例子是MutualRanker（Liu等人， 2016），一个视觉分析工具，用于检索突出的帖子，用户和标签。 为了有效地检索显著的帖子、用户和标签，他们建立了一个相互强化图（MRG）模型（Weietal.，2008），共同考虑帖子的内容质量，用户的社会影响力和标签的流行程度他们还分析了结果的不确定性基于检索到的数据和不确定性，他们开发了一个复合可视化，直观地展示了帖子、用户、标签、它们之间的关系以及结果中的不确定性。通过这种可视化，业务专业人员能够轻松检测最不确定的结果，并以交互方式优化MRG模型。为了有效地改进模型，他们开发了一种基于随机游走的蒙特卡罗采样方法，可以根据用户交互本地更新模型MutualRanker的一个典型用例如图所示。 11，一位专家发现，集群“国家公园”分享了“关闭”，“民主党”和“共和党”集群传播的不确定性。 这表明在“nationalparks"集群中的主题标签的排名分数中存在高 度 不 确 定 性 。 专 家 根 据 自 己 的 领 域 知 识 ， 将 该集群中的“#nationalparks”的排名分数提高，其他相关标签的排名分数自动更新。4. 研究机会我们认为现有的方法是第一步，还有许多研究机会需要进一步探索和追求，这将在下面的小节中从技术挑战和未来研究的角度进行讨论。4.1. 创建可解释的模型尽管机器学习模型在许多应用中得到了广泛的应用，但它们往往无法向用户解释它们的决策和操作。如果没有清晰的理解，用户可能很难将他们的知识融入学习过程并实现更好的学习性能（例如，预测精度）。因此，期望开发更可解释的机器学习模型，其具有解释其原理并传达对它们在学习过程中如何表现的理解的能力。这里的关键挑战是设计一种紧密集成到机器学习模型中的解释机制。因此，一个有趣的未来工作是发现模型结构中的哪些部分解释了其不同的功能，并在每次迭代的性能改进或下降中发挥主要作用。未来工作的另一个有趣的领域是更好地说明模型和所作决定背后的理由。最近，在这个方向上已经有了一些初步的努力（Letham等人，2015; Lake等人，2015年）。例如，Lakeetal.（2015）开发了一种概率程序归纳算法。他们建立了简单的随机程序来表示概念，从部分、子部分和空间关系组成它们。他们还证明，他们的算法在一次性分类任务上达到了人类水平的性能，同时优于最近的深度学习方法。然而，对于具有丰富训练数据的任务，例如对象和语音识别，较难解释的深度学习仍然优于算法。因此，研究人员还有很长的路要走，为这些任务开发更可解释的模型4.2. 在线培训流程分析大多数现有方法集中于分析最终结果（Ren等人，2017）或一个快照（Liu等人，2017年）在互动培训过程中的模型。在许多情况下，仅分析结果或单个快照不足以理解为什么训练过程没有实现期望的性能。因此，有必要对在线培训过程进行54S. Liu等人/视觉信息学1（2017）48见图11。MutualRanker（Liu等人，2016a），一个可视化分析工具包，用于检索显著的帖子，用户和标签。MutualRanker支持对不确定结果进行交互式细化。分析在线训练过程的一个挑战是难以从大量快照中选择和比较代表性快照。当比较不同的快照时，一种可能的解决方案是采用渐进式视觉分析（Stolper等人， 2014年），以缩短用户交互和模型执行之间的时间段。渐进式可视化分析的基本思想是在训练过程中产生有意义的部分结果，并将这些部分结果集成到交互式可视化中，从而允许用户立即探索部分结果。另一个挑战是自动准确地检测训练过程中的异常目前，培训过程有时太长（例如，一个多星期的专家监督大型深度神经网络的整个训练过程（Krizhevsky等人， 2012年））。在这些情况下，有必要自动检测异常并及时通知专家。异常的自动和准确识别仍然是一个具有挑战性的研究课题（Tam等人， 2017年）。因此，期望采用交互式可视化，其可以更好地结合人类检测异常的能力和机器处理大量数据的能力，这在最近的一些工作中已经被初步研究（Cao等人，2016年; Zhao等人， 2014年）。4.3. 混合倡议指导为了提高机器学习模型的性能并更好地结合专家的知识，研究人员开发了一套指导技术。这种努力来自两个主要的研究团体：机器学习和信息可视化。从机器学习社区，研究人员已经开发了用于系统 发 起 的 指导 的 广 泛 技 术 （ Settles ， 2012; Cohn 等 人， 1994 ，1996;McCal-lumzyandNigamy，1998），其中系统发挥更积极的作用，例如，通过对迭代和渐进分析过程中的适当视图或后续步骤提出建议。从信息可视化社区，研究人员已经设计了许多用于用户主动指导的技术（Wang等人， 2016年; Liu等人， 2016; Choo等人，2013年; Liu等人，2 0 1 4 年b;Pezzotti等人， 2016年），其中用户是改善和完善性能和学习结果的积极参与者。在许多任务中，最好将系统模仿制导和用户主动制导结合为混合主动制导，以最大限度地发挥两者的价值因此，混合主动引导被定义为一种类型的视觉推理或反馈过程，其中人类分析师和机器学习系统都可以主动地促进引导以改进机器学习模型。虽然混合倡议指导非常有用，但支持它在技术上要求很高。我们需要应对两大挑战。首先，在一个统一的框架中无缝集成系统主动引导和用户主动引导并不容易。系统的主动引导通常基于学习过程和对结果的评价，而用户的主动引导通常基于专家的经验和领域知识。因此，我们需要研究如何建立一个有效的工作机制来整合它们，并支持它们之间的顺畅沟通。例如，一个有趣的研究问题是如何揭示系统主动引导的起源，以说明为什么系统会提出建议。然后，在此基础上，专家可以更好地理解建议背后的理由，并相应地提供他/她的反馈另一个潜在的研究问题是有效地提取适当的和足够的用户/系统数据，为用户和系统创建一个统一的模型第二，系统初始化之间可能存在若干冲突，实际应用中的主动引导和用户主动引导。例如，对于给定的训练样本，系统和用户可能对它属于哪个类别有不同的意见因此，如何解决这些冲突是一个有趣的研究问题，需要进一步探索。4.4. 不确定虽然可视化分析在帮助机器学习专家深入了解模型的工作机制和设计提高模型性能的方法方面非常有用，但它也可能引入S. Liu等人/视觉信息学1（2017）4855分析过程中的不确定性。已经表明，不确定性意识对人类信任的建立和决策产生积极影响（Sacha等人， 2016年）。因此，重要的是量化和分析不确定性（Correa等人，2009年; Wu等人， 2010年）在交互式模型分析，这是具有挑战性的原因有很多。首先，不确定性可能源自交互式模型分析过程的每个阶段（例如，训练、可视化、细化）和在整个过程中增加、减少、分裂和合并（Wu等人， 2012年）。因此，很难有效地量化不确定性。未来研究的一个有趣方向是开发可视化分析技术，该技术有效地测量和量化数据处理、模型构建和可视化中的不确定性（Sacha等人， 2016年），并帮助专家快速识别感兴趣的机器学习模型中的潜在问题。其次，它是具有挑战性的模型不同类型的不确定性关系，以及它们之间的相互作用，通过使用一个统一的框架。在交互式模型分析过程中，存在源自机器侧的不确定性（例如，不完美的机器学习模型）和源自人类方面的不确定性（例如，不正确的专家反馈）。这两种不确定性关系将相互作用、相互影响例如，如果系统向专家提供误导性信息，他们可能会返回错误的反馈，导致模型的修改有问题另一个例子是，允许专家查看和细化许多测试样本的结果可能会鼓励过度拟合（Ren等人，2017年）。因此，一个有趣的研究问题是如何建模不同类型的不确定性及其相互作用与一个统一的模型。引用Alsallakh，B.，Hanbury，A.，Hauser，H.，Miksch，S.，Rauber，A.，2014年。分 析 概 率 分 类 数 据 的 可 视 化 IEEE TVCG 20 （ 12 ） ， 1703-1712 。http://dx.doi.org/10.1109/TVCG.2014.2346660网站。Amershi，S.，Chickering，M.，Drucker，S. M.，李，B.，Simard，P.，Suh，J.2015.模型跟踪器：重新设计机器学习的性能分析工具。In：CHI，pp. 337-346.http://dx.doi.org/10.1145/2702123.2702509网站。曹，N.，施，C.，林，S.，卢，J，Lin，Y.R.，林振英，2016年。TargetVue：在线通信系统中异常用户行为的可视化分析。 IEEE TVCG 22（1），280- 289。陈杰，Zhu，J.，王志，郑，X.，张湾，澳-地2013年。逻辑正态主题模型的可扩展推理在：NIPS。朱，J。，李，C.，Reddy，C.K.，帕克，H.，2013. Utopian：基于交互式非负矩阵分 解 的 用 户 驱 动 主 题 模 型 。 IEEE TVCG 19 （ 12 ） 1992-2001 。http://dx.doi.org/10.1109/TVCG.2013.212网站。Chuang，J.，古普塔，S.，哥伦比亚特区曼宁Heer，J.2013年。主题模型诊断：通过主题对齐评估In：ICML，pp. 612-620Cohn，D.，阿特拉斯湖拉德纳河，1994. 通过主动学习提高泛化能力。马赫学习. 15（2），201地方检察官科恩，Ghahramani，Z.，乔丹，MI，一九九六年。 主动学习与统计模型。JAIR4（1），129- 145.哥伦比亚特区科雷亚陈永兴，香港，Ma，K.L. 2009.不确定性感知可视化分析框架。In：VAST，pp. 51比58克雷文，M.W.，Shavlik，J.W.，一九九二年人工神经网络中的可视化学习与计算。Int. J. Artif.内特尔工具1（03），399- 425。崔，W.，Liu，S.，谭湖，加-地施，C.，宋，Y.，高志，Qu，H.，唐，X.，2011.TextFlow：更好地理解文本中不断变化的主题。IEEE TVCG17（12），2412-2421。崔，W.，Liu，S.，吴志，魏，H.，2014. 大型文本语料库中层次主题的演变。IEEETVCG20（12），2281- 2290.DAR，2016.可解释人工智能（XAI）。http://www.darpa.mil/program/解释性人工智能。Dou，W.，Liu，S.，2016年。面向主题和时间的可视文本分析。 IEEE计算Graph. Appl.36（4），8- 13.Dou，W.，Yu，L.，（1991 - 1995），美国，王，X.，妈，Z.，Ribarsky，W.，2013. HierarchicalTopics：使用主题层次结构可视化地探索大型文本集合。IEEETVCG19（12），2002- 2011。Fekete，J. D、2013. 可视化分析基础设施：从数据管理到探索。Computer46（7），22- 29.哈利，A.W.，2015. 卷积神经网络的交互式节点链接可视化。在：国际视觉计算研讨会。施普林格，pp. 867-877Heimerl，F.，科赫，S.，Bosch，H.，埃特尔，T.，2012. 用于文本文档检索的视觉分类器训练。IEEE TVCG18（12），2839- 2848。克里热夫斯基，A.，萨茨克弗岛，巴西-地Hinton，G. E. 2012.使用深度卷积神经网络进行图像网分类。In：NIPS，pp. 1097-1105Lake，B.M.，Salakhutdinov河，Tenenbaum，J.B.，2015年。 通过概率程序归纳的人类水平概念学习。 科学350（6266），1332- 1338。Y.莱昆，本焦，Y.，Hinton，G.，2015. 深度学习Nature521（7553），436李，D. D.，Seung，H.S.，1999. 通过非负矩阵分解学习对象的部分。Nature401（6755），788- 791.Letham，B.，Rudin，C.，McCormick，T.H.，Madigan，D.，2015. 使用规则和贝叶斯分析的可解释分类器：构建更好的中风预测模型。应用统计9（3），1350-1371。Liu，S.，崔，W.，吴，Y.，刘，M.，2014年a。 信息可视化研究综述：最新进展与挑战。The Visual Computer30（12），1373- 1393.刘，M.，Liu，S.，Zhu，X.，廖，Q，魏，F.，潘，S.，2016年。一种不确定性感知的探索性微博检索方法。IEEE TVCG 22（1），250-259。http://dx.doi的网站。org/10.1109/TVCG.2015.2467554。刘，M.，施，J.，Li，Z.，Li，C.，Zhu，J.J.H.，Liu，S.，2017年。更好地分析深度卷积神经网络。IEEE TVCG 23（1），91-100。http://dx.doi.org/10的网站。1109/IEEEETVCG.2016.2598831。Liu，S.，王，X.，陈杰，Zhu，J.，郭湾，澳-地2014年b。TopicPanorama：相关主题的全 貌 。 In ： VAST ， pp. 183-192. http://dx.doi.org/10.1109/VAST.2014 的 网 站 。7042494。Liu，S.，Yin，J.，王，X.，崔，W.，Cao，K.，裴杰2016年c。文本流的在线可视化分析IEEE TVCG 22（11），2451 http://dx.doi.org/10.1109/IEEETVCG。2015.2509990。Liu，S.，Zhou，M.X.，潘，S.，宋，Y.，Qian，W.，蔡伟，Lian，X.，（1991 -1995），中国科学院，2012年。你好交互式、基于主题的可视化文本摘要和分析。ACM TIST3 （2），25：1- 25：28。马腾有限责任公司Hinton，G.，20 0 8 年使 用 t- S N E 可视化数据。 J. 马赫学习. Res.9（Nov），2579McCallumzy，A.K.，Nigamy，K.1998年采用EM和基于池的主动学习进行文本分类。In：ICML，pp. 359-367.Mühlbacher，T.，Piringer，H.，Gratzl，S.，Sedlmair，M.，Streit，M.，2014.打开黑盒：现有算法实现中增加用户参与的策略。IEEE TVCG 20（12），1643-1652。http://dx.doi.org/10.1109/IEEEETVCG.2014.2346578。Paiva，J.G.，弗洛里安湖Pedrini，H.，Telles，G.，明吉姆河，2011. 改进的相似树及其在视觉数据分类中的应用。IEEE TVCG17（12），2459- 2468。派瓦J.G.S.施瓦茨，W.R.，Pedrini，H.，明吉姆河，2015.一种支持增量式可视化数据分类的方法。IEEE TVCG 21（1），4网址：//dx.doi.org/10.1109/TVCG.2014.2331979网站。Pezzotti，N.，Lelieveldt，B.，Maaten，L.V.D.，Hollt，T.，Eschermann，E.，Vilanova，A.，2016年。用于渐进式可视化分析的近似和用户可控tSNE。IEEETVCG PP（99），1-14。http://dx.doi.org/10.1109/TVCG.2016.2570755网站。劳伯，体育，Fadel，S.，Falcao，A.，Telea，A.，2017.可视化人工神经网络的隐藏活 动 。 IEEE TVCG 23 （ 1 ） ， 101-110 。 http://dx.doi.org/10 的 网 站 。1109/TVCG.2016.2598838。Ren，D.，Amershi，S.，李，B.，苏，J.，Williams，J.D.，2017.支持多类分类器的交互式性能分析.IEEETVCG23（1），61-70。http://dx.doi.org/10.1109/TVCG.2016.2598828网站。Sacha，D.，Senaratne，H.，Kwon，B.C.，埃利斯，G.，凯姆地方检察官2016年。不确定性，意识和信任在视觉分析中的作用。IEEE TVCG22（1），240- 249。塞特尔斯，B.，2012年。 主动学习。在：人工智能和机器学习综合讲座，摩根&克莱普尔。Stolper，C.D.，Perer，A.，Gotz，D.，2014.渐进式可视化分析：用户驱动的可视化探索正在进行的分析。IEEE TVCG 20（12），1653-1662。网址：//dx.doi.org/10.1109/TVCG.2014.2346574网站。Streeter，M.J.，沃德作案手法阿尔瓦雷斯公司，2001年Nvis：神经网络的交互式可视化工具Tam，G.L.，Kothari，V.，陈美，2017年。分类中的机器和人类分析分析IEEETVCG 23（1），71 http://dx.doi.org/10.1109/TVCG.2016。 2598829特纳河，巴西-地2016.模型解释系统：最新更新和扩展。在：ICML研讨会。曾芳英，Ma，K.L.2004年用于体数据任意维分类的聚类空间可视化接口在：第六次联 合 欧 洲 图 形 -IEEETCVG 会 议 上 可 视 化 ， pp 。 17-24.http://dx.doi.org/10.2312/VisSym/VisSym04/017-024.曾芳英，Ma，K.L. 2005.打开黑盒-神经网络的数据驱动可视化。在：IEEE可视化，pp. 383-390. http://dx.doi.org/10.1109/VISUAL.2005.1532820.王，X.，Liu，S.，刘杰，陈杰，Zhu，J.，Guo，B.，2016年。TopicPanorama：相关主题的全貌IEEE TVCG 22（12），2508 http://dx.doi.org/10.1109/TVCG。2016.2515592。王，X.，Liu，S.，宋，Y.，郭湾，澳-地2013年。从文本流中挖掘进化多分枝树In：KDD，pp. 第722-730页。56S. Liu等人/视觉信息学1（2017）48魏，F.，李伟，卢，Q.他，Y. 2008.查询敏感的互增强链及其在面向查询的多文档文摘中的应用见：SIGIR，pp.283-290。沃尔德，S.，Esbensen，K.，Geladi，P.，1987. 主成分分析。化学计量学内特尔实验室系统 2（1），37- 52。吴 ， Y. ， 魏 ， F. ， Liu ， S. ， Au ， N.， 崔 ， W. ， 周 ， H.， Qu ， H. ， 2010年 。OpinionSeer：酒店客户反馈的交互式可视化。IEEE TVCG16（6），1109- 1118。吴，Y.，袁国雄，妈，K.L.，2012年。通过分析过程可视化不确定性的流动。IEEETVCG18（12），2526- 2535。Zahavy，T.，Ben-Zrihem，N.，Mannor，S.2016年。灰化黑盒：理解dqns。在：ICML pp. 1899-1908年。赵，J，曹，N.，文志，宋，Y.，Lin，Y.R.，柯林斯角，2014年。#FluxFlow：对社交媒体上传播的异常信息进行视觉分析。IEEE TVCG20（12），1773- 1782。