基于用户的深度学习可视化分类

视觉信息学2（2018）147基于用户的深度学习可视化分类于如蕾、石磊*SKLCS、中国科学院软件研究所、UCASar t i cl e i nf o文章历史记录：2018年8月1日收到2018年9月4日接受在线发售2018年9月12日关键词：深度学习可视化解释a b st ra ct深度学习在各种任务中取得了令人印象深刻的成功，近年来发展迅速。理解深度学习模型的问题已经成为深度学习发展的一个问题，例如，在医学和金融等需要可解释模型的领域虽然分析和解释复杂的深度神经网络具有挑战性，但可视化擅长在抽象数据和直观表示之间架起桥梁深度学习的可视化分析是一个快速发展的研究领域。为了帮助用户更好地了解这一领域，我们提出了一个小型调查，包括基于用户的分类法，涵盖了该领域的最先进的作品。针对不同类型用户（初学者、实践者、开发人员和专家）的需求，我们将方法和工具分为四个可视化目标，分别侧重于教授深度学习概念、架构评估、调试和改进模型的工具以及可视化解释。值得注意的是，我们提供了一个表格，其中包含方法或工具的名称、年份、可视化目标以及方法或工具可以应用的网络类型，以帮助用户快速找到可用的工具和为了强调视觉解释对深度学习的重要性，我们详细介绍了这一研究领域的研究2018浙江大学出版社版权所有由爱思唯尔公司出版这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言. 1472.分类表1482.1.目标用户1482.2.可视化目标1492.3.网络架构1493.深度学习可视化1493.1.初学者：概念教学1493.2.对于从业者：架构评估1503.3.开发人员：调试和改进模型1503.4.专家：视觉解释1513.4.1.特征可视化1523.4.2.归因1524.机会和未来的挑战1535.结论153鸣谢153参考文献153* 通讯作者。电子邮件地址：qqdaiyu55@gmail.com（R. Yu），shil@ios.ac.cn（L.Shi）。同行评议由浙江大学和浙江大学出版社负责https://doi.org/10.1016/j.visinf.2018.09.0011. 介绍深度学习目前是人工智能和机器学习学术领域的兴趣领域和主要焦点。深度学习利用具有强大连接的大规模、层次化神经网络，并产生巨大的可预测性，这显然超过了传统的2468- 502 X/©2018浙江大学和浙江大学出版社。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf148R.于湖，加-地施/视觉信息学2（2018）147Fig. 1. 深度学习可视化方法的分类方案。包括图像和语音识别、智能问答系统和机器翻译在内的若干领域中的机器学习模型（LeCun等人，2015; Goodfellow等人，2016年）。2012年，AlexNet系统使用了由6000万个参数组成的卷积神经网络，在ImageNet大规模视觉识别挑战赛（ILSVRC）中名列第一，前5名的分类错误率为15%，超过了使用传统机器学习模型的亚军超过40%（Krizhevsky等人，2012年）。2017年晚些时候，随着越来越复杂和错综复杂的深度神经网络（如残差网络（ Heetal. ， 2016 ） ， ILSVRC 中 的 前 5 名 分 类 错 误 率 降 低 到2.25%，这显著优于人类预测相同数据集的5%错误率（Huetal.，2017年）。对深度学习的研究热情也延伸到了其他领域。2014年，一个深度神经网络通过优化迁移学习算法，在Labelled Facesin the Wild（LFW）的人脸识别数据库中实现了97.45%的准确率（Sunetal.，2014年）。2015年，Karpathy和Fei-Fei（2015）提出了一种结合卷积神经网络和双向递归网络的模型，通过平衡语言和图像之间的固有等价性，呈现了一种更人性化的图像与传统的机器学习算法相比，深度学习方法，例如，卷积神经网络具有三个优点：第一，通过特征的分层提取和叠加，支持训练过程中的表示其次，随着计算能力的提高，它有利于更深层次的神经网络的学习，并表现出更强的模型表示能力和更好的预测性能。第三，深度学习方法支持端到端训练，不需要用户拥有领域知识。然而，这些优点也有其缺点，导致学习结果的可解释性差。虽然用户很难理解表示学习的结果，但分析复杂和叠加的深度神经网络可能非常具有挑战性。端到端的学习模式给用户的印象是，深度学习模型就像一个无法破译的黑匣子。深度学习的可解释性，以及它对大数据和计算技能的需求被认为是深度学习开发的问题，其中，可解释性是至关重要的。三大缺陷包括：首先，对于深度学习研究领域的研究人员来说，如果训练的深度学习模型缺乏可解释性，他们将无法构建深度学习模型的理论基础其次，对于深度学习模型开发者来说，如果模型的结构和特征无法解释，那么他们在优化特定任务的模型、加速训练或微调参数时会遇到很大的困难。第三，在一些关键领域需要透明度。如果模型是不可解释的，用户将很难相信模型并将模型应用于这些领域（如医学，金融和医学）。可视化作为连接数据、模型和用户的纽带，对于解决深度学习的可解释性问题具有重要意义2. 分类方案我们提出了一个基于用户的，全面的深度学习可视化小型调查，如图所示。1.一、为了满足不同类型用户的需求，我们将深度学习的可视化方法分为四组（更多细节请参见第2.2因此，每个组的用户都可以快速找到可用的工具或方法。此外，我们介绍了四种类型的网络架构来描述深度学习模型：DNN，CNN，RNN和DGM，它们涵盖了大多数使用的网络架构。在表1中，我们描述了我们的文献综述中的哪些类型的网络工具和方法可以应用。因此，用户可以清楚地知道这些方法或工具是否对他们有用2.1. 目标用户初学者：对深度学习知之甚少，需要快速入门的用户。从业者：已经有一些经验并了解深度学习是什么的用户。他们希望在处理深度学习模型时直观地了解架构的外观。开发人员：设计和改进深度学习模型的用户，发现在训练过程中很难调试和调整参数。专家：这组用户在深度学习方面有丰富的经验，他们希望对深度学习可视化的研究领域有一个简要的了解。····R.于湖，加-地施/视觉信息学2（2018）147149表1深度学习的可视化方法和工具分类。目标和架构的细节在第2.2节和第2.3节中解释。方法/工具年目标架构Tensorflow Playground（Smilkov等人，2017年a）2017①DNNGANLab（Kahng等人，（2018年b）2018①DGM3D Node-Link Visualizer（Harley，2015）2015①DNN、CNN深度可视化技术（Yosinski等人，（2015年）2015①CNNTensorBoard（Dean和Monga，2015）2015②③所有CNNVis（Liu等人，2017年a）2017②③CNNTensorflow Graph Visualizer（Wongsuphasawat等人， 2018年）2018②所有DGMTracker（Liu等人， 2018年）2018③DGMGANViz（Wang等人，2018年）2018③DGMRNNBow（Cashman等人，（2017年）2017③RNNRNNVis（Ming等人，（2017年）2017③RNNLSTMVis（Strobelt等人，（2018年b）2018③RNNSeq 2Seq-Vis（Strobelt等人，2018年a）2018③RNNDeepEye（Pezzotti等人， 2018年）2018③DNN、CNNActiVis（Kahng等人，2018年a）2018②③所有激活最大化（Erhan等人，（ 2009年）2009④DNN、CNNDeconvnet（Zeiler和Fergus，2014）2014④CNN类模型可视化（Simonyan等人， 2013年度）2013④CNN引导反向传播（Springenberg等人， 2014年度）2014④CNNSmoothGrad（Smilkov等人，（ 2017年b）2017④CNN特征反转（Mahendran和Vedaldi，2015）2015④CNN遮挡图（Zeiler和Fergus，2014）2014④CNN显着图（Simonyan等人， 2013; Smilkov等人，（2017年b）2013④CNNCAM（Zhou等人，（2016年）2016④CNNGrad-CAM（Selvaraju等人，（2016年）2016④CNNLucid（Olah等人，2017年、2018年）2018④CNN网络解剖（Bau等人，（ 2017年）2017③④CNN①概念教学工具。②建筑评估。③模型修正和改进工具。视觉解释。2.2. 可视化目标该分类满足不同类型用户的要求：用于教授概念的工具（适用于初学者）：本类别介绍了一些有影响力的工具，用于教授初学者深度学习的概念，并帮助初学者建立深度学习如何工作的直觉。架构评估（面向从业者）：这一类别包括有助于可视化网络架构的方法和工具。用于训练和改进模型的工具（用于开发人员）：这一类别包括帮助模型开发人员检查训练过程和改进模型的工具。视觉解释（专家）：在这一类别中，我们介绍了专注于深度学习的视觉解释的研究由于这个快速发展的研究领域对于解释深度学习至关重要，我们将更加关注这一类别。2.3. 网络架构我们将方法和工具按四种类型的网络进行分类，因此读者可以很容易地找到适合他们正在研究的网络的方法和工具DNN：深度神经网络，主要指具有多个隐藏层的规则前馈网络.CNN：卷积神经网络（CNN或ConvNet），是一类前馈网络，通常应用于图像相关的任务，如图像分类。典型CNN中的隐藏层通常由卷积层、池化层、归一化层和全连接层组成RNN：递归神经网络，包括长短期记忆（LSTM）（Hochreiter和Schmidhuber，1997; Gers等人，1999）是一种神经网络，其中类神经节点之间的连接形成有向序列。DGM（Deep Generative Models）是一种使用无监督学习来学习数据分布的强大方法。两个最突出的模型是变分自动编码器（VAE）（Kingma和Welling，2013; Rezelvis等人，2014）和生成对抗网络（GAN）（Goodfellow等人，2014年）。3. 深度学习可视化3.1. 对于初学者：用于教学概念的工具近年来，深度学习的作用在不同领域得到了极大的关注，并且有大量的人希望使用深度学习技术来解决他们领域的问题为了帮助这些用户在深度学习中建立直观的感觉并理解相关概念，可视化工具可以成为教学的良好选择。TensorFlow Playground （Smilkov等人，2017a ）（ 见图2（a）），谷歌提出的开源工具，可视化了一种常规的深度神经网络，多层感知器（MLP）。此工具以带有方形单元的热图的形式显示输入层、隐藏层和输出层中神经元的实时激活状态神经元之间的连接用曲线表示，曲线的粗细和颜色分别表示相应连接的绝对大小和极性。用户可以操纵神经网络的参数，包括任务，层数，激活函数，学习率和批量大小。TensorFlow Playground的交互式界面非常用户友好，可以帮助初学者建立对神经网络的直觉········150R.于湖，加-地施/视觉信息学2（2018）147图二. 用于教授深度学习概念的典型工具。由于深度神经网络通常包含大量神经元，因此3D可视化可以为学习者提供更明确和有吸引力的界面。Harley（2015）对在增强版MNIST上训练的卷积神经网络进行了3D交互式节点链接可视化，通过该可视化，用户可以绘制任何数字作为输入，并实时探索每个神经元如何对输入做出反应，如图所示。第2段（b）分段。用 于 理 解 CNN 的 另 一 种 工 具 是 深 度 可 视 化 工 具 （ DeepVisualization）（Yosinski等人， 2015年），如图2（c）所示。这个开源软件允许用户通过向CNN提供图像或实时网络摄像头来探测CNN，并查看每个神经元对输入的反应。该软件由几个部分组成，显示输入图像、激活、去卷积可视化（Zeiler和Fergus，2014）和来自训练集的图像块，这些图像块最大程度地照亮输入图像。3.2. 对于从业者：架构评估近年来出现了很多新的神经网络架构对于专家和开发人员来说，在训练和测试过程中快速建立网络外观或模型中数据如何流动的直觉至关重要，特别是对于复杂的架构。由于神经网络通常包括神经元及其加权连接边，因此标准节点链接图可用于可视化（Tzeng和Ma，2005; Liu等人，2017年b）。考虑到加权边的前向传播，深度神经网络通常表示为有向无环图（DAG）或流行的深度学习框架，如张量流（Tensor-flow）（Dean和Monga，2015）和theano（Bergstra等人，2010年）。ActiVis（Kahng等人， 2018a）（见图。3（b）），一个部署在Facebook内部系统上的交互式可视化系统，提出了两种可视化计算图的方法。第一个代表operators作为节点和变量的边缘，而第二个认为双方的运营商和变量作为节点。由于TensorBoard的采用，第一种方法变得更受欢迎然而，如果网络包括几十层和数百万个参数，这将带来巨大的困难，使一个干净的接口。 为了解决这个问题 ， Tensorflow Graph Visualizer （ Wongsuphasawatetal. ，2018）（见图3（a）），它集成到TensorBoard中，应用了一系列的图形转换，以产生一个清晰的交互图。此外，为了整理图，可视化工具将不重要的节点从布局中移除，并将多个节点表示为嵌套的超级组。此外，还有一些研究旨在可视化特定类型的网络，如CNN和RNN。一项研究提出了CNNVis（Liu等人，2017a）系统，并以卷积神经网络在图像识别上的应用为例，如图所示。3（c），介绍网络层的概念簇和神经元簇，以组装具有类似功能的网络层或神经元。同时，针对可视化的复杂性，设计了层次矩形填充算法和矩阵重排算法来实现神经元簇的可视化，同时引入了双聚类（Mirkin，1996）边缘捆绑方法来减少神经元之间大量连接所造成的视觉混乱。3.3. 对于开发人员：用于调试和改进模型的工具深度学习模型的训练通常是耗时的，并且在训练过程中具有很大的不确定性模型架构的复杂性，模型使用的大规模数据集以及数百万个参数都要求模型开发人员在设计模型时具有熟练的调优经验，深度学习方面的良好知识和良好的直觉。在这方面，可视化擅长有意义和直观地呈现抽象数据，这有助于开发人员节省大量时间。首 先 ， 我 们 介 绍 深 度 学 习 社 区 中 一 个 众 所 周 知 的 工 具 ：Tensorboard（Dean和Monga，2015），这是用于检查Tensorflow运 行 和 图 形 的 官 方 可 视 化 工 具 包 ， 如 图 4 （ a ） 所 示 。 由 于Tensorflow的流行，Ten- sorboard获得了社区的广泛关注，贡献者超过一百人。现在它有丰富的功能和插件，如图可视化工具和观察者可视化十超。TensorBoard的工作原理是读取Tensorflow事件文件，其中包含Tensorflow运行过程中生成的汇总数据。汇总数据显示在相应的仪表板上，如标量仪表板、图像仪表板和直方图仪表板。对于插件开发者来说，TensorBoard提供了标准的API来读取定制的汇总数据，开发者可以编写后端python代码来对数据进行后处理，并将数据提供给前端层。另一个值得注意的视觉分析系统是ActiVis（Kahng等人，2018a），部署在机器学习平台FBLEarner Flow上（Andrews etal.， 2016; Dunn，2016）在Facebook上。与TensorBoard类似，用户只需添加几行代码就可以在训练过程中获得ActiVis所需的数据ActiVis提供了一个新颖而干净的界面（见图1）。4（b）），其集成了模型架构可视化器、示出神经元激活的主视图、描绘实例激活的2-D投影的投影视图（Rauber等人，2017）和实例选择面板，允许用户比较实例和子集之间的激活模式。参考深度生成模型的训练过程，研究（Liuetal.，2018）（见图4（c））发布了一个有效的工具DGMTracker，它利用有向非循环图来显示深度生成模型的连接结构，并为神经网络层中的每个节点嵌入动态曲线来描绘R.于湖，加-地施/视觉信息学2（2018）147151图三. 用于可视化深度神经网络架构的典型工具见图4。 用于调试和改进深度学习模型的典型工具。训练的动态特性。随着训练的进行，每个神经网络层的激活神经元数量、梯度和神经针对曲线中参数数量多、视觉杂乱的问题，提出了一种基于蓝噪声采样的算法专家进行的用户关于递归神经网络研究（Cashman等人， 2017年（见图）4（d））提出了RNNBow，一种基于Web的可视化工具，用于在递归神经网络的训练过程中可视化梯度流，并帮助用户分析RNN训练中的典型问题，例如消失梯度。RNNBow工具使用堆叠条形图显示每个步骤中相对于权重的梯度以及来自邻域像元的梯度连续性。作者还介绍了一种改进的梯度生成算法，以权衡计算逐项梯度贡献的计算复杂性。实证分析表明，RNNBow是有效的解剖消失梯度现象。受以前工作的启发（Li et al.， 2015; Karpathy等人， 2015;Kádár等人， 2015），研究（Strobelt等人，2018 b）（见图4（e））通过可视化RNN的状态动态来搜索可解释的细胞，以帮助开发人员理解和比较各种RNN模型，引入LSTMVis工具作为序列处理的助手LSTMVis将共聚类技术应用于LSTM和原始输入数据中的单词的隐藏状态，同时设计一个记忆库隐喻来突出LSTM中隐藏状态聚类的结果及其与原始数据的关系。一个基于图表的视觉设计也被纳入直观地揭示原始的顺序输入，是相关的隐藏状态。为了帮助开发人员设计深度学习模型，Pez-zotti等人（2018）提出了DeepEyes，这是一种渐进式视觉分析系统，用于在训练过程中分析深度学习网络，检测稳定层，不必要的层，退化的过滤器，过大的层和未检测到的模式，如图4（f）所示。DeepEyes需要Caffe（Jia等人，2014）文件，其描述网络架构和参数作为输入，并使用Caffe训练网络。此外，它的模型-视图-控制器设计模式为其他深度学习框架提供了进一步的支持，如Tensorflow（Dean和Monga，2015）和Theano（Bergstra等人，2010年）。3.4. 对于专家：视觉解释越来越多的人认为，人类应该解释深度学习的结果，并最终打开黑匣子。我们将这一研究领域的关键工作分为两个主要部分：特征可视化和属性。152R.于湖，加-地施/视觉信息学2（2018）147图五. 可视化在Imagenet上训练的网络的层conv6（顶部）学习的特征。摘自Guided Backpropagation的论文（Springenbergetal.， 2014年）。见图6。计算显着图的不同方法的区分度：香草梯度、集成梯度（Sundararajan等人，2017），引导反向传播（Springenberg等人，2014）和SmoothGrad（Smilkov等人，2017年b）。摘自SmoothGrad的论文（Smilkov等人，2017年b）。3.4.1. 特征可视化特征可视化通过生成示例来告诉网络或网络的一部分学习了什么 Zeiler 和 Fergus 的 一 项 开 创 性 工 作 是 deconvnet （ Zeiler 和Fergus，2014），它揭示了CNN层次结构的正确性。Deconvnet应用了一系列操作，如unpooling、整流和过滤，将特征空间中的活动映射回输入像素空间。可视化结果表明，低级别层学习简单的模式（边缘，颜色），高级别层学习更具体和复杂的模式（草，轮胎）。在deconvnet的帮助下，作者提出了ZFNet，与AlexNet相比，在ImageNet基准测试中获得了更好的结果（Krizhevsky等人， 2012年），赢得ILSVRC'13ImageNet分类竞赛的冠军。特征可视化的一个值得注意的通用阵营是基于梯度的技术。早期的研究（Erhan等人，激活最大化（Activation Maximization），旨在生成最大限度激活某个神经元的图像，从而揭示神经元在训练过程中学习的特征。该方法从随机图像开始，并在梯度上升迭代期间更新图像以增加特定神经元的激活。这里的神经元可以是DNN中的隐藏神经元（Erhan等人，2009），或者输出层中的神经元，其在CNN中对输入图像的类型进行分类。考虑到后者，Simonyanetal.（2013）提出了一种基于梯度的技术类模型可视化，它通过最大化输入图像的类得分来生成图像，以便可视化特定类的概念。Springenberg等人 （2014）提出了一种称为引导反向传播的方法。与vanilla反向传播相比，它在所有层上都是相同的，除了通过整流线性单元（ReLU）进行反向传播。 它增加了一个额外的引导信号，以保持正梯度的反向流动，并产生更清晰的生成图像（图5）。总之，上面介绍的基于梯度的技术（Erhan等人， 2009; Simonyan等人， 2013; Springenberg等人， 2014）主要集中在最大限度地激活特定的神经元。如果我们将优化对象改为编码后的特征向量，则可以从不同的方向进行解释。Mahendran和Vedaldi提出了特征反转（Mahendran和Vedaldi，2015）遵循这个想法。特征反转在输入图像时将CNN特征向量设置为目标，然后找到与给定特征向量匹配的图像，并添加先验正则化以使图像看起来自然。然而，特征可视化仍然存在许多挑战。一篇文章（Olah等人，2017年）由Google Brain团队发布在Distill上，讨论了“特征可视化的敌人”，并介绍了一些正则化方法来处理高频噪声等挑战。此外，本文还讨论了通过优化实现可视化、通过增加“多样性”来实现多样性等方法本文中的技术被集成到开源可视化工具lucid中，该工具收集了特征可视化技术的最新实现（Olah等人，2017年，2018年），并帮助研究人员探索进一步的方向。3.4.2. 归因归因调查网络正在查看输入的哪些部分。一系列常见的方法是基于概率的算法（Zintelleet al.， 2016; Zeiler和Fergus，2014;Lengerich等人，2017年）。Zeiler和Fergus（2014）介绍了一种简单的方法，即遮挡输入图像的部分，并在遮挡器在输入图像的区域上迭代时将感兴趣类别的概率绘制为函数输出热图揭示了输入图像的哪些部分对分类结果的贡献更大，如图所示。 7（e）.另一项重要的工作是显着图（Simonyan等人，2013），也称为敏感度图。这项工作计算类的分数相对于输入图像的导数，以找出图像中的哪些像素对类的分数影响最大。此外，显著图可以用于对象定位，因为单个类的显著图的计算非常快，并且它可以提取给定类的对象的位置而无需额外的注释（例如边界框）。引导反向传播技术（Springenberg等人，2014）也可以应用于显着图。该方法在计算单个导航R.于湖，加-地施/视觉信息学2（2018）147153见图7。呈现归因的方法之间的比较：引导反向传播（Springenberg等人，2014）、Grad-CAM（Selvaraju等人，2016）、Guided Grad-CAM（Selvaraju等人， 2016）和闭塞图（Zeiler和Fergus，2014）。 摘自GradCAM的论文（Selvaraju等人， 2016年）。反向传播传递，以获得更清晰和更清晰的显着性图。然而，引导反向传播显着图仍然有相当多的噪音，为了增强显着性，谷歌AI研究人员（Smilkov等人，2017 b）将像素级高斯噪声添加到图像的许多副本中，并简单地对所得梯度进行平均。实验结果表明，该方法可以有效地去除显著图中的噪声。这些不同方法之间的比较如图所示。 六、周的工作（周等人， 2016）提出了一种使用全局平均池（GAP）生成类激活图（CAM）的技术（Lin等人， 2013年），它只是用GAP取代了FC层。特定类别的类激活图指示CNN用于识别该类别的区别性图像区域与显著图相比，该方法具有显著的定位能力，在ILSVRC 2014上实现了37.1%的前5名错误为了概括CAM，Selvarajuetal. （2016）（Fig. 7 c）创建一种称为梯度加权类激活映射（Grad-CAM）的技术。与CAM不同，Grad-CAM不需要重新训练，适用于各种基于CNN的架构。4. 机会和未来的挑战提高网络的可解释性：毫无疑问，解释深度神经网络对于深度学习的进一步研究至关重要。研究人员试图通过可视化分析方法来解释网络仍然面临着许多问题，例如可视化分析算法和方法的效率、开发一种值得信赖的方法来深入挖掘深度学习模型非常重要。设计用于分析网络的渐进式系统：到目前为止，用于深度学习的可视化分析系统通常会将权重、训练期间的梯度聚合以及一些指标（如准确性和损失）可视化。在未来，有效的可视化分析系统的架构设计，开发交互技术和系统的可扩展性将是有前途的研究课题。高级网络架构的可视化分析：目前大多数深度学习的可视化分析方法都集中在基本模型上，如CNN和RNN。由于许多高级网络在一些现有任务中表现良好，如seq2seq网络（ Sutskeveretal. ， 2014 ） 用 于 机 器 翻 译 和 DenseNet（Huang等人，对于图像识别来说，分析这些复杂网络具有挑战性但意义重大。5. 结论我们提出了一个基于用户的小型调查，包括深度学习可视化的最新作品，以帮助用户更好地了解这个年轻且快速发展的研究领域。因为针对用户在深度学习过程中积累的各种目标和知识的多样性，我们将深度学习工作分为四个可视化目标，旨在帮助用户快速找到他们需要的工具和方法。为了便于查找，我们绘制了一个表格，包括工具和方法目标，分类。值得注意的是，我们详细介绍了深度学习视觉解释的研究领域。确认于如蕾和石磊的研究项目得到了国家973项目2014CB340301和国家自然科学基金资助61772504的资助我们要感谢所有的匿名评论者的有益的评论。引用安德鲁斯，P.，Kalro，A.，Mehanna，H.，Sidorov，A.，2016.大规模生产机器学习管道。在第33届国际机器学习会议（ICML）上的ML系统研讨会。Bau，D.，Zhou，B.，（1991年），中国地质大学，Khosla，A.，奥利瓦，A.，Torralba，A.，2017年。 网络解剖：深层视觉表征的量化解释性。计算机视觉与模式识别CVPR，2017 IEEE Conference on.IEEE，pp. 3319-3327Bergstra，J.，布勒勒岛Bastien ，F.，Lamblin，P.，帕斯卡努河Desjardins，G.，Turian，J.，沃德-法利，D.，本焦，Y.，2010. Theano：Python中的CPU和GPU数学编译器。第九届Python科学大会，卷。1.一、现金男，D.，帕特森，G.，Mosca，A.，张河，2017年。RNNbow：通过递归神经网络中的反向传播梯度进行可视化学习，在：深度学习可视化分析研讨会。Dean，J.，蒙加河，巴西-地2015年。Tensorflow-Google最新的机器学习系统，面向所有人开源。在：谷歌研究博客.邓恩，J.，2016. 介绍FBLEarner流：Facebook AI骨干。在：Facebook的代码.尔汗，D.，本焦，Y.，库维尔，A.，文森特，P.，2009年 可视化深度网络的高层特征。Univ. Montreal1341（3），1.Gers，F.A.，Schmidhuber，J.，Cummins，F.，1999年学习遗忘：用LSTM进行持续预测古德费洛岛，澳-地本焦，Y.，库维尔，A.，2016. 深度学习MIT Press.古德费洛岛，澳-地J.普盖特-阿巴迪米尔扎，M.，徐，B.，沃德-法利，D.，奥扎尔，S.，库维尔，A.，本焦，Y.，2014. 生成性对抗网。在：神经信息处理系统的进展。pp. 2672-2680哈利，A.W.，2015. 卷积神经网络的交互式节点链接可视化。在：国际视觉计算研讨会。施普林格，pp. 867-877他，K.，张，X.，Ren，S.，孙，J.，2016年。用于图像识别的深度残差学习在：IEEE计算机视觉和模式识别会议论文集770-778Hochreiter，S.，Schmidhuber，J.，一 九 九 七 年。 长短时记忆。 神经元计算9（8），1735胡，J，沈，L.，孙，G.，2017.压缩和激励网络，ArXiv预印本arXiv：1709.01507。黄，G.，刘志，范德马滕湖，Weinberger，K.Q.，2017. 密集连接的卷积网络。见：CVPR，第1卷。p. 3.第三章。Jia，Y.，Shelhamer，E.，多纳休，J.，Karayev，S.，朗，J.，格希克河，巴西-地瓜达拉马，S.，Darrell，T.，2014. Caffe：用于快速特征嵌入的卷积架构。 第22届ACM多媒体国际会议论文集。ACM，pp. 675-678Kádár，A.，Chrupaea，G.，Alishahi，A.，2015年。多模态递归神经网络的语言学分析在：第四届视觉和语言研讨会的会议记录，pp。八比九Kahng，M.，安德鲁斯，P.Y.，Kalro，A.，Chau，D.H.P.，2018年a. ActiVis：行业规模深度神经网络模型的可视化探索。 IEEE Trans. 目视Comput. Graphics24（1），88- 97.···154R.于湖，加-地施/视觉信息学2（2018）147Kahng，M.，Thorat，N.，Chau，D.H.P.，Viégas，F. B.，Wattenberg，M.，2018年b月。GAN实验室：使用交互式视觉实验理解复杂的深度生成模型。IEEETrans. Vis. Comput. Graphics-遗漏广西快乐卡帕西，A.，Fei-Fei，L.，2015.用于生成图像描述的深度视觉语义对齐。在：IEEE计算机视觉和模式识别会议论文集3128-3137。卡帕西，A.，约翰逊，J.，Fei-Fei，L.，2015年。可视化和理解循环网络，ArXiv预印本arXiv：1506.02078。金 玛 ， D.P. ， 威 林 ， M. ， 2013. 自 动 编 码 变 分 贝 叶 斯 ， ArXiv 预 印 本 arXiv ：1312.6114。克里热夫斯基，A.，萨茨克弗岛，巴西-地辛顿，通用电气，2012. 使用深度卷积神经网络进行图像网分类。在：NIPS'12. pp. 1097-1105Y.莱昆，本焦，Y.，Hinton，G.，2015. 深度学习Nature521（7553），436Lengerich，B.J.，Konam，S.，Xing，E.P.，罗森塔尔，S.，Veloso，M.，2017年。通过输入响应对卷积神经网络进行在：ICML深度学习可视化研讨会李杰，陈旭，Hovy，E.，Jurafsky，D.，2015.可视化和理解NLP中的神经模型，ArXiv预印本arXiv：1506.01066。林，M.，陈昆，Yan，S.，2013年。网络中的网络，ArXiv预印本arXiv：1312.4400。刘，M.，施，J.，Cao，K.，Zhu，J.，Liu，S.，2018年 分析深度生成模型的训练过程。IEEE Trans. Vis. Comput. Graphics24（1），77- 87.刘，M.，施，J.，Li，Z.，Li，C.，Zhu，J.，Liu，S.，2017年a。更好地分析深度卷积神经网络。IEEE Trans. Vis. Comput. Graphics23（1），91- 100.Liu，S.，王，X.，刘，M.，Zhu，J.，2017年b月。更好地分析机器学习模型：视觉分析视角。目视告知。1（1），48- 56。Mahendran，A.，维达尔迪，A.，2015.通过反转它们来理解深层图像表示。计算机视觉与模式识别CVPR，IEEE Conference on。Ming，Y.，Cao，S.，张，R. Li，Z.，陈玉，宋，Y.，Qu，H.，2017. 理解递归神经网络的隐藏记忆。在：VAST'17.Mirkin，B.， 1996. 数学分类和聚类。非凸优化应用系列 十一岁Olah，C.，Mordvintsev，A.，舒伯特湖，2017. 功能可视化。蒸馏2（11），e7. Olah，C.，Satyanarayan，A.，约翰逊岛，卡特，S.，舒伯特湖，是的，K.，Mordvintsev，A.，2018. 可解释性的基石。 蒸馏3（3），e10。Pezzotti，N.，霍尔特，T.，Van Gemert，J.，Lelieveldt，B.P.，Eschermann，E.，Vilanova，A.，2018年Deepeyes：用于设计深度神经网络的渐进式视觉分析。 IEEETrans. Vis. Comput. Graphics24（1），98- 108.劳伯，体育，Fadel，S.G.，Falcao，A.X.，Telea，A.C.，2017年。可视化人工神经网络的隐藏活动。IEEE Trans. Vis. Comput. Graphics23（1），101- 110. D.J. Rezegli，穆罕默德，S.，Wierstra，D.，2014.深度生成模型中的随机反向传播和近似推理，ArXiv预印本arXiv：1401。4082号Selvaraju，R.R.，达斯，A.，韦丹塔姆河，Cogswell，M.，帕里克，D.，巴特拉，D.，2016年。你为什么这么说？通过基于梯度的定位从深度网络中获得视觉解释，ArXiv预印本arXiv：1610.02391。西蒙尼扬，K.，维达尔迪，A.，齐瑟曼，A.，2013年。深入卷积网络：可视化图像分类模型和显着图，ArXiv预印本arXiv：1312.6034。Smilkov，D.，卡特，S.，Sculley，D.，Viégas，F. B.，Wattenberg，M.，2017年a。深度网络的直接操作可视化，ArXiv预印本arXiv：1708.03788。Smilkov，D.，Thorat，N.，金，B.，Viégas，F.，Wattenberg，M.，2017年b月。SmoothGrad：通过添加噪声消除噪声，ArXiv预印本arXiv：1706.03825。Springenberg，J.T.，多索维茨基，A.，布罗克斯，T.，Riedmiller，M.，2014年。力求简单：全卷积网络，ArXiv预印本arXiv：1412.6806。Strobelt，H.，Gehrmann，S.，Behrisch，M.，Perer，A.，菲斯特，H.，拉什，上午，2018年a. Seq 2Seq-Vis：一个用于序列到序列模型的可视化调试工具，ArXiv peprintarXiv：1804.09299。Strobelt，H.，Gehrmann，S.，菲斯特，H.，拉什，上午，2018年b月。LSTMVis：一个用于递归神经网络中隐藏状态动态的可视化分析工具。 IEEE Trans. 目视Comput. Graphics24（1），667- 676.S