没有合适的资源?快使用搜索试试~ 我知道了~
用于可视化解释的3 * Jinjiang Yiyou酒店,广州-马上预订;1 2MIT CSAIL哈佛{bzhou,davidbau,torralba}@ csail.mit.edu,sunyiyou@seas.harvard.edu* 表示贡献抽象。 由深度神经网络做出的决策的解释对于人类最终用户能够理解和诊断系统的可信度是重要的。目前用于视觉识别的神经网络通常被用作黑盒,其不提供任何人类可解释的预测理由。在这项工作中,我们提出了一个新的框架,称为可解释的基础分解,为分类网络提供可视化的解释。通过将输入图像的神经激活分解为从大型概念语料库中预先训练的语义可解释的组件,所提出的框架能够解开激活特征向量中编码的证据,并量化每条证据对最终预测的贡献我们应用我们的框架来解释几个流行的视觉识别网络,并表明它能够以人类可解释的方式解释网络给出的预测。 我们的框架和其他最近 的解 释 方 法 提供的视觉解释的人类可解释性通 过 AmazonMechanical Turk进行了评估,表明我们的框架1产生更可信和可解释的解释。1介绍随着深度网络在视觉识别中不断扩大的应用范围(如对象分类[19],场景识别[29],图像字幕[24]和视觉问答[1])中继续证明其能力,网络不仅要做出准确的预测,而且要能够解释为什么网络做出每个预测。对深度网络的一个好的解释应该扮演两个角色:第一,它应该是网络运行的忠实代表;第二,它应该足够简单和可解释,让人类能够理解。有两种方法可以为一个深网。一种是通过创建一个热图来识别网络用于做出特定决策的证据,该热图指示输入的哪些部分对决策最显着[28,2,20]。这样的热图可以使用1代码和数据可从https://github.com/CSAILVision/IBD2B. Zhou,Y. Sun,D. Bau、A.Torralba各种技术,并且可以应用于识别图像和训练集的最显著部分。第二种方法是通过识别每个部分所包含的概念来识别网络内部表示的目的网络检测[3,27,7]。这样的概念字典可以通过将网络单元与广泛的概念数据集匹配,通过生成或采样揭示单元的灵敏度的示例输入,或者通过训练网络的部分以解决可解释的子问题来创建。在本文中,我们描述了一个框架,称为可解释的基础分解(IBD),将这两种方法结合在一起,以产生视觉识别的解释。该框架能够分解证据预测图像分类成语义可解释的组件,每个组件具有识别的目的,热图和排名贡献,如图所示。1.除了显示网络的位置外,我们还显示了网络在输入图像的每个部分响应对冲(20.99%)手掌(7.57%)尾巴(6.60%)预测:修剪花园+++凸轮刷子(5.72%)=低收入者(3.44%)雕塑(5.17%)绵羊(4.53%)+++残留(45.97%)+Fig. 1.可解释基分解通过将决策分解为可解释基的组成部分来提供对预测的解释。贡献最大的组件与每个术语的标签、贡献和热图一起显示我们的框架是基于这样的见解,即良好的解释取决于CONT EXT。为了进行扩展,在将存储空间从存储器扩展到可用存储器的情况下,存储器可以扩展。 一架飞机飞得太高,就不是一架客机,反之亦然。我们形式化的一组突出的概念作为一个可解释的基础在特征空间中的选择的想法,并描述了如何构建一个上下文特定的概念基础作为最小二乘问题的解决方案我们所描述的每个解释都是一个可视化的和一个矢量的分解的一个layer的intérnalstat的intér可实现的compons的intérnal。 作为一个向量或分解,每个解释都忠实于网络,量化了每个分量的一致性,也量化了任何未解释的残差。用于可视化解释的可解释基分解3该框架还提供了足够简单的解释,让人能够理解。我们进行了人工评估,以表明这些解释可以让人们准确地了解网络的准确性。我们将我们的贡献总结如下:1)一个称为可解释基分解的新框架,为神经决策提供具有标签和热图的语义解释。2)所提出的框架在广泛的网络架构上的应用3)人类评估,以证明解释是可以理解的人,优于以前的热图和基于单位的解释方法。1.1相关工作可视化神经网络。已经开发了许多技术来可视化卷积神经网络的内部表示。CNN的行为可以通过对最大化隐藏单元的激活的图像块进行采样来可视化[25],并且通过反向传播来识别或生成显着的图像特征[16,21]。可以训练图像生成网络以通过合成输入图像来反转深度特征[5]。可视化单元的语义可以手动注释[27]或通过测量单元激活与预定义的概念词典之间的对齐来自动注释[3]解释神经网络决策。已经通过生成诸如CAM [28]和梯度CAM [20]的信息热图,或者通过以最终预测[21]和逐层相关性传播[2]为条件的反向传播,已经研究了每个通道对最终预测的属性字幕方法已被用于为细粒度分类任务生成句子解释基于热图的解释方法的局限性在于,所生成的热图是定性的,并且信息量不足以告知已经检测到哪些概念,而基于句子的解释方法需要句子描述的自组织语料库以便训练字幕模型。我们的工作是建立在以前的工作解释的语义单位[3]以及以最终预测为条件的热图[20,28]。我们不是我们将表明,所提出的方法是能够产生忠实的解释,这是比以前的基于热图和单位激活的方法更翔实。成分分析通过将输入信号分解为分量来理解输入信号是一个古老的想法。主成分分析[12]和独立成分分析[11]已被广泛用于从高维数据中分离低维基础。其他分解方法,如双线性模型[23]和Isomap [22]也用于发现数据中有意义的子空间和结构我们的工作的灵感来自以前的工作组件分解。我们不是在无监督的情况下学习组件,而是从一个完全注释的数据集中学习组件集,这样我们就有了一个4B. Zhou,Y. Sun,D. Bau、A.Torralba每个组件的地面实况标签投影后,标记的组件提供解释,形成人类可理解的解释。并行工作[14]提出在从预定义数据集学习的一组语义概念向量的方向上检查表示的行为这些概念激活向量与我们的可解释基向量发挥类似的作用,但虽然该工作专注于一次使用单个特征来检索和评分样本,但我们的工作使用基向量集来创建解释和分解的热图以用于决策。2可解释基分解框架可解释基分解的目标是解码和解释来自在向量或在神经网络的最小层处的活动函数的每一位的信息。先前的工作已经表明,可以使用训练的特征反转网络粗略地反转特征层以恢复对原始输入图像的近似[5]。我们的目标不是恢复输入图像,而是从特征向量中解码出有意义的可命名组件,以便我们可以构建对最终预测的解释。我们将描述如何分三步分解特征向量我们首先描述一种将输出类k分解为一组可解释组件c的方法。在我们的分解中,类和概念都表示为向量wk和qc,它们对应于特征空间中的线性分类器,并且分解表示为wk的基的最优选择。这个步骤的结果是一组与每个类相关的基本概念。接下来,我们描述如何导出对应于基本可解释概念c的广泛词典的向量qc。通过训练线性分割模型以在特征空间内定位概念来学习每个qc最后,我们描述了如何创建实例决策的解释。这是通过将特征向量投影到学习的可解释基础中并测量每个可解释组件的贡献来完成的。解释包括对最终得分贡献最大的概念列表,以及每个概念的热图,该热图显示了最终预测的贡献出现的位置。框架如图所示。二、2.1定义可解释的基础可以通过针对布局器的输入表示的可实现的布局器来在布局器上执行扩展。为了理解为什么,将f(x)∈RK设置为具有K个输出维度的深度网络,考虑不具有最终softmax。我们感兴趣的是解释x的属性,这些属性决定了特定类k≤K的分数fk(x):例如,我们可能希望知道一个概念c(如人群)是否会导致输入被分类为输出类k(如机场)。我们可以用一个中间表示来表达我们的问题写f(x)=h(g(x)),其中h(a)是网络的顶部,a=g(x)∈RD是感兴趣层的表示空间中然后调查用于可视化解释的可解释基分解5KCiK的类激活图预测:客厅客厅类权重向量了图 二、 IllusetratioofInterpretaBasisDecommpositionΣ. 这类课程是一个很好的视频教程它设计用于访问独立的数据库,这是一个非常重要的概念,它的核心是映射到标记的概念ci以及揭示激活的热图的投影qTA。预测k的解释由概念标签c,i和针对w,T,a的分解中的最高有效项的对应热图组成。对于该特定示例,墙、沙发、桌子(以及一些其他未示出)是构成起居室的预测的顶部贡献基础元素如果x的性质决定了fk(x),我们可以询问中间表示a=g(x)的性质决定了hk(a)。让我们关注一个简单的情况,其中a=g(x)是倒数第二层的输出,h(a)是最后一层完成的简单线性运算则hk是一个线性函数,它根据a和wk∈RD之间的角度对a进行评分:h(a)≡W(h)a+b(h)(1)hk(a)=wTa+bk(2)并非表示空间RD中的所有方向都是同样可解释的。补充的是,我们有一个直接的集合sqci∈RD,它可以表示与类k相关但比k本身更容易理解的简单的可解释概念ci。 然后,我们可以通过将其分解为如下所示的i个可实现的分量的加权和来解释wk。wk≈sc1qc1+···+scnqcn(3)如果在{qci}划分的空间中工作效率不高,则该内容将成为决策过程中的一个孤立的错误。在矩阵xC的列中,我们可以认识到最小化该误差是一个熟悉的最小二乘问题:求sci最小化||R||其中wk=sciqci+· · ·+scnqcn+ r⑷=Cs+r(5)最佳值由s=C+wk给出,其中C+是C的整数。一conv层壁,贡献=24.8%表,贡献=6.25%s墙*q形墙*一为s表*q表*一为沙发,贡献=9.3%s沙发*q沙发*一=未标记残留=40.2%焕光*可解释基分解一...概率间隙=6B. Zhou,Y. Sun,D. Bau、A.TorralbaCKKKK当解释wk的分解时,概念的否定不像正概念那样容易理解,因此我们寻找每个系数sci>0为正的分解。此外,我们寻求分解与少量的概念。我们把它建得很好,就像下面一样。 假设我们已经选择了一组列C=[qc1| · · · |qcn],并且残差在⑷中为=||wk−Cs||.然后,我们可以通过添加第(n+1)个概念来减少残差以减少误差。最好的这种概念是在保持系数为正的同时产生最小残差的概念:argmin min ||wk− [C|qc] s||(六)c∈Cs,si>0其中[C|表示将候选概念c的向量qc添加到C的列的矩阵。2.2从注释为了解释图像分类任务,我们使用Broden数据集构建候选概念C的宇宙[3]。Broden包括像素级分割,广泛的高层次的视觉概念,如物体和零件,以及低层次的概念,如颜色和材料。对于Broden中的每个候选概念c,我们计算嵌入qc∈CRD如下。由于Broden提供每个概念的像素级分割,因此我们训练逻辑二元分类器hc(a)= sigmoid(wTa+bc)来检测概念c的存在。训练是在中心存在或不存在c的图像混合上进行的,并且在训练过程中使用硬否定挖掘来选择信息丰富的否定示例;训练过程在第2节中详细描述第3.1条学习的wc捕获与类c相关的特征,但它以对c的训练条件敏感的方式进行缩放。 为了消除这种任意缩放,我们将qc定义为normalizedvect或qc=(wc−wc)/||wc−wc||.2.3通过可解释基分解解释预测将任何类权重向量wk分解为可解释的分量CkCRD允许我们以与分解wk本身完全相同的方式将激活a的评分分解为Ck该分解将提供分类的可解释的解释此外,如果我们定义一个更大的基C,Ck,添加残差向量r = wk−Cks,我们可以说更强的东西:把…投射到C*cap的b是由两个网络k对于类k的最终层得分hk(a)所确定的中间层。hk(a)=wTa+bk(7)=(Cs)Ta+bk(8)=slqTa+··+siqTa+··+snqTa+rTa+bk(9)c1`cixcn` x概念c的贡献i剩余贡献用于可视化解释的可解释基分解7Ci因此,我们可以将得分分解为每个概念的贡献,并且我们可以根据其贡献对每个概念进行排名。当激活a= pool(A)由卷积层A的全局平均池化导出时,我们可以交换池化操作内部的点积以获得局部化概念ci的贡献的图片。siqTa=siqT池(A)(10)cic i=池(siqTA)(11)`cix概念ci我们寻求的解释由对hk(a)具有最大贡献的概念的列表ci以及每个概念的热图qTAIBD热图qTA类似于CAM热图wTA,并且可以用于重建。cik如果全部求和,则构造CAM热图然而,除了summa-可解释基分解一次性地提升对分类有贡献的位置,将解释分离成分量热图,每个分量热图对应于对决策有贡献的单个概念为GradCAM分解渐变:Grad-CAM是CAM [28]的扩展,用于为具有多个最终非卷积层的网络生成热图。从最终的卷积特征图a=g(x)开始,通过将该激活乘以关于类k的较高层h(a)的池化梯度来形成Grad-CAM热图。1Σ Σwk(a)=Z我ahk(12)J这里,向量wk(a)起到与CAM中的常数向量wk相同的作用:为了创建可解释的基础分解,可以如等式1中所描述的那样分解wk(a4-6来创建Grad-CAM热图的组件级分解。由于wk(a)是输入的函数,因此每个输入将具有其自己的可解释基础。3实验在本节中,我们将描述如何从带注释的数据集中学习可解释的基础然后,我们将表明,可解释基础的概念,与网络的每个预测类相关联,揭示了每个网络所学习的抽象。之后,我们使用可解释的基础分解来解释流行的网络架构给出的预测:AlexNet [15],VGG [13],ResNet(18层和50层)[8],每个在ImageNet [4]和Places365 [29]上训练的划痕。最后,我们通过Amazon Mechanical Turk评估了我们的方法给出的解释的保真度,并与其他可视化解释生成方法进行了比较。8B. Zhou,Y. Sun,D. Bau、A.Torralba3.1从Broden我们从完全注释的图像数据集Broden [26]中推导出可解释的基础。因为我们的重点是用人类可解释的概念来解释神经网络的高级特征,所以 我 们 取 了 Broden 数 据 集 中 对 象 和 部 件 的 注 释 最 初 来 自 数 据 集ADE20K [30]、Pascal Context [17]和Pascal Parts [6]。我们过滤掉了少于10个图像样本的概念,从而从用于训练和测试的30K图像中产生了660个概念对于Broden数据集中的每个概念,我们学习一个逻辑二元分类器。分类器的输入是激活状态下的特征向量a(i,j)∈RDA∈RD×H×W,输出是概念在(i,j)∈(range(H),range(W))出现的概率的预测。我们的分割的地面真值标签是通过使用最近邻将原始概念掩码下采样到H×W大小来注意,Broden提供多标记分割,并且在每个下采样像素中通常存在若干概念。因此,每个概念分类器彼此独立地被训练是合适的。由于某些概念的正样本数量和负样本数量高度不平衡,因此我们对训练集进行重新采样,以保持每个类别的正样本和负样本的比例固定在1:20并使用5轮硬负挖矿。我们评估了从几个网络中学习的深度特征的准确性在Broden数据集的固定验证集上用mAP评估所有模型。模型AlexNetVGG16Resnet18 Resnet50地图0.6250.6910.784 0.804表1.用于Broden数据集中的对象和部件概念的学习概念分类器的mAP。使用的特征是在Places365上从头开始训练的网络的最终卷积层的激活。3.2解释分类决策边界可解释基础分解为每个输出类分配可解释概念的基础。这个基础可以被看作是输出类和Broden数据集中的基本概念之间的一组组合规则不同的网络学习不同的一组这样的语义规则用于预测,因此通过直接检查网络的可解释基础分解,我们可以了解每个网络针对每个网络学习的决策边界。课用于可视化解释的可解释基分解9(a) 比较Resnet18使用的不同概念不同的预测。(b)比较不同网络的不同概念(Resnet 18,Resnet 50,AlexNet-CAM,VGG 16-CAM)利用它来做预测(places365标签:餐厅,鞋店)。图3.第三章。可视化不同的网络如何使用Broden概念组成最终的预测类每个图中的左侧标签显示Places365的类,右侧标签是Broden的概念类和概念之间的每个链接的厚度指示系数sci的大小。具 体 地 , 我 们 的方 法 将类k的每 个 权 重 向 量 wk 分 解 为 las2中的sumwk=sc1qc1+···+scnqcn+r,其中,qci表示概念ci的嵌入向量,并且sci是指示其对整个类k的贡献的系数。该分解指示输出类k与由系数sci描述的概念c i之间的关系。在图3中,我们可视化Places365类k的子集以及它们如何通过不同的网络分解成Broden概念ci图的左列是要分解的Places365类的列表。右列显示了Broden数据集的相关概念。类和概念之间的弧的厚度被绘制出来以显示系数sci的大小。 sci越大,概念ci对类别k的预测就越重要在图3中。(a)可以看出单个网络如何组成概念以构成各种不同的预测类。注意,在(a)中示出的所有类具有相同的“类”,但是在该概念的实施例中与该概念不同,这可以被视为不同的图三. (b),显示了不同网络用于对类进行相同预测的不同组成规则。例如,在预测类“鞋店”中,所有网络都认为“鞋”是一个很容易理解的概念,它是对它的预测,而这个概念是对其他概念的理解。 VGG16将“底部”和“执行标记”作为“shoe s hop”的重要组成部分,同时将“shoe s hop”分解为“glas s”和“chek-in-desk”。“2对于这个实验,我们用GAP层替换AlexNet和VGG16中的fc层并重新训练它们,类似于[28]10B. Zhou,Y. Sun,D. Bau、A.Torralba3.3解释图像预测给定可解释基分解wk=sc1qc1+···+scnqcn+r,在一个实施例中,Ta=scqTa+ ···+scqTa+k k1c1ncn其中每个项scqTa可以被认为是概念i对ici最后的预测。我们对贡献分数进行排名,并使用概念标签作为对预测的解释。每个项还对应于对CAM或Grad-CAM显著性热图的贡献。图4示出了通过我们的方法进行的视觉解释的定性结果。对于每个样本,我们显示了输入图像,网络给出的预测,CAM [28]为Resnet 18和Resnet 18生成的热图,以及Grad-CAM热图[20]为AlexNet和VGG 166生成的热图,以及前3个贡献可解释的基础分量及其标签和数值贡献。在图4(a)中,我们从Places365中选择了三个示例,其中VGG16和ResNet18做出了相同的正确预测。在两个示例中,解释提供了VGG16在某些情况下可能由于错误的原因而正确的证据:它匹配飞机概念以有助于人行横道预测,并且它匹配沙发概念以有助于其市场预测。相比之下,ResNet18似乎对更相关的概念敏感。在图4(b)中,我们展示了我们的方法如何提供对不一致预测的洞察。ResNet18将最后一行中的图像分类为艺术学校,因为它看到了描述为手、纸和绘画的特征,而VGG16将图像分类为自助餐厅图像,因为VGG16对桌子、椅子和地图特征敏感。这两个网络都是不正确的,因为桌子上盖满了扑克牌,而不是图纸或地图,正确的标签是娱乐室。在图4(c)中,我们显示了不同模型对同一样本产生的变化。3.4视觉解释为了衡量我们的方法提供的解释是否合理,是否令人信服,我们要求AMT评分员比较两种不同解释的质量。我们使用不同的解释方法(可解释基础分解,网络解剖,CAM和Grad-CAM)创建了四个不同模型(Resnet 50,Resnet 18,VGG 16和AlexNet,在Places 365上训练评估界面如图所示。5.在每个比较任务中,评分者被示出具有相同结果但具有不同解释的两个场景分类预测。一个解释被确定为机器人A,另一个被确定为机器人B,并要求评分者在五点李克特量表上决定哪个机器人更合理。还收集了关于差异的书面评论在界面中,热图被表示为简单的蒙版,突出显示热图中前20%的像素;解释限于四个热图;并且每个热图可以用命名的概念来标记。用于可视化解释的可解释基分解11图4.第一章解释具体的预测。每个组中的第一图像对包含原始图像(左)和单个热图(右),其中预测的标签和归一化的预测分数在括号中。单个热图是ResNet的CAM和Alexnet和VGG的Grad-CAM随后是对应于预测的可解释基础分解中的三个最重要项的三个热图显示了每个组件对得分的百分比贡献(a)两个网络做出相同预测的示例(b)两个网络做出不同预测的解释。(c)不同架构的比较。图五、人工评估界面对同一预测提出了两种不同的解释,并要求评分员评价哪种解释更合理。12B. Zhou,Y. Sun,D. Bau、A.TorralbaKK我基线CAM,梯度CAM,和网络解剖的解释我们比较我们的方法,几个简单的基线解释。第一个基线是CAM [28]和Grad-CAM [20],它们由图像的单个显著性热图组成,显示了对分类贡献最大的图像区域使用第2.1节的符号,通过根据分类向量wk或池化梯度wk(A)对倒数第二个特征层A的像素进行加权来给出CAMk(A)TAGrad-CAMk(A)TA第二个基线是由Network Dissection标记的热图的简单单位分解。在该基线方法中,每个热图对应于特征图A的单个通道,其具有如下解释:由Netw或kD i ssect i on给出[26]。这是一个简单的xplanationΣrankschann elsac-根据对w贡献最大的分量i,Ta=iwkiai。使用第2.1节的符号,这对应于选择固定基C,其中每个conceptv ec toris the unittv ec torintheeitthdim e nsionqci=ei,可用于网络剖析。热图由下式给出:NetDissectk,i(A)≡eTA, 按最大wki,ai(14)CAM和网络解剖解释可以被认为是可解释基分解的极端情况:CAM选择基础不变并且直接可视化来自激活的贡献;而网络剖析总是选择相同的单位基。直接比较解释方法。在第一个实验中,我们将我们的方法生成的解释与Network Dissection [26]和CAM [28]以及Grad-CAM [20]生成的解释进行了比较。 在这个实验中,机器人A和机器人B都是做出相同决定的相同模型,但是该决定以两种不同的方式解释。对于每个网络和解释方法对,由至少40个不同的AMT工作者完成对解释的200个评估图8总结了6个成对比较。在所有测试的网络架构中,评分员发现我们的方法平均比CAM,Grad- CAM和Network Dissection创建的解释更合理评价中带有评论的代表性样品如图所示。六、评分者关注解释区域的质量和相关性以及命名概念的质量和相关性当将CAM和Grad-CAM的单图像解释与我们的多图像解释进行比较时,一些评分者表达了对较短解释的偏好,而另一些评分者则更喜欢较长的解释。由于人们通常认为人类对简单的解释有强烈的偏见([10]),有趣的是,平均而言,人类评分者更喜欢我们更长的解释。接下来描述的第二个实验,通过仅评估评估者对机器人A和机器人B看到相同类型解释的比较来控制这种偏差用于可视化解释的可解释基分解13A:Resnet-50与NetDissect一起解释工人1:B显然更合理,因为工人2:B显然更合理,因为A:Resnet-50与CAM工人1:B稍微不太合理,因为工人2:B显然更合理,因为B:用我们的方法解释Resnet-50“Robot B:使用我们的方法的Resnet-50不是更衣室图片和细节比机器人A见图6。在方法的头对头比较中人类反馈的代表性示例。对于每个图像,进 行 一 次 比 较 。 在 左 边 , 使用 Net Dissection 和 我 们 的 方 法 对 相 同 的ResNet50决策进行了比较在右边,使用CAM和我们的方法的解释进行了比较,另一个ResNet50的决定。A:用我们的方法解释Resnet-18B:用我们的方法解释Resnet-50工人1:B显然更合理,因为工人2:同样合理,因为A:Resnet-18 withCAMB:Resnet-50与CAM工人1:B显然不太合理,因为工人2:同样合理,因为见图7。信任比较中人类反馈的代表性示例。对于每个图像,进行两次独立的比较。在左边,使用我们的解释方法比较了ResNet50和ResNet18的决策。在右边,使用CAM解释来比较相同的决策对。见图8。并排比较不同的解释方法每个酒吧保持网络相同,并比较我们的解释,另一种方法。蓝色和绿色表示我们的方法的解释明显或稍微合理的评级,黄色和橙色表示我们的方法比不同的解释方法稍微或明显不合理的评级。见图9。比较不同解释方法下用户的信任每个条形图保持相同的解释方法,并将ResNet50与另一个模型进行比较。蓝色和绿色指示评价,其中ResNet50解释被清楚地评级且稍微更合理,黄色和橙色指示解释,其中ResNet50稍微且明显不太合理。14B. Zhou,Y. Sun,D. Bau、A.Torralba比较模型信任的评估。第二个实验评估的能力,用户评估模型的可信度的基础上只有一对解释。评估模型泛化能力的常用方法是在许多输入的holdout集上测试其准确性该实验测试人类是否可以基于对模型在一个输入图像上做出的相同决定的解释的单个比较来比较两个模型在这个实验中,如图所示。机器人A和机器人B的解释都是使用相同的解释方法(我们的方法或CAM)创建的,但底层网络不同。一个始终是Resnet50,另一个是AlexNet,VGG16,Resnet18或Resnet50的镜像版本(resnet50*),其中所有卷积都是水平翻转的。只有两个比较的网络做出相同决定的解释才被评估:正如在反馈中可以看到的那样,我们的解释方法允许评分者辨别更深和更浅方法之间的质量差异,而单图像CAM热图使两个网络看起来差异较小。图9总结了几种不同网络架构的结果 通过我们的解释方法,评分者可以确定Resnet 50比Alexnet,VGG 16和Resnet 18更值得信赖;性能与Grad-CAM相似或略好,并且优于CAM。两种Resnet50的相互比较有趣的是,尽管模型之间的验证准确性差异非常小,但可以辨别出较浅和较深网络之间的差异,即使在观察两个不同模型执行相同预测的单一情况4讨论和结论该方法有几个局限性:首先,它只能识别所使用的字典中的概念。这种限制可以通过检查残差的大小来量化。对于ResNet50上的场景分类,从我们的660个概念的数据集得出的解释第二个限制是,即使概念字典很大,也不能保证残差接近零:决策可能取决于不对应于任何自然人类概念的视觉特征。可能需要新的方法来表征这些特征可能是什么。我们已经提出了一个新的框架,称为可解释的基础分解提供视觉解释的分类网络。该框架能够解开激活特征向量中编码的证据,并量化证据的每个部分对最终预测的贡献。通过众包评估,我们已经验证了解释是合理的,有助于评估模型质量,显示出比以前的视觉解释方法的改进鸣谢:这项工作部分由DARPA XAI计划FA 8750 -18-C 0004资助,国家科学基金会根据拨款号。1524817和MIT-IBM Watson AI实验室。B.Z由Facebook Fellowship提供支持。用于可视化解释的可解释基分解15引用1. Antol,S.,阿格拉瓦尔,A.,卢,J,Mitchell,M.Batra,D.,LawrenceZitnick,C.Parikh,D.:Vqa:可视化问答。见:Proc. CVPR(2015)2. B ach,S., B inder,A., 我的 天, Klauschen,F., Müller,K. R.,Samek,W. :通过逐层相关性传播对非线性分类器决策的逐像素解释。PloS one 10(7),e0130140(2015)3. 鲍德Zhou,B.,(1991年),中国地质大学,Khosla,A.Oliva,A.,Torralba,A.:网络解剖:深层视觉表征的量化解释性。In:Proc.CVPR(2017)4. Deng,J.,Dong,W.,索赫尔河Li,L.J.,Li,K.,李菲菲:ImageNet:一个大规模层次化图像数据库。载于:CVPR09(2009)5. Dosovitskiy,A.,Brox,T.:基于深度网络生成具有感知相似性度量的图像。在:神经信息处理系统的进展。pp. 6586. Everingham,M. Eslami,S.M.A.凡古尔湖威廉姆斯,C.K.I.,Winn,J.,Zisser-man,A.:pascal visual object classes挑战:回顾展。InternationalJournalofComuterVision111(1),987. Gonzalez-Garcia,A. Modolo,D.,Ferrari,V.:语义部分是否出现在会话中? InternatonalJournalofComputerVisonpp. 18. 他,K.,张,X.,Ren,S.,孙杰:用于图像识别的深度残差学习。arXiv预印本arXiv:1512.03385(2015)9. 洛 杉 矶 的 亨 德 里 克 斯 Akata , Z. , Rohrbach , M. , Donahue , J. ,Schiele,B.,达雷尔,T.:生成视觉解释。在:欧洲会议(ECCV)(2016)10. Herman,B.:人类对模型可解释性评价的承诺和危险。arXiv预印本arXiv:1711.07414(2017)11. Hyvaérinen , A. ,是 的 , E.: Indepentcommponentanalysis :algorithmsandapplica-tions. N.E.U.R.N.R.13(4-5),41112. Jolliffe,I.T.:主成分分析和因子分析。In:Principal componentanalysis,pp. 115-128 Springger(198 6)13. K. Simonyan,A.Z.:用于大规模图像识别的非常深的卷积网络(2014)14. Kim,B.,Wattenberg,M.,Gilmer,J.,Cai,C.,Wexler,J.,Viegas,F.,等:超越特征属性的可解释性:概念激活向量定量测试国际机器学习会议(International Conference on Machine Learning,2018)15. Krizhevsky,A.,萨茨克弗岛Hinton,G.E.:使用深度卷积神经网络的图像网分类在:Pereira,F.,Burges,C.J.C.博图湖温伯格K. Q. (eds. AdvancesinNeuralIinformmationPr oces25,pp. 1097-1105柯兰联营公司(2012),http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf16. Mahendran,A.Vedaldi,A.:通过反转来理解深层图像表示Proc. CVPR(2015)17. Mottaghi河陈旭,Liu,X.,中国科学院院士,Cho,N.G.,Lee,S.W.,Fidler,S.,Urtasun河Yuille,A.:背景在野外对象检测和语义分割中的作用。IEEE计算机视觉和模式识别会议(CVPR)(2014)18. Olah,C.,Satyanarayan,A.,约翰逊岛Carter,S. 舒伯特湖叶K.,Mordvintsev,A.:可解释性的构建块。Distill(2018). https://doi.org/10.23915/distill.00010,https://distill.pub/2018/building-blocks16B. Zhou,Y. Sun,D. Bau、A.Torralba19. Russakovsky,O.,Deng,J.,Su,H.,Krause,J.,Satheesh,S.,妈妈,S.,黄志,Karpathy,A.,Khosla,A. Bernstein,M.等:Imagenet大规模视觉识别。Int20. Selvaraju,R.R.,Das,A.,韦丹塔姆河Cogswell,M. Parikh,D. Batra,D.:你为什么这么说arXiv预印本arXiv:1611.07450(2016)21. 西蒙尼扬,K.,Vedaldi,A.,齐瑟曼,A.:深入卷积网络:可视化图像分类模型和显着图。学习表征研讨会国际会议(2014)22. Tenenbaum,J.B.,De Silva,V. Langford,J.C.:一个非线性离散系统的全局几何框架。science290(5500),231923. Tenenbaum,J.B.,弗里曼,W.T.:分离风格和内容。In:Advances in neuralinformar mati onpoces. pp. 66224. Vinyals,O.,Toshev,A. Bengio,S.,Erhan,D.:展示和讲述:神经图像字幕生成器。In:Proc. CVPR. IEEE(2015)25. Zeiler,医学博士,Fergus,R.:可视化和理解卷积网络。ECCV(2014)26. Zhou,B.,(1991年),中国地质大学,鲍德Oliva,A.,Torralba,A.:通过网络解剖解释深层视觉表征。在:IEEE Trans.模式分析与机器智能(2018)27. Zhou,B.,(1991年),中国地质大学,Khosla,A. Lapedriza,A.Oliva,A.,Torralba,A.:目标检测器出现在深场景cnn中。学习表征国际会议28. Zhou,B.,(1991年),中国地质大学,Khosla,A. Lapedriza,A. Oliva,A.,Torralba,A.:学习深度特征以用于区分性定位。In:Computer Visionand Pattern Recognition ( CVPR ) , 2016IEEEConferenceon. pp.2921-29292016年IEEE29. Zhou,B.,(1991年),中国地质大学,Lapedriza,A.肖,J.,Torralba,A.,Oliva,A.:使用地点数据库学习用于场景识别的深度特征。神经信息处理系统进展(2014)30. Zhou,B.,(1991年),中国地质大学,赵,H.,Puig,X.,Fidler,S.,Barriuso,A. Torralba,A.:通过ade20k数据集进行场景解析。在:IEEE计算机视觉和模式识别会议论文集(2017)
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)