没有合适的资源?快使用搜索试试~ 我知道了~
9187语义和定量解释神经网络Runjin ChenXiang,Hao ChenXiang,Jie Ren,Ge Huang,andQuanshi Zhang<$上海交通大学摘要(a) 输入(b) 梯度计算机辅助制造(c) 过滤器可视化本 文 提 出 了 一 种 方 法 来 追 求 的 卷 积 神 经 网 络(CNN)中编码的知识的语义和定量解释。的估计普通CNN可解释CNNConv5-2 Conv3-3CNN做出的每个预测的具体理由提出了理解神经网络的一个关键问题,具有重要的实际应用价值。在这项研究中,我们建议将CNN中的知识提取到一个可解释的加性模型中,该模型定量地解释了CNN的预测。我们讨论了CNN预测的有偏见的解释的问题。为了克服有偏见的解释,我们开发了先验损失来指导可解释的加性模型的学习。实验结果证明了该方法的有效性。1. 介绍卷积神经网络(CNN)[20,18,13]在各种任务中取得了优异的性能近年来,除了神经网络的识别能力之外,网络的可解释性也受到越来越多的关注网络可解释性与CNN的可信度直接相关,这在关键应用中至关重要。如[42]中所讨论的,高测试精度不能完全确保CNN编码正确的逻辑。相反,CNN可能会使用不可靠的原因进行预测。在本文中,我们关注的是经过良好训练的CNN的事后解释,而不是学习具有可解释表示的新模型。以前的研究通常在像素级上解释神经网络,例如网络可视化[40,25,30,8,10,28]和提取像素级属性/重要性图[17,26,23]。与CNN的上述定性解释相反,语义和定量地阐明每个网络预测的决策逻辑呈现了诊断神经网络的更可信的方式。 图1com-c陈瑞金、任杰、黄戈和张全时就职于上海交通大学约翰·霍普克罗夫特中心。这项研究是郝晨在上海交通大学实习时完成的大学陈润金和陈浩对本研究的贡献相当†Quanshi Zhang为通讯作者。头贡献17.8%头躯干关节占15.1%躯干贡献47.4%体尾关节占10.1%腿足关节占2.5%翅占7.1%图1. CNN的不同类型的解释。 我们比较(d) 我们的任务是用以前解释CNN的研究来定量和语义地解释CNN的预测,比如(b)梯度CAM [28]和(c)CNN可视化[25]。给定输入图像(a),我们的方法生成一个报告,该报告定量地解释了哪些对象部分激活CNN以及这些部分对预测的贡献。我们的解释与以前的研究。• 语义解释:本研究旨在用清晰的视觉概念- s来解释每个网络预测的逻辑,而不是使用没有清晰视觉概念的中间层特征。含义或使用原始像素。例如,我们的方法估计特定属性或对象部分对每个预测的数值贡献。语义解释满足了实际应用中的特定需求。• 定量解释:与神经网络的定性描述或可视化不同[40,25,8,28],我们的方法将整体预测得分分解为得分组成的视觉概念,这确保了严格的定量解释的预测。定量解释使人们能够准确地诊断神经网络内部的特征表示,并帮助神经网络赢得人们的信任。如图5和7,我们分析了每个预测的定量原理,即 澄清哪些视觉概念激活CNN以及它们对预测的贡献有多大。与人们的常识相冲突的正常解释上述将预测得分定量地分解为val-(d)我们的解释9188表演者输入图像图2.任务我们将表演者的知识提炼成解释者,作为表演者的陈述的释义。解释器将输出分数分解成语义概念的值分量,从而获得用于执行者的语义解释清晰视觉概念的UE组件代表了理解神经网络的核心挑战之一。方法:我们得到一个预先训练好的CNN。在这项研究中,我们建议学习另一个神经网络,即解释器网络,以便从语义和定量上解释每个CNN预测的具体原理因此,目标CNN被称为执行者网络。解释器使用一组预先训练的视觉概念来解释执行者的预测。人们可以手动定义用于解释的视觉概念的集合人们可以使用现成的模型来表示这些视觉概念,或者为它们训练新的模型。给定这些视觉概念的训练模型,解释器的学习可以在没有任何额外的图像注释的情况下进行。解释者使用经过训练的视觉概念来模仿执行者内部的决策逻辑,并生成类似的预测分数。如图2、将解释器设计为一个加性模型,将预测得分分解为视觉概念的多个价值分量之和。注意• 解释器不是线性模型。解释器g(I)估计特定于每个输入图像I的不同视觉概念的权重。• 我们可以粗略地将每个值分量视为视觉概念• 虽然解释者g(I)是一个黑盒模型,但是添加视觉概念的值以近似执行者我们通过知识蒸馏来学习解释器,而不需要任何人类注释作为额外的监督。这是因为解释者需要客观地反映执行者这样,解释者可以被看作是表演者的语义释义。从理论上讲,手动选择的视觉概念通常不能代表表演者的所有逻辑。不能用视觉概念解释的预测得分也需要分析。因此,我们量化了表演者和解释者之间的预测差异,以解开表演者的可解释和不可解释的信息事后解释黑盒网络或学习可解释的网络:解释黑盒模型比学习新的可解释网络具有更广泛的适用性。 这是因为(i)可解释网络通常对结构[27]或损失[43]有特定要求,这限制了模型的灵活性;(2)模型的可解释性不等同于模型的辨别力,甚至通常与模型的辨别力相冲突[43,27]。与强迫表演者学习可解释的特征相比,我们的方法解释了表演者而不影响表演者的辨别力表演者和解释者的耦合解决了可解释性和可辨别性之间的困境。核心挑战:从预先训练的神经网络中提取知识到加性模型中可能会产生对表演者预测的有偏见的解释。即当我们使用大量的视觉概念来解释日志时,在表演者的内心深处,解释者可能会有偏见地选择很少的视觉概念,而不是所有的视觉概念,作为预测的基本原理(见图2)。(六)。就像过拟合问题一样,理论上,有偏解释可能是由解释者的过参数化引起的,是一个不明确的因此,我们提出了一个新的损失的视觉概念的先验权重,以克服偏见解释的问题。损失迫使解释者计算预测分数w.r. t的类似雅可比矩阵。视觉概念作为早期的表演者。本研究的贡献总结如下。(i) 在本研究中,我们着重于一种新的解释策略,即语义和定量地解释CNN预测-S. (ii)我们建议从预先训练的表演者中提取知识,并将其转换为可解释的附加解释器我们开发新的损失,以克服典型的偏见解释问题。我们的解释策略不会损害表演者的辨别力。(iii)从理论上讲,该方法是一个通用的解决方案来解释神经网络。我们已经将我们的方法应用于不同应用的不同基准CNN,这证明了我们方法的广泛适用性。2. 相关工作在本文中,我们将讨论限制在理解神经网络的特征表示的范围网络可视化: 特征可视化解释者网络蒸馏…图像特定权重输入图像总和概念n概念3概念2概念19189在神经网络内部的表示是打开神经网络黑盒的最直接方式。相关技术包括基于梯度的可视化[40,25,30,39]和上卷积网络[8],以将conv层的特征然而,最近的可视化结果具有明确的语义含义,通常是产生了严格的约束。这些限制使得可视化结果偏向于人们主观地可视化过滤器的所有信息通常会产生混乱的结果。因此,在神经网络的网络可视化和语义解释之间仍然存在相当大的差距。网络诊断:一些研究诊断神经网络内部的特征表示。[38]测量的特征在神经网络的中间层中的可传递性。[1]可视化的特征空间中不同类别的特征分布。[26,23,16,10,28]提取网络输入和输出之间的粗略像素级相关性,即, 估计直接贡献网络输出的图像区域。 Zhang等人[24,12]和Chen等人。[4]使用输入和输出/中间层特征之间的互信息来量化网络内部的信息流并提取重要的输入单元。网络攻击方法[17,33]计算对抗样本来诊断CNN。[19]以弱监督的方式发现[42]检查conv层的表示,并自动发现由于数据集偏差而导致的CNN的偏差表示然而,上述方法通常在像素级上分析神经网络,并且没有将网络知识总结为清晰的视觉概念。[2] 定义了CNN滤波器的六种类型的语义,即对象、部件、场景、纹理、材质和颜色。然后,[46]提出了一种方法来计算特征图中神经激活的图像分辨率感受野。Fong和Vedaldi [9]分析了多个过滤器如何共同表示某个语义概念。其他研究从CNN中检索了代表清晰概念的中间层特征。[41]从CNN的中间层挖掘对象部分特征[41]使用解释图表示不同层的对象部分特征之间的语义层次。[29]检索特征以分别从特征图描述对象。[46,47]选择神经单元来描述场景。注意,严格地说,每个C- NN过滤器通常表示多个语义概念的混合。与以往的研究不同,我们更感兴趣的是分析每个语义概念对每个预测的定量贡献,这在以前的研究中没有讨论学习可解释的表示:一个新网络可解释性范围的趋势是以非/弱监督的方式学习神经网络中的可解释特征表示[15,32,21]。胶囊网[27]和可解释的RCNN [37]在中间层学习可解释的特征。InfoGAN [5]和β-VAE [14]学习了生成网络的良好解纠缠代码。可解释的CNN [43]在中间层学习过滤器来表示没有给定部分注释的对象部分。然而,如[2]中所述,可解释的特征通常不具有高的区分能力。因此,我们使用解释器来解释预先训练的表演者,而不损害表演者的可辨别性。通过知识解释解释神经网络:将知识从黑箱模型中提炼成可解释的模型是近年来的一个新兴方向。t年。相比之下,我们追求每个CNN预测的明确定量解释。[7]学习了一个可解释的加性模型,并[35]将网络的知识提取到加性模型中。为了将对象部分的特征表示从CNN的中间层中分离出来,[44]将CNN的知识提取到具有可解释的conv-layers的解释器网络中,其中每个过滤器表示特定的[11 34,3,36]将神经网络的表示提炼为树结构。这些方法没有使用人类可解释的语义概念来解释网络知识。Zhang等人。 [45]使用树结构将CNN预测的基本原理近似总结为通用决策逻辑。与以前的加性模型[35]相比,我们的研究成功地克服了偏差解释问题,这是当有大量视觉概念需要解释时的核心挑战。3. 算法在本节中,我们将知识从预先训练的执行者f中提取到可解释的加性模型。 我们给出一个执行者f和n个模型{fi|i=1,2,. . . ,n},其被预先训练以检测n个视觉概念。神经网络-作品可以与表演者共享低层中的特征。我们还为执行者f提供了训练样本。我们学习解释者使用n个视觉概念的推理值来模仿表演者的逻辑。我们不需要对训练样本进行任何注释。由于额外的监督,任务将把解释者推向主观注释,而不是对表演者的客观解释。设y=f(I)表示表演者对输入图像I的输出。对于具有多个输出的执行者(例如,对于多类别分类),我们可以学习单独的解释器来解释每个标量输出。因此,在这个研究中,我们假设y是一个标量,而不损失一般性。特别地,如果执行者使用softmax层作为最后一层,则我们使用softmax层之前的特征分数作为y_max,使得y_max的相邻分数将不会影响y_max。在我们的实验中,我们只考虑分类任务,并在softmax层之前取单个特征维度,91902... ...这是图3.两种典型的神经网络。(左)表演者在其中间层中建模可解释的视觉概念。例如,某个conv层中的每个过滤器表示特定的视觉概念。(右)表演者和视觉概念是共同学习的,它们在中间层中共享特征。y.我们设计了以下的附加解释器模型,其中,W表示先验权重,其表示表演者使用视觉概念的混合来近似表演者的功能。解释器将预测得分y分解成预定义视觉概念的值分量n视觉概念。 就像α一样,不同的输入图像也有不同的先验权重W。 损失L(α,W)惩罚α和W之间的不相似性。注意,先验权重W近似为强ygθ(I)y+b=b+Σαi·y i我第i个视觉概念的定量假设(稍后我们将介绍两种不同的计算W的方法)。我们使用不准确的W来避免显著的-α=[α1,α2,. . . ,αn]n=gθ(I)(一)不要有偏见的解释,而不是追求高准确性。βy=[y1,y2,. . . ,yn] n,yi=fi(I),i=1,2,. . . ,n因此,我们为L设置递减的权重,即√t,其中,yi被给出为检测的置信度,第i个视觉概念。αi表示权重。b是偏置项。• 加法形式gθ(I)γy+b不表示线性模型,因为不同的输入图像可能获得不同的权重α,其对应于不同的决策。使表演者的逻辑。例如,表演者可以主要使用头部概念来分类站立的鸟,而它可以增加翅膀概念的权重来分类飞行的鸟。因此,我们用参数θ(即,解释器),其使用输入图像I来估计n个权重。• 我们可以把αi·yi的值看作是第i个视觉概念对最终预测的定量联系。• 解释者和执 行 者 的预测之间的差异y<$−( gθ(I)<$y+b)反映了视觉概念表征能力的极限因此,本研究的核心任务是学习解释器gθ,其估计图像特定权重α=gθ(I)以模仿表演者。知识升华的损失如下。L=<$y<$−gθ(I)<$y −b<$2(2)其中β是标量常数,并且t表示历元数。ber.通过这种方式,我们主要在早期时期应用先验损失L。然后,在后期,L的影响逐渐减小,我们的方法逐渐将注意力转移到蒸馏损失,提高蒸馏质量。3.1. 先前权重W在本小节中,我们将讨论在实际应用中广泛使用的两种典型类型的权重W类型1:在一些应用中,视觉概念应该与表演者的预测正相关,即每个权重αi必须是正标量(如果概念yi与预测负相关,则概念−yi与预测正相关例如,头部的检测分数必须与整个动物的检测正相关。 在这种情况下,我们使用α和W之间的交叉熵作为先验损失。2)A =A(α,w)(4)α其中,λ·λ1表示L-1范数。 为了确保αi≥ 0,我们添加一个非线性激活层α = log[1+exp(x)]作为gθ的最后一层,其中x是最后一个conv层的输出。类型2:在对先验权重没有特定要求的其他应用中,α和W之间的MSE损失用作损失。然而,在没有关于权重αi的任何先验知识的情况下,gθ的学习通常存在偏差解释问题。解释者可能会偏向性地选择很少的视觉概念来近似表演者,作为捷径,L(α,w)=<$α−W-2α其中,λ· λ2表示L-2范数。(五)解决方案,而不是反复学习表演者输出和所有视觉概念之间的关系。因此,为了克服偏差解释问题,我们使用α先验的损失L来指导早期的学习。最小损失,损失=L+λ(t)·L(α,w),3.2. 视觉概念在本小节中,我们将讨论实际应用中视觉概念的两个典型案例。情况1,表演者的中间层中的特征是可解释的:如图所示3(左),学习-θ,bS.T. limλ(t)= 0t→∞(三)构造具有可解释特征的神经网络是近年来新兴的研究方向。例如,[43]…9191x我的天x过滤器过滤器过滤器A filter A filter A filter图4. CNN顶部conv层中可解释过滤器的可视化(案例1),基于[43]学习。我们将滤波器的特征图上的激活区域投影到图像平面上以进行可视化。每个滤波器通过不同的图像表示特定的对象部分。提出了一种学习用于对象分类的CNN的方法,其中高conv-layer中的每个过滤器都由特定对象部分的外观唯一地表示(见图11)。4).因此,对象的分类分数可以表示为对象部分的基本分数的线性组合。因为这种可解释的过滤器是自动学习的,而没有部分注释,所以执行者的定量解释可以分为以下两个任务:(i)注释每个过滤器的部分名称,以及(ii)学习解释器以解开每个过滤器(或每个对象部分)的确切加法贡献。通过这种方式,每个fi都作为执行者的可解释过滤器给出[42]我们可以粗略地表示,4. 实验我们设计了两个实验,使用我们的解释器来区分面向两种不同应用的不同基准CNN,以证明我们方法的广泛在实验1中,我们用物体部分的检测来解释整个物体的检测。在实验2中,我们使用各种面部属性来解释另一个面部属性的预测。我们评价了解释的正确性和解释者的代表能力的限度4.1. 实验1:使用对象部件来解释对象分类在这个实验中,我们使用了[43]将网络预测发送为yi+b,其中Σyi=h,wxhwi Wi1ΣyZh, w xhwi赫娃重新-学习CNN,其中顶部conv层中的每个过滤器表示特定的对象部分。我们认为CNN是被称为激活单元,在位置(h,w),第i个通道的特征映射x∈RH×W×n 的可解释的conv层。yi衡量的是目标部件w.r.t. 第i个过滤器。在这里,我们大致使用网络输出w.r.t.的Ja- cobian。 滤波器近似先前权重W.考虑等式(4)中的归一化运算,先验权重W可以直接用于计算第一类型的损失,而不需要知道确切的Z的值。案例2,视觉概念的神经网络与执行者共享中间层的特征:如图3(右),当学习神经网络时多个视觉概念,那么人们就可以直接用所有其他概念{yi}来解释某个概念y i。 所有这些视觉概念在中间层中共享特征。在这种情况下,我们估计yi和每个视觉概念的得分yi之间的粗略数字关系。令X是由目标概念和第i视觉概念两者共享的中间层特征。当我们修改特征x时,yi的变化可以用泰勒级数Δy= yi∆x+O(∆2x)表示,其中表示卷积运算。因此,当我们boostyi by pushxby∆x= yi(是一个小常数),y的变化可以近似为Δy=yi2,其中并且将其在顶部conv层中的可解释过滤器视为视觉概念以解释分类得分。我们遵循[43]中的标准实验设置,使用Pascal-Part数据集[6]为数据集中的六个动物1类别学习六个每个CNN都被学习从随机图像中分类目标动物。此外,当CNN已经被学习时,我们基于可视化结果进一步注释了与每个过滤器相对应的对象部分名称(参见图2)。4为例)。我们只对performer中顶部conv层的每个过滤器注释一次,因此总注释成本为O(N),其中N是过滤器编号。 因此,我们分配了控制权,过滤器的分配到其对应部分,即,Σi∈pαi yi,其中p表示过滤器索引的集合,被分配到P部分。四种类型的CNN作为执行者:根据[43]中的实验设置,我们将我们的方法应用于四种类型的CNN,包括AlexNet [18],VGG-M,VGG-S和VGG-16 [31],即我们根据每个网络结构学习六种类别的CNN。请注意,如[43]中所讨论的,残差网络中的跳过连接增加了学习部分特征的难度,因此它们不会在残差网络中学习可解释的过滤器。学习解释器:AlexNet/VGG-M/VGG-S/VGG-16执行者在其顶部有256/512/512/512个过滤器iixFF·F表示Frobenius范数。与此同时,a通过∆y=yyi影响目标概念。因此,我们可以将重量粗略估计为w=y。1以前的研究[6,43]通常选择动物类别来测试部件定位,因为动物通常包含非刚性部件,这对部件定位提出了重大挑战。我 是=. X9192眼睛鼻 子躯 干腿角耳颈前躯干后躯干头部腿脚尾巴耳朵口鼻眼睛前躯干后躯干脚pp我ǁwǁ∆yp头头部躯干躯干眼睛嘴巴鼻子整个脸身 体 尾 巴腿脚翅膀躯干腿眼睛嘴巴鼻子耳朵躯干腿和脚图5.表演者对对象分类的定量解释。我们注释了由执行者中的每个可解释过滤器表示的部分,并且我们将过滤器αiyi的贡献分配给对象部分。因此,每个饼图示出了用于特定输入图像的不同对象部分的贡献。所有对象部分对分类得分做出了积极贡献。热图对应于表演者特征图的梯度CAM可视化[28],以证明我们解释的正确性与梯度CAM的像素级关注不同,我们的方法在语义层面上解释了网络。基线我们的方法基线我们的方法图6.我们比较了由我们的方法估计的不同视觉概念(过滤器)的绝对贡献的分布和由基线估计的分布水平轴和垂直轴分别表示滤波器索引和贡献基线通常使用很少的视觉概念来进行预测,这是一个典型的有偏见的解释。conv-layer , 所 以 我 们 为 每 个 网 络 设 置n=256/512/512/512我们使用顶部conv层的掩码输出作为x,按照案例1的范例计算{yi}我们使用152层ResNet [13]2作为g来估计图像I; y*作为部分p的地面实况贡献给出。令yp表示当我们移除对应于该部分的过滤器的所有神经激活时y的分数变化p. 然后,我们计算y= y。在我们的实验中pp′yp′视觉概念3. 我们设置β= 10,用于学习所有前平原人请注意,执行者中的所有可解释过滤器在正图像上表示目标类别的对象部分,而不是描述随机(负)图像。直觉上,我们需要确保y和yi 之 间 的 正 相关。因此,我们过滤出n个g ativ epri or权重,wi←max{wi,0},并应用方程(4)中的交叉熵损失来学习解释器。评价指标:评价包括两个方面,即估计解释的正确性和解释能力的限度。•表演者预测的估计解释的正确性是评估的第一个方面。第一个指标是估计贡献的误差。的解释不同视觉概念对CNN预测的估计数值贡献。例如,在实验1中,我们的方法估计了每个注释的语义部分 p 的 贡 献 , Contrip 。 估 计 的 约 束 的 误 差 计 算 为EI∈I[|Contrip−y*|]/EI∈I[|y|],其中y表示CNN输出w。r. t. 的2考虑到输入特征图的尺寸较小,我们删除了第一个最大池化层和最后一个平均池化层。3注意,ResNet的输入是顶部conv层的特征图,而不是实验中的原始图像I,因此g可以被认为是AlexNet/VGG和ResNet中的conv层的级联我们使用狗类别的语义部分注释来计算估计贡献的误差。此外,我们使用另一个度量,即解释的条件熵,用于解释正确性的细粒度过滤器级分析让表 示 第i 个视觉概念的 估 计 数 值 贡 献 , c=[c1 ,c2,. . .,cn]n.我们可以将估计的贡献表示为c=c+,其中c={c}表示地面实况贡献,而被称为当前模型无法解释的残差条件熵H(c)|c)使用估计贡献值反映信息损失,以供解释。我们假设高斯(μ=0,σ2I)。因此,p(c)|c)= p()和H(c*|c)= H()。 为了实现,我们使用y wα来近似c,其中表示逐元素乘法。我们从数据中估计方差σ2以计算H(c| c).此外,我们还假设c_∞高斯(μ=0,Σ_∞ =(σ_∞)2I),并计算了在没有附加信息作为参考值的情况下,地面实况解释的熵H(c_∞) 如果解释器成功地恢复了c_n的大部分信息,则H(c_n)|c)将显著低于H(c*)。除了定量评价外,我们还展示了作为定性评价的示例解释如图所示00.0140.0120.010.0080.0060.0040.00200.140.120.10.080.060.040.0200.140.120.10.080.060.040.0201.81.61.41.210.80.60.40.200.070.060.050.040.030.020.0110.90.80.70.60.50.40.30.20.1000.040.0350.030.0250.020.0150.010.00500.60.50.40.30.20.1119375573911091271451631811992172352532712893073253433613793974154334514694875051203958779611513415317219121022924826728630532434336238140041943845747649512039587796115134153172191210229248267286305324343362381400419438457476495120395877961151341531721912102292482672863053243433623814004194384574764951193755739110912714516318119921723525327128930732534336137939741543345146948750511937557391109127145163181199217235253271289307325343361379397415433451469487505120395877961151341531721912102292482672863053243433623814004194384574764951203958779611513415317219121022924826728630532434336238140041943845747649591932假设和假设ǫ吸引属性预测的定量解释。最重要原因不模糊不丰满没有白发年轻不模糊不丰满没有双下巴没有白发没有大鼻子不模糊不cheap没有双下巴不戴帽子年轻图7.表演者对面孔归因预测的定量解释。条形指示来自不同面部属性的特征的基本贡献αiyi,而不是这些属性的预测值yi。例如,网络预测负山羊胡子属性y山羊胡子<0,并且该信息对目标吸引力属性做出正贡献,αiyi> 0。在图5中,我们使用特征图的梯度CAM可视化[28]来证明我们的解释的正确性。•解释能力的极限也需要评估,即我们测量了执行者信息,无法用视觉概念来表达。我们提出了三个评价指标。第一个度量是预测准确度。我们比较了执行者的预测精度和使用解释者的输出y = g θ(I)y + b的预测精度另一个度量是预测的条件熵。 令y=f(I)和y=gθ(I)分别表示地面实况预测和估计预测。We可以表示y=y+y ,其中y反映尚未被解释器编码的信息。 这样,我们使用条件entro p yH(y∈|y)=H(y)来衡量视觉概念的表征能力的极限。 我们使用原始entro p yH(y_H)作为参考值。We更多的注意解释的正确性。4.2. 实验二:基于人脸属性解释人脸属性在这个实验中,我们使用Celeba数据集[22]来学习基于VGG-16 结构的CNN ,以估计40个人脸属性。 我们选择某个属性作为目标,并使用其预测的核心作为y值。 另外39个属性作为视觉概念来解释Y型人格的得分(n=39)。 目标属性从面部的全局属性中选择,即, 迷人浓妆男性年轻这是因为全局属性可以用局部视觉概念来描述,但反过来却不能。我们学习了每个目标属性的解释器我们使用了与Exp中相同的152层ResNet结构1(n= 39除外)作为g来估计权重。我们遵循了第二节中的案例2实现公式3.2计算先验权重W,其中我们使用2yGauss(µ,σ)Gauss(µ,σ)to com-第一个全连接层的4096维输出yǫ设H(y)和H(y|y),其中参数μ、μ、σ2、σ2使用数据直接计算。第三个度量是相对偏差,它测量表演者和解释者之间的归一化输出差异。图像I的相对偏差被归一化为|yI− yI|/(maxI′∈IyI′− minI′∈IyI′),其中yI和yI分别表示表演者和解释者对图像I的预测。上述指标反映了知识,而不是由解释者建模的。注意(1) 我们的目标不是追求一个极低的条件熵,因为视觉概念表征能力的极限是客观存在的;(2) 与代表权相比,我们的作为共享特征X。我们设置β= 3000并使用等式(5)中的L-2范数损失来学习所有解释器。评价指标与Exp. 1.一、4.3. 实验结果及分析我们比较了我们的方法与传统的基线,只使用蒸馏损失学习解释器。表3和表4评估了使用我们的方法和基线学习的解释者引起的偏倚解释。我们的方法比基线方法受偏见解释问题的影响要小得多。根据表3和表4,我们的方法比基线产生了更多的信息更重要的是,Fig。图6示出了视觉概念的绝对贡献的分布,5_o_Cloc秃头刘海大_嘴唇大_鼻子黑色_头发金发_头发BlurryBrown_H胖双_眼镜山羊胡子灰色_头发重_男性嘴_S粉红色_微笑直_Wavy_HairWearing年轻5_o_Cloc秃头刘海大_嘴唇大_鼻子黑色_头发金发_头发BlurryBrown_H圆胖双_C山羊胡子灰色_头发重_M男性嘴_小微笑直_波浪形_头发戴着年轻5_o_Cloc秃头刘海大_嘴唇大_鼻子黑色_头发金发_头发BlurryBrown_H胖双_眼镜山羊胡子灰色_头发重_M男性嘴_S粉红色_微笑直_Wavy_HairWearing年轻9194nAlexNet实验1VGG-MVGG-SVGG-16吸引力实验2化妆男性年轻Avg.表演者93.994.295.595.481.592.398.788.390.2解释者92.693.695.495.676.890.097.885.087.4表1.解释者和执行者的分类准确性。我们使用的分类精度的下降来衡量的信息,不能解释的预定义的视觉概念。H(y)|y)AlexNet实验1VGG-M VGG-S实验2吸引化妆男年轻平均H(y)0.451.450.78-1.540.110.801.330.280.63基线-1.620.15-0.88-3.94-0.51 -0.50 -0.37 -0.35 -0.43我们的方法-2.33-0.76-1.20-4.17-0.330.05-0.30 -0.38 -0.24H(c)|c)、实验1AlexNet VGG-M VGG-S VGG-16实验2吸引化妆男年轻平均H(c)-1.18-1.71-1.51-3.741.621.000.83 1.20 1.16基线-1.35-1.79-1.43-1.961.591.601.76 1.65 1.65我们的方法 -2.39-2.34-2.25-4.791.220.35-0.40 0.77 0.48表2. y的条件输入取决于解释者的预测,表3。解释者H(y)的解释的条件输入|y)。 我们使用条件项来测量信息解释H(c*|c). 我们使用条件输入来测量不能用预定义的视觉概念来解释的问题。由解释者生成的解释的不准确性。的熵是在连续变量上定义的,所以它可以是负数。熵是在连续变量上定义的,所以它可以是负数。分类准确度相对偏差有吸引力的浓妆男子年轻平均视觉概念的选择:如何选择解释的视觉概念是一个重要的问题。如果不选择相关概念进行解释,图8评估了当我们随机选择不同数量的视觉概念来学习解释者以估计用于解释的图8.运用不同数量的视觉概念进行解释的解释能力。我们使用相对偏差和分类误差的减少(即,表演者的准确度减去讲解者的准确度),使用讲解者粗略地测量讲解能力的极限。更多地使用视觉概念将提高解释能力。眼睛口鼻耳朵躯干腿Avg.基线0.3990.2670.0450.0270.0840.164我们的(β=10)0.2020.1400.0330.0320.0920.100我们的(β=25)0.1810.1530.0370.0190.0530.089表4.估计用途部分捐款的误差我们的方法的较低误差表明,我们的方法产生的解释比基线更好地符合CNN预测的地面实况原理。I. e. 的分布{|Ci|},当我们使 用 不 同 的 方 法 学习eplainer-s时。部分贡献估计我们的方法更好地符合地面的真相比那些估计的基线。相比之下,蒸馏基线通常使用非常少的视觉概念进行解释,并忽略了最强烈激活的可解释的过滤器,这可以被认为是有偏见的解释。图图5和图7示出了对表演者所作预测的定量解释的例子。特别是,我们还使用了表演者特征图的梯度CAM可视化[28]来证明我们在图中解释的正确性五、此外,表1和表2报告了分类准确度和预测的条件熵,以衡量视觉概念的表示能力 由于我们的方法使用了一个额外的损失来保证解释的正确性,所以我们的方法在y的回归上比基线方法稍有误差。 然而,考虑到H(y()的高熵,我们的方法仍然编码了表演者的大部分信息。面属性。请注意,在计算图1中的相对偏差时,8,我们设置β=0。1,以消除增加概念数的影响,以便进行公平比较。5. 结论和讨论在本文中,我们专注于一种新的解释策略,即从语义和定量上解释每个CNN预测的逻辑,这在理解神经网络的范围内提出了相当大的挑战。我们提议,pose提取知识从一个预先训练的表演者到一个可解释的添加剂解释。我们可以认为表演者和解释者编码了相似的知识。加法解释器将执行者的预测分数分解成来自语义视觉概念的值分量,以便量化不同概念的贡献。使用解释器进行解释的策略避免了降低执行者的辨别力。在初步实验中,我们将我们的方法应用于不同的基准CNN执行者,以证明其广泛的适用性。请注意,我们的目标不是使用预先训练好的vi-SUAL概念,以实现分类/预测中的超准确性。相反,解释者使用这些视觉概念来模仿表演者的逻辑。特别是,有偏见的解释是一个很大的挑战使用附加解释器来诊断另一个神经网络。我们设计了两个损失来克服偏见-解释问题。此外,我们测量的执行者的知识量,不能表示的视觉概念的解释器,并使用各种指标来评估有偏见的解释的意义。9195引用[1] Mathieu Aubry和Bryan C. Russell.用计算机生成的图像理解深层特征。在ICCV,2015年。[2] David Bau,Bolei Zhou,Aditya Khosla,Aude Oliva,and Antonio Torralba.网络解剖:量化深层视觉表征的可解释性。在CVPR,2017年。[3] ZhengpingChe , SanjayPurushotham , RobinderKhemani,and Yan Liu.可解释的深度模型用于icu预后预测。美国医学信息学协会(AMI-A)年度研讨会,2016年。[4] 陈建波,宋乐,马丁J。Wainwright和Michael I.约旦.学习解释:模型解释的信息论观点在ICML,2018。[5] Xi Chen,Yan Duan,Rein Houthooft,John Schulman,Ilya Sutskever,and Pieter Abbeel. Infogan:通过信息最大化生成对抗网络进行可解释的表示学习。在NIPS,2016年。[6] Xianjie Chen,Roozbeh Mottaghi,Xiaobao Liu,SanjaFidler,Raquel Urtasun,and Alan Yuille.检测您可以:使用整体模型和身体部位检测和表示对象。CVPR,2014。[7] 放 大 图 片 作 者 : Edward Choi , Mohammad TahaBahadori,Joshua A. 放大图片作者:Walter F. Stewart和Jimeng Sun.保留:使用逆向时间注意力机制的医疗保健可解释预测模型in arXiv:1608.05745v4,2017.[8] Alexey Dosovitskiy和Thomas Brox用卷积网络反转视觉在CVPR,2016年。[9] 露丝·方和安德里亚·维达尔迪Net2vec:量化和解释深度神经网络中的过滤器如何编码概念在CVPR,2018年。[10] 鲁思C.方和安德里亚·维达尔迪用有意义的扰动解释黑盒的解释。在arX- iv:1704.03296v1,2017中。[11] Nicholas Frosst和Geoffrey Hinton将神经网络提取为软决策树。在arXiv:1711.09784,2017。[12] Chaoyu Guan , Xiting Wang , Quanshi Zhang , RunjinChen,Di He,and Xing Xie.对自然语言处理中深层神经模型的深入统一理解。在ICML,2019。[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在CVPR,2016年。[14] Irina Higgins 、 Loic Matthey 、 Arka Pal 、 ChristopherBurgess 、 Xavier Glorot 、 Matthew Botvinick 、 ShakirMohamed和Alexander Lerchner。β-vae:用约束变分框架学习基本视觉概念。在ICLR,2017。[15] Zhiting Hu , Xuezhe Ma , Zhengzhong Liu , EduardHovy,and Eric P. Xing.使用逻辑规则利用深度神经网络。在arXiv:1603.06318v2,2016.[16] Piet e r-JanKindermans , KristofT.Schu¨tt ,MaximilianAlber,Klaus-RobertMuller,DumitruErhan,BeenKim,andSven D ¨ hne. 学习如何解释神经网络工作:P属性和模式分布。在ICLR,
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功