没有合适的资源?快使用搜索试试~ 我知道了~
卷积神经网络的优化视觉解释方法及其应用
9097卷积神经网络Joür gW agner1,2Jan MathiasK oühler1T obias Gindele1, LeonHetzel1, Jakob Thadd aüusW iedemer1, Jesusv en Behnk e21德国博世人工智能中心(BCAI)2德国波恩大学de.bosch.com;behnke@cs.uni-bonn.de摘要为了验证和验证网络,必须深入了解它们的决策、局限性以及训练数据可能存在的缺点。 在这项工作中,我们提出了一个事后的,基于优化的视觉解释方法,它突出了输入图像中的证据,用于特定的预测。我们的方法是基于一种新的技术,以抵御对抗性证据(即。由于伪影导致的错误证据)。防御不依赖于人为调整的参数。它可以实现既细粒度又保留图像特征(如边缘和颜色)的解释。这些解释是可解释的,适合于可视化详细的证据,并且可以进行测试,因为它们是有效的模型输入。我们在大量模型和数据集上定性和定量地评估我们的方法。1. 介绍卷积神经网络(CNN)已被证明可以在众多视觉基准上产生最先进的结果,例如ImageNet [34],Caltech[12]或Cityscapes [9],这导致CNN被用于许多现实世界的系统(例如,自主车辆)和服务(例如,翻译服务)。然而,CNN在安全关键领域的使用给工程师带来了挑战,这是因为CNN的黑盒特性。更好地理解模型的内部工作原理可以为改进模型提供提示此外,当用户理解模型的决策过程并能够预测或验证输出时,他们通常会更信任模型[30]。为了克服黑箱模型在解释和透明度方面的缺陷,提出了事后解释方法。他在BCAI工作时做出了贡献。我们还要感谢Volker Fischer、Michael Herman和Anna Khoreva的讨论和反馈。图1:通过删除不相关像素计算的细粒度解释。a)具有最可能类别的softmax得分p(c_ml)的输入图像。我们的方法试图找到稀疏掩模(c),其中不相关像素被设置为零。结果解释(b),即: ’image在图像空间中,因此可以直接用作模型输入. 参数λ被优化以产生具有与图像相当的softmax分数的图像。臭氧消耗物质已被采用[53、35、42、49、32、17、11]。这些方法为单个预测提供了解释,从而有助于理解模型基于哪些证据做出决策。最常见的解释形式是视觉的、类似图像的表示,其以人类可解释的方式描绘一般来说,解释应该是容易解释的(第二节)。4.1)。此外,视觉解释应该是分类区分和细粒度的[35](第35节)。4.2)。后一个属性对于医学领域的分类任务特别重要[20,18],其中精细结构(例如,毛细管电泳)对分类结果有重大影响(第二节)。5.2)。此外,还应考虑不同颜色通道的重要性,例如:揭开9098训练数据中的颜色偏差(Sec. 4.3)。此外,解释应该是忠实的,这意味着它们准确地解释 了 黑 箱 模 型 的 功 能 [35] 。 ( 二 ) 忠 诚 度 评 价 。5.1),最近的工作[35,32,7]介绍了基于解释的模型预测的度量。为了能够计算这样的度量而不必依赖于代理度量[35],采用直接生成有效模型输入的解释方法是有益的(例如,图像的扰动版本基于优化的视觉识别方法的一个主要问题是对抗性证据,即。在解释的计算中引入的人工制品产生的错误证据。因此,使用额外的约束或正则化来防止这种错误的证据[17,11,14]。这些防御的缺点是增加了超参数,以及必须降低解释的分辨率或平滑解释(第12节)。3.2),因此,它们不太适合显示细粒度的证据。我们的主要贡献是一种新的对抗性防御技术,它在优化中选择性地过滤梯度,否则会导致对抗性证据(第二节)。3.2)。利用这种防御,我们扩展了[17]的工作,并提出了一种新的细粒度视觉解释方法(FGVis)。所提出的防御不依赖于超参数,并且是产生细粒度的解释的关键(图1)。1)因为不需要平滑或正则化。与其他基于优化的方法一样,FGV计算原始图像的扰动版本,其中所有不相关或最相关的像素都被移除。由此产生的解释(图1b)是有效的模型输入,因此可以直接验证其可信度(如[17,14,6,11]中的方法此外,他们是AD-细粒度的(如[35,38,48,42]中的方法据我们所知,这是第一种能够直接在图像空间中产生细粒度解释我们的防御(第二节)3.2)和FGV(Sec. (4和5)定性和定量。2. 相关工作各种方法来创建解释已经介绍。Thang等人[50]和杜等人。”[13]这是一个调查在本节中,我们将概述生成视觉化、图像化解释的解释方法。基于反向传播的方法(BBM)这些方法通过将误差信号反向传播到图像来生成每个像素的重要性度量。西蒙尼扬al. [38],这是建立在工作的Baehrens等人。[5],使用类分数相对于图像的导数作为重要的衡量标准。Zeileret al. [48]和Springenberget al. [42],当通过ReLU非线性进行反向传播时,它还可以操纵梯度集成梯度[43]还沿路径累积梯度从基本图像到输入图像。SmoothGrad [40]和VarGrad [1]通过组合图像噪声副本的多个解释,在视觉上锐化解释。其他BBM,如分层相关性传播[4],DeepLift [37]或激励反向传播[49],利用自顶向下的相关性传播规则。BBM通常可以快速计算和生成细粒度的重要性/相关性图。然而,这些地图通常质量较低[11,14],并且不太可解释。为了核实他们的忠诚度,有必要采用代理措施或使用预处理步骤,这可能会伪造结果。基于激活的方法(ABM)。这些方法使用来自卷积层的激活的线性组合来形成解释。这一类别的主要方法是CAM(类激活映射)[53]及其生成Grad-CAM [35]和Grad-CAM++ [7]。这些方法的主要区别在于它们如何计算线性组合的权重以及它们对CNN施加的限制在Selvarajuet al. [35]和Duet al. [14],将ABM与基于反向传播或扰动的ABM生成易于解释的热图,这些热图可以覆盖在图像上然而,它们通常不太适合可视化细粒度证据或颜色依赖性。此外,不能保证得到的解释是真实的,并反映了模型的决策过程[14,35]。基于扰动的方法(PBM)。这种方法扰动输入并监控模型的预测。Zeiler等人[48]在图像上滑动灰色正方形,并使用类概率的变化作为重要性的度量。有几种方法是基于这个想法,但使用其他重要性措施或遮挡策略。Pet- siuk等。[32]使用随机采样的遮挡掩模,并基于掩模上的预期模型得分来定义重要性。LIME [33]使用基于超像素的遮挡策略和代理模型来计算重要性分数。另外的基于超像素或分段的方法在Seo等人中介绍。[36] Zhouet al. [52]。到目前为止提到的方法不需要访问模型的内部状态或结构。但是,它们通常非常耗时,并且只能产生粗略的解释。其他PBM通过优化图像的扰动版本来生成解释[11,17,14,6]。扰动图像e由e=m ·x+(1-m) ·r定义,其中m是掩模,x是输入图像,r是参考图像信息不多(第二节)。第3.1节)。 为了避免不利因素-这些方法需要额外的正则化[17],约束解释(例如,优化粗糙掩模[6,17,14]),引入随机性[17]或uti-正则化代理模型[11]。这些方法在图像空间中生成易于解释的解释,这些解释是有效的模型输入和忠实的(即,忠诚9099eXCTM在优化过程中进行了优化)。我们的方法还优化了输入的扰动版本与现有的方法相比,我们提出了一种新的对抗性防御技术,在优化过程中过滤梯度这种防御不需要必须微调的超参数。此外,我们单独优化每个像素,因此,得到的解释没有分辨率的限制,是细粒度的。3. 解释模型预测解释提供了对模型决策过程的深入了解。最普遍的解释形式是描述整个模型行为的全局解释。全局解释以直观的方式为所有可能的模型输入指定相应的输出。 中的分类器的决策边界图,例如,低维向量空间表示全局解释。对于高维数据和复杂模型,实际上不可能产生这样的解释。因此,当前的方法利用局部解释1,其关注于个体输入。给定一个数据点,这些方法突出了模型决策所依据的证据。如图所示,2、高亮的定义取决于所使用的解释cT,来自图像的信息(保存)。由于不可能在不替换信息的情况下删除信息,并且我们无法访问图像生成过程,因此我们必须使用近似删除算子[17]。一种常见的方法是使用基于掩码的运算符Φ,该运算符计算图像x和a之间的加权平均值。参考图像r,使用掩模m∈[0,1]3×H×W:ecT= Φ(x,mcT)= x·mcT+(1 − mcT)·r。(一)参考图像的常见选择是常数值(例如零)、原始图像的模糊版本、高斯噪声或生成模型的采样参考[17,14,6,11]。在这项工作中,我们采取了零图像作为参考。在我们看来,该参考文献产生了最令人愉悦的视觉解释,因为不相关的图像区域被设置为零2(图1),并且没有被其他结构取代。此外,零图像(和随机图像)携带相对较少的信息,并导致具有高熵的模型预测。其他参考,如图像的模糊版本,通常会导致较低的预测熵,如第二节所示A3.1. 由于额外的计算工作,我们没有考虑基于模型的参考,提出了在张等人。[6]的文件。此外,需要相似性度量f(ycT,ycT),X e法在这项工作中,我们遵循的范例中介绍的措施的一致性模型输出生成-[17] 并直接优化的干扰版本,由ycT的图像的输出把图像。 这种方法有几个优点:(1)由于其形象的性质,所得到的解释是可解释的; 2)推理代表有效的模型输入,因此是可测试的;(3)优化算法,使其具有较好的可信度。节中3.1我们简要回顾了基于优化的解释方法的一般范式,然后在第二节中介绍我们新颖的对抗性防御技术。3.2.3.1. 基于扰动的可视化算法遵循基于优化的计算方法的范例,其计算图像的扰动版本[17,14,6,11],解释可以定义为:保存说明:最小的区域CT 相对于目标类别cT。这种相似性-如果解释保留了目标类的输出,则ric应该小,如果解释设法显著降低目标类的概率,则ric应该大[17]。度量的典型选择是交叉熵,类cT作为硬目标[24]或目标类cT的负softmax得分。相似性度量确保解释仍然忠实于模型,从而准确地解释了模型的功能,这一特性是PBM的主要优势。使用具有零图像作为参考(r=0)的解释的基于掩码的定义以及相似性度量,可以通过以下公式计算保留解释必须保留的图像,以保留原始模型输出(即,足够的证据)。删除解释图像的最小区域ecT = mcT·x,m=arg min{(ycT,ycT)+λ·mc{\fn方正黑体简体\fs18\b1\bord1\shad1\3cH2F2F2F}.(二)必须将其删除以更改模型输出。为了正式推导出基于这种范式的解释方法,我们假设给出CNNfcnn,其将输入图像x∈R3×H×W映射到输出yx=fcnn(x;θcnn)。输出yx∈RC是表示不同类别c的softmax得分yc。给予c TxeT1CT我们将参考Eq. 2、游戏的游戏性。这个游戏产生的面具(图2 / b2)3是稀疏的(即,许多像素为零/显示为黑色;通过最小化最大值来强制执行,并且最多x重要像素。相应的解释是,输入图像x、目标类cT(例如,通过将掩模与图像相乘而得出(图2/c2)。最可能的c类T =cml)通过remov计算-相关(删除)或不相关,不支持y9100[1]为简洁起见,我们将在本书中使用“解释”一词作为局部解释的同义词。2张量x、e、r被假设为根据CNN的训练进行归一化。因此,这些值的零值对应于灰色(即数据平均值的颜色)。3图2 / b2:图2,b列,第2行9101=mCTCTCTCTCTMCTCTCT图2:使用删除/保留游戏为VGG计算的可视化类型。对于压抑/生成博弈,同样的特征也成立。省略下标c以便于阅读。a)输入图像。b)通过优化获得的掩模。删除蒙版中的颜色与图像颜色互补c)通过优化直接获得的解释d) 补充面具与真彩色表示的删除游戏。e)强调删除博弈的重要证据的解释。f)平均掩模:掩模/对比。平均颜色的遮罩 - 为了强调重要的证据,我们用e来解释保留/生成博弈,用e来解释删除/保留博弈。或者,我们可以使用以下方法计算删除解释:没有任何类的证据和优化迭代-∗ ∗cTcT ·X,tatively必须添加相关的(生成游戏)或不相关的,不支持类cT,信息(抑制游戏)。m= arg max{(ycT,ycT)+λ·mc{\fn方正黑体简体\fs18\b1\bord1\shad1\3cH2F2F2F}. (三)c TxeT1CT这种最优化将被称为删除游戏今后.由这个游戏产生的面具(图2 / b1)主要包含一个(即,出现白色;通过最大化等式中的ΔmcT1来强制执行。3)并且仅在像素处的小条目,生成游戏的可视化相当于对于保存博弈,对于剥夺和压制博弈也是如此。在我们的实验中,删除游戏产生了最细粒度和视觉上令人愉悦的解释。与其他游戏相比,它通常需要最少的优化迭代,因为我们开始为目标阶层提供最突出的证据m0=1,并且相对较少的掩码值必须删除游戏的面具中的颜色是复杂的-图像的颜色。为了获得类似于保存游戏的真彩色表示,可以交替地可视化互补掩模(图11)。2/d1):更改为删除目标类的证据。四种优化设置的比较和附加特征(即,游戏)包括在SEC。A3.5。=(1−m)的情况。删除的解释3.2. 对抗性证据辩护游戏,如Eq. 3,在图中可视化。2/ c1。这解释在视觉上与原始图像非常相似,因为仅需要删除几个像素来改变模型输出。在论文的其余部分,为了更好地可视化,我们描述了对CNN已被证明易受对抗性图像的影响[45,19,27],即精心制作以欺骗CNN的正确分类图像的扰动版本。由于对抗方法和优化方法的计算相似性,删除游戏:删除游戏= x·(1−m)的情况。这一解释基于视觉解释的方法,对抗性噪声与保存博弈的性质相同,即,它只突出了重要的证据。我们观察到,删除游戏一般产生稀疏的解释相比,保存游戏,因为更少的像素必须删除删除证据的类比通过保存像素来维护证据。为了解决Eq. 2和Eq。3,我们使用随机梯度下降,并开始与解释-这也是一个问题,对于后者的方法,一个人必须恩-确保解释是基于图像中存在的真实证据,而不是基于在优化期间引入的虚假对抗证据。这对于生成/抑制博弈尤其如此,因为它们的优化开始于0=0并迭代地添加信息。[17] 和[11]显示了基于优化的解释方法对对抗性噪声的脆弱性。避免国家E0=1·x与原始图像相同(即,一对抗性证据,解释方法采用随机掩码初始化为1)。 作为备选初始化的面具,我们还探讨了零初始化0=0。 在这种情况下,最初的解释包括操作[17],额外的正则化[17,11],opti-使用低分辨率掩码对计算掩码进行上采样[17,14,6],或使用正则化代理em~MM9102我我我我我我我我我我我i i iTiT应用于网络修剪[22])。要解决的优化与受方程。4,可以通过在优化损失中的惩罚函数来结合约束。缺点是一个额外的超参数。可选择地,可以在每个非线性之后添加附加层h′l这保证了Eq. 第四章:hl(ec )= min(bu,max(bl,hl(ec),图3:为对抗类bu= max(0,hl(x)),bl= min(0,hl(x)),(五)豪华轿车和预测类agama使用生成游戏和VGG16有和没有我们的对抗性防御。一个对抗性的阶级轿车只能计算没有辩护。d)平均掩码增强7倍以显示小的对抗结构。模型[11]。一般来说,这些操作通过模糊模型易受错误证据影响的梯度方向或通过限制潜在对手的搜索空间来阻止对抗性噪声的生成。这些技术有助于减少对抗性证据,但也引入了新的缺点:1)防御能力通常依赖于人为调整的参数; 2)简化仅限于低分辨率和/或平滑,这阻止了细粒度证据的可视化。一种新型的对抗性辩护。为了克服这些缺点,我们提出了一种新的对抗性防御,它以有针对性的方式在反向传播过程中过滤梯度。我们方法的基本思想是:CNN中的神经元是只有当同一神经元也被原始图像x激活时,才允许被解释ecT激活。如果我们把神经元看作特征存在的指示器(例如,边、对象部分、.. . ),所提出的约束强制说明ecT只能包含存在于原始图像x中的相同位置处的特征。通过确保ecT中允许的特征是x中特征的子集,它防止了新证据的生成这种防御技术可以通过优化约束集成到所介绍的解释方法中:.0≤hl(ecT)≤hl(x),如果hl(x)≥0,其中,hl(ecT)是原始非线性层的实际激活,hl(ecT)是确保原始输入的边界bu、bl之后的调整动作。例如,对于ReLU非线性,上限bu为等于hl(x),并且下限b1为零。我们不应用这种方法,因为它改变了我们试图解释的模型。相反,我们在优化的向后传递中剪切梯度,这导致违反Eq。4.第一章这相当于在每个非线性之后添加一个附加的削波层,其充当前向传递中的身份,并使用等式2的梯度更新。5、向后传球。当通过限幅层r反向传播误差信号γl时,所得误差γl的梯度更新规则由下式定义:γl=γ<$l·[hl(ec)≤bu]·[hl(ec)≥bl],(6)其中[·]是指示函数,而bl,bu是在等式中计算的边界。五、该裁剪仅影响通过网络传播的相似性度量(·,·)的梯度 建议的梯度裁剪确实不添加超参数,并在向前传递期间保持模型的原始结构。与其他对抗性防御技术([11],[17],[6])相比,它对解释没有限制(例如,分辨率/平滑度约束),从而实现细粒度的解释。确认对抗性辩护。为了评估我们的辩护的表现,我们计算了一个解释类cA,其中没有证据的图像(即。它在视觉上不存在)。我们用下式近似cA:最不可能类CLL仅考虑产生我我我(四)0≥hl(ecT)≥hl(x),否则,真实类别p(ctrue)的预测置信度非常高≥我我0的情况。九九五使用cll作为目标类,得到的解释其中hl是第l层非线性后的网络。为了简洁起见,索引i引用激活图中的一个空间位置处的一个特定特征。该约束在所有非线性层(例如,ReLU-层),作为最终分类层。它确保激活的绝对值只能向表示较低信息内容的值减少(我们假设零激活通常没有防御的方法类似于对抗性攻击(the迭代最小似然类方法[27])。对抗类cA的正确解释应该是灰色),如图所示。3b,第一排,当使用我们的对抗性辩护时。另一方面,如果解释方法容易受到对抗性噪声的影响,那么优化过程应该能够完美地为任何类生成解释。这种行为可以在图中看到。3C,顶排。所显示的对抗性的解释不不9103模型没有防守捍卫VGG 16[39]一百块0%的百分比0的情况。百分之二AlexNet[26]一百块0%的百分比0的情况。0%的百分比ResNet50[23]一百块0%的百分比0的情况。0%的百分比[44 ]第四十四章:一个女人0%0. 0%的百分比表1:使用在VGG 16上没有稀疏性损失的生成博弈,在有和没有我们的防御的情况下,生成对抗类cA的类(cA:豪华轿车)主要包含人工结构,并且以概率1被分类为豪华轿车。我们还描述了预测类(cpred:agama)的解释。我们的辩护解释导致了对无伽马的有意义的表示(图3b,下图)。(图)无防御(图)3 c / d,底行)它要稀疏得多。由于不存在任意改变像素值的约束,我们假设该算法引入了附加结构来产生稀疏解释。在Tab中报告了拟议防御的定量评估。1.一、我们为1000个随机ImageNet验证图像生成解释,并使用类cA作为解释目标4。为了简化对抗性示例的生成,我们将稀疏性损失设置为零,并且仅使用试图最大化目标类cA的概率的相似性度量。在没有采用防御技术的情况下,优化能够为100%的图像生成对抗性的攻击。运用我们的防御(Eq. 6),优化几乎从来没有能够做到这一点。VGG16中生成的两个对抗性示例具有低置信度,因此我们假设图像中存在所选类别cA的一些证据。因此,我们提出的技术非常适合对抗性证据。4. 定性结果实施细节见第二节。A2.4.1. 解释性方法比较。使用删除游戏,我们计算了GoogleNet和com的平均解释掩码,如图所示。5、最先进的方法。我们的方法通过删除目标对象的重要像素来提供最细粒度的解释特别是解释b)、f)和g)更粗糙,因此倾向于包括不必被删除以改变原始预测的背景信息。FGV突出显示的大部分像素形成对象的边缘这在其他方法中看不到。c)和d)的解释与我们的解释最相似然而,我们的掩码被计算以直接产生可行网络的解释。4对于cA,我们使用了最不可能的类,如前所述我们使用第二个最不可能的类,如果最不可能的类恰好匹配零图像的预测类。输入,因此是可验证的-删除突出显示的像素会阻止模型正确预测对象。这种说法不一定适用于用方法c)和d)计算的解释。建筑见解。如[31]中首次指出的,使用基于反向传播的方法的示例显示了ResNet的网格状模式。一般来说,[31]证明,网络结构影响可视化,并且对于ResNet,跳跃连接在其解释行为中起重要作用。如图6所示,这种模式在我们的解释中也可以看到,甚至更精细。有趣的是,网格图案在对象外部也可见程度较低。对这一现象的详细调查有待于今后的研究。各型号之间的解释比较见A3.44.2. 分类判别/细粒度直观的解释方法应该能够产生类判别(即.专注于一个对象)和细粒度的解释[35]。为了测试FGV相对于这些属性,我们生成的图像包含两个对象的解释。这些对象是从高度不同的类别中选择的,以确保很少有重叠的证据。图4,我们可视化解释三个这样的图像,使用删除游戏和GoogleNet计算。其他结果可以在Sec.A3.2.FGVis能够生成类判别式投影,并且仅突出显示所选目标类的像素。即使是部分重叠的物体,如图中的麋鹿和4,第一排,或桥和纵帆船图。4、图4:使用删除游戏和GoogleNet计算的具有多个对象的图像的解释掩码。FGVis产生类区分解释,即使对象部分重叠。此外,FGVis能够将细粒度的细节可视化到像素级别。9104图5:平均解释掩码的比较:a)图像,b)BBMP [17],c)梯度[38],d)引导反向传播[42],e) 对比激励反向传播[49],f)Grad-CAM [35],g)闭塞[48],h)FGV(我们的)。所有参考方法的掩模都是基于[17]的工作。由于我们的详细和稀疏的掩码,我们以更大的尺寸绘制它们。图6:使用ResNet50的删除游戏计算的视觉解释。掩模(b,d)显示网格状图案,如[31]中对ResNet50所观察到的。第三行,正确区分。FGV的一个主要优点是它能够可视化细粒度的细节。这个属性在图4的第二行中特别明显,它显示了对目标类围栏的解释。尽管栅栏的精细结构,但FGV能够计算主要包含栅栏像素的精确解释。4.3. 调查训练数据解释方法的一个应用是识别训练数据中特别是对于安全关键的高风险领域(例如,自动驾驶),如果模型不能推广到现实世界,这种偏差可能导致失败学到的东西。 一个常见的偏差是可以使用FGV描绘的图像中的对象节中A3.3,我们描述了ImageNet中的这种偏差,即运动设备与球员组合出现。学习色彩物体往往偏向于特定的颜色。FGV可以给出不同颜色通道的重要性的第一视觉指示。我们调查了在ImageNet上训练的VGG16模型是否在使用保存游戏时显示出这种偏见。我们专注于学校公共汽车和小型货车,并比较解释(图。7;图中所有正确预测的图像。A6和A8)。与校车相比,小型货车的配置侧重于边缘,而不是一致的颜色,黄色主导了这些解释。这是第一次表明颜色对校车预测的重要性。为了验证定性的发现,我们定量地给出了颜色偏差的估计。作为评估,我们将三个颜色通道BGR中的每一个交换为RBG或GRB,并计算维持的真实分类的比率。交换后的验证数据。83.第八十三章在21幅正确分类的图像中,有3%(RBG和GRB的平均值)的图像保留了其类别标签,而校车只有8%。42张图片的3%。对于80个ImageNet类,至少75%的图像在颜色交换后不再真正分类。我们显示了Tab中受影响最大和最小的19个班级和小型货车/校车的结果。A3.据我们所知,FGV是第一种用于突出颜色通道重要性的方法5. 定量结果5.1. 解释的忠实性生成的视觉解释对底层神经网络的忠实性是解释方法的重要属性[35]。为了定量比较方法的可信度,Petsiuket al. [32]提出了不依赖于人类标签的因果度量。这些方法不偏向人类感知,因此非常适合验证解释是否正确地代表了模型预测所依据的证据。我们使用删除度量[32]来评估信仰-9105图7:使用VGG16的保存游戏计算的费用。班级小型货车的解释集中在边缘,几乎不保留颜色,与班级校车相比,黄色占主导地位的解释。通过我们的方法产生的解释的fulnes。该方法测量证据的移除如何影响所用模型的预测。该度量假设给出了重要性图,该重要性图相对于它们对于预测类c_ml的证据对所有图像像素进行排名。通过迭代地从输入图像中去除重要像素并测量类别cml的所得概率,可以生成一条去除曲线,其曲线AUC下的面积被用作忠实度的度量(第12节)。A4.1)。在选项卡中。2、我们报告了FGVis,com的删除度量,该 图 像 被 认 为 受 到 可 消 除 的 糖 尿 病 视 网 膜 病 变(RDR)的影响利用删除博弈,我们得到了一个弱监督的方法来检测RDR病变.A4.2中描述了设置、使用的网络以及疾病和训练数据的详细信息。为了评价FGV,使用了DiaretDB 1数据集[25],其中包含89张具有不同病变类型的眼底图像,由四位专家标记了真实情况为了定量地判断性能,我们在表中进行比较3.检测图像中是否存在某种病变类型的图像级灵敏度。方法[54,28,21,29]在图像级别上使用监督方法,而不报告定位。[51]提出一种无监督的方法来提取显著区域。[18]使用与我们类似的设置,以弱监督的方式将CAM [53为了确定是否检测到病变,[18] 建议在建议的区域和地面实况之间有50%的重叠。由于我们的解释掩码是细粒度的,而地面事实是粗糙的,我们使用25%的重叠进行比较,为了完整性,报告50%的重叠。值得注意的是,FGV执行了被设计为检测一种病变类型的存在的可比较的或FGV的强度在检测RSD时尤其明显,因为这些小病变仅覆盖图像中的一些像素图A21我们显示眼底图像,地面实况和我们的预测。在ImageNet的验证分割上使用不同的模型我们使用删除游戏来生成掩码mml,它决定了每个像素的重要性。实验设置的详细描述以及附加图,可参见第A4.1. FGV在两种模型上的解释效果均明显优于其他解释方法。这种性能提高可以归因于FGV可视化细粒度证据的能力。所有其他方法都限于粗略的解释,或者是由于计算限制,或者是由于所使用的措施以避免不利证据这两种模型架构之间的差异很可能归因于ResNet50的卓越性能,导致所有验证图像的平均softmax得分更高。方法ResNet50VGG16[35]第三十五话0的情况。12320的情况。1087滑动窗口[48]0的情况。14210的情况。1158柠檬[33]0的情况。12170的情况。1014RISE [32]0的情况。10760的情况。0980FGV(我们的)0的情况。06440的情况。0636表2:在ImageNet验证数据集上计算的删除度量(越低越好)。所有参考方法的结果均来自Petsiuk等人。[32 ]第32段。5.2. 医学图像我们在真实世界的用例中评估FGV,以识别眼底图像中的区域,这些区域导致CNN进行分类方法H他SERSDZhou等人[五十四]Liu等人[28日]94.4--83.0-83.0-Haloi等人[21日]Mane等人[29日]-96.5----96.4Zhao等人 [五十一]98.1--Gondal等人[18个国家]97.293.381.850我们的(25%重叠)10094.790.088.49106表3:四种不同病变H、HE、SE的图像级灵敏度(%)(越高越好),RSD:出血、硬渗出物、软渗出物和红色小点。6. 结论我们提出了一种在图像空间中生成细粒度视觉解释的方法,该方法使用一种新的技术来保护对抗性证据。我们的辩护没有引入超参数。我们在不同的模型上展示了防御的有效性,将我们的解释与其他方法进行了比较,并定量地评估了忠诚度。此外,我们强调了产生类区分可视化的优势,并指出了ResNet50的解释特征。由于我们的解释的细粒度性质,我们在医学数据集上取得了显着的结果此外,我们展示了我们的方法在视觉上指示训练数据中的颜色偏差的可用性。9107引用[1] 朱利叶斯·阿德巴约、贾斯汀·吉尔默、伊恩·古德费罗和比恩·金。深度神经网络的局部解释方法对参数值缺乏敏感性。在2018年国际学习代表会议(ICLR)上的研讨会上。2[2] Ankita Agrawal , Charul Bhatnagar , and Anand SinghJalal.糖尿病视网膜病变视网膜图像中微动脉瘤自动检测的调查。信息系统和计算机网络国际,第24-29页。IEEE,2013。10[3] R. Arunkumar和P.卡提盖库玛通过简化的深度学习特征进 行 多 视 网 膜 疾 病 分 类 Neural Computing andApplications,28(2):329-334,2017. 10[4] Sebastia nBach,Ale xanderBinder,Gre' goireMontav on,FrederickKlauschen,Klaus-RobertMüller,andWojciechSamek.通过逐层相关传播对非线性分类器决策的PloS one,10(7):e0130140,2015。2[5] David Baehrens,Timon Schroeter,Stefan Harmeling,Mo-toakiK aw anabe ,KatjaHansen ,andKlaus-RobertMüller.如何解释个人分类决策。Journal of Machine LearningResearch,11(Jun):18032[6] Chun-Hao Chang ,Elliot Creager ,Anna Goldenberg ,and David Duvenaud.用反事实生成解释图像分类器。arXiv电子印刷品,第arXiv:1807.08024页,2018年7月。二三四五[7] AdityaChattopadhay , AnirbanSarkar , PrantikHowlader , and Vineeth N. Balasubramanian Grad-cam++:深度卷积网络的一般化基于梯度的视觉解释。在计算机视觉应用冬季会议(WACV),第839-847页,2018年。2[8] E. Colas、A. Besse、A. 奥尔戈戈索湾Schmauch,N.Meric和E.贝斯用于糖尿病视网膜病变筛查的深度学习方法。Acta Ophthalmologica,94(S256),2016。10[9] Marius Cordts , Mohamed Omran , Sebastian Ramos ,Timo Rehfeld,Markus Enzweiler,Rodrigo Benenson,Uwe Franke,Stefan Roth,and Bernt Schiele.用于语义城市场景理解的cityscapes数据集在IEEE计算机视觉和模式识别会议(CVPR)的论文集中,第3213-3223页,2016年1[10] 豪尔赫·夸德罗斯和乔治·布雷斯尼克EyePACS:一个适用于糖尿病视网膜病变筛查的远程医疗系统。Journalof Diabetes Science and Technology,3(3):50910[11] 彼得·达布科夫斯基和亚林·加尔。黑盒分类器的实时图像显著性。神经信息处理系统(NIPS),第6967-6976页,2017年一、二、三、四、五[12] P. 多尔角 沃杰克湾Schiele和P. 佩洛娜行人检测:基准。IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2009年。1[13] 杜梦楠,刘宁浩,胡夏。 可解释机器学习的技术。arXiv电子版,第arXiv:1808.00033页,2018年7月。2[14] 杜梦南,刘宁浩,宋清泉,夏虎。对具有引导特征反演的基于dnn的预测的说明。第24届ACM SIGKDD知识发现数据挖掘国际会议论文集,第1358-1367页,2018年。二、三、四[15] EyePACS。https://www.kaggle.com/c/diabetic-retinopathy-检测. 2015年9月23日评估。10[16] EyePACS。https://www.kaggle.com/c/diabetic-retinopathy- detection/discussion/15617. 2018年9月23日评估。10[17] 鲁思C.方和安德里亚·维达尔迪通过有意义的扰动对黑匣子的可解释在IEEE计算机视觉国际会议(ICCV)的会议记录中,第3429-3437页,2017年。一、二、三、四、五、七[18] 威尔和M。Gondal,JanM. Kohler,Rene'Grzeszick,Ger-not A.Fink和Michael Hirsch。糖尿病视网膜病变眼底图像的弱监督局部化在IEEE图像处理国际会议(ICIP)中,第2069-2073页,2017年。一、八、十[19] Ian Goodfellow、Jonathon Shlens和Christian Szegedy。解 释 和 利 用 对 抗 性 的 例 子 。 国 际 学 习 表 征 会 议(ICLR),2015年。4[20] Varun Gulshan , Lily Peng , Marc Coram , Martin CStumpe , DerekWu , Arunachalam Narayanaswamy ,Subhashini Venu- gopalan , Kasumi Widner , TomMadams,Jorge Cuadros,et al.开发和验证用于检测视网膜眼底照片中糖尿病视网膜病变的深度学习算法。美国医学会杂志(JAMA),316(22):2402-2410,2016。1、10[21] Mrinal Haloi,Samarendra Dandapat,and Rohit Sinha.渗出液检测、分类和严重程度预测的高斯尺度空间方法。arXiv电子印刷品,第arXiv:1505.00737页,2015年5月。8[22] Song Han,Jeff Pool,John Tran,and William Dally.学习权值和连接以实现高效的神经网络。神经信息处理系统进展(NIPS),第1135-1143页,2015年。5[23] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition(CVPR),第770-778页,2016中。6[24] Geoffrey Hinton Oriol Vinyals和Jeff Dean。在神经网络中提取知识。arXiv电子版,第arXiv:1503.02531页,2015年3月。3[25] Tomi Kauzien 、 Valentina Kalesnykiene 、 Joni-KristianKa- marainen、Lasse Lensu、Iiris Sorri、Asta Raninen、Raija Voutilainen 、HannuUusitalo、 HeikkiKaülviaüinen和Juhani Pieti laün。DIARETDB 1糖尿病视网膜病变数据库和评价方案。英国机器视觉会议(BMVC),第1-10页,2007年。八、十[26] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功