没有合适的资源?快使用搜索试试~ 我知道了~
4948XRAI:通过区域更好地归因AndreiKapishnikov,Tolg aBolukbasi,FernandaVie′gas,MichaelTerryGoogleResearch马萨诸塞州剑桥{kapishnikov,tolgab,viegas,michaelterry}@ google.com摘要显着性方法可以帮助理解深度神经网络。近年来已经见证了显着性方法的许多在本文中,我们1)提出了一种新的基于区域的评估方法,XRAI,该方法建立在综合梯度[26]的基础上,2)引入了用于经验评估基于图像的显着性图(Per信息曲线(PIC))质量的评估方法,以及3)为属性方法提供了基于公理的健全性检查通过实证实验和示例结果,我们表明XRAI比其他显着性方法对常见模型和ImageNet数据集产生更好的结果。1. 介绍显着性方法将深度神经网络(DNN)的预测与最影响该预测的输入相关联。这些功能在广泛的背景下都很有用,包括调试模型在本文中,我们专注于基于图像的显着性方法。多年来已经开发了一组丰富的基于图像的显著性方法(例如,[24、29、14、26、3、6])。确定显著输入的一种常见方法是依赖于模型输出的变化,诸如输出相对于输入特征的梯度。例如,集成梯度(IG)通过从基线到原始输入逐渐改变网络输入并聚合梯度来确定显着输入[26]。虽然现有的显着性方法提供了非常令人信服的结果,有机会进一步提高识别最重要的输入,导致模型鉴于显着性方法的潜在效用,最近的研究已经开始批判性地检查这些技术,并提出了各种方法来评估它们。这些*这两位作者的贡献相等。评估方法提供了验证显著性方法的输出的方法(例如,以确保可以依赖它们来解释模型行为)[2,1],或者以经验方式测量方法的输出,从而能够比较两种或更多种技术。例如,图1.对于对象类别“气球”,在5%面积阈值下的积分折射率(中间)和所提出的XRAI方法(右)的比较。可能具有高像素级属性的区域在区域级被移除,因为它们的总和接近于零。在本文中,我们做了三套贡献。首先,我们提出了一种新的基于区域的显着性方法,XRAI(图2),基于广泛使用的集成梯度(IG)[26]。我们的方法首先过度分割图像,然后迭代地测试每个区域的重要性,根据归因分数将较小的区域合并为较大的片段。通过实例和实证结果,我们表明,这种策略产生高质量,紧密结合的显着区域,优于现有的显着性技术。重要的是,XRAI可以与任何基于DNN的模型一起使用,只要有一种方法可以通过一些相似性度量(例如,图像中的颜色相似性)。其次,我们通过引入基于扰动的健全性检查来增加属性方法[1]的健全性检查,该检查可用于测试属性方法的可靠性。我们的健全性检查可以被看作是一个放松的4949图2.XRAI是一种显着性方法,其递增地增长归因区域。 在该图中,针对不同的面积阈值揭示了用于将图像分类为“金翅雀”的最重要的区域:该技术首先识别一只鸟(3%),然后识别两只鸟(10%)。可供选择的可能片段池由彩色区域(XRAI片段)表示显着性热图指示这些区域中的哪个区域最后,示出了在10%的面积阈值(根据XRAI请注意,XRAI从许多段构建鸟,并不仅仅依赖于段的质量。灵敏度-N度量[2]的版本,其中我们要求导致输出中的非零变化的特征至少具有非零属性。在应用这种健全性检查时,我们发现梯度[4,22],梯度 * 输入和积分梯度有时会失败,即使是非常敏感的特征,这些特征会导致预测以最小的修改完全改变。来自该健全性检查的关键见解是,与像素级IG属性相比,像素属性的区域级总和更鲁棒(图1)。最后,我们引入了一对评估指标,用于实证评估显着性技术的质量:准确信息曲线(AIC)和Softmax信息曲线(SICs),两者在精神上类似于接收器操作特征显示(ROC)。这些测量方法的灵感来自摄影中的散景效应,其包括聚焦于感兴趣的对象,同时保持图像的其余部分模糊。以类似的方式,我们从完全模糊的图像开始逐渐锐化图像区域增加了图像的信息内容。然后,我们通过测量近似图像熵(例如,压缩图像大小)和模型模型精度)。总的来说,我们称这些指标为性能信息曲线(PIC)。我们vali-日期这些技术显示如何排名流行显著性方法综上所述,本文做出了以下贡献:• 我们介绍XRAI1,一种新的基于区域的属性方法。XRAI可以应用于任何DNN模型,产生优于其他方法的经验结果,并实现与其他技术竞争的性能。• 我们引入了一个扰动为基础的健全检查测试显着性的方法。• 我们介绍了两个度量质量的指标1有关实现和更多详细信息,请参见https://github.com/PAIR-code/saliency归因方法的准确度信息曲线和Softmax信息曲线。我们通过将它们应用于在ImageNet数据集上运行的 流 行 显 着 性 方 法 , 并 使 用 Inception [28] 和Resnet50 [13]模型,以及将它们与标准本地化指标进行比较,来证明它们的实用性和有效性。本文其余部分的结构如下。我们首先回顾相关的工作,然后介绍一个扰动为基础的完整性检查。然后,我们描述XRAI及其实施。我们引入了两种评估方法,准确度信息曲线和Softmax信息曲线,以补充现有的显着性方法的评估指标。然后,我们展示了一系列实验的结果,这些实验将XRAI与GradCAM,Gradient,Gradient*Input和IG进行了比较,并在ImageNet数据集上显示了每种技术的代表性样本[18]。我们的评估和归因方法的总体图可以在图3中找到。2. 相关工作已经提出了许多将输入归因于输出预测的方法。一组方法修改输入,并通过使用这些修改的输入执行通过网络的前向传递来测量该扰动对输出的影响[10,5]。作为一个例子,[29]提出了一种方法来可视化的预测得分的正确的类作为一个函数的灰色补丁遮挡原始图像。LIME [17]通过查询原始输入的紧密邻域中的模型来拟合更简单的局部模型以逼近预测表面。虽然基于扰动的方法允许直接估计特征子集对输出的影响,但它们需要对模型进行多次查询,这使得它们很慢[30]。此外,性能作为特征数量的函数而降低。最后,神经网络的非线性性质意味着结果仅对于特征的精确子集和修改是可靠的,使得获得针对所有扰动的可靠估计(即,如果我们尝试每一个4950图3. (a)输入豹图像。(b)XRAI的分段过程。首先,图像被过度分割成许多不同形状的重叠区域,然后相对于它们的积分梯度密度逐渐添加片段区域重要性的排名在这种情况下,XRAI重建了豹子(c)单个图像和给定面积阈值的评价方法图未聚焦图像和显著区域掩模被组合以产生显著性聚焦图像。该图像被反馈到分类器以测量性能。特征的子集第二组方法通过将预测分数反向传播通过网络的每一层这些方法通常比基于扰动的方法更快,因为它们通常需要对神经网络的单个或恒定数量的查询一些示例 包 括 Guided Backprop [24] 、 De-ConvNet [29] 、IntegratedGradients[26] 、 Layer-wiseRelevancePropagation [3] 、 SmoothGrad [23] 、 Deep-Lift [20] 、Deep-Lift [21]、Deep-Lift [22]、Deep-Lift [23]、Deep-Lift [24] 、 Deep-Lift [25] 、 Deep-Lift [26] 、 Deep-Lift[27]、Deep-Lift [28]、Deep-Lift [29]、Deep[19][21][22][23][24][25][26][27] 本 文 提 出 的 方 法 ,XRAI,属于这个家庭的归属方法。最近,显着性方法的可靠性和有效性已被严格审查。特别是,研究人员发现许多显着性图对于对抗性攻击是脆弱Adebayo等人[1]引入了一组显着性方法的健全性检查,以确保它们产生有效的结果。具体来说,他们引入了两类通用的健全性检查:相似性度量和可视化。在应用这些检查时,他们发现一些显着性方法会产生类似的输出,无论模型是经过训练的还是完全随机的。这一结果表明,一些显着性方法在这篇论文的研究背景下,他们发现集成的代理人没有令人信服地通过可视化的健全性检查。正如我们稍后所展示的,我们的技术对集成的代理引入了一些关键修改,使其能够成功地通过这种健全性检查。图像中的所有区域关于它们的属性。尽管最小的足够区域给出了高水平的可见度,但它未能捕获图像中不太重要但可能3. 扰动健全性检查在本节中,我们提出了一个公理,作为属性方法的健全性检查。虽然这个公理激发了XRAI(在下一节中描述),但它适用于任何归因方法。公理1扰动-θ:给定,对于输入x= [x1,…,x N],其中除x i外的所有特征都是固定的,如果移除(设置xi= 0)特征x i导致输出改变Δy,则如果满足不等式attr(x i)≥ ∆y,则满足扰动-。这个公理可以看作是[2]中灵敏度-1的松弛。更具体地说,当灵敏度-1满足时,不等式的右侧和左侧对于λ= 1彼此完全相等。注意,即使对于不满足灵敏度-1的情况,也应该满足对于足够大的<0≤1,因为这意味着在移除后改变输出的特征应该具有非零属性。我们提出了一个简单的模拟来测试这一公理。神经网络理想地学习对任何输入x近似函数f(x)。我们可以直接对具有某些性质的f进行采样来检验公理。为了简单起见,作为-双像素图像,其中输入特征为x1和x2。我们将函数定义为:.我们的测量方法与最小的f(x,x)=1 .一、0,如果x1= 127且x2= 127足够的区域,目标是找到最小的区域,使得预测是正确的类[8]。怎么-1 2统一的[0.0,0。5]如果x1,x2∈网格(一)以往,我们不限制测量到最小的区域,并制定我们的指标作为重要性排名我们使用双三次插值从[0,255]范围内的20x20网格获得光滑连续函数4951该函数的一个实例如图4所示。通过构造,该函数在(127,127)处达到峰值,并且x1或x2的任何小变化都将急剧降低分类得分。具体来说,网格上除(127,127)以外的任何点都小于0。5,将预测翻转为负。对于一个在-4. XRAI在本节中,我们首先描述XRAI算法,然后解释其行为并验证其可靠性。计算XRAI的高级步骤如算法1所示。方法来满足摄动-摄动,它需要为方程1中定义的所有函数的x1和x2赋予一个小的然后,我们的健康检查是对许多这些函数进行采样,并测试每次运行的显着性方法如果存在此函数的某些实例,算法1XRAI1:给定图像I、模型f和归属方法g2:过段I到段s∈S3:获得归因图A=g(f,I)第四章: 令显著性掩模M=0,轨迹T=[]一个或两个输入要素的属性为零5:当S和面积(M)<面积(I)做(or(从公理中看,它接近于零)。我们现在展示了一些流行的像素级at-bandwidth方法没有通过这个简单的健全性检查。6:对于s∈S,7:计算增益2:gs=8:结束ΣAii∈s\M面积(s\M)首先,在峰值处相对于输入的梯度为零。因此,很容易显示Gradient [22]和Gradient *Input [21]不通过,并将零属性赋予所有特征。即使在真实网络的情况下,峰值周围的梯度可以是非零的,但指向任意方向,以非零概率失败测试,该概率随时间增长。之前已经观察到,即使没有峰值,梯度也会在饱和区域失效[26]。集成梯度(IG)通过使用基线图像和计算沿路径的梯度来解决这个问题。通过构造,IG满足完备性性质,这保证了在softmax值非零的情况下,至少有一些特征得到非零属性。图4显示了集成事件的x1和x2的属性值令人惊讶的是,在某些情况下,即使输入处于峰值,积分因子对x1或x2的这是有问题的,因为一个非常重要的像素的at-10在很大程度上受到神经网络在远离并且对于峰值周围的分类不重要的区域中的行为的我们期望有一定程度的局部性,远距离行为不应该影响特定输入的属性。需要强调的是,对于所有生成的函数,x1和x2在峰值附近同样重要。运行之间的差异是由于“真实标签”分类区域之外的不同模型行为在实践中,这些行为差异可能是由不同的模型权重初始化或学习速率引起的。一个好的归因方法应该不受这些因素的影响。我们观察到,虽然单个像素对于集成属性可能是不可靠的,但是覆盖感兴趣对象的较大区域具有更可靠的属性。图6示出了具有猫和狗的图像的这种现象的示例。基于这一观察,我们提出了一个基于区域的方法的基础上的一个修改版本的综合梯度。9:s=argmaxsgs10:S=S\s11:M=M∪s12:将M添加到列表T13:结束while十四: 返回T分割我们在skimage python包[9]中使用Felzenswalb的基于图的方法进行分割。分割方法通常具有多组参数,这些参数改变分段的数量和形状我们不希望属性结果依赖于特定的超参数集或分割方法的质量。出于这个原因,我们使用不同的参数集多次分割图像。更具体地说,我们使用一个规模参数内的设置[50,100,150,250,500,1200]和忽略段小于20像素(规模参数主要影响的大小的段)。对于单个参数,片段的并集产生整个图像。因此,所有片段的并集产生等于图像面积的六倍的面积,结果是各个片段显著重叠。片段边界通常与图像中的边缘对齐为了导出显著性图,期望分段包括边缘,因为薄边缘的任一侧上的属性通常彼此相关。为此,我们将片段掩码扩大5个像素以获得最终的片段集合。归因对于归因,XRAI使用具有黑色和白色基线的集成Gra-成分。该选择的动机如下。使用集成梯度技术,使用黑色图像作为基线可减少暗输入像素的属性。例如,图5中的甲虫上的暗像素没有被归因,尽管它们可能比甲虫上的暗像素更重要。2s\M和sM都可以作为增益函数。我们报告联合的结果,但减法可以产生更好的结果;请参阅开放源代码实现以了解更多详细信息。4952我我图4.IG像素级属性不可靠。 尽管与输入x1 = 127、x2 = 127的任何偏差对输出分数具有显著影响,但是积分梯度可以将0属性分配给像素中的任一个。图5.黑色基线IG无法归属黑色甲虫的中心,而是归属明亮的背景像素(中心)。B+W基线导致亮像素和暗像素的属性(右)。更明亮的。实际上,RGB值(0,0,0)将接收正好0属性。这从积分梯度的公式中显而易见选择区域为了选择区域,XRAI利用IG满足灵敏度-N [2]的事实,其中输入的所有属性之和等于输入softmax值减去基线softmax值。给定两个区域,总和为更正值的区域对于分类器应该更重要。从这个观察,XRAI开始与一个空的掩模,然后选择性地添加区域,产生最大的增益,在总的归属每一个区域。该算法运行,直到它获得完整的图像作为掩模或用完要添加的区域。可以将掩模的轨迹看作区域的重要性排序。IGi(x)=(xi−x′)∫1α=0<$F(x′+α×(x−x′))xidα(2)其中(xi−x′)是输入pix eli之间的差以及对应的基线像素。更一般地,任何单个基线积分梯度将对等于或接近基线图像的像素不敏感。实践中的一种替代方案是使用多个随机基线。这种方法有两个缺点。首先,由于基线的随机性,产生的显着性图并不一致,并且在每次运行时都会发生变化第二,该方法更可能引入由于像素相对于其与随机基线的接近度的随机加权而导致虚假属性为了解决这些问题,XRAI使用黑白基线。以这种方式,图像中的任何像素的权重项的总和被保证为1。0自|x−1。0|+的|x−0. 0|=1时。0x∈[0. 0,1。0],其中x是输入像素值和1. 0和0。0对应黑白基线因此,所有像素都有相同的机会贡献属性,而不管与基线的距离如何。此外,该方法产生一致的显着性图。图6. (左)包含“猫”和“狗”的单个图像对象类虽然存在负像素级属性和正像素级属性,但是“猫”的边界框内的IG属性的总和XRAI使用这些信息来找到真正突出的区域。(右)为图像拍摄的关于“猫”类的照片。无论选定的类是什么,渐变都充当边缘检测器并为两个对象属性化。据报道,人类更容易理解区域而不是像素[27]。诸如Grad-CAM的方法虽然它们由于这种效果而产生更平滑的区域,但它通常是一种副作用。XRAI还构建4953xi平滑区域,其通常通过合并显著片段来封装整个对象。虽然XRAI产生的片段通常对应于关于什么构成语义上有意义的区域的人类直觉,但是在XRAI的算法中没有明确编码4.1. XRAI:行为和验证与健全检查在本节中,我们将介绍有助于创建可靠输出的XRAI功能,以及它如何更好地抵御第3节和Ade- bayo等人中描述的健全性检查。[1]的文件。基于梯度的方法通过测量模型输出相对于个体输入特征的变化的灵敏度来工作。这是通过对输入特征i取偏导数来实现的。 偏导数不直接揭示特定输入特征是否对预测类有贡献;它们仅仅显示输入的变化是否改变了模型预测。因此,一些特征可能与预测的类别不相关,但仍具有高归因。这个问题的一个例子可以用猫和狗的图像来证明图6。即使模型将图像分类为包含猫,狗像素的导数也会这是因为删除dog会减少与dog类相关的softmax输出。因此,cat的softmax输出增加。由于这种限制,基于梯度的方法可以通过归因于任何高对比度区域来充当边缘检测器[1],这些区域改变任何可能类别的softmax输出,包括与预测不同的类别。XRAI通过识别与预测类别相关的区域并丢弃不相关的区域来解决这个问题。它受到IG [26]的“完备性”属性的启发以及基线x′。这意味着图像区域真正有贡献的预测类应该有很高的位置-肯定属性;与预测无关的区域应具有接近零的归因;包含竞争类的区域应该具有负属性。这种品质也可以用图6来证明。如果我们从一个空的图像开始,并添加有猫的区域,模型的输出将从接近0开始变化。0比1。0的情况。因此,由于“完整性”属性,归因的delta必须是正的带狗的区域的引入导致模型的输出从1下降。0至06,因此将属性更改为-0。4.第一章同样地,如果改变背景并不改变模型预处理。措辞,背景的归属接近于零。XRAI还解决了个体的可靠性问题像素(第3节)通过将单个像素组合成一组像素。如图4所示,即使单个像素x1和x2的at-1是不可靠的,它们的组合总是加起来为1。0的情况。Adebayo等人[1]提出了对显着性方法的可靠性的有效关注,并提出了一种基于图像相似性的健全性检查,该检查在显着性图逐渐随机化神经网络层时检查显着性图的相似性。如果显着性方法为随机和训练的神经网络产生非常相似的归因图,则测试失败,这表明归因与训练的模型不对IG的分析表明,它对随机网络的属性与训练网络的属性不相关[25]。我们的方法在IG的输出之上Adebayo等人还建议对来自随机和训练的神经网络的属性执行视觉分析。图7表明,具有黑白基线的IG通过了该测试。图7.由IG产生的属性,黑色+白色基线,用于使用随机标签训练的网络(左)与使用正确标签训练的网络(右)的属性。当使用黑色+白色基线时,随机网络属性随机,而训练的网络属性数字像素。因此,具有黑色+白色基线的IG通过了健全性检查[1]。5. 通过模糊和迭代测试对归因方法进行定量评估是可取的,但具有挑战性。显着性方法的主要困难之一是,与许多机器学习任务不同,没有用于比较的基础事实,这使得难以获得精确的数值结果。解决这一挑战的一种常见做法是找到产生正确分类的最小特征子集[8]。如果显著性方法实际上识别对模型的预测重要的该模型应该预测与原始图像中相同的类)。然而,神经网络的非线性性质和高维性也使得难以孤立地评估特征子集对输出的影响。例如,已经观察到,仅仅将图像像素掩蔽在感兴趣区域之外会导致非预期的图像质量。4954由于掩蔽和显著区域之间的尖锐边界的影响[8]。因此,当测试特征子集的重要性时,最小化这种对抗性影响图8. XRAI(第2行)与具有随机基线的积分梯度(第3行)和GradCam(底行)的比较。Grad-Cam可以产生斑点区域,而XRAI倾向于创建紧密围绕已识别对象的区域.基于这些观察,我们从图像的模糊版本开始(有效地从图像中删除信息,见图1)。3)将显著性方法确定为重要的像素加回,测量所得图像的熵,并对该新图像执行分类。模型结果(例如,精度)然后被映射为每个输入图像的所计算的熵或信息水平的函数(下面 扩 展 了 使 用 图 像 熵 我 们 称 之 为 性 能 信 息 曲 线(PIC)。这些图允许人们更容易地比较显着性方法。逐步重新引入内容和监控模型输出的策略具有额外的优点,即揭示模型预测的最重要部分、次重要部分等。例如,想象一张图片,前景是哈士奇,背景是雪。即使当哈士奇是最重要的区域并导致正确的分类时,实践者发现背景雪也是重要区域也是有价值的。此外,从模糊图像开始而不是直接掩蔽突出像素会产生更逼真的图像。如图3所示,所得到的图像看起来像具有散景效果的真实图像。从这一点开始,我们将具有聚焦的显著区域的模糊图像称为散景图像。PIC在精神上类似于基于最小足够区域的排名方法[8],但提供了显着性方法质量的更完整视图为了生成PIC,我们将所有信息级别的性能聚合在一起,数据集中的样本。PIC下的面积,然后,被用来衡量显着性方法的性能。在这个意义上,我们的测量可以被视为类似于受试者工作特征(ROC)曲线下的面积,而不是比较模型具有最大准确性的阈值我们提出了两种性能测量值不同的PIC变体:准确度信息曲线(AIC)和Softmax信息曲线(SIC)。对于AIC,y轴是针对图像信息水平的每个仓在所有图像上计算的准确度。对于SIC,y轴是散景的原始标签的softmax相对于原始图像的softmax的比例在绘制显着性图的质量时,可以潜在地将计算值(准确度或softmax)映射为显着性图的量的函数。在散景图像中重新引入的原始内容(或者,更一般地,显著性掩模的面积与图像的面积的比例)。然而,这种方法严重地惩罚了产生连接和相干区域的显著性方法。这是因为颗粒状的显著性图可以跨越图像中相同数量像素的重要区域从人类理解的角度来看,这是反直觉的,因为众所周知,混乱的表示会导致更高的认知负荷[27]。表示边缘的少量与猫身上的一小片皮毛相比,猫的草图更容易识别,即使它们可能包含相同数量的像素)。为了解决这些问题,我们使用熵作为图像中的信息内容,并将结果绘制为输入图像中信息量的函数。图像的压缩尺寸可以用作图像的近似熵的有用代理,因为精确地测量它是不可行的。我们使用WebP [12],一种流行的无损图像压缩格式,并将信息定义为散景图像的压缩大小与原始图像的比例6. 实验在本节中,我们将在ImageNet验证图像上评估并比较XRAI与其他流行的显着性方法[18]使用第5节中描述的测量框架,以及通过目视检查。我们表明,我们的测量框架方面的所有方法的排名与普遍共识一致,验证框架6.1. SIC和AIC基于图9和表1中的结果,我们看到我们的测量方法与图10中可以目视观察到的一致。从预测的角度来看,随机显着性在所有信息水平上都表现不佳。4955图9.模型Inception [28]和Resnet50 [13]的各种显着性方法的中值softmax信息曲线(SIC)(左)和准确度信息曲线(AIC)(右)XRAI优于所有其他方法,而GradCam紧随其后。图10.在固定面积阈值(20%)下对所有方法进行目视比较。当图像不完全聚焦在感兴趣的对象(诺福克梗)上时,边缘方法选择许多不相关的区域。具有不同基线的IG产生颗粒状图像。XRAI选择两条狗,并在反馈到图像时产生正确的预测。表1.所有方法的SIC和AIC曲线下面积方法Resnet50-V2SICAIC成立SICAICXRAI0.7490.7280.7200.727GradCam0.7600.7270.7030.724IG(B+W)0.5750.5790.6010.634IG(4-随机)0.6230.6360.5950.638IG(黑色)0.5150.5270.5300.576Grad0.5210.5320.4800.543等级 * 输入0.3150.3920.2980.409边缘0.4730.5520.4030.514随机0.4450.4730.2780.401这表明预测能力确实受到选择的像素的影响,而不是来自模糊的背景图像。随机基线IG和黑白(B+W)IG显著优于黑色基线IG。黑白基线IG具有产生确定性显著图的优点,并且运行速度比4-随机基线快,因为运行时间与基线的数量成比例。6.2. 视觉分析图10示出了针对具有两只狗的图像上的固定面积阈值的许多流行方法的样本输出。IG的变体表现相对较好,但产生颗粒状区域。边缘比狗内部获得更多的背景属性该图像在视觉上表明,边缘方法通常仅在存在占据图像大部分的单个对象时表现良好,因为在这种情况下,仅有的由于GradCAM的良好性能(如凭经验和视觉观察到的),我们在图8中提供了XRAI与GradCAM的更详细的比较。特别是,GradCAM倾向于挑选一个区域,并随着阈值的增加逐渐扩展它相比之下-因此,XRAI可以专注于多个领域。这种效果如图8所示,鹦鹉、狗和海星的图像,我们的方法紧紧地覆盖了感兴趣的对象,而GradCAM产生了平滑的圆形区域。我们还观察到,在存在多个对象的情况下,GradCAM倾向于集中在感兴趣的对象之间的区域。在蜗牛和鸟的情况下,可以看到,当面积阈值不足以覆盖两个对象时,焦点向第二个对象移动6.3. 弱监督局部化我们还在Im-ageNet分割数据集上运行了标准的本地化度量[7]。表2显示了XRAI在所有指标上均优于IG和GradCam。有趣的是,排名类似于我们的SIC和PIC指标。这些结果表明,我们的评估方法可以用作代理本地化测试时,地面实况段不可用的数据集。表2.ImageNet分割数据集本地化指标。方法:AUCF1MaeIG B0.7100.6740.219IG 4RND0.7090.6740.223IG B+W0.7290.6810.216GradCAM0.7420.7150.194XRAI0.8360.7860.1497. 结论在本文中,我们提出了一种基于扰动的显着性图的健全性检查,一种新的算法,使用区域信息来改善综合梯度(XRAI),和一种新的方法来衡量显着性方法的质量。通过实验和实例输出,证明了XRAI方法的优越性。我们还表明,我们提出的测量方法与视觉观察和标准的定位指标。4956引用[1] 朱利叶斯·阿德巴约,贾斯汀·吉尔默,迈克尔·穆利,伊恩·古德费洛,莫里茨·哈特和比恩·金。显著性图的健全性 检 查 。 arXiv : 1810.03292 [cs , stat] , Oct. 2018.arXiv:1810.03292。[2] Marco Ancona 、Enea Ceolini 、Cengiz ztireli和 MarkusGross。 朝着更好理解的深度神经网络的基于梯度的属性方法。arXiv:1711.06104 [cs,stat],Nov.2017年。arXiv:1711.06104。[3] Sebastian Bach、Alexander Binder、Grgoire Montavon、Fred-erick Klauschen 、 Klaus-Robert Mller 和 WojciechSamek。基于逐层相关传播的非线性分类器决策的逐像素解释。PLOS ONE,10(7):e0130140,2015年7月。[4] 大卫·贝伦斯,泰门·施罗特,斯特凡·哈梅林,川边茂昭,卡佳·汉森.如何解释独立的分类决策。Journal ofMachine Learning Research,第29页,2010年。[5] 布兰登·卡特,乔纳斯·穆勒,悉达多·杰恩,大卫·吉福德。你为什么这么做?理解具有足够输入子集的黑盒决策。arXiv:1810.03805 [cs,stat],Oct. 2018. arXiv:1810.03805。[6] Aditya Chattopadhyay , Piyushi Manupriya , AnirbanSarkar,and Vineeth N Balasubramanian.神经网络属性:因果的视角。在国际机器学习会议上,第981-990页[7] Runmin Cong , Jianjun Lei , Huazhu Fu , Ming-MingCheng,Weisi Lin,and Qingming Huang.综合信息的视觉显著性检测综述。IEEE Transactions on Circuits andSystems for Video Technology,2018。[8] 彼得·达布科夫斯基和亚林·加尔。黑盒分类器的实时图像显著性。神经信息处理系统,第6967-6976页,2017年[9] 佩德罗·F.作者声明:Daniel P.Huttenlocher 高效的基于图的图像分割。国际计算机视觉杂志,59(2):167-181,9月。2004年[10] 露丝·方和安德里亚·维达尔迪黑箱的有意义扰动解释。2017年IEEE国际计算机视觉会议(ICCV),第3449-3457页,10月。2017. arXiv:1704.03296。[11] Amirata Ghorbani、Abubakar Abid和James Zou。神经网络的解释是脆弱的。第21页,2018年。[12] Google. WebP 图像 格式 。 https://developers.google.com/speed/webp/,2015年。[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。arXiv:1512.03385[cs],2015年12月。arXiv:1512.03385。[14] Pieter-Jan Kindermans,Sara Hooker,Julius Adebayo,Maxi-milian Alber , Kristof T.Schtt , Sven Dhne ,Dumitru Erhan,and Been Kim.显着性方法的可靠性。arXiv:1711.00867 [cs,stat],Nov. 2017年。arXiv:1711.00867。[15] 放大图片作者:Peter Jan Kindermans,Kristof T. Schtt,MaximilianAlber , Klaus-RobertMller , DumitruErhan,Been Kim,and Sven Dhne.学习如何解释神经网络:PatternNet和 PatternAttribution。arXiv:1705.05598[cs,stat],May 2017. arXiv:1705.05598。4957[16] GrgoireMontavon 、 SebastianBach 、 AlexanderBinder、Wojciech Samek和Klaus-Robert Mller。用深度泰勒分解解释非线性分类决策。Pattern Recognition,65:211-222,May 2017. arXiv:1512.02479。[17] Marco Tulio Ribeiro Sameer Singh和Carlos Guestrin。“我为什么要相信你?“: 解释预测任何分类器。arXiv : 1602.04938 [cs , stat] , Feb. 2016. arXiv :1602.04938。[18] Olga Russakovsky , Jia Deng , Hao Su , JonathanKrause , San- jeev Satheesh , Sean Ma , ZhihengHuang , Andrej Karpathy , Aditya Khosla , MichaelBernstein,Alexander C.伯格和李飞飞。ImageNet大规模视觉识别挑战。arXiv:1409.0575 [cs],Sept. 2014.arXiv:1409.0575。[19] 兰普拉 萨河Selvaraju ,Michael Cogswell ,AbhishekDas,Ramakrishna Vedantam,Devi Parikh,and DhruvBatra.Grad-CAM:通过基于代理的本地化从深度网络中进行视觉解释。arXiv:1610.02391 [cs],2016年10月。arXiv:1610.02391。[20] Avanti Shrikumar , Peyton Greenside , and AnshulKundaje.通过传播激活差异学习重要功能。arXiv:1704.02685 [cs],2017年4月。arXiv:1704.02685。[21] Avanti Shrikumar、Peyton Greenside、Anna Shcherbina和Anshul Kundaje。不只是黑盒子:学习的重要特征,通过消除激活差异。arXiv:1605.01713 [cs],May 2016. arXiv:1605.01713。[22] Karen Simonyan Andrea Vedaldi和Andrew Zisserman深入卷积网络:可视化图像分类模型和显著性图。arXiv : 1312.6034 [cs] , 2013 年 12 月 。 arXiv :1312.6034。[23] Daniel Smilkov,Nikhil Thorat,Been Kim,FernandaVigas,and Martin Wattenberg. SmoothGrad:通过添加噪波来去除噪波。arXiv:1706.03825 [cs,stat],June2017.arXiv:1706.03825。[24] Jost Tobias Springenberg、Alexey Dosovitskiy、ThomasBrox 和Martin Riedmiller 。 追求 简单 :全 卷积 网络arXiv : 1412.6806 [cs] , 2014 年 12 月 。 arXiv :1412.6806。[25] Mukund Sundararajan和Ankur Taly。关于以下内容的说明:深度神经网络的局部解释方法对参数值缺乏敏感性。arXiv预印本arXiv:1806.04205,2018。[26] Mukund Sundarararajan,Ankur Taly,and Qiqi Yan.深度网络的公理化属性arXiv:1703.01365 [cs],2017年3月。arXiv:1703.01365。[27] Mukund Sundararajan,Shawn Xu,Ankur Taly,RorySayres,and Amir Najmi.探索深度网络归因的原则性可视化。洛杉矶,第11页,2019年。[28] Christian Szegedy , Wei Liu , Yangqing Jia , PierreSermanet,Scott Reed,Dragomir Anguelov,DumitruErhan,Vincent Vanhoucke,and Andrew Rabinovich.用卷 积 更 深 入 。 arXiv : 1409.4842 [cs] , Sept. 2014.arXiv:1409.4842。[29] Matthew D. Zeiler和Rob Fergus。可视化和理解卷积网络 。 arXiv : 1311.2901 [cs] , 2013 年 11 月 。 arXiv :1311.2901。4958[30] 路易莎·M. Zintgraf,Taco S.科恩,塔米姆·阿德尔,马克斯·威林。可视化深度神经网络决策:预测差异分析.arXiv : 1702.04595 [cs] , 2017 年 2 月 。 arXiv :1702.04595。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- OptiX传输试题与SDH基础知识
- C++Builder函数详解与应用
- Linux shell (bash) 文件与字符串比较运算符详解
- Adam Gawne-Cain解读英文版WKT格式与常见投影标准
- dos命令详解:基础操作与网络测试必备
- Windows 蓝屏代码解析与处理指南
- PSoC CY8C24533在电动自行车控制器设计中的应用
- PHP整合FCKeditor网页编辑器教程
- Java Swing计算器源码示例:初学者入门教程
- Eclipse平台上的可视化开发:使用VEP与SWT
- 软件工程CASE工具实践指南
- AIX LVM详解:网络存储架构与管理
- 递归算法解析:文件系统、XML与树图
- 使用Struts2与MySQL构建Web登录验证教程
- PHP5 CLI模式:用PHP编写Shell脚本教程
- MyBatis与Spring完美整合:1.0.0-RC3详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功