归因方法的新评估方案及其在深度神经网络上的应用

102230走向更好的理解归因方法0Sukrut Rao, Moritz B¨ohle, Bernt Schiele Max Planck Institute for Informatics,Saarland Informatics Campus, Saarbr¨ucken, Germany0{ sukrut.rao,mboehle,schiele } @mpi-inf.mpg.de0图1.左：DiFull和ML-Att的示意图。在DiFull中，我们在图像网格上评估模型（第一列）。关键是，我们为每个子图像使用单独的分类头，这些头部不可能受到其他子图像的影响；这为可能和不可能的归因提供了“地面真相”（第二列）。对于ML-Att，我们在不同的网络层评估方法；这里我们展示了Grad-CAM和IntGrad的结果。此外，我们展示了平滑IntGrad（S-IntGrad）的结果，我们发现其表现良好（第5.2节）。右：我们AggAtt评估的可视化。通过将归因按照其性能分位数范围排序，并在许多样本上进行聚合，我们可以获得方法性能的整体视图。因此，AggAtt可以反映归因方法的最佳和最差情况。0摘要0深度神经网络在许多视觉任务上非常成功，但由于其黑盒特性，很难解释。为了克服这个问题，提出了各种事后归因方法来确定对模型决策最有影响力的图像区域。评估这些方法是具有挑战性的，因为没有地面真相的归因存在。因此，我们提出了三种新的评估方案，以更可靠地衡量这些方法的忠诚度，使它们之间的比较更加公平，并使视觉检查更加系统化。为了解决忠诚度问题，我们提出了一种新的评估设置（DiFull），在这种设置中，我们精确控制输入的哪些部分可以影响输出，以区分可能和不可能的归因。为了解决公平性问题，我们注意到不同的方法应用于不同的层次，这会扭曲任何比较，因此在相同的层次上评估所有方法（ML-Att），并讨论这如何影响它们在定量指标上的表现。为了更系统地可视化，我们提出了一种方案（AggAtt），以定性评估方法在完整数据集上的表现。我们使用这些评估方案来研究一些广泛使用的归因方法的优点和缺点。最后，我们提出了一种后处理平滑步骤，显著提高了一些归因方法的性能，并讨论了其适用性。01. 简介0深度神经网络（DNN）在许多计算机视觉任务上非常成功。然而，它们的黑盒特性使得很难解释和信任它们的决策。为了揭示模型的决策过程，已经提出了几种旨在为单个输入特征分配重要性值的方法（参见第2节）。然而，由于缺乏地面真相的重要性值，以整体和系统的方式比较和评估这些归因方法一直是困难的。在这项工作中，我们采取了三个方面的方法来解决这个问题。特别是，我们关注这些评估的三个重要组成部分：可靠地测量方法的模型忠诚度，确保方法之间的公平比较，并提供一个允许对其归因进行系统化视觉检查的框架。首先，我们提出了一种评估方案（DiFull），它允许区分可能和不可能的重要性归因。这实际上为输入特征是否可能影响模型输出提供了地面真相注释。因此，它可以突出显示归因方法的不同失败模式（图1，左）。其次，公平评估要求在相同的基础上比较归因方法。然而，我们观察到不同的方法解释DNN的深度不同（例如，完整网络或仅分类头）。因此，一些方法实际上解决了一个更容易的问题（即，解释一个更https://github.com/sukrutrao/Attribution-Evaluation.102240更浅的网络）。为了公平竞争，我们提出了一种多层次的归因评估方案（ML-Att），并对多个层次和模型上常用的方法进行了全面评估（图1，左侧）。当在相同层次上进行比较时，我们发现一些方法之间的性能差异基本消失。第三，依赖于个别示例进行定性比较容易偏离比较，并且无法完全代表评估的归因方法。为了克服这一问题，我们提出了一种定性评估方案，即我们在许多输入样本上聚合归因图（AggAtt）。这使我们能够观察到归因方法在完整数据集上的性能趋势，而不仅仅是查看个别示例（图1，右侧）。贡献。（1）我们提出了一种新颖的评估设置DiFull，在这种设置中，我们控制哪些区域不可能影响模型的输出，这使我们能够突出归因方法的明确失效模式。（2）我们认为只有在相同层次上进行评估时，方法才能公平比较。为此，我们引入了ML-Att，并在多个层次上评估所有归因方法。我们表明，当进行公平比较时，一些方法之间的表现差异实际上消失了。（3）我们提出了一种新颖的聚合方法AggAtt，以定性评估所有图像数据集上的归因方法。这允许我们在许多样本上定性评估方法的性能（图1，右侧），这补充了对个别样本的评估。（4）我们提出了一种后处理平滑步骤，显著提高了某些归因方法的定位性能。我们观察到在不同的架构上评估这些平滑的归因时存在显著差异，这突显了架构设计选择如何影响归因方法的适用性。我们的代码可在以下链接找到：02. 相关工作0事后归因方法通常使用三种主要机制之一。基于反向传播的方法[26, 27, 30-32, 35]通常依赖于相对于输入的梯度[26,27, 30, 32]或相对于中间层的梯度[17,35]。基于激活的方法[6, 8, 12, 23, 33,36]通过加权激活图来分配重要性，通常是最后一个卷积层的激活图。激活可以通过其梯度加权[6, 12, 23,36]或通过估计其对分类分数的重要性来加权[8,33]。基于扰动的方法[7, 9, 16, 18,34]将网络视为黑盒，并通过观察输入扰动时输出的变化来分配重要性。这可以通过遮挡图像的部分区域[16, 18,34]或优化最大化/最小化类别置信度的掩码来实现[7,9]。在这项工作中，我们对多种归因方法进行了评估。0跨越所有三个类别的方法。评估指标：已经提出了几种评估归因方法的指标，可以广泛地分为三类：合理性检查、定位性指标和扰动性指标。合理性检查[1, 2,17]测试归因方法必须满足的基本属性（例如，解释应该依赖于模型参数）。定位性指标评估归因在定位类别区分特征方面的效果。通常，这是通过测量归因与物体边界框或图像网格单元的重合程度来完成的（见下文）[4, 5, 9, 22,35]。扰动性指标通过在输入扰动下测量模型行为来估计特征重要性。例如，删除最显著的像素[21]或最不显著的像素[31]，或者使用归因来缩放输入特征并测量置信度的变化[6]。我们的工作结合了定位指标和合理性检查的方面，以评估归因方法对模型的忠实度。基于网格的定位：依赖于物体边界框进行定位假设模型仅依赖于这些边界框内的信息。然而，已知神经网络也依赖于上下文信息进行决策，参见[25]。因此，最近的工作[3, 4,24]提出了从不同类别的输入创建网格，并测量整个网格单元的定位，这允许在没有边界框的数据集上进行评估。然而，这并不能保证模型仅使用网格单元内的信息，并且对于外观相似的特征可能会失败（图3，右侧）。在我们的工作中，我们提出了一种控制信息流动并确保网格单元独立分类的指标。03. 评估归因方法0我们提出了用于更好地理解归因方法的优点和缺点的评估设置。与Grid Pointing Game (GridPG)[4]类似，这些度量标准在具有多个类别的图像网格上评估归因方法。具体而言，我们提出了一种新的定量度量标准DiFull，以及对其的扩展DiPart（3.1），作为对模型忠诚度的更严格的测试，而不是GridPG。此外，我们提出了一种定性度量标准AggAtt（3.2）和一个在相同层次上比较方法的评估设置ML-Att（3.3）。03.1. 定量评估：断开输入0接下来，我们介绍用于比较归因方法的定量度量标准。为此，我们首先描述了GridPG和它使用的网格数据集构建方法[4]。然后，我们设计了一种新的设置，可以精确控制哪些特征可以影响模型输出。通过构建，这为图像区域提供了可能或不可能影响模型输出的地面真实注释。虽然GridPG评估了方法如何定位类别区分特征，但我们的度量标准(a) GridPG(b) DiFull(c) DiPartLi =�p∈xi A+(p)n2j=1p∈xj A+(p)(1)102250图2.我们的三种评估设置。在GridPG中，分类分数受整个输入的影响。另一方面，DiFull明确控制哪些输入可以影响分类分数。为此，我们将每个子图像单独通过空间层，然后为每个子图像构建单独的分类头。DiPart作为DiFull的一种更自然的设置，仍然对信息提供部分控制。为了方便阅读，我们展示了一个 1 × 2 的网格，但实验使用的是 2 × 2 的网格。0通过评估它们的模型忠诚度来补充它。03.1.1 网格数据和GridPG 对于GridPG[4]，归因方法在一个合成的 n × n图像网格上进行评估，每个类别最多出现一次。特别地，对于每个出现的类别，GridPG测量了分配给相应网格单元的正面归因与总体正面归因量之间的比例。具体而言，令 A +( p ) 表示给第 p 个像素的正面归因。子图像 x i的定位分数由以下公式给出：0因此，“最佳”归因图将产生 L i = 1，而均匀分配归因将产生 L i = 1。0n 2。通过仅使用来自不同类别的经过自信分类的图像，GridPG旨在确保模型在其他类别的网格单元中不会找到任何出现类别的“积极证据”。然而，对于共享低级特征的类别组合，这个假设可能不成立，参见图3（右侧）：尽管两只狗（左上和右下）作为单个图像被正确分类，但上左角的狗的逻辑输出受到了网格图像中右下角狗的特征的影响。由于网格中的所有图像确实可以影响GridPG中的模型输出，因此不清楚这样的归因是否真正不忠诚于模型。03.1.2 提议的度量标准：DiFull如前所述，GridPG假设给定类别的子图像外部的任何特征都不应该对其产生积极影响。01如图2a所示，所考虑模型的卷积层处理整个网格以获得特征图，然后逐点进行分类。最后，通过对所有逐点分类分数进行全局汇总，获得每个类别的单个输出。因此，类别的逻辑输出当然可以受到网格中所有图像的影响。0因此，我们建议完全断开（DiFull）模型输出与其他类别的个别子图像之间的连接。为此，我们引入了两个修改。首先，在移除GAP操作后，我们使用n×n个分类头，每个子图像一个，仅对具有相同子图像的感受野中心的输出进行局部汇总。其次，我们通过将相应的连接置零来确保它们的感受野不与其他子图像重叠。具体而言，我们通过将子图像分别通过考虑的模型的CNN主干传递，然后将分类头分别应用于每个子图像的特征图。结果，我们可以保证给定类别的子图像之外的特征不可能影响相应的类别逻辑回归结果-它们确实是完全断开的。03.1.3 自然扩展：DiPart一方面，GridPG允许任何子图像影响其他类别的输出，而另一方面，DiFull完全断开了子图像。与GridPG相比，DiFull可能被视为在典型网络中没有见过的构造设置。因此，作为更自然的设置，我们提出了DiPart，只是部分断开子图像与其他类别的输出的连接。具体而言，我们不将所有连接置零（第3.1.2节），而是仅应用来自DiFull的局部汇总操作，从而为每个子图像获得局部分类头（与DiFull相同）。然而，在这种设置中，特定子图像的分类头可能会受到位于其感受野内的其他子图像中的特征的影响。对于具有小感受野的模型，这会产生非常类似于DiFull的结果（第5节和补充材料）。02 请注意，这相当于每次与另一个子图像重叠时将卷积核的相应权重设置为零。In addition to quantitative metrics, attribution methodsare often compared qualitatively on individual examples fora visual assessment. However, this is sensitive to the choiceof examples and does not provide a holistic view of themethod’s performance. By constructing standardised grids,in which ‘good’ and ‘bad’ (GridPG) or possible and impos-sible (DiFull) attributions are always located in the same re-gions, we can instead construct aggregate attribution maps.Thus, we propose a new qualitative evaluation scheme,AggAtt, for which we generate a set of aggregate maps foreach method that progressively show the performance of themethods from the best to the worst localized attributions.For this, we first select a grid location and then sort allcorresponding attribution maps in descending order of thelocalization score, see Eq. (1). Then, we bin the maps intopercentile ranges and, finally, obtain an aggregate map perbin by averaging all maps within a single bin. In our exper-iments, we observed that attribution methods typically per-formed consistently over a wide range of inputs, but showedsignificant deviations in the tails of the distributions (bestand worst case examples). Therefore, to obtain a succinctvisualization that highlights both distinct failure cases aswell as the best possible results, we use bins of unequalsizes. Specifically, we use smaller bins for the top and bot-tom percentiles. For an example of AggAtt, see Fig. 1.As a result, AggAtt allows for a systematic qualitativeevaluation and provides a holistic view of the performanceof attribution methods across many samples.1022603.2. 定性评估：AggAtt03.3. 跨网络层的归因：ML-Att0归因方法在解释模型的程度上往往存在显著差异。例如，基于激活的归因方法如Grad-CAM通常仅应用于最后的空间层，因此只解释了整个网络的一部分。与Typicalbackpropagation-based方法相比，这是一项明显更容易的任务。网络的更深层次的激活也有望更好地定位，因为它们代表了网络对更高级特征的检测（图1，左侧）。为了公平比较各种方法，我们因此提出了一种多层次评估方案（ML-Att）来评估归因。具体而言，我们在多个网络架构的输入、中间和最终空间层上评估所有方法，并在相同的层次上比较它们的性能，详见第4节。重要的是，我们发现在相同层次上（第5.1节）进行公平比较时，某些归因方法之间的明显差异消失。最后，我们注意到大多数归因方法已经被0设计为为模型的输入特征分配重要性值，而不是中间网络激活。然而，对于中间层的推广是直接的。为此，我们简单地将完整模型f full划分为两个虚拟部分：f full = f explain ◦ fpre。具体而言，我们将fpre视为预处理步骤，并使用归因方法来解释fexplain相对于fpre(x)的输出。注意，在Grad-CAM的标准用法中，fpre(x)由模型的所有卷积层给出，而对于大多数基于梯度的方法，f pre(x)是恒等映射。04. 实验设置0数据集和架构: 我们在Imagenet [19]上训练的VGG11[28]和Resnet18 [10]上运行实验；在CIFAR10[14]上也观察到了类似的结果（见补充材料）。对于每个模型，我们单独选择了验证集中置信度至少为0.99的图像。通过仅使用高置信度分类的图像[3,4]，我们确保每个网格单元内的特征对于模型的类别构成积极证据，而其外部的特征则包含低积极证据，因为它们被置信地分类为不同的类别。在GridPG、DiFull和DiPart上的评估:我们通过从置信度分类图像集合中随机采样图像构建2×2的网格进行评估（见上文）。具体而言，我们为GridPG、DiFull和DiPart的每种方法生成2000个归因。对于GridPG，我们使用不同类别的图像，而对于DiFull和DiPart，我们使用不同类别的图像，除了右下角，该位置使用与左上角相同的类别。通过重复相同的类别，我们可以测试归因方法是否仅突出显示与类别相关的特征，而不考虑模型是否使用这些特征。由于DiFull和DiPart中的子图像与其他位置的分类头部断开连接，重复类别的使用不会改变应该被归因的区域（第3.1.2节）。在中间层进行评估:我们在每个网络的输入（图像）、中间3层（VGG11的Conv5，Resnet18的Conv3x）和最终空间层（VGG11的Conv8，Resnet18的Conv5x）上评估每种方法，详见第3.3节。在输入层之外进行评估会导致较低维度的归因图，其维度由这些层的激活图确定。因此，按照惯例[23]，我们使用双线性插值将这些图上采样到图像的尺寸（448×448）。在AggAtt上的定性评估:如前所述，对于AggAtt，我们使用不等大小的区间（第3.2节）。具体而言，我们将归因图分为以下百分位数范围：0-2%、2-5%、5-50%、50-95%、95-98%和98-100%；参见图1。此外，在我们的实验中，我们评估了左上角网格位置的归因。03 我们展示了单个中间层以可视化从输入到最终层的趋势。所有层的结果可以在补充材料中找到。102270图3. 左图:标准、GridPG和DiFull设置上的示例归因。我们展示了所有方法在它们通常评估的层上的归因，即基于反向传播和扰动的方法的输入层，以及基于激活的方法的最后一层。蓝色框表示对象边界框（标准）或网格单元（GridPG、DiFull）。对于DiFull，我们在实验中使用了同一类别的图像作为左上角和右下角。右图:在GridPG、DiFull和DiPart上评估的遮挡归因的示例。左上角和右下角包含两种不同品种的狗，它们共享相似的低级特征，导致GridPG中的两者都被归因。相比之下，DiFull和DiPart中的断开构造确保右下角子图像不会影响左上角的分类，因此不应该被任何归因方法归因，尽管有些方法错误地归因了它。0归因方法：我们评估了一组多样化的归因方法，有关概述请参见第2节。如第3.3节所讨论的，为了将这些方法应用于中间网络层，我们将完整模型分为两个虚拟部分f pre和fexplain，并将f pre的输出作为fexplain的输入，以获得这些“预处理”输入的重要性归因。特别地，我们评估以下方法。从基于反向传播的方法集中，我们评估了Guided Backpropagation [30]，Gradient[27]，IntGrad [32]和IxG[26]。从基于激活的方法集中，我们评估了Grad-CAM[23]，Grad-CAM++ [6]，Ablation-CAM[8]，Score-CAM [33]和Layer-CAM[12]。请注意，在我们的框架中，这些方法可以被视为仅使用分类头（除[12]外）进行fexplain的，详见第3.3节。为了在较早的层次上评估它们，我们只需相应地扩展fexplain以包括更多的网络层。从基于扰动的方法集中，我们评估了Occlusion [34]和RISE[16]。这些方法通常在输入层上进行评估，并在扰动（遮挡）输入时测量输出变化（图3，左侧）。请注意，Occlusion涉及使用大小为K的遮挡核并以步幅s滑动在输入上。我们在输入层使用K = 16，s = 8，在中间和最后层使用K = 5，s= 2以考虑特征图的较低维度。对于RISE，我们使用M =1000个随机掩码，针对不同的网络层分别生成。05.实验结果和讨论0在本节中，我们首先提供GridPG，DiPart和DiFull上所有归因方法的定量结果，并比较它们在多个层次上的性能（5.1）。此外，我们提供了一种简单的平滑机制，可在这三种设置上提供高性能的归因，并讨论影响其效果的架构考虑因素。0效果（5.2）。最后，我们使用AggAtt呈现定性结果，并展示其在突出显示归因方法的优点和不足方面的应用（5.3）。05.1.在GridPG，DiFull和DiPart上的评估0我们使用输入（Inp），中间层（Mid）和分类头（Fin）（图4中的x轴）对所有三个定量评估设置（GridPG，DiFull，DiPart，图4中的次要列）进行ML-Att评估，这些设置在第3节中讨论。接下来，我们按照它们的“方法家族”将方法的结果进行分组讨论：基于反向传播的方法，基于激活的方法和基于扰动的方法（图4中的主要列）。基于反向传播的方法：我们观察到所有方法在GridPG的初始层上表现不佳（图4，左侧）。具体而言，我们观察到基于梯度的方法产生的归因噪声很大，似乎不能反映图像的网格结构；即，正面的归因几乎与特定类别的子图像内外一样容易找到。然而，所有方法在后续层次上都有所改善。在最后一层，IntGrad和IxG显示出非常好的定位（与Grad-CAM相当），这表明这些方法在相同条件下可能具有类似的解释能力。我们注意到，在最后一层，IxG以前被提出的名称是DetGrad-CAM[20]。在DiFull上，所有方法在各个层次上都显示出几乎完美的定位（图8）。由于与它们相关的梯度为零（毕竟，它们是完全断开的），因此不会给出对于断开的子图像的归因；其他层次的退化可以归因于应用的上采样。在DiPart中也有类似的结果，但是当从分类器向后移动时，定位减少，这可以归因于在此设置中接受域可能与其他子图像重叠。102280图4.VGG11和Resnet18的定量结果。对于每个指标，我们评估所有归因方法与输入图像（Inp）、中间层（Mid）和最终层（Fin）的空间层相关。我们观察到大多数设置上的性能从Inp到Fin有所提高。与基于反向传播的方法类似，DiPart上的方法结果与DiFull上的激活和扰动方法非常相似；详见补充材料。符号*表示折叠为单个值的框，以提高可读性。0图5.平滑归因显著改善了IntGrad和IxG在输入图像和中间层的性能。作为参考，我们在最终空间层上展示了Grad-CAM。0由于DiFull和DiPart的结果相似，我们将讨论限制在DiFull上；有关DiPart的内容，请参见补充材料。0基于激活的方法：我们可以看到除了Layer-CAM之外的所有方法在所有三个设置上从输入到最终层的定位性能都有所提高。由于归因是使用标量加权和的方式计算的，这种改进可以通过改进后续层的激活定位来解释。特别是，在早期层次上的定位非常差，这是Grad-CAM的一个众所周知的局限性（参见[12]）。加权方案还导致除了Layer-CAM之外的所有方法在DiFull上的最终层归因表现比在GridPG上更差，因为这些方法将重复类的两个实例都归因为重要（图8）。这个问题在Layer-CAM中不存在，因为它不应用池化操作。0基于扰动的方法：我们观察到（图4，右侧）遮挡在DiFull的所有层上表现良好，因为遮挡断开的子图像不会影响模型输出，因此不会被归因为重要。然而，随着层次的增加，定位略微下降。这是因为遮挡核与相邻子图像之间的重叠区域的相对大小（相对于激活图）增加。这凸显了性能对超参数选择和计算成本之间的敏感性和权衡。在GridPG上，遮挡的性能随着层次的增加而提高。另一方面，RISE在所有设置和层次上表现不佳。由于它使用随机掩码，与目标网格单元内的像素共享掩码的目标网格单元外的像素被同等归因。因此，虽然归因倾向于更集中在目标网格单元中，但性能可能不一致（图8）。05.2. 平滑归因0从第5.1节中，我们可以看到Grad-CAM在GridPG的最终层定位良好，但在其他所有设置上表现不佳，这是全局池化梯度（对于DiFull）和早期层特征定位不准确（对于GridPG早期层）的结果。相比之下，IxG不使用池化操作，在DiFull的所有层上和GridPG的最终层上表现良好。然而，在GridPG的输入和中间层上，它的表现不佳，这是由于梯度的噪声性。IntGrad显示类似的结果。设计一种消除这种噪声的方法将提供一种在各种设置和层次上表现良好的归因方法。以前减少噪声的方法包括对许多扰动样本进行平均归因图。102290图6.VGG11在GridPG上的定性结果，评估在左上角。中间：按定位顺序排序和分组的聚合归因。每列对应一个分组，每组三行对应一种方法。对于每种方法，从上到下的三行显示输入、中间和最终空间层的聚合归因。左边：第一个分组的示例，对应最佳归因集合。右边：同样，我们展示最后一个分组的示例，对应最差的归因集合。对于平滑的IxG，我们在输入层使用K = 129，在中间层使用K = 17，在最终层使用K =9。所有显示的示例对应于其各自分组中归因位于中位数位置的图像。0图7.对各种核大小进行IxG归因图的平滑的定性可视化，包括正负归因。顶部：VGG11在GridPG上的聚合归因图在数据集的左上角。我们可以看到，当使用大的核大小进行平滑时，正归因（绿色）聚集在左上角的网格单元中，而负归因（红色）聚集在外部。中部和底部：对单个网格和非网格图像进行平滑的示例。当使用大的核进行平滑时，正归因在边界框内集中。0例如（SmoothGrad[29]，请参阅补充材料进行比较）或在训练过程中添加梯度惩罚[13]。然而，SmoothGrad在计算上是昂贵的，因为它需要对网络进行多次传递以获取归因，并且对所选择的扰动非常敏感。类似地，在训练过程中添加惩罚项需要重新训练网络。在这里，我们建议简单地在现有的IntGrad和IxG归因上应用高斯平滑核。我们使用几个核大小在DiFull和GridPG上进行评估，对于大小为K的核，使用标准差K/4。我们分别将平滑版本称为S-IntGrad和S-IxG。在VGG11上（图5，顶部），我们发现S-IntGrad和S-IxG的定位明显优于IntGrad和IxG，并且随着核大小的增加，性能也有所提高。具体而言，尽管解释了整个网络，但S-IntGrad在输入层上的K =257上的性能优于最终层上的Grad-CAM。尽管在DiFull上的性能略有下降，但0平滑会泄漏归因跨越网格边界，无论是S-IntGrad还是S-IxG在各种设置和层上都能很好地定位。然而，在Resnet18上（图5，底部），尽管S-IntGrad有类似的改进，但S-IxG没有，我们将在下面讨论。网络架构的影响：我们实验中使用的VGG11和Resnet18架构之间的一个关键区别是VGG11没有批量归一化（BatchNorm）层。我们注意到，批量归一化通过将输入向量围绕原点进行居中（参见[11，13]）有效地随机化了输入向量的符号。由于输入的符号决定了贡献（加权输入）是正还是负，批量归一化层将随机化贡献的符号，并且贡献的“价值”将编码在批量归一化偏差中。为了测试我们的假设，我们在具有批量归一化层的VGG11上评估S-IxG（图5，中间），并观察到与Resnet18类似的结果：即，通过增加高斯平滑操作的核大小没有系统性的改进。这表明模型的架构选择对归因方法的性能有重要影响。05.3. 使用AggAtt进行定性评估0在本节中，我们使用AggAtt对在GridPG和DiFull上评估的选择性归因进行定性结果展示，并使用多个层次进行分析。首先，为了研究平滑的定性影响，我们使用AggAtt在多个层次上比较了IxG、S-IxG和Grad-CAM在GridPG上的归因。我们在DiFull上使用AggAtt来突出显示一些归因方法的特定特征和失败案例。GridPG上的AggAtt：我们展示了在GridPG上使用VGG11的IxG、S-IxG和Grad-CAM的AggAtt结果，包括三个层次的图像在左上角（图6）。对于每种方法，一组三行对应于输入、中间和最终层次的归因。对于S-IxG，我们分别将K设置为129、17和9。我们进一步展示了个别的102300图8.VGG11在DiFull上的定性结果，评估在左上角。中间：按定位降序排序和分组的聚合归因。每列对应一个分组，每行对应一个应用在其标准层上的方法。左边：第一个分组的示例，对应最佳归因集。右边：最后一个分组的示例，对应最差的归因集。所有显示的示例都对应于其分组中位数位置的图像的归因。0每种方法的第一个和最后一个bin的样本（中位数bin）。我们观察到聚合可视化与定量结果（图4和图5）以及每个bin的个别示例一致。对于IxG和Grad-CAM，从输入到最后一层的性能有所提高，而S-IxG在三个层次上都能很好地定位。最后，最后两列显示了每种归因方法在某些输入上的“差”表现；例如，我们发现如果IxG和Grad-CAM在最后一层上的归因将重要性归因给其他子图像，那么它们展示的特征与左上角子图像中的类别一致。虽然这些归因可能被认为是不正确的，但我们发现GridPG上的许多“失败案例”突出显示了底层模型可能实际使用的特征，即使它们位于另一个子图像中。鉴于缺乏基本事实，很难评估这些归因是否忠实地反映了模型行为或归因方法的不足。尽管解释了更多层次，但S-IntGrad和S-IxG在输入层不仅在定量上（图5）和定性上（图6）与Grad-CAM相匹配，而且在个别解释上也高度一致。具体而言，Grad-CAM（最后一层）和S-IntGrad（输入层）之间的Spearman等级相关性显著增加，与IntGrad（输入层）相比（例如，0.34→0.80在VGG11上），这意味着它们对于任何输入的归因倾向于位于相同的AggAttbin中（见补充材料）。为了进一步了解平滑的效果，我们在包括负归因的情况下可视化了具有不同核大小的S-IxG（图7）。顶行显示了数据集上的聚合归因，而中间行和底行分别显示了GridPG和标准定位设置下的示例。我们观察到，虽然IxG归因看起来杂乱无章（第2列），但平滑使得正归因和负归因能够清晰地分离出来，正归因集中在物体周围。例如，第二行中，IxG归因集中在狗和狼周围，但S-IxG（K=129）只正确地将正归因归因给了狗。这可能表明模型的有效感受野（RF）[15]有限。具体而言，注意对于分段线性模型，将RF中所有输入维度的贡献（由IxG给出）求和将精确地得到输出逻辑值。0（忽略偏见）。具有小RF的模型因此可以通过适当大小的核心由S-IxG很好地总结；我们在补充材料中详细阐述了这一点。在DiFull上的AggAtt：我们在DiFull上对每个方法家族选择一种方法进行视觉评估，即基于反向传播（IxG，输入层）、基于激活（Grad-CAM，最后一层）和基于扰动（RISE，输入层）方法的标准层（图8）。顶行证实了基于反向传播方法在DiFull上显示的近乎完美的定位。中间行显示Grad-CAM归因集中在左上角和右下角，这些区域包含相同类别的图像，因为全局梯度汇聚使其无法区分这两个区域，尽管只有左上角的实例（此处）影响分类。最后，对于RISE，我们观察到虽然归因在大约一半的图像上定位良好，但使用随机掩码会导致底部一半的归因产生噪音。06. 结论0在这项工作中，我们提出了一种公平而系统的评估归因方法模型忠诚度的方案。我们首先提出了一个定量指标DiFull，它限制了可能影响分类的输入区域。这样可以得到任何归因必然不忠诚的区域，并且可以突出一些归因方法的不同失败案例。然后，我们提出了一个多层次评估方案ML-Att，公平地比较了各种方法，并发现在这样做时，方法之间的性能差距大大缩小。最后，我们提出了一种新颖的定性评估方案AggAtt，可以系统而全面地展示归因方法性能的变化。总的来说，我们发现公平比较、全面评估（DiFull、GridPG、AggAtt、ML-Att）以及将模型行为与解释进行仔细区分可以更好地了解归因方法的性能。局限性。我们注意到，虽然我们的方法可以区分可能正确和不可能正确的归因，但我们的方法无法评估目标网格单元格内具体归因的正确性，因为这些归因的基本事实是未知的。102310参考文献0[1] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Good-fellow, Moritz Hardt, and Been Kim.神经网络显著性图的合理性检查. 在NeurIPS，2018年。20[2] Marco Ancona, Enea Ceolini, Cengiz  ¨ Oztireli, andMarkus Gross.对深度神经网络的基于梯度的属性方法的更好理解.在ICLR，2018年。20[3] Anna Arias-Duart, Ferran Par´es, and DarioGarcia-Gasulla. 谁解释了解释？定量评估特征归因方法.arXiv预印本arXiv:2109.15035，2021年。2，40[4] Moritz B¨ohle, Mario Fritz, and Bernt Schiele.用于可解释分类的卷积动态对齐网络.在CVPR，页码10029-10038，2021年。2，3，40[5] Chunshui Cao, Xianming Liu, Yi Yang, Yinan Yu, JiangWang, Zilei Wang, Yongzhen Huang, Liang Wang, ChangHuang, Wei Xu, et al.看两次并思考两次：用反馈卷积神经网络捕捉自上而下的视觉注意力. 在ICCV，页码2956-2964，2015年。20[6] Aditya Chattopadhyay, Anirban Sarkar, Prantik Howlader,and Vineeth N Balasubramanian.Grad-CAM++：改进的深度卷积网络的视觉解释.在WACV，页码839-847，2018年。2，50[7] Piotr Dabkowski and Yarin Gal.黑盒分类器的实时图像显著性. 在NeurIPS，2017年。20[8] Saurabh Desai and Harish G. Ramaswamy.Ablation-CAM：通过无梯度定位的深度卷积网络的视觉解释.在WACV，页码983-991，2020年。2，50[9] Ruth C Fong and Andrea Vedaldi.通过有意义的扰动解释黑盒的可解释性.在ICCV，页码3429-3437，2017年。20[10] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun.深度残差学习用于图像识别. 在CVPR，页码770-778，2016年。40[11] Sergey Ioffe and Christian Szegedy.批归一化：通过减少内部协变量偏移加速深度网络训练.在ICML，页码448-456，2015年