卷积神经网络上寻找代表性解释的方法及其在图像分类中的应用

1345--在卷积神经网络上寻找有代表性的解释Peter Cho-Ho Lam1，Lingyang Chu*2，Maxim Torgonskiy1，Jian Pei3，Yong Zhang1，and LanjunWang11华为加拿大技术有限公司公司2麦克马斯特大学3西蒙弗雷泽大学cho.ho.lam，maxim. lanjun.wang @ huawei.comchul9@mcmaster.cajpei@cs.sfu.ca摘要在图像上解释有效的深度卷积神经网络（CNN）背后的决策逻辑然而，现有的方法只能解释一些特定的决策逻辑上的个别或少量的图像。为了促进人类的可理解性和泛化能力，重要的是开发代表性的解释，该解释在大量相似图像上解释CNN的公共决策逻辑，这揭示了公共语义数据有助于许多密切相关的预测。在本文中，我们开发了一种新的无监督的方法来产生一个高度代表性的解释大量的类似的图像。我们将寻找代表性解释的问题制定为一个共同聚类问题，并将其转换为基于CNN线性决策边界样本我们还提出了一个可视化和相似性排名方法。我们广泛的实验证明了我们的方法的卓越性能。1. 介绍可解释性对于机器学习变得越来越重要[40，48]。作为基本的深度学习模型，卷积神经网络（CNN）[26，34]的可解释性已经被深入探索[9，45、47、50、61、72]。例如，已经提出了许多解释方法[12，48，50，56]来解释单个输入图像或图像上CNN的特定决策逻辑。一小部分图像。然而，在CNN上进行图像分类的解释的挑战仍然远未解决。仅容纳一个单独图像或一小组图像的解释对解释图像中包含的噪声高度敏感[20]，*Peter Cho-Ho Lam和Lingyang Chu在这项工作中做出了同样的请参阅[35]以获得本文的完整版本并且因此不能被鲁棒地重新用于解释对一大组看不见的图像的预测[3，16，57]。为了应对这一挑战，我们主张寻求代表性的解释[7]，它解释了CNN的常见决策逻辑。代表性解释更有说服力，因为它可以有效地重复使用，以解释控制大量未见过图像的预测的相同决策逻辑此外，代表性解释还提供了对大量相似图像的共同语义的更深入的洞察[21，32，70]。通常认为这种常见语义被CNN捕获以实现优异的预测性能[18，72，73]。然而，以无监督的方式在一大组相似图像上解释CNN的共同决策逻辑是一个新颖的问题，在文献[21]中尚未系统地研究。我们能否直接扩展现有的解释方法，在CNN上产生代表性的解释？不幸的是，许多现有的方法[9，12，45，50，48]专注于解释单个输入图像或一小组图像上的CNN的特定决策逻辑，因此不能产生代表性的解释。更关键的是，在不知道由CNN的公共决策逻辑预测的大量相似图像的情况下，难以产生代表性解释如第2节所述，一些基于概念的解释方法从一组概念上相似的图像中总结了常见的决策概念。然而，这些方法要么局限于复杂的定制CNN模型[11，70]，要么需要大量概念上注释的图像[18，73]，这些图像在大多数现实世界应用中太昂贵而无法获得[21]。在本文中，我们提出了一种新的无监督任务，即在卷积神经网络上找到有代表性的解释我们的目标是找到并可视化CNN的公共决策逻辑，该逻辑管理输入图像和大量相似图像的预测。我们做了一系列的技术贡献如下。1346我们将CNN在一组相似图像上的共同决策逻辑建模为由CNN的决策边界的一组片段形成的决策区域。包含在该决策区域中的所有图像通过由决策边界片表征的相同决策逻辑被预测为我们制定我们的任务作为一个共同的聚类问题，同时找到最大的一组相似的图像和相应的决策区域包含它们。我们进一步将联合聚类问题转化为NP-hard子模块化成本子模块化覆盖问题，并开发了一种有效的启发式方法来解决它，而不需要任何概念图像注释或对CNN进行任何修改。为了产生可理解的解释包含在决策区域中的图像，我们可视化的决策区域的边界作为热图，以确定重要的图像区域的预测。我们还排名相似的图像，根据他们的语义距离输入图像。最后，我们进行了广泛的实验，以检查口译质量和可重用性的代表性的解释。2. 相关作品我们的工作涉及CNN在图像分类中的四种主要类型的现有解释方法。基于梯度的方法[9，45，50，52，66，67]通过计算和可视化不同类型的梯度来产生对输入图像的解释。早期的研究[2，36，38，52，54，55，56，58，66，67]直接可视化预测类相对于输入图像的分数梯度。类激活映射（CAM）方法[9，45，47，50，61，72]使用区别性定位来产生连续图像区域作为解释。相关性得分方法[5，41，44，51]通过反向传播关于输入图像的一组相关性得分来产生解释。所有这些方法都集中于产生与单个输入图像上的预测高度相关的解释。然而，这种解释并不具有代表性，因为它们对解释的图像中包含的噪声高度敏感[20]。因此，不能有效地重复使用这样的解释来解释对一大组未见图像的预测[3，16，57]。模型近似方法[12，19，27，39，48，49，59，65]通过使用可解释代理模型（例如决策树[19]和线性分类器[12，48]）局部或全局地近似深度神经网络来产生解释。局 部 近 似 方 法 ， 如 Open box [12]， LIME [48] 和Anchors [49]，通过在目标图像的局部相似性邻域中近似神经网络的预测来产生解释。Open box [12]和LIME[48]产生的解释仅适用于非常小的邻域，这在很大程度上限制了它们产生代表性解释的能力[49]。锚[49]产生的解释然而，锚点不能对图像上的CNN产生有效的解释，因为锚点的适用邻域在图像上没有很好地定义[40]。全局近似方法[19，27，59，65]试图用可解释的代理模型来近似整个神经网络。这些方法旨在产生适用于多个相似图像的解释。然而，代理模型通常过于简单，无法准确地近似复杂的深度神经网络[12]。因此，这些方法中的大多数在复杂自然图像上训练的现代CNN上表现不佳[60]。概念解释方法[18，21，32，68，69，70，73]旨在识别一组概念，这些概念有助于对预定义的一组概念相似图像进行预测这里，概念是监督信息或使用另一模型从数据中学习TCAV [32]，Net2Vec [18]和IBD [73]根据人类友好的概念解释神经网络这些方法需要具有高质量概念标签的数据集，如果可能的话，在现实世界的应用中很难获得[21]。一些方法[70]使用决策树来学习概念，而不使用具有概念标签的数据集学习的概念揭示了一组相似图像的共同决策逻辑。然而，这些方法需要对深度神经网络进行复杂的定制，因此在适用于一般CNN方面受到重大限制ACE [21]使用同一类中的一组图像，通过聚类相似的图像片段并删除无关的图像片段来总结重要的概念。概括概念的子集可以直接用于解释输入图像上的预测。然而，如第6.3节所示，ACE不能产生代表性的解释，因为由于图像分割方法和聚类过程的高灵敏度，其对相似图像的解释基于示例的方法[8，24，30，33，63，64]找到示例图像来解释深度神经网络对单个输入图像的决策。范例图像与输入图像相似，但它们不提供特征级解释以揭示输入图像或范例图像上的决策逻辑[40]。因此，不能保证通过与输入图像相同的决策逻辑来预测样本图像。基于原型的方法[6，31]不是为每个单个输入找到解释性示例，而是使用少量实例作为原型来总结然而，原型的选择很少考虑模型的决策过程。因此，它们不能提供关于模型的决策逻辑的许多见解如第1节所述，现有方法无法对CNN在图像分类上的代表性解释，这是本文所面临的挑战3. 问题公式化在本节中，我们首先讨论CNN [26，34]对图像分类的代表性解释的想法然后，我们制定了在CNN上找到代表性解释的问题。1347！X！✓ X2X2X2X{|2X}2X\✓ P|\|✓ X2 X\{2|六、2X3.1. 代表性解释在本文中，我们考虑使用CNN进行图像分类，CNN采用分段线性激活函数，例如MaxOut [23]和ReLU[22，25，43]家族，用于使得包含在该区域中的参考图像也被预测为Class（x）。为了保持我们的演示简洁，我们重载了symbolP（x）表示决策区域，即凸多隐藏的神经元用X表示输入图像的空间它定义的。0令F：R，C是要解释的训练CNN，C是图像类的数量。我们假设用于生成代表性解释的未标记参考图像R的对于输入图像x，F产生预测分数的向量F（x）=[F1（x），F2（x），. ..，其中Fi（x）是在最后softmax层的归一化之前的第i个类的预测得分。X的预测类是Class（X）=argmaxi Fi（X）。粗略地说，一种分类的解释模型是对模型使用的逻辑的描述以产生分类。虽然不同的方法可以采用不同的解释表示，但在图像分类中，例如，表示图像解释的常见方式是识别导致预测的重要区域的热图[9，45，47，50，61，72]。由于解释通常与概括有关，因此使解释更易于理解的一个重要思想是寻求不仅适用于特定图像而且适用于许多相似图像的代表性解释[7]。定义1. 对于由F预测为Class（x）的输入图像x，对x的代表性解释是揭示F对x的公共决策逻辑以及R中的大量参考图像的解释。为了构造有代表性的解释，让我们首先考虑如何对F的决策逻辑建模。F或输入图像x，用f（x）表示由F的最后一个卷积层产生的特征= （x） x是特征图的空间。 根据现有的研究[9，47，50，61，70]，我们通过分析F的全连接层（表示为G：RC）如何使用特征映射f（x）对x进行预测，来对F在x上的决策逻辑进行建模。 F或n y 个 输 入 图 像 x ， 我 们 有 一 个G （f （ x ） ） =F（x）。由于F在所有隐藏神经元中采用分段线性激活函数，因此G的决策逻辑可以由分段线性决策边界表征，该决策边界由决策超平面的连接片段组成[42，46]。我们称这些超平面为线性边界，用P表示G的线性边界的集合。P中的线性边界划分了特征当连续文本清晰时，我们称图像x0的特征映射如果f（x0）包含在由P（x）定义的凸x多面体中 ，则f（x0）包含在P（x）中。如果P （ x ） 中 包 含f（x0），则称x0被P（x）覆盖.由于由P（x）覆盖的所有参考图像都是预处理的，因此P（x）是预处理的。由相同的判定边界集指定为与X相同的类，所包含的图像共享与X相同的判定逻辑。因此，P（x）是对x的代表性解释，因为它揭示了G在对x以及P（x）覆盖的所有参考图像进行预测时的公共决策逻辑。一个问题是P（x）中的线性边界在特征图的空间中，因此不容易被人类理解。为了解决这个问题，在第5.1节中，我们将开发一种方法来将P（x）可视化为有意义的热图，以识别覆盖图像的重要区域根据Carvalho et al.[7]，解释的代表性是解释适用的图像的数量。由于由P（x）建模的决策逻辑适用于其覆盖的所有图像，因此我们将P（x）的代表性定义为由P（x）覆盖的参考图像的数量。3.2. 寻找代表性解释给定训练的CNN F和一组参考图像R，对于输入图像x其通过F的预测将被解释，找到代表性解释的任务是找到具有最大代表性的P（x） ， 并 且 将 P（x）可视化为人类可理解的热图以识别对于预测重要的图像区域。在这里，我们专注于制定一个联合聚类问题，找到具有最大代表性的P（x），并将P（x）的可视化留给5.1节。由P（x）R表示由P（x）覆盖的参考图像的集合。P（x）R，即P（x）覆盖的参考图像的数量，正是P（x）的代表性。表示为D（x） =x0的RClass（x0）=Class（x）由F预测到类的参考图像的集合与Class（x）不同。设P（x）D（x）是D（x）中被P（x）覆盖的图像的集合。找到代表性解释的任务可以用公式表示为以下共聚类问题[15]。将映射到大量的凸多面体[42，46]，其中每个凸多面体定义一个决策区域，该决策区域MaxP（x）✓P|（1a）|(1a)预测包含在该区域中的所有图像为同一类。凸多面体的线性决策边界编码F[12]的全连接层的决策逻辑。受上述见解的启发，我们通过包含f（x）的中的凸多面体来对输入图像x上的F的决策逻辑进 行建模。 这个卷积x多面体必须由G的线性边界的子集导出，记为P（x）✓ P。凸多面体定义了一个决策区域S.T. |=0（1b）|= 0(1b)这里，等式（1a）中的目标是最大化P（x）的代表性，并且等式（1b）中的约束要求P（x）是不覆盖R中被预测为与Class（x）不同的类别的参考图像的决策区域。等式（1）中的优化问题是共聚类问题，因为它同时找到两个1348PPQQQ\QP2hi\：-QPP2个PQP≥PQQP的P \Q|\||\|2X@tQ✓PQ(a) P（x）的一个例子(b) 可视化P（x）我们必须搜索的幂集，以找到方程（1）中组合问题的最优解为了应对这一挑战，我们首先获得了，并用于将等式（1）中的共聚类问题转换为子模块代价子模块覆盖（SCSC）问题。然后，我们提出了一个贪婪算法，找到一个很好的解决方案的SCSC问题。4.1. 转换为SCSC问题在本节中，我们首先介绍如何对子集进行采样图1.一个展示我们想法的例子。输入图像由绿色框标记。其他图像是参考图像。聚类以优化P（x）的代表性。一个聚类是P（x）R中由P（x）表征的公共决策逻辑预测的相似图像的集合。另一个簇是P（x）中的线性边界的集合，其表征G在所有P（x）R中的图像。通过解决共聚类问题，我们可以同时找到一个最大的相似图像集线性边界从. 然后，我们讨论如何使用将等式（1）中的联合聚类问题转换为SCSC问题。t表示一个特征图，W，t+ b = 0表示由系数W和b定义的中的一个超平面。这里，hW，ti是张量W和t之间的内积。我们可以很容易地从[12]中得出，对于任何图像x2X，由以下系数86个从P（x）D（x）中移除一些图像，直到P（x）D（x）6。迭代继续，直到满足等式（3b）中的约束。算法1在最多迭代中收敛。5. 可视化和相似性排序3h←argmin|-|（P（x）[ { h }）\ R|.|.在本节中，我们首先介绍如何可视化45端h2Q\P（x）|P（x）\D（x）|-|（P（x）[{h}）\D（x）|将线性边界h添加到线性边界集合P（x）中。P（x）作为由P（x）覆盖的图像上的热图。然后，我们讨论了如何根据图像到输入图像x2X的语义距离对P（x）所覆盖的图像进行排序6 返回P（x）。f（x）关于每个线性边界h。 我们可以很容易地通过枚举计算出（x）。显然，当6（x）时，P（x）= 是方程（3）中问题的可行解。简单集6=（x），这在我们的实验中产生了惊人的解释性能我们证明了方程3中的问题是一个次模代价次模覆盖（SCSC）问题[28]。定理1. 对于给定的输入图像x，等式（3）中定义的问题是子模代价子模覆盖（SCSC）问题。证据 参见[35]中的附录A。4.2. 解决SCSC问题SCSC问题是NP-难的[13]，因此我们通过算法1中总结的简单贪婪算法[62]来解决等式（3）中的问题。在算法1的每次迭代中，边界h选择P（x）以最小化|P（x）\R|--一种|（P（x）[{h}）\R|.（四）5.1. 在覆盖图像上可视化P（x）由于P（x）覆盖的所有图像的热图可以以相同的方式产生，因此我们以输入图像x为例介绍如何可视化P（x）。为 了 解 释 为 什 么 F 将 输 入 图 像 x 预 测为Class（x），我们将P（x）可视化为热图，该热图标识x中用于预测的重要区域。 由于F将P（x）覆盖的每个图像预测为Class（x），因此我们通过显示为什么x被P （x）覆盖来解释F在x上的决策逻辑。 这等价于表明y∈（x）包含在P（x）中。 关键思想是将P（x）可视化为热图，以识别x中使f（x）包含在P（x）中的重要区域。回想一下，P（x）中的每个线性边界都有助于w hyf（x）包含在P （x）中。 我们首先将P（x）中的每个线性边界可视化为x上的热图。 然后我们通过取所有线性边界的热图的平均值来产生P（x）的热图。用W表示，t+b=0， t（x）中线性边界h的超平面。我们以与Grad-CAM [50]类似的方式将h可视化为x上的热图。首先，如果W，f（x）+b <0，则我们设置W=W和b=b以使W，f（x）+b>0。第二，我们通过下式计算f（x）的第k个通道的通道权重k：|P（x）\D（x）|--一种|（P（x）[{h}）\D（x）|最初由P（x）覆盖但被移除↵ =1X XWk，（5）我 J其中，Wk是第i行、第j列上的条目，并且在P（x）中加上h之后，从P（x）中得到。由于我们在等式（3a）中的目标是最大化参考im的数量的IJ张量W中的第k个通道，并且Z是总数在由P（x）覆盖的年龄中，我们需要选择从P（x）中移除尽可能少的R中的图像的h类似地，分母是D（x）中最初由P（x）覆盖的图像的数量，但是在我们将h添加到P（x）中之后从P（x）中移除。为了快速找到满足等式（3b）中的约束的解P（x），我们需要选择从P（x）中移除尽可能多的D（x）中的图像的h根据上述直觉，算法1中的贪婪算法[62]采用等式（4）来找到使分子最小化并使分母最大化的h在算法1的步骤3中，当存在导致分子等于零的多个线性边界时，我们选取具有最大分母的线性边界h以添加到P（x）中。在算法1收敛之前分母是正的，因为我们总能找到一个线性边界对于每个通道k，条目Wk的数量。第三，我们计算一个原始通过raw=ReLU绘制热图k kk （x），其中 k（x）是特征图（x）的第k个通道。最后，我们重新缩放和归一化原始热图，以与Grad-CAM相同的方式在x上生成热图。该热图确定了x中的重要区域，这些区域表明y h预测f（x）包含在P（x）中。由于P（x）包含许多线性边界，并且每个线性边界都限制于其中y∈（x）包含在P（x）中，因此我们将P（x）的热图计算为所有线性边界的热图的平均值。 由于由P（x）覆盖的图像共享P（x）中的线性边界的完全相同的集合，因此从P（x）中的每个线性边界的W计算的信道权重对于由P（x）覆盖的所有图像是完全相同的。因此，我们重用从输入2Q\1350计算的信道权重集13512X2X2X20|Q|Dist（x，x0）=h2P（x）Q. hWh，f（x）i -hWh，f（x0）i. 、（6）图像x以与x相同的方式产生由P（x）覆盖的其他图像的热图。如稍后在第6.4节中所示，由于P（x）的高度代表性，由我们的方法产生的热图很好地推广到看不见的图像，并且它们通常突出显示由相同P（x）覆盖的不同图像的概念上相似的部分。5.2. 相似图片现在，让我们根据它们到输入图像x的语义距离对P（x）覆盖的图像进行排名。回想一下，P（x）中的线性边界标识了F在由P（x）覆盖的所有图像上的公共决策逻辑。覆盖图像的共同语义由这些线性边界的超平面的法向量捕获。根据这一见解，我们计算输入图像x和另一个图像x之间的语义距离。通过首先将它们的特征映射f（x）和f（x0）投影到法向量上，然后计算投影坐标和法向量之间的L1-距离，将P（x）覆盖的图像x0我们专注于评估解释的代表性，也就是说，输入图像的解释可以被重用以解释与输入图像类似的新图像上的预测的程度由于基线方法不能直接在新图像上重用它们的解释，我们提出以下扩展来重用它们的解释。基于CAM的方法使用从输入图像x计算的通道权重来生成解释（即，热图）。为了重新使用由基于CAM的方法生成的解释来解释新图像x_new上的预测，我们重新使用从输入图像x计算的通道权重，并且遵循基于CAM的方法的相同热图产生步骤来生成x_new的解释。回想一下，我们的方法还重用从输入图像x计算的通道权重集，以生成对由P（x）覆盖的新图像的解释。这是公平的比较，我们的方法与上述扩展的CAM为基础的方法。ACE [21]使用同一类中的一组输入图像nates。-！总结重要的概念。它的集群相似的im-用Wh表示线性边界hP（x）的超平面的法向量。我们计算语义x和x0之间的距离年龄段并去除外围图像段。相似图像片段的每个聚类表示一个概念。为了重新使用这些总结的概念来解释预测-X. -你好！-你好！.在一个新的图像x新的2X上，我们使用完全相同在哪里！h，f（x）i和h-！h，f（x0）i是投影的ω-在xnew上的pretation与ACE相同。另一个问题是，基线方法无法识别-分别是x和x的坐标。我们根据它们到x的语义距离以升序对P（x）覆盖的图像进行排名，使得具有较小语义距离的更相似的图像在列表中排名更高。如我们在第6.3节中的案例研究中所证明的，显示与具有概念上相似的热图的输入图像相似的图像使我们的解释比单独显示输入图像的热图更有说服力。6. 实验在本节中，我们提出了一个系统的实验研究。受篇幅限制，本节仅报告选定结果。更多实验结果请参见[35]附录6.1. 基线方法我们进行了广泛的实验来评估我们的代表性解释（RI）方法的性能，并与最先进的基线进行比较，包括自动基于概念的解释（ACE）[21]和三种基于CAM的方法，Grad-CAM [50]，Grad-CAM++ [9]和Score-CAM [61]。我们使用公开的基线方法的源代码。RI的Python笔记本可以在[1]中找到。所有的基线方法进行比较，使用其最佳参数。对于RI，采样线性边界的数量对解释性能没有太大影响，因此我们简单地=50对于所有实验。确定解释可以有效应用于的相似图像组。为了解决这个问题，在[21，71]之后，我们使用空间中的欧氏距离来找到其特征图最接近输入图像的特征图的相似图像集。6.2. 数据集和评估指标我们使用以下四个公共数据集来评估所有比较方法的性能。ASIRRA数据集[17]包含两类图像，包括原始数据集包含超过300万张图像，其中一部分通过Kaggle公开提供。训练数据和测试数据分别包含25，000和12，500张图像。性别分类（GC）数据集[10]包含两类图像，包括“男性”和“女性”。训练数据和测试数据分别包含47，009和11，649张图像视网膜OCT图像（RO）数据集[29]包含四类图像，包括一类正常视网膜训练数据和测试数据分别包含108，309和1，000张图像。FOOD数据集[4]由两类图像组成训练数据和测试数据分别包含3，000和1，000张图像。对于大型数据集ASIRRA、GC和RO，我们从每个类别的训练数据中随机采样2，500个图像作为参考图像集R，以生成表示管道作为ACE分段x新的和删除外围图像段。剩余的图像片段被分配给它们最接近的概念，并且被用于产生帧间概念。1352✓ X2有意义的解释。对于小数据集FOOD，我们使用所有训练图像作为参考图像集。我们将一组参考图像称为参考数据集。所有参考图像的地面实况标签不用于生成解释。为了评估解释可以在多大程度上重复使用来解释未见过图像的预测，我们从每个数据集的测试数据中随机抽取1,000张图像，以生成未见过的数据集。对于每个数据集，我们训练VGG-19模型[53]作为要解释的目标模型。每个模型都使用输入输入按语义距离对相似图像进行排序通过欧氏距离对相似图像进行排序在ImageNet [14]上预训练的模型参数作为初始化。接下来，我们将介绍如何定量评估口译的代表性。用S所述一组未看见的评估图像。对于每种解释方法，我们首先使用参考数据集生成一些解释，然后重用这些解释来识别S中每个图像中的重要区域。然后，我们采用[9，47]中的评估指标来评估这些解释的代表性更具体地说，我们定义平均压降（AD）=1Xmax（0，Yc（e）-Yc（e0））图像Top-1前2名前3前四名和|e2S|e2S1X|S|e2SYc（e）（七）其中Yc（e）是图像eS上的类别c的预测分数，并且e0是通过根据e上的解释在e中保持20%的最重要像素而产生的掩蔽图像。e0中的其余80%像素被黑色掩蔽。由于ACE使用图像片段而不是热图作为在这种解释中，很难在被掩蔽的图像中精确地保持20%的像素。因此，我们迭代地选择最重要的片段，直到超过20%的像素被保留。小的AD和大的AI意味着对输入图像的解释可以被有效地重用以准确地识别S中的图像上的重要区域。这进一步表明解释的良好代表性性能。6.3. 为例在图2中，第一行示出了输入图像和由RI找到的R中的前4个相似参考图像。第三行示出了相同的输入图像和通过使用欧几里德距离的基线方法找到的前4个相似的参考图像所有图像都被预测为RI发现的前4个相似图像都是成年女性，其在概念上与输入图像非常相似在由基线找到的相似图像中，由红色虚线框突出显示的第四个图像是婴儿，其与输入图像非常不同。RI在寻找相似图像方面取得了优异的性能，图2.关于GC数据集的案例研究。第一行示出了输入图像和由RI检索的类似参考图像第三行示出了相同的输入图像和通过使用Euclidean距离的基线方法检索的相似的参考图像。其他行是不同方法的解释第一行和第三行图像下的数字是“女性”类的预测分数解释下的数字是“女性”类对通过保留20%最重要像素产生的掩蔽图像的预测分数较高的预测得分意味着更好的解释。作为共享相同解释的一组图像。由于所有图像共享相同的解释，因此它们通常在概念上非常相似。基线方法不是设计用于找到共享相同解释的相似图像。一种直接的扩展是使用空间中的欧几里得距离来找到最近的邻居，然而，这在找到具有类似概念的图像时可能不是有效的为了检查所有方法的解释的代表性，我们分析输入图像上的解释是否可以成功地在类似的图像上重复使用，以识别概念上类似的部分作为输入图像。如图2的第二行中所示，由RI从输入图像计算的解释是高度代表性的，因为它一致地识别眼睛和眼睛。AceRIScore-CAM Grad-CAM++ Grad-CAM平均增量（AI）=Yc（e）

下载后可阅读完整内容，剩余1页未读，立即下载