1421一个从目视解释Hamed Behzadi-KhormoujiJose 'Oramas安特卫普大学，imec-IDLab摘要随着卷积神经网络（CNN）的不断发展，人们对CNN内部编码表示的理解也越来越高。研究这种编码表示的任务被称为模型解释。这方面的努力尽管被证明是有效的，但有两个弱点。首先，他们提供的反馈语义性低，导致主观视觉化。第二，没有统一的协议，定量评价的解释方法，这使得目前和未来的方法之间的比较复杂。为了解决这些问题，我们提出了一个统一的评价协议的定量评价解释方法。这是通过增强现有的解释方法来实现的，使其能够生成视觉解释，然后将这些解释与语义标签联系起来。为了实现这一点，我们引入了加权平均交集（WAIoU）度量来估计解释热图和语义注释之间的覆盖率。这是补充了几个二值化技术的热图，测量覆盖率时所必需的分析。实验考虑了几种解释方法，涵盖了在多个数据集上预训练的不同CNN架构，表明了所提出的协议的有效性。1. 介绍卷积神经网络（CNN）最近在各种各样的任务中表现出令人印象深刻的性能[1，14，9]。到目前为止，人们已经做出了很大的努力来证明CNN的预测是正确的，即模型解释[25，8]。见[8，26，3，23，19，2]关于这个问题的调查。相比之下，识别编码在给定模型（模型解释）内的表示的关键元素的任务仍然相对未被探索。与模型解释相关的工作包括对模型中编码的稀疏特征进行表征，图1.拟定评价方案。解释方法被增强为能够经由由解释方法提供的反馈来生成解释热图。然后，将基于集合的二值化操作应用于解释热图。最后，量化解释测量覆盖率并为解释热图分配语义标签。与预测任务相关[18]，并评估内部单元激活与注释掩码之间的对齐[27]。[7]对来自分段输入的激活图进行[24]利用激活图来发现数据集中的主题[12，16，4]学习编码视觉模式的激活图的压缩潜在表示。虽然这些方法已被证明在提供对模型学习的表示的见解方面是有效的，但它们存在三个弱点。首先，大多数现有的方法以定性的方式评估所提供的口译反馈例如，通过图示来自所识别的相关特征的可视化的聚合[18]，或者通过在一些输入示例中可视化视觉模式[7，24，12]。在进行定量分析的情况下[18，24]，分析重点是所提供的解释对基础模型预测性能的影响。因此，解释方法用于评估其反馈的标准因此，缺乏一个统一的评价方案来定量比较解释方法。其次，除了[27，6]之外，大多数现有方法[18，7，24，4，12]都不能将语义标签与其提供的解释反馈联系起来。这导致可视化往往变得模糊或主观。最后，虽然能够提供-1422通过给定模型编码的相关特征的一些视觉反馈[18，7，24，5，12]，这些方法中的大多数都没有利用这些信息来解释从给定输入中做出的预测。我们的提案。针对上述不足，本研究提出以下四点贡献。首先，我们提出了一个增强解释方法的过程，该方法能够基于给定输入示例的潜在表示中识别的（或从中学习的）相关元素生成解释热图。这使得能够评估事后和可解释的设计（又名。内在可解释的）方法。其次，我们提出了一种方法，用于连接的解释反馈，从确定的相关元素，与语义标签。这是通过测量对应于给定输入示例的解释热图和注释掩码作为此过程的一部分，我们引入了加权平均交集（WAIoU）度量，该度量有助于测量解释热图和给定注释掩码之间的重叠第三，在测量像素级注释掩模和热图之间的重叠时的常见做法是对后者应用二值化我们表明，当通过一次考虑多个热图来估计时，这种二值化操作的阈值更有效这与标准做法不同，标准做法是在每个热图的基础上选择这些参数。上述三个方面是拟定评价方案的组成部分，用于定量比较判读方法（图1）。第四，作为评估的一部分，我们通过为70个类添加部分级别的分割掩码来进一步扩展我们希望这套新的注释（CUB- 701）促进定量比较w.r.t.未来的工作。2. 相关工作在本节中，我们从四个方面回顾现有的模型解释方法：有能力做出解释。[18]利用具有引导反向传播的Deconvnet [21]从相关单元生成解释热图，对给定的输入图像具有高响应。ACE [7]可视化了与聚类激活图相关的有限示例集的片段。[16，24]突出显示其激活图与所学习的“可解释”表示具有高接近度的训练示例中的补丁。[12]通过二进制化学习的潜在空间向量和编码器之间的相似性矩阵来提取视觉模式，其中编码器嵌入[4]只为那些1https://github.com/hamedbehzadi/CUB 70-零件分割数据集训练集中的图像块，使得它们的动作与学习到的原型具有最低的欧几里得距离。[5]在卷积滤波器上应用白化和正交变换，以增加由滤波器学习的潜在空间之间的距离。然后，它高亮顶部激活的输入图像作为每个变换过滤器的检测概念。可以看出，除了[18]，这些解释方法不能为给定的输入提供解释反馈。为了解决这个问题，我们增强了其中一些方法（第二节）。4）基于高度激活的相关单元产生可视化，作为对给定输入的解释手段。评价方案。[18，7，4]以定性方式评价所提供的解释例如，[18]使用从识别的关键单元生成的平均可视化[24，12]提出了一种基于用户研究的评估协议。这种类型的评估不仅耗时，而且很难复制。在定量分析的情况下，通过不同的方法对模型性能的变化进行评估。[18]扰动通过将其计算的特征图归零并跟踪预测精度的可能降低来[7]零超像素，对应于输入示例中的聚类然后，它通过扰动图像通过模型，并考虑输出概率的变化作为聚类激活图的有效性[24]提出了ConceptShap度量，其中包括一个完整性得分，用于测量每个学习表示在输出概率中的贡献。可以看出，评价方法存在差异。下面的一些协议是针对它们旨在验证的解释方法的内部工作而这就使得对解释方法进行统一的定量比较成为问题。为了应对这种差异，我们提出的评估协议考虑从识别/学习的相关单元生成的解释热图作为解释方法的一部分。语义解释反馈。网络解剖[27]测量在给定基础模型的所有卷积层中计算的激活图之间的对齐。像素级注释遮罩。然后，将注释掩码与激活图重叠最多的结果，产生列表/直方图，其指示来自通过给定基础模型的内部激活匹配的数据集的语义注释。Net2Vec [6]扩展了这个想法，考虑编码语义概念的激活映射的线性组合，而不是使用单个激活映射。除了- ing [27，6]，其他讨论的作品无法将提供的解释反馈与语义标签联系起来。1423∈∀Σ∈∈∈∈∈J与Network Dissection和Net2Vec相比，我们的方法在以下方面有所不同。首先，我们考虑了实际覆盖的注释示例的数量，而不是仅仅使用所覆盖注释的交集-并集分数。这是通过方程的权重项（WAIoU）实现的。4，这有助于使不同方法的结果具有可比性（第2节）。3.2）。其次，我们利用该指标来衡量解释热图和注释模板之间的覆盖率;而Network Dissection和Net 2Vec旨在测量注释掩码和激活图之间的覆盖率。第三，Network Dissection和Net2Vec旨在比较不同的CNN之间语义概念的数量识别/学习，并使用它们作为解释的手段（节。4解释了对每种方法所做的修改）。考虑一组m个解释热图Ri=[r1，r2，...，r m]（rtRw×ht=1.（m）作为采用激活图A1（来自最后一个卷积层）和由识别/学习的相关组件产生的nents每个解释热图rt是激活空间中的分布，其具有宽度w、高度h和位置（u，v）处的值/响应rt（u，v）。接下来，我们形成包括从每个热图rt中的单元的聚合计算的m个值的集合S（等式1）。①的人。每个过滤器都会学习相比之下，拟议的评估协议旨在解决一个基本问题，即给定的解释方法在识别S={St|St=u∈w，v∈hr t（u，v）t= 1. m}（1）基础模型中编码的相关潜在特征热图二值化。[27，6，12]遵循使用固定阈值的常见做法，每个元素St被认为是其对应的解释热图rt的得分。之后，我们选择在以下中得分最高的前k个解释热图：每个实例的基础上，二进制化每个人热图 与这些不同的是，我们定义这些阈值集合S并将它们连接起来，即Ri′w×h ×K.为gener-通过考虑多组热图（Sec. 3.3）。3. 拟定评价方案所提出的协议首先增强了解释方法以生成一组解释热图。这是通过与给定输入示例相关的激活图和解释方法提供的解释元素来实现的第二，它使用所产生的解释热图为每个输入样本第三，该协议通过测量二值化解释热图和注释掩码之间的覆盖率来作为覆盖率过程的结果，协议为解释热图分配3.1. 具有解释能力本节介绍生成vi的过程在一个解释热图中，每个位置（u，v）的最大响应是在K维上选择的（等式2）。2）的情况。Hi=maxu∈w，v∈hRi′（u，v）（2）最后，为了产生解释反馈，将结果热图HiRw×h调整为图像Xi的大小并叠加。这有助于突出显示输入中确定预测输出的3.2. 量化解释本节旨在量化解释热图的语义覆盖范围 为此，将热图H i的大小调整为M i，jRw′×h′的大小，并使用阈值τbinar y将其二值化为Bi，即 Bi=b（Hi，τbinary）. 我们将在第二节中进一步讨论该阈值的选择。3.3.然后，二值化热图Bi与给定注释掩模Mi，j之间的覆盖率按照等式（1）测量。3.第三章。根据提供的解释进行解释。 考虑i=1IoUZ、|Bi Mi，j|.C 、=（三）D={Xi，Yi，Mi}n包含n个图像检查的数据集J|Bi Mi，j|.j=1J集合Xi，它们对应的类标签Yi，以及对应的响应pixel-wise注释掩码Mi，jRw′×h′，其中j是C语言预先定义的语义概念之一。此外，考虑AiRw×h×d作为将示例Xi推入CNN模型的最后一个卷积层产生的激活图。在评估方案的第一步中，需要增强所考虑的解释方法Z以生成视觉解释。这些突出显示了导致识别/学习相关单元高度激活的输入部分。因此，我们的目标是为图像Xi生成解释热图HiRw×h。生成解释热图的过程是通过使用已经被其中IoUZ表示包含交集的列表。解释方法Z的超并集（IoU）值关于注释的语义概念j.为了比较各种解释方法的覆盖率，我们测量IoUZ中每个注释的IoU平均值。为了计算这个平均值，我们只考虑那些超过阈值的值，即τiou。应注意，给定概念j的选定IoU值的数目在解释方法之间可能不同。考虑到这一点，为了使估计的覆盖性能值在不同方法之间具有可比性，我们计算了与给定方法Z覆盖给定语义的程度1424ΣJ|·|ΣJ×∈× ×--概念j。因此，给定概念j，我们对具有更高数量的解释热图的解释方法给予更高的权重，所述解释热图的覆盖范围w.r.t.概念j超过阈值τiou。这是根据Eq。4.第一章|1 Z|∗1Z Σp=0IoU z[p]程序适用于他们。这与第一种情况不同，在第一种情况下，该过程单独应用于每个解释热图。4. 比较方法本节介绍了应用于以下方面的扩展：WAIoUZ=J|IoUj|J（四）降低比较解释方法（VEBI[18]，主题-jZz=0|IoU z|基于解释[24]和ProtoPNet[4]）在这个等式中，p指的是IoUZ列表中的每个元素。是集合的基数。分子的右边项表示平均IoU。分子中左边的因子表示应用于方法z的权重，J.分数的分母显示了概念j的方法权重的总和。显然，Eq。4可以简化如下。ΣIoUz [p]响应Ri（Sec.第3.1节）。VEBI。我们将其修改为[18]。首先，VEBI考虑所有层的激活来解释基础模型。相比之下，Topic-based和ProtoPNet利用基础模型中最后一个卷积层的激活。因此，为了进行比较，我们修改VEBI，只考虑最后一个卷积层的激活。第二，在测试时，VEBI将来自c类的示例Xi的聚合激活乘以indica，WAIoUZ=p=0j（五）托尔河 该指标最初是根据jZz=0|IoUz|C地面实况标签C.我们通过考虑以下因素来修改此步骤：在该过程之后，每个热图Hi具有每个概念j的IoU值（覆盖准确度）。然后，根据公式在图6中，选择热图Hi具有最高IoU值的概念标签j作为其语义标签。用于选择指示符wc′的预测类c′。这种修改的原因是基于预测类而不是地面实况类来解释模型。在下一步骤中，具有较高分数的结果非零响应被选择为相关层/过滤器元素。最后，Origi-L（Hi）= argmaxj ∈[1. C]3.3.强度阀值化IoU（Bi，Mi，j）（6）最后，该信息被馈送到具有引导反向传播的基于Deconvnet的方法，以生成热图可视化。而不是基于Deconvnet的方法，我们考虑GradCAM有两个原因。第一，反向传播本节描述了对解释热图进行二值化所遵循的阈值处理过程。为了估计最佳阈值（τ二进制）值，我们基于从热图计算的累积分布函数（CDF）分析不同的值。为了实现这个目标，首先，根据给定热图的强度值计算直方图。其次，受[27]的启发，从直方图中估计CDF，并在CDF上应用线性插值。输出是一个强度分布函数，显示了估计函数上不同比例点的强度值为了分析不同的强度作为阈值，我们选择了10个不同的从0开始的点的比例。01%上升至0. 1%，并使用其相应的强度值作为阈值来二值化热图。我们研究了两种不同的情况来估计这些CDF：在第一种情况下，IndivHM，CDF分别为每个解释热图估计。在第二种情况下，SetHM，我们通过考虑多个解释热图来估计CDF。如第在图3.1中，解释热图由K-top解释热图的组合产生。因此，我们考虑用解释热图的相同索引产生的解释热图（即，用相同的k-top索引产生）。之后，CDF估计的方法计算所选特征相对于输入特征的梯度与之不同的是，我们的目标是衡量所识别的特征对模型预测的影响。因此，我们利用Grad- CAM来计算预测输出相对于所识别的相关滤波器的梯度。其次，由于[13]所做的健全性检查分析，与其他众所周知的方法相比，GradCAM提供了更可靠的可视化。最后，由GradCAM生成的与VEBI识别的那些过滤器有关的热图被认为是第2.1节中的集合Ri第3.1条基于主题的解释。我们修改基于主题的解释[24]如下。 在测试时，我们将每个示例X i推送到基础模型，以从最后一个卷积层生成激活映射A iRw×h×d。接下来，考虑sidering的学习主题与大小d T，我们计算激活映射和T主题之间的矩阵积。所获得的响应表示T个主题对来自Xi的激活的“接近概率”。而且，响应在激活图空间维度中（即，h w T），这意味着T个主题的每个切片可以叠加到输入图像中以显示突出显示的部分。因此，我们认为，sider这些T的反应，作为一组R i在SEC。第3.1条ProtoPNet. [4]学 习 一 组 P c=p1 ， p2 ， . ， p Qpro-totypes for class c（c=1. N），其中p e（e=1. Q）是1D1425×× ×× ×向量，N表示类的数量，Q表示每个类的原型数量。在训练阶段期间，该方法仅为训练集中的那些图像块生成解释热图，这些图像块的激活具有到原型的最小L2按照这个过程，在测试时，我们将每个样本Xi推过基本模型以生成激活图Ai。然后，激活图与每个原型集之间的L2距离计算属于每个类别c的Pc。由此产生的响应表明学习到的原型与输入样本的激活的相似性而且，它是一组N个元素，使得每个元素具有维度h w Q。也就是说，对于N个类中的每一个类，我们都有一组维数为h w Q的得分矩阵。最后，我们考虑与预测类c'相关的部分响应作为Sec中的集合Ri第3.1条5. 评价5.1. 数据集我们的方法在以下数据集中得到了验证：[15]第十五话具有30，000512，512张人脸图像，其中24183、2824和2993张图像分别用于训练、验证和测试。每个图像都有19个面部属性的符号面具和与CelebA对应的配件[17]。面具的标签是皮肤、鼻子、眼睛、眉毛、耳朵、嘴巴、嘴唇、头发、帽子、眼镜、耳环、项链、脖子、布料和背景。我们将其分为三类，包括：a）纹理，b）面部部件，和c）配件。纹理类别包括两个子类皮肤（包含皮肤、颈部和耳朵注释蒙版）和头发（包含头发和眉毛）;面部部位类别包括与鼻子、眼睛、嘴和嘴唇相关的注释标签。注释面具、耳环、项链和布料包括在配件类别中。在本文的其余部分，我们将这个数据集称为CelebA。CUB-70 该数据集是从CUB-200的前70个类别中派生出来的子集[22]。对于这个子集，我们人工生成了11个部分的像素级注释掩模，包括头部、右眼、左眼、喙、颈部、身体、右翼、左翼、右腿、左腿和尾巴。值得注意的是，两个数据集中的部分之间没有空间重叠。图2给出了所提供的注释掩码的一些定性示例。为了训练基本模型，我们根据原始数据集中提供的分布将数据集分为两组。训练集包含70个类，每个类包含30个图像，测试集包含1976个图像共70个班级。5.2. 基本模型/分类器我们重点评估的解释能力的基础模型，解决两个不同的分类，阿卡迪亚鹟船尾八哥军舰鸟灰背鸥北方管嘴鸥欧洲金翅雀图2.为CUB-70数据集生成的注释掩码的定性示例。问题：粗粒和细粒。 为了实现这一目标，选择了三种着名的CNN架构，即VGG19 [20]，DenseNet121 [11]和ResNet50 [10]。对于重现性，每种方法所用的特定超参数可在补充材料中找到。表1显示了每个模型的分类可以看出，在数据集级别，性能相当可比。模型CelebA-HQCUB-70VGG1995.9973.22DenseNet12195.5078.21ResNet5093.4478.11基于主题-VGG 1995.1470.40基于主题-DenseNet 12196.0674.48基于主题-ResNet 5094.4470.45ProtoPNet-VGG1997.0273.44ProtoPNet-DenseNet12192.2672.36ProtoPNet-ResNet5090.8572.10表1.在CelebA和CUB-70数据集上测试所考虑的CNN模型的准确性。5.3. 定性分析：目视检查本节提供了定性的例子，说明对第2节中提出的每种解释方法进行修改所产生4.第一章如图3所示，ProtoP-Net和VEBI对在CUB-70上训练的CNN的解释突出了感兴趣的区域（即，输入图像中鸟的不同部分），而VGG19上基于主题的方法此外，与VEBI和ProtoPNet相比，Densenet121和Resnet50上基于主题的解释（图3（中）和与CUB-70数据集中观察到的不同，CelebA数据集中基于主题的解释（图4）以更好的精度突出了感兴趣的区域。CelebA数据集中的结果与VEBI和ProtoPNet的结果在质量上具有竞争力。综上所述，所提供的示例表明ProtoPNet注释掩码原始图像1426和VEBI能够产生聚焦于感兴趣对象的部分的解释可视化。相反，基于主题的解释在大多数情况下突出显示整个对象，而不是关注与不同部分相关的较小特征集5.4. 热图保持本节将研究第二节中讨论的两种阈值化情景的影响。3.3.更具体地，我们通过独立地从每个解释热图（IndivHM）或从利用解释热图的相同索引生成的一组解释热图（SetHM）估计阈值参数来测量覆盖性能的变化。为了做到这一点，正如在SEC中所解释的那样。在图3.2中，使用强度阈值对解释热图进行二值化。然后，我们使用Intersection-over- Union（IoU）度量来测量数据集中二值化热图与包含语义概念的每个注释掩码之间的覆盖准确性。最后，覆盖精度值的平均值被认为是解释方法的覆盖性能。图5显示了在这两种场景中计算的平均IoU。水平轴显示了在估计的CDF曲线下不同比例的单位/强度。对于每一个百分比的单位，都有一个强度值，被认为是强度阈值。因此，垂直轴指示针对所考虑的强度阈值所获得的覆盖性能。带有空正方形标记的曲线表示IndivHM场景，而带有圆形标记的曲线表示SetHM场景。可以看出，对于大 多 数 曲 线 ， 即 VGG 19-CUB 70 中 的 ProtoPNet 、Densenet 121-CUB 70和Resnet 50-CUB 70中的VEBI和ProtoPNet、Densenet 121-CelebA中的VEBI以及VGG19-CelebA中的ProtoPNet，场景SetHM导致注释概念的更高覆盖率这种趋势的原因是，在IndivHM场景中，各个解释热图之间存在各种分布因此，平均IoU指标对每个解释热图的强度敏感。因此，对于其上具有更宽范围的区域范围特征（即，低相关性特征）被突出显示时，所得到的二元解释热图相对于.注释掩码。这导致较低的IoU值/覆盖率。相反，通过从解释热图的集合估计阈值化参数，场景SetHM能够以更均匀的方式进行阈值化操作。因此，具有更均匀的手段来调整所产生的解释热图的焦点有趣的是，基于主题的方法的两条曲线几乎重叠。这表明，在该方法中，用相同的解释热图索引生成的解释热图的数量要少得多作为一个重新-结果，在两种情况下用于估计阈值参数的CDF非常相似，这反过来又导致相似的性能。综上所述，大多数结果显示了在SetHM场景中获得的更高的为了确保更统一和有代表性的方法来二进制化所产生的热图，我们在其余实验中遵循SetHM5.5. 高/低覆盖率的视觉效果在这里，我们分析了SetHM场景之后具有最高和最低IoU值/覆盖率的视觉解释（图6）。我们专注于解释VGG 19-CUB 70 ， Resnet-CUB 70 和 Densenet 121-CelebA模型的解释方法。请参阅柔软的材料，以获得其他模型的结果。如图6所示，图像中具有最高IoU值的突出显示部分覆盖了整只鸟或鸟的不同部分。相反，具有最低IoU值的图像聚焦于其他对象或背景的部分。例如，树木和植物的叶子是这些图像中突出显示的常见部分这表明，这些领域是重要的分类任务。然而，由于注释掩模仅覆盖鸟类，因此这些图像的解释热图具有注释掩模的较低在CelebA上观察到类似的趋势。例如，根据来自Densenet 121-CelebA的基于主题的解释结果，具有高IoU值的图像高亮整个面部，而具有最低IoU值的图像将整个背景示出为重要特征。5.6. 数据集级覆盖率在本节中，我们的目标是在数据集级别上比较这些方法当量图4根据每个概念j（即语义部分j）的覆盖率来比较这些方法因此，我们可以为每个解释方法Z的所有语义部分聚集从方程获得的结果。结果值表示不同阈值下判读方法Z相对于其他方法的数据集覆盖率（图7）。如图7所示，VEBI在所有强度阈值上都优于模型Densenet 121-CUB 70、Resnet 50-CUB 70和Resnet 50-CelebA上的ProtoPNet和基于主题的解释。如第5.4，对于估计CDF下的每个单位比例，存在强度阈值。相比之下，ProtoPNet在VGG 19-CUB 70的所有强度阈值上都优于VEBI和基于主题的解释。这也可以在图3、4和6中观察到。考虑到Resnet 50-CelebA和Resnet 50-CUB 70模型的可视化，VEBI生成了更多本地化的视觉解释，突出显示了不同的较小部件14271班5班9班14班19班2016年第42期第44期第54类别12第1724班二十七班第36VGG19-CUB70 Densenet121-CUB70 Resnet50-CUB70图3.通过在CUB-70数据集上训练的CNN对所研究的解释方法进行视觉解释VGG19-CUB70VGG19-CelebAVGG19-CelebA Densenet121-CelebA Resnet50-CelebA图4.通过在CelebA数据集上训练的CNN对所研究的解释方法进行视觉解释。方法VGG19Densenet121ResNet50VEBI0.01/0.070.02/0.050.01/0.1ProtoPNet0.04/0.090.01/0.070.09/0.01基于主题0.01/0.010.01/0.020.01/0.01表2.每个对解释方法和CNN的最佳获得的单位比例（以（CelebA/CUB-70）的形式）Densenet 121-CUB70单位比例Densenet 121-CelebA单位比例例如面部部位或更大的部位，例如皮肤和头发。类似地，这在Densenet 121-CUB 70中也更加明显，其中VEBI的可视化比基于主题的解释具有更高的精度（图3（中间））。从数据集的角度来看，VEBI和ProtopNet相互竞争。然而，基于主题的解释在CUB-70模型中表现不佳，并且仅在CelebA上训练的模型中具有竞争力。这在图3、图4和图6中也是明显的，其中基于主题的解释具有视觉解释，与CUB- 70模型相比，CelebA模型具有更好的覆盖率这表明VEBI和ProtoPNet可以正确解释两种类型的粗粒度（即，CelebA）和细粒（即，CUB-70）数据集，而基于主题的解释有更好的性能，粗粒度的任务，从CelebA。综上所述，数据集层面图5.在两个数据集CelebA和CUB-70上训练的CNN上的两种二值化场景的比较。示出了每种方法在不同的阈值下彼此相比具有更好的覆盖率因此，对于每种方法，我们考虑表2中指示的导致最高覆盖率的单元比例考虑到这些阈值，VEBI在CUB-70和CelebA数据集上训练的模型上的性能优于ProtoPNet和基于主题的解释，例如Densenet 121-CUB70，ResNet 50-CUB 70，Resnet 50-CelebA和VGG 19-CelebA。单位比例单位比例比例的单位比例的单位基于主题的口译基于主题的口译ProtoPNetVEBI输入VEBIProtoPNet输入平均IoU平均IoU平均IoU平均IoU平均IoU平均IoU1428VGG19-CUB70Resnet50-CUB70Densenet121-CelebA图6.具有最高（顶部）和最低（底部）IoU覆盖率的视觉解释。VGG19-CUB70 VGG19-CelebADensenet 121-CUB70单位比例单位比例Resnet50-CUB 70比例的单位Densenet 121-CelebA单位比例单位比例Resnet50-CelebA比例的单位图8.在CelebA和CUB-70数据集上训练CNN的解释方法之间的语义部分级别比较。数据集，例如Densenet 121-CUB 70、ResNet 50-CUB70、Resnet 50-CelebA和VGG 19-CelebA。综上所述，采取定量分析中提出的。5.6和本节，VEBI在数据集和语义部分级别的覆盖率方面优于基于主题的解释和ProtoPNet这表明，与ProtoP-Net和基于主题的解释方法相比，从VEBI提供的解释生成的解释热图6. 结论我们提出了一个评估协议，用于评估解释方法在识别相关性方面的有效性。图7.解释方法在CelebA和CUB-70数据集上训练的CNN。5.7. 部分覆盖率在本节中，我们考虑所获得的阈值（对应于表2中的单元比例），用于在语义部分覆盖率方面比较解释方法。为了做到这一点，我们在图8中说明了由方程计算的4.根据所获得的最佳阈值，可以看出，VEBI在两者上训练的模型中具有更高数量的语义部分的更高覆盖率在基本模型中编码的evant潜在特征为此，我们增强了比较方法，使其能够生成可视化解释。此外，我们检查了两个强度阈值的情况下，以确定获得最佳强度阈值的最佳策略我们的实验表明，VEBI在所考虑的CNN架构上的两个数据集CUB- 70和CelebA中表现优于其他数据集此外，与在每个热图的基础上估计二值化参数相比，我们的结果表明，当考虑热图集时可以实现更高的性能。鸣谢：这项工作得到了UAntwerp BOFDOCPRO 4-NZ项目（id 41612）“多模式关系深度模型加权平均IoUVGG19-CUB70VGG19-CelebA语义标签Densenet121-CUB70语义标签Densenet121-CelebA语义标签Resnet50-CUB70语义标签Resnet 50-CelebA语义标签语义标签加权平均IoU加权平均IoU基于主题基于主题VEBIProtoPNet口译ProtoPNet VEBI解释加权平均IoU加权平均IoU加权平均IoU加权平均IoU加权平均IoU加权平均IoU加权平均IoU加权平均IoU加权平均IoU1429引用[1] 裴安，梁俊雄，于坤，方斌，马杰。激光雷达-相机系统三维目标检测的深度结构信息融合。计算机视觉与图像理解，214：103295，2022。[2] Hamed Behzadi-Khormouji和Habib Rostami。快速多分辨率遮挡：解释和理解深度神经网络的方法。AppliedIntelligence，51（4）：2431[3] Francesco Bodria，Fosca Giannotti，Riccardo Guidotti，Francesca Naretto ， Dino Pedreschi ， and SalvatoreRinzivillo. 黑 箱 模 型 解 释 方 法 的 基 准 测 试 与 综 述 。CoRR，abs/2102.13076，2021。[4] Chaofan Chen，Oscar Li，Daniel Tao，Alina Barnett，Cynthia Rudin，and Jonathan K Su.看起来像这样：用于可解释图像识别的深度学习。神经信息处理系统的进展，32，2019。[5] 陈志，贝义杰，辛西娅·鲁丁。用于可解释图像识别的概念白化。Nature Machine Intelligence，2（12）：772[6] 露丝·方和安德里亚·维达尔迪Net2vec：量化和解释深度神经网络中的过滤器如何编码概念。在IEEE计算机视觉和模式识别会议论文集，第8730-8738页，2018年。[7] Amirata Ghorbani，James Wexler，James Y Zou，andBeen Kim.基于概念的自动解释。Advances in NeuralInformation Processing Systems，32，2019。[8] FelixGrun？n ， ChristianRupprecht ， NassirNav ab ，andFedericoTombari.用于可视化卷积神经网络中学习特征的分类和库。在2016年[9] Bin Guan ， Jinkun Yao ， Shaoquan Wang ， GuoshanZhang，Yueming Zhang，Xinbo Wang，and MengxuanWang.基于改进的深度学习方法的x射线股骨骨折自动检测与定位。计算机跳过连接以实现高效的在线视频处理。计算机视觉和图像理解，215：103318，2022。[15] Cheng-Han Lee，Ziwei Liu，Lingyun Wu，and Ping Luo.Maskgan ： Towards diverse and interactive facial imagemanipulation.在IEEE/CVF计算机视觉和模式识别会议论文集，第5549- 5558页[16] Oscar Li，Hao Liu，Chaofan Chen，and Cynthia Rudin.通过原型进行基于案例推理的深度学习：一个解释其预测的神经网络。在AAAI人工智能会议论文集，第32卷，2018年。[17] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。在IEEE计算机视觉国际会议论文集，第3730-3738页[18] 何塞·奥拉马斯·莫格罗韦霍，王凯利和图伊特拉尔斯。通过解释进行视觉解释：提高深度神经网络的视觉反馈能力。国际学习表征会议（ICLR），2019年。[19] 格西娜·施瓦尔贝和贝蒂娜·芬泽尔XAI方法特性：（Meta）研究。CoRR，abs/2105.07190，2021。[20] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 深 度 卷 积 网 络 2015 年 国 际 学 习 表 征 会 议（ICLR）。[21] Jost Tobias Springenberg、Alexey Dosovitskiy、ThomasBrox和Martin Riedmiller。追求简单：全卷积网。2015年，国际学习表征会议[22] C. Wah，S.布兰森山口韦林德山口Perona和S.贝隆吉加州理工学院-ucsd鸟类-200-2011数据集。（CNS-TR-2011- 001），2011年。[23] Sandareka Wickramanayake ， Wynne Hsu 和 Mong-LiLee。迈向完全可解释的深度神经网络：我们到了吗CoRR，abs/2106.13164，2021。视觉和图像理解，第103345页，2022年。[24] Chih-Kuan Yeh，Been Kim，SercanOümerArik，Chun-[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[11] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页[12] VidhyaKamakshi ， UdayGupta 和 NarayananCKrishnan。Pace：Posthoc架构无关概念提取器，用于解释cnn。2021年国际神经网络联合会议（IJCNN），第1-8页。IEEE，2021。[13] Pieter-Jan Kindermans、Sara Hooker、Julius Adebayo、Max-imilianAlber 、 KristofTSchütt 、 Sv enDühne 、DumitruEr-han和Been Kim。显着性方法的可靠性在可解释的AI中：解释，解释和可视化深度学习，第267-280页。Springer，2019年。[14] 奥坎·科普克卢、斯特芬·霍尔曼、法比安·赫尔佐格、哈坎·策维卡尔普和格哈德·里戈尔。解剖的3d cnns：颞叶Liang Li，Pradeep Ravikumar，and Tomas Pfister.深度神经网络中基于概念的解释。CoRR，abs/1910.07969，2020。[25] Matthew D Zeiler和Rob Fergus。可视化和理解卷积网络。欧洲计算机视觉会议，第818-833页Springer，2014.[26] YuZhang ， PeterTinBo ， Ales BazaarLeonardis ，andKeTang. 神 经 网 络 可 解 释 性 研 究 综 述 。 IEEETransactionsonEmergingTopicsinComputationalIntelligence，2021。[27] Bolei Zhou ， David Bau ， Aude Oliva ， and AntonioTorralba. 通 过 网 络 解 剖 解 释 深 层 视 觉 表 征 。 IEEEtransactionsonpatternanalysisandmachineintelligence，41（9）：2131
我的内容管理
展开
