自我意识的判别反事实推理：一种改进的可解释AI方法

8981自我意识的判别反事实推理Pei Wang Nuno Vasconcelos电气与计算机工程加州大学圣地亚哥{pew062，nuno}@ ucsd.edu摘要反事实的视觉解释的问题被认为是。引入了一个新的判别式解释族。这些产生的热图将高分归因于提供分类器预测信息但不提供计数器类信息的图像区域。他们将基于单一热图的归因解释与反事实解释联系起来，后者既解释了预测类，又解释了反类。 后者被证明是可以通过两个判别式解释的组合来计算，具有反向类对。有人认为，自我意识，即产生分类置信度分数的能力，对于区分解释的计算是重要的，该解释试图识别易于区分预测类和反类的区域这表明通过三个属性图的组合来计算判别由此产生的为了解决他们的评价困难，代理任务和定量指标集也提出了。在此协议下的实验表明，所提出的反事实解释优于现有技术，同时实现更高的速度，对于流行的网络。在人类学习机器教学实验中，它们还将学生的平均准确率从偶然水平提高到95%。1. 介绍深度学习（DL）系统难以部署在专业领域，如医疗诊断或生物学，需要在未经训练的眼睛无法察觉的视觉特征之间进行非常细粒度的区分。出现了两个主要的困难。第一个是深度学习的黑盒性质。当涉及高风险决策时，例如肿瘤诊断时，系统用户，例如，医生，需要为它的预测辩护。二是DL的大数据标注需求。由于最佳分类通常需要监督训练，因此现代网络图1：给定一个查询图像（Cardinal）和一个反事实类（Sum- merTanager），判别式解释弥合了属性和反事实解释之间的差距。这使得后者的快速无优化计算成为使用大型数据集进行训练，在Amazon MTurk上手动注释。然而，由于MTurk注释者缺乏领域专业知识，该方法不能扩展到专门的领域。这两个问题都可以通过可解释AI（XAI）技术来解决，该技术用人类可理解的解释来补充网络预测。这些都可以规避DL的黑盒性质，并使机器教学系统的设计，当他们犯错误时提供反馈给注释者[43]。在计算机视觉中，占主导地位的XAI范式是归因，它包括计算每个图像像素[31，3，29，1]或区域[41，28]对网络预测的贡献程度的热图。 例如，当被问到“为什么卡车？”一个属性系统会回答或视觉化一些东西，比如“因为它有轮子，引擎盖，座位，方向盘，平板车，头灯和尾灯，以及后视镜”。虽然这种解释对一个幼稚的用户有用，但对该领域的专家来说用处不大后者可能会对更精确的反馈感兴趣，而是问这样的问题查询（基数）为什么是预测为什么是预测为什么是预测红衣主教夏季唐加拉雀预测有信心吗？定语修饰自我意识合并图像来源：CounterfactualClass（Summer为什么是红衣主教而不是夏季唐加拉雀？判别分析持牌分割为什么是红衣主教而不是夏季唐加拉雀？阈值化分割判别分析反事实解释8982“Why 答案是“如果它没有平板车，它将是一辆汽车，这样的解释在专家领域更可取。当面对病变A的预测时，医生自然会问 同样的问题也会由一个学生提出，他在收到属于A类的反馈后错误地将图像分配给B类。通过支持关于反事实类（B）的特定查询，这些解释允许专家用户将注意力集中在两个类之间的特定模糊性上，他们已经知道这是合理的预测结果。不喜欢归因，反事实的解释规模自然与用户的专业知识.随着后者的增加，类和反事实类变得更加细粒度。在计算机视觉中，反事实解释直到最近才受到关注。它们通常被实现为B类将需要改变图像如下，可能的变换包括图像扰动[8]，合成[36]或大型特征池的穷举搜索，以找到将图像从A类映射到B类的替换特征[12]。然而，图像的扰动和合成往往只在简单的非专家领域的自然图像的空间，和特征搜索是太复杂的交互式应用程序。在这项工作中，提出了一个新的程序，以产生自我意识的disCriminantcOUNTERFACTIONS（SCOUT）。我们表明，反事实的解释可以更有效地产生的属性解释和自我意识机制，量化的DL系统的预测的信心相结合。为此，我们首先引入判别解释，如图1所示，将归因解释与反事实解释联系起来。像属性解释一样，它们由单个热图组成。然而，这是用于区分A类和B类的at-10映射，将高分数归因于提供A信息而不提供B信息的图像区域。从这个意义上说，判别式解释与反事实解释相似，比属性解释更精确（见图1）。一个反事实的解释可以通过计算两个判别解释产生，A和B的角色颠倒。接下来，我们考虑如何计算判别解释，并论证自我意识的重要性。如果一个系统可以量化它对图像进行分类的置信度，那么它就是自我感知的。对于DL系统来说，这通常是正确的，它用后验类分布的估计来补充类预测，从中可以得出置信度分数[10，39]。该分数的属性图是容易分类的图像区域的指示器。这很好地符合判别式解释框架，其目标是找到预测A类但不预测类的空间区域B.它导致判别解释的定义为同时具有以下特征的图像区域：1）对A类具有高归因，2）对B类具有低归因，以及3）以高置信度分类。因此，如图1所示，判别式解释可以通过三个属性图的组合来计算。这反过来表明，反事实解释可以被视为属性解释的一般化，并通过属性[31，3，29，34，1]和置信度预测方法[10，39，37]的组合来计算，这比以前的方法更有效。除了解释之外，XAI面临的一个重大挑战是缺乏对性能评估的解释。除了基于用户的评估[12]，其结果很难复制，我们提出了一个基于代理本地化任务的定量指标。据我们所知，这是第一个独立于人类实验对反事实视觉解释进行语义定量评估的建议。与后者相比，建议的代理评估更容易复制-凯特该评估表明，SCOUT的性能优于最先进的技术[12]，并且对于流行网络来说要快50倍到1000倍这对于机器教学等应用非常重要，在这些应用中，解释算法应该实时运行，理想情况下，在低复杂度的平台上运行。例如移动设备。总的来说，本文有五个贡献。首先，一个新的家庭判别式的解释，这是实质上更精确的归因解释。第二，运用自我意识提高定语解释的准确性第三，通过结合判别式解释来推导反事实解释，使它们更有效地计算。第四，一个新的实验方案，用于定量评估反事实解释。第五，使用该协议和机器教学实验的实验结果表明，所提出的SCOUT方法优于以前的方法，并显着更快。2. 相关工作在本节中，我们回顾了解释，自我意识和机器教学的文献。说明：在计算机视觉中出现了两种主要的可解释AI（XAI）方法。自然语言（NL）系统试图产生一个文本解释，人类的智慧[13，2，26]由于图像到文本的翻译仍然是一个难题，因此全面的NL解释倾向于针对特定的应用，如自动驾驶[6]。更鲁棒的系统倾向于使用有限的变量，例如，一组图像属性[2，13]。例如，[2]提出了反事实NL图像描述8983和[13]通过从反类中提取名词短语来产生反事实解释，这些名词短语用证据检查器过滤。由于短语是由属性定义的，这归结为检测查询图像中属性的存在/不存在这些方法需要词汇表的先验定义（例如，属性）、每个词汇表术语的训练数据、以及分类器的训练以产生该辅助信息。由于这些困难，大多数解释方法依赖于可视化。虽然在这项工作中提出的想法可以扩展到NL系统，我们认为只有视觉的解释。属性解释：最流行的视觉解释方法是依赖归因[3，29，34]。这些方法产生一个热图，该热图对分类器预测可以归因于每个像素或图像区域的程度进行编码。许多归因函数已被提出[31，3，29，34，1]。最流行的框架是计算分类器预测相对于网络的选定层的梯度的一些变体，然后反向投影到输入[28，41]。 当预测类的对象沉浸在大背景中（如在对象检测中）时，这些技术往往工作良好，但当图像仅包含对象时（如在识别中），这些技术就不那么有用了。在这种设置中，最适合专家领域所需的密切检查，热图通常覆盖整个对象。这在图1中示出。反事实的解释，涉及关于反事实类的差异，往往不会受到这个问题的困扰。反事实解释：给定一个A类图像和一个反事实B类图像，反事实解释（也称为对比[8]）会产生一个图像转换，从而将其归类为B [35，36，21，44]。最简单的例子是对抗性攻击[8，35，43]，它优化扰动以将A类图像映射到B类。然而，对抗性扰动通常会将扰动图像推到自然图像空间的边界之外。生成方法已经被提出来解决这个问题，计算生成逼真图像的大扰动[21，23]。这是通过引入正则化约束、自动编码器或GAN [11]来保证的。然而，由于真实图像难以合成，这些方法仅适用于简单的MNIST或CelebA [22]风格的数据集，而不是专家领域。一种更合理的替代方法是，从大量图像中提取特征空间，并进行搜索，以找到将图像从A类映射到B类的替换特征[12]。虽然这已经被证明在细粒度数据集上表现良好，但穷举搜索对于交互式应用程序来说太复杂了。评估：解释算法的性能通常仅通过可视化显示来说明。在某些情况下，解释是定量评估的-最终诉诸于人体实验。这涉及到一个系统的设计，以引起用户对深度学习系统的信任程度的反馈[28，12，8，38]或评估解释是否会提高用户在某些任务上的表现[12]。虽然我们提出了这种类型的结果，但它们有几个局限性：复制系统设计可能是困难的，结论可能受到参与实验的用户的影响，并且实验的建立和执行可能是麻烦的。结果，实验结果很少是可复制的，甚至是可比较的。这阻碍了算法的可扩展性评估。在这项工作中，我们介绍了一个定量协议的评估反事实的解释，克服了这些问题。自我意识：自我意识系统是具有某种能力来测量其局限性或预测故障的系统。这包括诸如分布外检测[14，20，7，18，19]或开集识别[27，5]等主题，其中分类-过滤器被训练为拒绝无意义的图像、对抗性攻击或来自它们未被训练的类的图像。所有这些问题都需要分类器产生图像拒绝的置信度得分。最流行的解决方案是保证后验类分布是均匀的，或者在训练图像覆盖的空间之外具有高熵[18，15]。然而，这对于反事实解释是不够的，因为反事实解释需要更精确的置信度分数，明确地解决A类或B.在这个意义上，后者与现实主义分类更密切相关[37]，其中分类器必须识别并拒绝它认为太难分类的示例。机器示教：机器教学系统[43]通常被设计为向人类学习者教授一些任务，例如图像标记这些系统通常利用学生学习模型来优化教学绩效[33，4，17，25]。反事实解释在本质上适合于机器教学，因为它们提供了关于为什么会犯错误（选择反事实类B）的虽然这项工作的目标不是设计一个完整的机器教学系统，我们调查，如果反事实的解释可以提高人类的标签性能。这遵循[12]介绍的协议，该协议突出显示配对图像上的匹配边界框（A的哪一部分应该被B的哪一部分替换），以向学生提供反馈。除了改进的标记性能外，所提出的解释比[12]的穷举搜索快了几个数量级。3. 判别性反事实推理在本节中，我们简要回顾了先前解释方法的主要思想，并介绍了所提出的解释技术。反事实解释：考虑一个识别问题，将图像x∈ X映射到类y∈ Y ={1，. . .，C}。 通过对象识别对8984y=1∗i=1j=1*ci、ji、ji、ji、ji、j系统H：X → Y的形式y=arg maxhy（x），（1）y其中h（x）：X →[0，1]C是一个C维概率，ΣChy（x）的能力分布=1、通常情况下，卷积神经网络（CNN）分类器是在Ni.i.d.的训练集D样品D={（xi，yi）}N，其中yi∈ Y是图像xi∈ X的标号，并在测试集T={（xj，yj）}M上对其性能进行了评价.给定图像x，分类器针对其预测类y，反事实解释回答了为什么图像不属于由接收解释的用户选择的反事实类（也表示为计数器类）y，c，y的问题视觉解释：对视觉系统的反事实解释通常基于视觉化。存在两种可能性第一种是显式地将图像x转换为类yc的图像xc，通过替换其一些像素值。变换可以包括应用类似于对抗攻击中使用的图像扰动[8]，或者用计数器类yc[12]中的一些图像的区域替换x由于真实图像合成的困难，这些方法仅在x相对简单时是可行的，例如MNIST数字。一个更合理的选择是使用一个已经可用的-从类yc中创建图像xc，并突出显示x和xc之间的差异。[12]提出了这样做，通过显示匹配的边界框上的两个图像，并表明，解释性能几乎是独立的选择xc，即。使用来自类yc的随机图像xc就足够了。我们在这项工作中采取了类似的策略对于这些方法，解释包括C（x，y∈，yc，xc）=（c∈（x），cc（xc）），（2）其中c（x）和cc（xc）分别是图像x和xc的反事实热图，通常通过阈值处理可以从中获得区域片段r（x）和rc（xc）问题是如何计算这些热图。[12]亲-要求通过穷尽地匹配x和xc中的特征的所有组合来进行搜索，这是昂贵的。在这项工作中，我们提出了一个更简单，更有效的程序沿着F的空间维度的条目i，j。属性解释生成以下形式的热图A（x，y）=a（hy<$（x））（3）对于某个属性函数a（. ）的情况。在图1的顶行中示出了“红衣主教”的图像相对于预测“红衣主教”和“夏季唐纳雀”的属性热图的两个示例判别式解释：在这项工作中，我们提出了一类新的解释，这是表示为判别和定义为D（x，y，y）=d（hyc（x），hyc（x）），（4）这与归因解释和反事实解释都有共同之处。像反事实解释一样，他们既考虑预测y和反事实类yc。像属性解释一样，他们通过d（.，. ）的情况。不同之处在于，该地图将区分将预测y和计数器y分类到x的区域。虽然a（hyc（x））将大属性分配给具有类别yc的强信息的像素，d（hyc（x），hyc（x））对具有类别yc的强信息但不具有类别y c的信息的像素也是如此。判别式解释可用于计算反事实解释，方法是用C（x，y_c，y_c，x_c）=（D（x，y_c，y_c），D（x_c，y_c，y_c））。（ 五）第一个图识别提供预测类信息但不提供计数器类信息的x的区域，而第二个图识别提供计数器类信息但不提供预测类信息的xc总的来说，解释表明两幅图像中突出显示的区域是匹配的：第一图像的区域描绘了仅出现在预测类中的特征，而第二图像的区域描绘了仅出现在反事实类中的特征。图1说明了一个反事实解释与两个判别解释的建设。自我意识：判别图可以通过结合关于预测类和计数器类的属性解释来计算。假设这个二元基础它利用了大量关于属性解释的文献真值分割图和SC可用于属性解释：属性解释是家庭的解释基础上的归属前，预测类和计数器类的属性，当然，这可以用分割图si，j=dictiony表示x的区域[31，3，29，34，1]。它们通常是∗i、j. （1−sc）的情况。 这张地图将识别图像区域，通过将属性函数应用于空间维度为W×H的激活张量F∈ RW×H×D而产生可归因于预测类y，但不是计数器类yc. 在实践中，分割图不可用，和D通道，在深度网络的任何层提取只能从属性图中估计，和C.虽然已经提出了许多归属功能，通常是hy∈（x）相对于F的梯度的某个变量。这导致归因图ai，j（x），其幅度编码预测对每个人的归因虽然当两个类非常复杂时，不同的是，当它们相似时，它不太可能起作用这是因为，如图1所示，属性图通常覆盖对象的实质部分。当两个班级S8985r{y，y}（x）=0，（8）yc），hy（x））>T图2：判别式解释架构（x：Cardinal，xc：Summer Tanager）。分别针对分类器（上分支）和置信度预测器（下分支）的一些层计算特征激活Fh和Fs通过属性函数q（.，. 根据（10），然后与（6）组合以获得判别图。通过颠倒x和xc的角色并对判别热图进行阈值化来获得反事实解释。虽然它们仅在小部分或细节上有所不同，但它们缺乏精确度，无法识别相关区域。这对于专家领域至关重要，因为用户可能会问一些涉及非常相似类的问题。解决这个问题需要一些方法来锐化归因图。在这项工作中，我们提倡使用自我意识。我们假设分类器产生置信度得分s（x）∈[0，1]，其对图像属于预测类的信念的强度进行也为xc生成，使用r{y c，y}（xc）=d（h（xcc。（九）属性地图：（6）的属性图可以用任何属性函数a（. ）在文献[34，29，3]。在我们的实现中，我们使用[30]的基于梯度的函数这计算预测p相对于CNN层的激活F（x）和激活的偏导数的点积，即明显属于预测的y类的区域将进行渲染分数接近1，而明显不呈现分数接近0的区域。 如果生成，此分数是自引用的ai，j（hp）=q.fi，jΣ，hp（F）=j..p（F），fj.Σi、j 、（10）由分类器本身生成，如果由一个独立的网络。然后将（4）的判别图实现为：d（hyc（x），hyc（x））=a（hyc（x）） ·a（hyc（x）） ·a（s（x））（6）其中a（. ）是a（的补数。），即ai,j = max ai,j − ai,j.（七）i、j判别图d仅在位置（i，j）处较大，对类别y的预测贡献很大，但对类别yc的预测贡献很小为了简单起见，我们省略了对x的依赖。置信度评分：像归因图一样，许多现有的信心或硬度分数可以被利用。我们考虑了三种不同特征的分数。softmaxscore[10]是最大类后验概率s s（x）= max h y（x）。（十一）y它是通过在网络输出中添加一个最大池化层来计算的。确定性得分是softmax 分布的归一化熵的补充[39]，两个班级很容易，即。分类器是可信的。 而这c（x）= 1 +1Σ h（x）log h（x）。（十二）反过来，意味着位置（i，j）对类y是强特定的，但对类yc是非特定的，这是反事实解释的本质图1显示了自意识归因图通常比其他两种图更清晰。分段：对于判别式解释，x的判别图被阈值化以获得分割掩码*cd（hyc（ x），hyc（ x））>T其中，S是集合S的指示函数，T是阈值。对于反事实的解释，分割掩码logCyyy它的计算需要一个额外的对数非线性层和平均池。这两个分数是自我参照的.我们还考虑了[37]的非自我指涉容易度评分，se（x）= 1 −shp（x）（13）其中shp（x）由外部硬度预测器S计算，该外部硬度预测器S与分类器联合训练S用网络shp（x）：X →[0，1]实现，其输出是S形单元。8986|{k| p∈r}|C|r|PIOU=.（十四）i=1甲乙丙C网络实施：图2示出了（6）的网络实现。给定类y的查询图像x，使用用户选择的计数器类yci=yx，预测器hy（x）和置信度预测器s（x）来产生解释。注意，s（x）可以与hy（x）共享权重（自引用）或独立（非自引用）。x是通过网络，生成激活张量评价指标：解释性能的度量取决于零件注释的性质。在部件位置标记为单个点的数据集上，即pi是一个点（通常是零件的几何中心），区域r{a，b}（x）的质量通过preci计算（P）和回忆（R），其中P 为J、R =KJ，J=|{i|pi∈r，ai=预先选择的网络层中的Fh（x）、Fs（x）和预测hyc（x）、hyc（x）、s（x）。然后用（10）计算y_c、y_c和s（x）对x的属性，即A（x，y_c）、A（x，y_c）、A（x，s（x）），这简化为具有重新计算的反向传播步骤这是对所需的层激活和一些额外的操作。最后，这三个属性与（6）相结合将所得热图与（8）相乘得到判别式解释r{yc，yc}（x）。为了进一步获得反事实的解释，网络简单地应用于xc并计算r{yc，yc}（xc）。4. 评价挑战：由于无法获得基本事实，因此难以评估解释。以前的工作主要是提出定性的结果[13，12]。[12]还使用机器教学任务对MTurk进行了然而，该评价存在一些缺陷，在第5.4节中进行了讨论。无论如何，人工评估是繁琐的，难以复制。为了避免这种情况，我们引入了一个替代的评估策略的基础上的代理任务的本地化。因为这利用了具有部件位置和属性的注释的数据集，所以我们有时将图像区域（片段或关键点）称为部件。地面实况：反事实解释的目标是定位一个区域，该区域预测A类，但不能预测B类。因此，具有特定于A的属性并且不出现在B中的部分可以被视为地面实况反事实区域。这使得反事实解释的评估成为局部化问题的一部分。为了合成地面真值，类c的对象的第k部分由包含该类中存在的属性的语义描述符φk表示例如，“眼睛”部分可以具有颜色属性“红色”、“蓝色”、“灰色”等。描述符是这些属性的概率分布，表征每个类别下部件的属性可变性。A类和B类之间的差异，根据|（pi，ai，bi）∈ G，ai = a，bi =b}|(pi,ai,bi)∈G,ai=a,bi=b}|a，b i=b}|是所生成区域的包含的地面实况部分的数量。精确-召回曲线被生成通过改变（8）中使用的阈值T 对于用分割掩码注释部分的数据集，使用交集大于并集（ IoU ） 度 量IoU=|r|，其中p={pi|（pi，ai，bi）∈G，ai=a，bi=b}.对于反事实解释，我们定义了两个片段r{a，b}（x）和r{b，a}（xc）的语义一致性的度量，通过计算它们所包含的部分的一致性。这被表示为部分IoU（PIoU），|（p k，a，b）∈ r { a，b }（x）}<${k|（pk，b，a）∈ r { b，a }（xc）}|(pk,b,a)∈r{b,a}(xc)}||（p k，a，b）∈ r { a，b }（x）}<${k|（pk，b，a）∈ r { b，a }（xc）}|(pk,b,a)∈r{b,a}(xc)}|这些指标允许不同的反事实解释方法的定量比较在具有基于点的地面实况的数据集上，这是基于所生成的反事实区域的精度和召回率在具有基于掩码的地面实况的数据集上，使用IoU在对x和xc两者进行整个过程之后，可以计算PIoU以进一步测量两幅图像中的突出区域之间的语义匹配只要被比较的不同方法的反事实区域具有相同的大小，则比较是公平的。对于SCOUT，可以通过操纵（8）中的T来控制区域大小，并且(9)- 是的用户专业知识对反事实陈述有影响。初学者倾向于选择随机的反事实类，而专家倾向于选择与真实类相似的反事实类。因此，解释性能应该在两种用户类型上进行测量。在本文中，通过为初学者选择一个随机的反事实类b和为高级用户选择一个小CNN预测的类a类是用于生成解释的分类器的预测，这是一个更大的CNN。5. 实验部分k定义为α k=γ（φ k，φ k），其中γ（.，. ）是一个a，bab数据集相关函数。 巨大的差异表明部分k是类A和B的判别式。的值所有实验都在两个数据集上进行CUB200 [40]由200个细粒度的鸟类类组成，用15个部位（点）表示，包括背部，喙，K甲乙丙对于所有类对（a，b）和部分p，k计算。腹部、胸部、头顶、前额、左/右眼、左/右腿，选择最大相异度的M个三元组G ={（pi，a i，bi）}M作为反事实基础事实。左/右翅膀，颈背，尾巴和喉咙。每个部分都与属性信息相关联[40]，并且相异性αk是kk{KL（φk|| φk）+KL（φk|| φk）}1请注意，部件和属性注释仅用于执行-用γ（φa，φb）=ea b计算b a [9]，mance评估，而不是计算可视化。其中φk是所有属性的概率分布，关于α8987甲乙丙0.8350.8300.8250.630.620.610.600.8200.150.200.250.300.350.400.450.50R0.590.580.150.200.250.300.350.400.450.50R图3：与属性解释的比较。左：初学者，右：高级用户。类c和KL下的第k部分是Kullback-Leibler散度。选择M以留下80%的最大三胞胎表1：与最新技术水平的比较。（IPS：每秒图像数，在NVIDIATITAN Xp上实现。结果显示为平均值（标准差））0.9（pi，ai，bi）作为地面实况。（pi，ai，bi）的大多数是0.90.80.8选择它是因为不同的部分在αk空间中占主导地位。0.70.60.70.6第二个数据集是ADE20K [42]，1000个细粒度场景类别。分割掩模给出了150个对象。在这种情况下，对象被视为K0.50.40.30.20.50.40.30.2场景部分，并且每个对象具有单个属性，即，φ c是0.0 0.1 0.2 0.3 0.4 0.5阈值0.10.0 0.1 0.2 0.3 0.40.5阈值标量（其中k∈ {1，.，150}），这是概率c类场景中对象的出现。 这是...与该部分在C类场景中出现的相对频率相匹配。地面实况由具有φk>0和φk=0的三元组（pi，ai，bi）组成，即，其中对象k图4：SCOUT的PIoU作为CUB 200上分割阈值的函数。左：VGG16，右：ResNet-50。两种方法的模型大小相等。反事实区域的大小就是一个单位的感受野大小ABC D（1≈0。005的图像大小在VGG16和10。02出现在A类中，但不在B类中。14∗147∗7在以下讨论中，除非另有说明，否则结果均在CUB200上获得ADE20K结果见补充材料。 除非另有说明，否则可视化是基于VGG16 [32]的最后一个卷积层输出，VGG16是可视化论文中广泛使用的网络。所有的反事实解释结果，提出了两种类型的虚拟用户。随机选择的标签模仿初学者，而AlexNet预测[16]模仿高级用户。5.1. 与属性解释的比较图3针对两种用户类型将（6）的判别解释与属性解释a（hyx）进行了比较。可以得出以下几个结论：1）判别图显著优于两种用户类型的归因，与所使用的置信度分数无关; 2）在容易度得分为（13）的情况下实现最佳性能; 3）专家用户的收益大于初学者。这是因为计数器和预测类对于前者倾向于更相似，并且对应的属性图重叠。在这种情况下，纯粹的定语从句是非常缺乏信息的。结果还表明，自我意识是最有用的专家领域。5.2. 与最新技术表1给出了SCOUT和[12]方法之间的比较，[12]方法通过两种用户类型的主动搜索获得了最佳结果。为了公平比较，这些实验使用softmax得分（11），因此，在ResNet-50上）。这是受速度的限制[12]的估计m，其中通过穷举特征匹配来检测反事实区域从该表中可以得出若干结论首先，SCOUT在几乎所有情况下都优于[12]。其次，SCOUT更快，在VGG上将[12]的速度提高了1000倍以上，在ResNet上提高了50倍以上。 这是因为它不需要穷举特征匹配。这些增益随着反事实区域的大小而增加，因为所提出的方法的计算时间是恒定的，但[12]的区域大小呈指数关系。第三，由于这些实验中使用的尺寸较小，两种方法的PIoU相对较然而，对于在某些情况下具有较大增益的拟议解释，它更大（VGG高级）。&图4显示，PIoU最多可以提高0 的 情 况 。 5 表 示 图 像 大 小 为 10% （ VGG ） 或 20%（ResNet）的区域。这表明，对于这种大小的区域，区域对具有匹配的语义。5.3. 可视化图5显示了从CUB200上的ResNet50导出的反事实可视化的三个示例。在查询和计数器类图像中选择的区域显示为红色。真实y值和计数器yc类显示在图像下方，后面是地面真实数据。图像对的犯罪属性。请注意，所提出的解释如何在两幅图像上识别语义匹配和类特定的鸟类部分。例如，区别Laysan和Sooty Alba- trosses的喉咙和喙。 这种反馈使用户能够了解到，解释图a（hy*（x））a（hy *（x））a（h y c（x））a（hy*（x））a（h yc（x））a（ss（x））a（hy*（x））a（h yc（x））a（sc（x））a（hy*（x））a（h yc（x））a（se（x））解释图a（hy*（x））a（hy *（x））a（h y c（x））a（hy*（x））a（h yc（x））a（ss（x））a（hy*（x））a（h yc（x））a（sc（x））a（hy*（x））a（h yc（x））a（se（x））用户对于初学者用户对于高级用户用户对于初学者用户对于高级用户PPPIOUPIOU初级用户高级用户Arch.度量戈亚尔[12]童子军戈亚尔[12]童子军R0.02（0.01）0.05（0.01）0.05（0.00）0.05（0.00）VGG16PPIOU0.76（0.01）0.13（0.00）0.84（0.01）0.15（0.00）0.56（0.01）0.09（0.00）0.64（0.01）0.14（0.02）IPS0.02（0.00）26.51（0.71）8988True：Laysan Albatross（white throat，yellowbill）黑喉信天翁（英语：Black throat，blackbill）真：绿色Violetear（针形，黑色）计数器：靛蓝色（锥形嘴，灰色嘴）OursGoyal等人图5：反事实解释的比较（每个示例下面显示了true和counter类，括号中是特定于类的部分属性）。肯塔基柳莺图7：机器教学实验的可视化。对这个设置。第一个是用突出显示反事实原因来替换边界框，如图7所示我们还指导学习者不要被黑暗的区域分散注意力与[12]的设置不同，这保证了它们不会利用反事实区域以外的线索来学习鸟类的差异。其次，为了验证这一点，我们增加了两个对比实验，其中1）高亮区域是随机生成的（没有告诉学习者）;2)整个图像被点亮。如果这些产生相同的结果，我们可以得出结论，解释不促进学习。我们还选择了两个更难的鸟，Setophaga Citrina和肯塔基莺（见图7），比那些True：Promenade deck（floor，ceiling，sea）桥（树、河、桥）True：Bus interior（pole）柜台：储藏室（箱，壁橱）真：游戏室（桌子，天花板）柜台：游乐场（树，天空）真：室内停车场（天花板）柜台：街道（天空，路灯）在[12]中使用。这是因为这些类具有大的类内多样性。这两个类别也不能单独通过颜色来实验分为三个步骤。 第一个是学习前测试，在那里学习-要求dents对两个类的20个示例进行分类，或者选择“不知道”选项。第二阶段是学习阶段，提供10只小鸟第三种是学习后测试，图6：关于ADE20K的反事实解释。有白色的喉咙和黄色的法案，而苏提有黑色的喉咙和法案。这与[12]产生的区域不同，后者有时会突出不相关的线索，例如背景。图6显示了ADE20K的类似图，其中建议的解释倾向于识别场景区分对象。例如，一个prome- nade甲板包含对象5.4. 在机械教学中的应用[12]用反事实的解释来设计一个实验来教人类区分两种鸟类。在训练阶段，学习者被要求对鸟类进行分类。当他们犯错时，他们会看到反事实的信息-返回图5的类型，使用真正的类作为y，使用他们选择的类作为yc。这有助于他们理解为什么他们选择了错误的标签，并学习如何更好地区分类。在测试阶段，学习者被要求在没有视觉辅助的情况下对一只鸟进行分类。[12]中报道的实验表明，这比简单地告诉他们答案是正确的/不正确的或其他简单的训练策略要有效得多。我们做了两个修改-要求学生回答20个二元分类问题。在这个实验中，所有的学生都在学习前测试中选择了然而，在学习步骤之后，他们实现了95%的平均准确率，而在对比度设置中，平均准确率为60%（随机高亮区域）和77%（整个图像点亮）。这些结果表明，SCOUT可以帮助教非专家人类区分类别的专家域。6. 结论在这项工作中，我们提出了一个新的家庭的判别式解释，利用自我意识和桥梁之间的差距归因和反事实。并提出了定量评价方案。实验结果表明，本文提出的判别式解释和反事实解释都比经验性归因和反事实解释有更好的解释效果致谢本工作部分由NSF奖项IIS-1637941、IIS-1924937和NVIDIA GPU资助捐赠8989引用[1] MarcoAncona，EneaCeolini，CengizOüztireli，andMarkusGross.深度神经网络基于梯度的属性方法的统一视图在NIPS 2017-关于解释，解释和可视化深度学习的研讨会上。苏黎世联邦理工学院，2017年。[2] Lisa Anne Hendricks，Ronghang Hu，Trevor Darrell和Zeynep Akata。基础视觉解释。在欧洲计算机视觉会议（ECCV）上，2018年9月。[3] Sebastia nBach，Ale xanderBinder，Gre' goireMontav on，FrederickKlauschen，Klaus-RobertMüller，andWojciechSamek.通过逐层相关传播对非线性分类器决策的PloS one，10（7）：e0130140，2015。[4] Sumit Basu和Janara Christensen。教人类分类的界限。2013年第27届AAAI人工智能会议[5] Abhijit Bendale和Terrance E Boult。开放深度网络。在IEEE计算机视觉和模式识别会议论文集，第1563-1572页，2016年。[6] ThierryDeruyttere 、 SimonVandenhende 、 DusanGrujicic 、 Luc Van Gool 和 Marie-Francine Moens 。Talk2car：控制你的自动驾驶汽车。arXiv预印本arXiv：1909.10838，2019。[7] Terrance DeVries和Graham W Taylor。神经网络中分布外 检 测 的 学 习 置 信 度 。 arXiv 预 印 本 arXiv ：1802.04865，2018。[8] Amit Dhurandhar ， Pin-Yu Chen ， Ronny Luss ， Chun-Chen Tu，Paishun Ting，Karthikeyan Shanmugam，andPayel Das.基于缺失的解释：用相关的否定词进行对比解释。神经信息处理系统的进展，第592-603页，2018年[9] Dominik Maria Endres和Johannes E Schindelin。概率分布 的 一 个 新 度 量 。 IEEE Transactions on InformationTheory，2003.[10] Yonatan Geifman和Ran El-Yaniv深度神经网络的选择性神经信息处理系统的进展，第4878-4887页，2017年[11] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672[12] Yash Goyal，Ziyan Wu，Jan Ernst，Dhruv Batra，DeviParikh ， and Stefan Lee. 反 事 实 的 视 觉 解 释 。 在 Ka-malika Chaudhuri和Ruslan Salakhutdinov，编辑，第36届机器学习国际会议的主席，机器学习研究论文集第97卷，第2376-2384页[13] Lisa Anne Hendricks，Ronghang Hu，Trevor Darrell和Zeynep Akata。用自然语言生成反事实解释。arXiv预印本arXiv：1806.09809，2018。[14] 丹·亨德里克斯和凯文·金佩尔。用于检测神经网络中错误分类和分布外示例工程. 2017年学习表征国际会议论文集[15] DanHendrycks ， MantasMazeika 和 ThomasGDietterich。具有离群值暴露的深度异常检测。2019年学习表征国际会议论文集。[16] 亚历克斯·克列日夫斯基和杰弗里·辛顿从微小的图像中学习多层特征。技术报告，Cite- seer，2009年。[17] RonanLeHy， Anthon yArrigoni ， PierreBess ie` re 和 OlivierLebeltel。教电子游戏角色的基本行为。Roboticsand Autonomous Systems，47（2-3）：177[18] Kimin Lee，Honglak Lee，Kibok Lee，and Jinwoo Shin.训练置信度校准分类器以检测分布外样本。Proceedingsof International Conference on Learning Representations，2018。[19] Yi Li和Nuno Vasconcelos用于离群值感知分