可感知决策边界的模型解释方法——ExplainGAN

ExplainGAN：通过决策边界交叉转换的Pouya Samangouei1，2[0000−0002−4443−5175]，Ardavan Saeedi2[0000−0001−7763−7980]，LiamNakagawa 2Nathan Silberman2[0000−0002−8498−5796]1马里兰大学College Park，MD，20740pouya@umiacs.umd.edu2Butterfly Network，纽约，NY，10001{asaeedi，nakagawaliam，nsilberman} @ butterflynetinc.com抽象。我们介绍一种解释计算机视觉模型的新方法：视觉上可感知的、跨越决策边界的变换。我们的目标是回答一个简单的问题：为什么模型将图像分类为A类而不是B类用于模型解释的现有方法（包括显著性和通过最近邻的解释）未能直观地示出用于实现模型的预测所需的变换的示例。在另一方面，提供了用于创建决策边界交叉变换（例如，对抗性示例）产生视觉上不可察觉的差异并且不能实现有洞察力的解释。为了解决这个问题，我们引入了ExplainGAN，这是一种生成模型，可以产生视觉上可感知的决策边界交叉转换。这些转换提供了高层次的概念性见解，说明了模型如何做出决策。我们验证我们的模型使用传统的定量解释指标，并介绍了一个新的验证方案，我们的方法和生成模型更普遍。关键词：神经网络，模型解释1介绍给定一个分类器，人们可能会问：模型使用输入的哪些高级语义特征来区分特定的类？ 能够可靠地扫描所述图像意味着在概念或属性的级别而不是像素级统计数据处对所述图像的判定边界的确定。在模型的定义边界的基础上进行复制的能力将是非常强大的。它将使研究人员能够确保模型提取相关的高级概念，而不是选择数据集的虚假特征。例如，刑事司法系统可以确定其道德标准是否与示范标准一致[8]。此外，它将向消费者提供某种验证措施（例如，医疗应用，自动驾驶汽车），模型正在做出难以形式化和自动验证。2P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼不幸的是，直接可视化或解释高维度的决策边界降维方法，如T-SNE [15]，通常对其超参数高度敏感，其值可能会极大地改变可视化[27]。显著性图通常被设计为突出显示对特定分类贡献很大的像素集合虽然它们可以用于解释存在的因素;它们不能充分描述由于输入中丢失的对象而做出的预测。通过最近邻示例的解释确实可以证明与特定查询相似的图像，但是不能保证存在足够相似的图像以有用，并且相似性本身通常是不明确的。为 了 克 服 这 些 限 制 ， 我 们 引 入 了 一 种 新 的 技 术 ， 用 于 事 后modelexplanin。我们的应用程序通常是通过在其决策边界的任一侧上产生图像来实现的一个模型的决策，这些图像的差异在感知上是清楚的这样的方法使得从业者可以构想模型如何在语义或概念的级别而不是向量或像素的级别做出其决策我们的算法受到最近在像素域自适应[2，12，30]和风格转移[9]方面的成功的激励，其中生成模型用于将图像从一个域转换到另一个域。给定一个预先训练好的分类器，我们引入了第二个事后解释网络，称为ExplainGAN，它获取落在决策边界一侧的查询图像，并生成落在另一侧的该图像的转换版本。ExplainGAN具有三个重要的属性，使其成为事后模型解释的理想选择易于可视化的差异：对抗性示例[26]算法通过设计产生决策边界交叉图像，其与原始图像的差异不可感知。相比之下，我们的模型以人眼可清楚检测的方式转换输入图像。局部差异：风格转移[5]和领域适应方法通常会产生低水平的全球变化。如果图像中的每个像素都发生变化，即使是轻微的变化，也不清楚这些变化中的哪一个实际上影响了分类器产生不同的预测。相比之下，我们的模型产生的变化是空间局部化的。这样的稀疏改变更容易被观看者解释，因为更少的元素改变。语义一致：我们的模型必须与预训练分类器的行为一致才能有用：为变换图像预测的类别必须与原始图像的预测类别不匹配。我们评估我们的模型，使用标准的方法，以及一个新的度量，通过可视化的边界交叉转换来评估这种新风格的模型解释。我们还利用了一个新的医学图像数据集，其中对象的概念没有很好地定义，使得它不太适合做主要的适应方法，取决于识别对象和改变/删除它。此外，该数据集为模型解释提供了一个清晰而实用的用例。总而言之，我们的工作做出了几个贡献：ExplainGAN：通过转换进行31. 模型解释的新方法：可视化人类可解释的、决策边界交叉的图像。2. 一个新的模型，解释GAN，通过这样的决策边界交叉图像产生事后模型解释。3. 判定边界交叉变换中信息量的一种新度量4. 一个新的和具有挑战性的医学图像数据集。2相关工作事后模型解释方法通常寻求提供模型为什么在输入图像的局部区域的显著性方面做出特定决定的某种可视化这些方法大致分为两大类：基于扰动的方法和基于梯度的方法。基于扰动的方法[29，3]扰动输入图像并评估分类器输出中的随之而来的变化。这样的扰动通过应用模糊或噪声以及其他像素操纵来从输入的特定区域移除信息基于扰动的方法需要多次迭代，并且在计算上比基于激活的方法更昂贵更精细区域的扰动也使得这些方法容易受到分类器的伪影的影响，潜在地导致将高显著性分配给任意的、不可解释的图像区域。为了对抗这些伪影，诸如[3]的当前方法被迫扰动更大的、不太精确的区域。输入.基于梯度的方法，如[23，25，21，22，24]将给定类别标签的梯度反向传播到输入图像，并估计沿梯度移动如何影响输出。尽管这些方法与基于扰动的方法相比在计算上更有效，但是它们依赖于用于反向传播的启发式，并且可能不支持不同的网络架构。基于梯度的方法的子集，我们称之为基于激活的方法，也将神经元激活纳入其解释中。诸如梯度加权类激活映射Grad-CAM [20]、逐层相关传播（LRP）[1]和深度泰勒分解（DTD）[16]的方法可以被认为是基于激活的方法。Grad-CAM可视化（通常）最后一个卷积层和类特定梯度的线性组合LRP和DTD根据贡献（即，从它的输入。所有这些解释方法都是基于识别对模型输出贡献最大的像素。换句话说，这些方法解释了一个模型的设计，通过使用它，其中，该模型的性能更容易影响模型的设计。这采取了属性图的形式，即与输入图像相同大小的热图，其中属性图的每个元素指示其相关联的像素对模型输出的贡献程度。相比之下，我们的模型通过在模型的边界的另一侧上生成类似的图像来采取不同的方法。4P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼对抗示例[26，7]是通过对图像像素执行微小扰动来创建的，以产生人类观察者视觉上无法感知的决策边界交叉变换。这样的方法对于探索分类器可能被攻击的方式非常有用。然而，它们并没有提供任何关于模型为什么做出特定决策的高级直觉。图像到图像变换方法，诸如在主适应[2，13，4]中使用的那些方法，已经示出了在将一个域中的图像变换成看起来好像从另一个域（诸如合成到真实或冬到夏）绘制的方面的增加的成功这些方法显然与我们自己的方法最相似，因为我们试图将预测为一个类别的图像转换为预训练的分类器。然而，这些方法不限制所允许的转换类型，并且我们证明（第5.3节）必须应用重要的约束（第4节）以确保所产生的转换易于解释。其他图像到图像的技术，如风格转移[30，5，6]通常产生非常低的水平和全面的转换到每个像素。相比之下，我们自己的方法寻求高度本地化和高层次的语义变化。3模型我们模型的目标是采用预训练的二元分类器和查询图像，并生成新的变换图像和二元掩码。变换后的图像应该与查询图像相似，除了视觉上可感知的差异，使得预训练的分类器将不同的标签分配给查询和变换后的图像。二进制掩码指示查询图像中的哪些像素被改变以产生经变换的图像。以这种方式，我们的模型能够产生查询图像的决策边界交叉变换，并说明在哪里，通过二进制掩码，以及如何，通过变换后的图像，变换发生。更正式地，给定对图像x进行操作的二元分类器F（x）∈ {0， 1}，我们寻求学习预测经变换的图像t和掩模m的函数，使得：F（x）/= F（t）（1）x⊙m/=t ⊙m（2）x⊙¬m=t ⊙¬m（3）其中Eq.（1）表示模型认为x和t是不同的类，等式（1）表示模型认为x和t是不同的类。（2）表示查询图像和变换图像在掩码值为1的像素上不同，（3）指示查询和变换图像在掩码值为0的像素中匹配。ExplainGAN：通过转换进行5000或j1111类编码器101.基于预先训练的分类器预测，图像被中继到其对应的分支。2. ExplainGAN生成一个重建、一个变换和一个掩码，指示哪些像素应该改变为变换后的像素。0类编码器假0级0（j）掩模10类鉴别器0分类器第一课假的011类鉴别器共享=（）图1.一、ExplainGAN的模型架构 推断（在蓝色帧中）包括将类别j的图像x传递到适当的编码器Ej中以产生隐藏向量zj。对隐藏向量进行解码，以同时创建其重构Gj（zj）、相反类G1−j（zj）的变换图像以及显示进行改变的位置的掩码Gm（zj）。合成图像C0和C1将重建和变换与原始图像x合并。3.1先决条件给定图像的数据集S ={x，i|i∈ 1。. . N}，我们的预训练分类器产品是一个预处理的|i∈1。 . . N}个。在获得该存储之后，我们现在可以将该数据应用于两个组S0={xi|y¯i=0}anddS1={xi|y¯i=1}。3.2推理给定查询图像和该图像的预测标签，我们的模型映射与该图像的重构版本、相反类别的图像和指示其改变了哪些像素形式上，我们的模型由几个组件组成首先，我们的模型使用两个类特定的编码器来产生隐藏代码：z j= E j（x）j∈ {0，1}，x∈ Sj（4）接下来，解码器G将隐藏表示zj映射到重构图像Gj（zj）、相反类G1-j（zj）的变换图像和指示哪些像素改变了Gm（zj）的掩码。以这种方式，任一类别的图像可以被变换成具有视觉上可解释的变化的相反类别的类似外观的图像。我们还定义了类j的合成图像Cj（x）的概念：Cj（x1−j）=x1−j⊙（1− Gm（z1−j））+Gj（z1−j）⊙Gm（z1−j）（5）1（j）1（j）m（j）0（j）分类器6P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼J其中z1−j是编码x1−j产生的代码。合成图像使用掩模将原始图像x与重构图像或变换图像混合。3.3培训为了训练模型，需要网络的几个辅助组件首先，训练两个鉴别器Dj（x）→ {real， fake}，j∈ { 0， 1}以在类别j的真实图像和伪图像之间进行评估。为了训练模型，我们优化以下目标：minmax L GAN + L分类器+L重建+L先验（6）G， E0， E1 D0， D1其中LGAN是典型的GAN损失，L分类器是鼓励生成的和合成的图像根据分类器是可能的损失，L重建确保重建是准确的，并且L先验编码我们想要鼓励的变换类型的LGAN是每个类别的GAN损耗的组合LGAN=L GAN：0+L GAN：1（7）LGAN：jfor classj在最初分类为classj的图像x和x的重建、x的变换和x的合成之间进行区分。其定义为：LGAN：j=ExSjlog（Dj（x））（8）+ExSj[log（1−Dj（Gj（Ej（x））]+ExS1−j[log（1−Dj（Gj（E1−j（x））]+ExS1−j[log（1−Dj（Cj（E1−j（x））]注意，其中X的重建也被惩罚的该公式是确保自动编码图像是准确的[10]的一部分，并且被包括在这里，而不是为了方便而作为L接下来，我们鼓励合成图像产生分类器正确预测的图像：L分类器=Ex∈S0− log（F（C1（x）（9）+Ex∈S1− log（1− F（C0（x））（10）最后，我们有一个重建的自动编码损失L重建= Σj∈0，1Ex∈S<$Gj（Ej（x））−x<$2（11）掩码先验在以下部分中讨论ExplainGAN：通过转换进行7J4可解释图像变换有许多图像变换将一个类的图像然而，并不是所有这些变换都能有效地在概念级上实现一个模型。对抗性示例转换将改变标签，但不可感知。样式转换转换进行低级别的但不是语义的更改。域自适应方法可以改变图像中的每个像素，这使得难以确定这些改变中的哪一个实际上影响了分类器。我们希望设计一组先验，以鼓励图像特定部分的局部转换和视觉感知。为此，我们将前期损失期定义为：L先验=L常数+L计数+L平滑度+L熵（12）一致性损失L_const确保如果像素未被掩蔽，则形成图像的变换已被替换。L常数= Σj∈0，1Ex∈S[（1−Gm（zj））⊙xj−（1−Gm（zj））⊙G1−j（zj）2]（13）其中z j= E j（x）。 计数损失L计数允许我们编码关于我们预期改变的像素的数量的粗略估计的先前信息。我们通过l1范数来近似l0L计数= Σj∈0，11x∈Sj[max（n|Gm（zj）|，κ）]（14）其中κ是对应于改变的像素的数量与像素的总数的比率的常数。平滑度损失鼓励通过总变差[18]惩罚来惩罚过渡的掩模：ΣLsmoothness=Ex∈Sj|Gm（zj）|（十五）j∈0，1最后，我们希望掩码尽可能是二进制的：L熵=ΣEx∈Sj[min（Gm（zj），1−Gm（zj））]（16）j∈0，1逐元素5实验我们的目标是通过在模型的定义域的任一侧上的样本的可视化来提供模型可解释性。这是一种新的形式化模型解释方法，需要一种独特的评价方法。E8P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼图二.来自我们的医学超声数据集的超声图像示例。（一）典型心尖双腔视图。(b)典型心尖四腔视图。(c)心尖2腔视图困难，容易与4腔视图混淆。(d)心尖4腔视图困难，容易与2腔视图混淆为此，我们首先展示了我们的方法的定性结果，并与相关方法进行比较（第5.3节）。接下来，我们使用归因分析评估我们的模型，因为与最先进的归因方法相比，我们的模型在显著性图方面具有很强的竞争力接下来，我们将引入两个新的度量来评估决策边界交叉示例的可解释性（第5.5节），并评估我们的模型如何使用这些定量方法进行。5.1数据集我们使用了四个数据集作为评估的一部分：MNIST [11]，Fashion-MNIST [28]，CelebA [14]和一个新的医疗超声数据集，将与这项工作的出版物一起发布。对于每个数据集，使用4个分割：分类器-用于训练黑盒分类器的训练集、用于训练ExplainGAN的训练集、用于调整超参数的验证集和测试集。MNIST，Fashion-MNIST：我们以以下方式使用标准的训练/测试拆分：首先将60 k训练集分成3个部分：2k分类器训练集、50 k训练集和8 k验证集。我们使用标准测试集。对于MNIST，我们使用二进制类对（3，8）、（4，9）和（5，6）。对于Fashion-MNIST，我们使用二元类对（coat，shirt）、（pullover，shirt）和（coat，pullover）。CelebA：我们以以下方式使用标准训练/验证/测试分割：将原始验证集的2k个图像用作分类器训练集，所有160 k个图像用于训练ExplainGAN，剩余的14 k个验证图像用于验证。我们使用标准测试集。我们使用二元类对（glasses，no glasses）和（mustache，nomustache）。医用超声：我们新的医学超声数据集是一个集合从心脏的5个不同视图拍摄的72k心脏图像。每个图像由几个心脏超声医师标记，以确定正确的标签。来自数据集的图像的示例可以在图1中找到。二、如图所示，数据集是非常具有挑战性的，并且不像在mostts和dardisis iondatets中所发现的那样服从“约束”的某些含义。对于72k图像，2kExplainGAN：通过转换进行9作为分类器训练集，60k用于训练ExplainGAN，4k用于验证，6k用于测试。我们使用二元分类对（心尖2腔，心尖4腔）。5.2执行E、G和D的模型架构实现与DCGAN架构非常相似[17]。 我们共享E0和E1的最后几层以及D0和D1的最后几层。我们的目标中的每个损失项都由一个系数来缩放，该系数的值是通过交叉验证获得的。在实践中，系数在数据集之间是相当稳定的（我们使用相同的集合），除了控制计数损失的影响的κ超参数和Lsmotn e s的缩放系数之外，motnes smotness。5.3定性评价解释我们在一些数据集上定性地评估了我们的模型我们在图1中示出了医学超声数据集和CelebA数据集的结果3 .第三章。CelebA和医学图像数据集的使用提供了图像之间的有用对比，这些图像的关系应该是普通读者非常熟悉的（戴眼镜与不戴眼镜），而这些图像的关系可能是普通读者所不熟悉的（心尖2腔视图与心尖4腔视图）。在一个缓冲区中，“输入”列表示图像s x∈ S0，“赋范”列表示G AN的赋范G1（z0）中的Ex pl，以运算为s。“mas k”列将使用模型的chance s，Gm（z 0），以及“comp osite”列如何显示comp osite images s，C1（z 0）。CelebA（top）resultsinFig. 3将使用该模型的模板来形成底部的形状，因为图像和多个图像不存在高度局部化的变化，并且相应的掩模有效地产生被改变的唯一视觉特征的分割。此外，该模型能够做出非常小但可感知的变化。例如，在所述眼镜的第一行中，所述掩模提供了所述眼镜。超声（底部）结果如图1B所示。图3示出了模型已经学会对心脏的解剖结构进行建模并且能够以最小的变化从心脏的一个视图变换到另一个视图变换和掩模清楚地示出了模型主要提示右心室的存在，但有趣的是不是右心房，以及心包的形状。5.4通过Pixel-Wise Attribution进行许多使用归因或显著性的事后解释方法依赖于归因图的视觉、定性比较。最近，[19]引入了一种定量方法，用于比较其中像素为10P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼输入变换掩码复合输入变换掩码复合输入变换掩码复合输入变换掩码复合图三. 在两个数据集上对ExplainGAN模型进行定性可视化：名人和我们的媒体都很高兴。“输入”列表示图像x ∈ S0，“生成”列表示GAN的生成列G1（z0）中的Ex p l a，以生成操作对象类。“mas k”列将使用模型的值G m（z 0），而“comp os i te”列显示comp os i t e i m g e s C 1（z0）。结果表明，在对象相关变换（例如眼镜或胡子）的情况下，ExplainGAN有效地执行对象的弱监督分割在超声案例中，ExplainGAN说明了模型提示的解剖区域：右心室和心包。以预测的显著性的顺序逐渐扰动通过评估来判断性能，其中所述评估要求新的性能评估来影响用户我们的模型不是为属性/显着性而设计的，因为它产生了一个二进制的，而不是连续的掩码，它也与特定的变换图像配对。然而，可以将我们的遮罩松散地解释为属性图，其中遮罩中所有像素的像素优先级未知。CelebA眼镜超声A2C至A4C名人胡子超声A4C至A2CExplainGAN：通过转换进行11SP虽然[19]的工作干扰了单个像素，但我们希望避免比较单个像素的变化，这些变化本身既不可解释，也不像图像那样合理，可能会改变分类结果。因此，我们采用[19]的方法，通过分段而不是像素来扰动图像。为了选择扰动的阶数，我们将映射归一化到范围[0，1]，用t ∈[0]对它们进行阈值化。5，0。七比零。9]，并对所得的二进制映射进行分段。然后，我们基于每个片段3内的平均映射值对片段进行排名。对于扰动，我们用像素值范围内的均匀随机噪声替换每个段中的每个像素。更具体地说，我们表示具有被x（k）扰动的k个片段的图像。我们计算片段扰动曲线上的面积（AOSPC）如下：1AOSPC =.ΣKΣf（x（0））−f（x（k））、（十七）K+ 1SP SPk=0px其中K是步数，。·px表示所有图像的平均值，f：Rd→R是分类函数。我们在第5.4节中报告了第2节解释方法的10个步骤后的AOSPC。我们选择的方法涵盖了3个主要的方法组（即基于扰动、基于梯度和基于激活）。较大的AOSPC意味着以10步扰动的片段的灵敏度较高。为了避免分段分配全部或超过一半的情况我们从多0中选择我们的阈值。5个值。我们的研究结果表明，尽管没有明确优化寻找信息量最大的像素，但ExplainGAN的表现与其他分类器的解释方法不相上下。对于这些方法的定性比较，见图。4.第一章表1.AOSPC值（越高越好，参见等式（17））。尽管ExplainGAN没有直接针对该指标进行优化，但其性能与分类器中解释的合理基线相当较大的AOSPC意味着以10步扰动的片段的灵敏度较高。数据集MNIST超声阈值0.50.70.90.50.70.9毕业生[22]1474156324071229181Grad-CAM [20]十七岁28−−70432显著性[23]8177181263063298闭塞[29]209919461486 1215539142LRP [1]1736147824470051171解释GAN2622 2083147411675423743对于ExplainGAN，我们对一个片段中的所有像素取sigmoid输出的平均值。12P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼原始LRPGradCam集成梯度遮挡ExplainGAN（mask）解释GAN（转换）了图 4.第一章在 改进的设计中，组合包含用于扩展的不同方法。Fasion-MNIST：从套头衫转变为衬衫，超声：从A2 C转化为A4 C（参见图1B）。2，对于A2C和A4C视图的示例），CelebA：从不带眼镜的面部变换到带眼镜的面部，MNIST：从4变换到9。5.5可解释性的定量评估给出两个关于模型边界的定义的最小化的图像，我们如何定量地确定它们是否提供了对模型边界CelebAMNISTfashion-MNIST医学超声ExplainGAN：通过转换进行13表2. 跨数据集的定量可替代性实验。类0和类1是给定分类器被训练以识别的类。变换/合成0/1列示出了当仅在训练时使用的图像的变换/合成时分类器的准确性。上限表示基础分类器在相同测试集上的准确度。数据集0级1类变形0变形1复合0复合材料1 天花板超声A2cA4c95.594.291.495.699.6CelebAW/O眼镜带眼镜93.696.296.0596.296.5CelebA无胡子W/小胡子76.6575.274.0571.483.9CelebAW/O黑发W/黑发75.6574.879.0577.484.3FMNIST外套套衫75.873.784.869.194.1FMNIST外套衬衫79.778.571.877.291.7MNIST三八99.699.199.398.999.9MNIST四九98.699.098.698.599.0MNIST三五98.599.398.298.299.2为什么一个模型会区分它们为了让人们发现这种解释性图像有用，必须满足几个高级标准。图五.边界交叉图像具有不同的解释能力：如果图像是（1）可替换的，则它们具有更强的解释力：它们可以在不影响分类器的情况下用作原始数据集中的替代物，以及（2）局部化：它们与查询图像的不同之处在于很小且容易定位。局部化但不是最小的：为了使边界交叉图像清楚地展示哪些像素引起标签改变事件，它必须以局部化到图像的清晰子分量的方式偏离原始图像，而不是每个像素改变或仅一个或两个像素改变。可替换性：如果我们通过比较来自A类的原始图像来解释模型，并且产生的边界交叉图像看起来像来自B类，那么我们将可替换性定义为我们可以将边界交叉图像替换为标记为c lassB，但会影响c lassif ier的性能。为此，我们提出了两个指标，旨在量化这样的解释效用。首先，查询图像的改变被局部化的程度可以由掩码的非零元素的数量来表示。注意，虽然可以使用局部性的其他度量（内聚性、连接的分量），但是我们没有做出这样的假设，因为我们根据经验发现，通常这样的特定度量与传达改变的项目集合不很好地相关14P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼其次，我们如下定义可替换性度量：|i=1.. N}，atDt，以及aclasifirF（x）→y，其在测试集上的经验性能是某个分数S。给一套新的现代边界的空间坐标系中的图像Dtrans={（x′，y′|i=1.. N}wesay我我该数据集为R%-如果将数据集视为独立可执行数据集，则该数据集不可用以实现S的R%的性能。例如，如果我们的原始数据集和分类器产生90%的性能，我们用生成的数据集替换原始数据集，重新训练的分类器产生45%的性能，我们可以说新数据集是50%可替换的。表2说明了我们的模型在各种数据集上的可替代性性能。这些结果表明，我们的模型产生的图像在MNIST、超声数据集和CelebaA上几乎完全可替代。眼镜属性。话虽如此，尽管有令人信服的定性结果（图4），但在其他CelebA属性的可替代性方面仍有很大的改进空间表3.超声数据集的可替代性。Transformed/Composite 0/1显示了当原始样本被 替 换 时 分 类 器 在 测 试 集 上 的 准 确 性在 训 练 阶 段 使 用Transformed/Composite 0/1。变换/合成两者示出了当所有图像被变换/合成替换时分类器的准确性。请注意，PixelDA是单向Transformer。变形0变形1两者都转化复合0复合材料1 两种复合材料PixelDA87.6N/AN/AN/AN/AN/ACycleGAN946484.1N/AN/AN/A解释GAN-norec94.583.996.1N/AN/AN/A解释GAN-nomask93.997.395.1N/AN/AN/A解释GAN-full95.594.297.391.495.691.4天花板99.799.799.799.799.799.76结论我们引入了ExplainGAN，通过可视化边界交叉变换来解释黑盒分类器。 这些转换被设计为可由人类解释，并提供了一个高层次的，概念上的直觉基础的一个人工智能的设计。这种视觉化的方式能够通过与视觉化的示例一起进行空间局部化的改变来克服归因和逐个最近邻的示例方 法的共同 局限虽然 没有明确 地训练作 为显着性 地图，但ExplainGAN的地图在展示显着性方面非常有竞争力。我们还引入了一个新的度量，可替换性，评估有多少标签捕获信息时，执行边界交叉图像变换保留。虽然我们的方法表现出良好的可替代性得分，但它并不完美，我们预计该指标将用于该领域的进一步研究。ExplainGAN：通过转换进行15引用1. B ach，S.， B inder，A.， 我的 天， Klauschen，F.， Müller，K. R.，Samek，W. ：通过逐层相关性传播对非线性分类器决策的逐像素解释。PloS one 10（7），e0130140（2015）2. Bousmalis，K.，Silberman，N. Dohan，D. Erhan，D.，Krishnan，D.：无监督像素级域适应与生成对抗网络。IEEE计算机视觉与模式识别会议（CVPR）第1卷，第7页（2017年）3. Fong，R.C.，Vedaldi，A.：通过有意义的扰动对黑匣子的可解释。arXiv预印本arXiv：1704.03296（2017）4. Ganin ， Y. ， Ustinova ， E. ， Ajakan ， H. ， Germain ， P. ， Larochelle ， H.Laviolette，F.，Marchand，M.，Lempitsky，V.：神经网络的领域对抗训练。TheJournalofMachineLearningReserch17（1），20965. 洛杉矶的加蒂斯Ecker，A.S. Bethge，M.：艺术风格的神经算法。arXiv预印本arXiv：1508.06576（2015）6. 洛杉矶的加蒂斯Ecker，A.S. Bethge，M.：使用卷积神经网络的图像风格转 换 。 In ： Computer Vision and Pattern Recognition （ CVPR ） ， 2016IConferenceon. pp. 2414-2423 IEEE（2016）7. Goodfellow，I.J. Shlens，J.，Szegedy，C.：解释和利用对抗性的例子。arXiv预印本arXiv：1412.6572（2014）8. Goodman，B. Flaxman，S.：欧盟关于算法决策的规定- arXiv表示arXiv：1606。08813（2016）9. Johnson，J.，Alahi，A.，李菲菲：实时风格转换和更新的感知损失。 In：EuropeanConferenceonCom up uterVison。pp. 694-711 Springer（2016）10. Larsen，A.B.L.，Sønderby，S.K.，Larochelle，H. Winther，O.：使用学习的相似性度量对像素之外的像素进行自动编码arXiv预印本arXiv：1512.09300（2015）11. LeCun，Y.，博图湖Bengio，Y.，Haffner，P.：基于梯度的学习应用于D〇C 〇m_ n_t_cog_ n。参见IEEE86（11），227812. Liu，M.Y. Breuel，T.，Kautz，J.：无监督图像到图像翻译网络。 In：AvancesinNeur alInpr o c e s i n g S y s i n g Pr o c e s i n g S ysi ngP r o c e si n gSys i n g S i n gi pp. 70013. Liu，M.Y. Tuzel，O.：耦合生成对抗网络。In：Advances inneural formal inprocssys ys ysys. pp. 46914. 刘志，Luo，P.，王，X.，唐X：在野外深度学习人脸属性计算机视觉国际会议（ICCV）（2015）15. Maaten ， L.v.d. ， Hinton ， G. ： 使 用 t-sne 可 视 化 数 据 。 Journal ofmachinelearn-ingresearch9（Nov），257916. 我的天， Lapuschkin，S.， Binder，A.， Samek，W.， Müller，K. R. ：Ex使用深度泰勒分解来执行非线性分类决策。PatternRecog-nition65，211-222（2017）17. Radford，A.梅斯湖Chintala，S.：使用深度卷积生成对抗网络进行无监督表示学习arXiv预印本arXiv：1511.06434（2015）18. Rudin，L. I.，Osher，S.，Fatemi，E.：基于非线性全变分的噪声去除算法。PhysicaD：nonlinearrphenomena60（1-4），25919. Samek，W.， Binder，A.， 我的天， Lapuschkin，S.， Müller，K. R. ：评估深度神经网络已经学习的内容的可视化。IEEE transactions onneuralnetworksandlearninggsystems28（11），2660- 2673（2017）16P. Samangouei、A.萨迪湖Nakagawa和N.西尔伯曼20. Selvaraju，R.R.，Cogswell，M.Das，A.，韦丹塔姆河Parikh，D.Batra，D.：Grad-cam：通过基于梯度的定位从深度网络进行视觉解释参见https：//arxiv。org/abs/1610.02391 v3 7（8）（2016）21. Shrikumar，A.，Greenside，P. Kundaje，A.：通过传播激活差异学习重要特征。arXiv预印本arXiv：1704.02685（2017）22. Shrikumar，A.，Greenside，P. Shcherbina，A. Kundaje，A.：不仅仅是一个黑盒：通过传播激活差异来学习重要特征。arXiv预印本arXiv：1605.01713（2016）23. 西蒙尼扬，K.，Vedaldi，A.，齐瑟曼，A.：卷积网络内部：可视化图像分类模型和显着图（2014）。arXiv预印本arXiv：1312.6034（2013）24. Springenberg，J.T.，Dosovitskiy，A.，Brox，T.，Riedmiller，M.：追求简单：全卷积网。arXiv预印本arXiv：1412.6806（2014）25. Sundararajan，M.，Taly，A.严Q：深度网络的公理化属性。arXiv预印本arXiv：1703.01365（2017）26. 塞格迪角Zaremba，W.，萨茨克弗岛Bruna，J.，Erhan，D.，古德费洛岛Fergus，R.：神经网络的有趣特性ArXiv 预印本arXiv：1312.6199（2013）27. Wattenberg，M.，Vigas，F.，Johnson，I.：如何有效地使用t-sneDistill（2016）.https://doi.org/10.23915/distill.00002，http://distill.pub/2016/misread-tsne28. Xiao，H.，Rasul，K.，Vollgraf，R.：时装设计师：一个新的图像数据集的基准-标记机器学习算法（2017）29. Zeiler ， 医 学 博 士 ， Fergus ， R. ： 可 视 化 和 理 解 卷 积 网 络 。 In ：Europeanconferenceoncommputtervision. pp. 818-833 02TheDog（2014）30. Zhu，J.Y.，Park，T. Isola，P.，Efros，A.A.：使用周期一致性对抗网络的不成对图像到图像翻译。arXiv预印本arXiv：1703.10593（2017）