循环一致的反事实通过潜在变换：生成高质量可解释的图像

Saeed Khorram, Li FuxinCollaborative Robotics and Intelligent Systems (CoRIS) InstituteOregon State University{khorrams, lif}@oregonstate.edu102030循环一致的反事实通过潜在变换0摘要0反事实（CF）视觉解释试图找到与查询图像相似的图像，以将视觉系统的决策改变为指定的结果。现有的方法要么需要推理时间优化，要么需要与生成对抗模型联合训练，这使得它们在实践中耗时且难以使用。我们提出了一种新颖的方法，即循环一致的反事实通过潜在变换（C3LT），它通过在生成模型的潜在空间中进行操纵来自动生成视觉CF。我们的方法使用查询和CF潜在表示之间的循环一致性，这有助于我们的训练找到更好的解决方案。C3LT可以轻松地插入任何最先进的预训练生成网络。这使得我们的方法能够生成高质量且可解释的高分辨率CF图像，例如ImageNet中的图像。除了几个已建立的评估CF解释的度量标准外，我们还引入了一种新的度量标准，用于评估生成的CF示例的质量，并通过一系列实验证实了我们方法的有效性。01. 引言0随着卷积神经网络（CNN）革命性地改变了自动视觉识别领域，已经有许多方法试图更好地解释CNN的内部工作原理，包括归因图[21, 41]，基于概念的解释[9,36]，基于规则的解释[8]，基于原型的解释[5]等。然而，当呈现给人类时，这些解释并不一定易于理解。最近的一项大规模用户研究[16]表明，Grad-CAM[41]，LIME超像素[36]等对人类的信息量不如来自训练集的简单最近邻。这些发现表明，人类更喜欢看到与自然图像相似的示例，而不是热图、超像素等，而且反事实（CF）解释[7, 11, 28, 30, 45,46]可能更有助于帮助人类理解。0使人类理解深度网络变得更加困难。CF解释向人类展示了与解释主题相似的示例，但深度网络将它们预测为不同的类别。社会科学家们也提倡这种解释方式[27,45]。本文主要涉及视觉领域的CF解释。在视觉领域中，生成CF解释比分类输入更难，因为人们可以简单地搜索对抗性示例[28, 30,45]。直接优化输入空间中的扰动的方法[7]通常会导致对抗性解决方案[43]，这些解决方案通过微小的变化来操纵CNN的预测结果。对抗性示例通常不在数据流形上，CNN被愚弄是因为它们不能推广到训练中从未见过的数据类型。此外，将CF类别中的图像特征的补丁找出并替换到查询图像中[11]也会通过创建不规则边缘将图像移出自然图像流形。成功的CF解释通常通过保持在网络已经训练过的相同数据流形上避免对抗性。因此，先前的工作通常利用生成模型，如生成对抗网络（GAN）或变分自动编码器（VAE），以确保生成的CF示例位于数据流形上。例如，ExplainGAN[39]同时为每个类别训练一个GAN，并生成一个掩膜生成器，该生成器从图像的潜在代码中生成一个掩膜区域，以便在转换掩膜区域后，图像将被CNN分类为另一个类别。其他一些算法[37]优化VAE模型的潜在代码，该模型将生成与原始图像类似但被分类为另一个类别的图像。尽管有这些先前的工作，但在实践中应用CF解释仍然很困难。解释算法可以考虑两种现实应用情况。第一种是调试，用户试图检查CNN为什么会做出某个错误分类。第二种是知识收集，用户可能试图利用解释来理解两个类别之间的细微差别。在这两种情况下，用户能够快速处理多个示例将有助于构建他们的心理模型。102040模型。更好的是，用户可能希望对图像进行一些逼真的编辑（例如基于GANs），然后从编辑后的图像中获得新的CF。在这些情况下，如果可以实时生成CF图像将是理想的。然而，大多数以前的方法解决每个图像的优化问题[7, 11, 23, 26,30,38]，这通常使得生成CF示例非常耗时。在本文中，我们提出了一种在潜在空间中优化非线性变换的新方法。该变换将输入图像的潜在编码变形为一个CF潜在向量，可以解码为一个外观类似于原始图像但在语义上有意义、可察觉的差异的图像，以便CNN将其分类为另一类别。与[39]不同，我们的方法不需要与GAN联合训练。它利用预训练的生成模型（GAN/VAE），因此可以轻松适应当前和未来的生成算法，这些算法由于正在进行的重要研究而不断提出。例如，这使得我们的框架能够超越简单的数据集，并生成高分辨率图像，如ImageNet，与当前可用的GAN算法。我们进一步采用循环一致性损失函数[50]来改善我们方法的一致性和性能。此外，我们以定量方式全面评估了我们的方法。对于CF解释，文献中提出了某些理想的属性[29, 44]：0I 有效性。模型应将CF示例x'分配给CF类别c'，以使其有效。0II邻近性。CF示例x'应该尽可能接近原始查询实例x（根据某种距离函数）。0III 稀疏性。应该扰动最少数量的查询特征以生成CF示例。0IV真实性。CF示例应该接近数据流形，以使其看起来逼真。0V速度。CF解释应以交互速度生成，以便在实际应用中部署。0例如，对抗性示例可能是有效的CF，但在逼真性方面失败。我们提出使用一组综合衡量所有这些方面的度量标准，包括一种新颖的度量标准，用于检查CF示例在一系列变化中的质量。下面列出了本文的贡献：0•我们引入了一个新的框架，通过在预训练生成模型的潜在空间中学习变换来生成逼真的高分辨率CF。0•我们提出了一组针对对抗性解释量化评估的新颖度量标准。0•广泛的定性和定量评估显示了我们方法的有效性和能力。0生成算法来生成高分辨率的CF图像。02. 相关工作0对抗性可视化解释。虽然以前的CF解释方法主要集中在分类数据上[26, 28, 30, 32,45]，但本文主要集中在生成视觉领域的CF示例上。早期的对抗性视觉解释方法之一是[11]，该方法通过在查询的潜在特征和CF图像之间进行特征替换的穷举搜索来生成CF。由于对个别样本进行穷举搜索，这种方法在实践中速度较慢，并且生成的CF图像往往偏离数据流形。后来，[46]提出了SCOUT，通过使用归因图发现对查询或CF类别具有独特信息的区域。然而，这项工作不包括CF图像的组合，解释仅限于在图像上突出显示区域。与我们的工作不同，这两种方法的解释质量取决于从训练集中选择CF图像的选择和用于找到它们的启发式方法。[7]提出了对比解释框架，目标是找到最小和足够的输入特征来证明预测结果，或者找到最小和足够的扰动来将分类器的预测结果从查询类别改变为CF类别（相关负例）。应用这样的扰动仅限于灰度图像。尽管作者建议使用自动编码器损失项将CF示例与原始数据的分布对齐，但生成的CF示例是对抗性的，并且偏离数据流形。[24]中的作者提出在[7]的优化中加入原型损失，使生成的CF更具可解释性。这些方法通常将生成的图像推离自然图像的流形，并且仅限于简单的数据集。我们还观察到，有时它们的优化不收敛。ExplainGAN[39]通过使用生成器在输入上填充一个掩码区域来组成CF示例。他们的设计具有额外的掩码生成器，需要与GAN联合训练。这阻碍了将他们的方法插入现有的GAN并将其工作范围扩展到复杂的数据集（如ImageNet）。最近，[40]将图像生成分解为并行机制（形状、纹理和背景），并学习各个机制上的分布。他们的工作生成高分辨率图像，但不解释分类器的决策。[34]在训练集上构建一个图形，并从中选择CF以符合底层数据分布。这假设在训练示例中可以找到与查询图像对应的对抗性示例，这并不总是正确的。[10, 19,37]使用条件g∗ = arg min Ex∈Xcwhere x′functionplied n times, mimicking discrete Euler ODE approxima-tions. Here, g(.) is estimated using a simple neural net-work. Lcls is the classification loss so that the generated102050基于VAE的架构生成CFs。它们为每个样本解决单独的优化问题。同样，许多其他先前的CF解释方法[7, 11, 23, 26, 30,38]对每个查询图像都有单独的优化问题。这阻碍了它们在实时应用中的使用。相反，我们的方法在训练过程中从查询到CF（反之亦然）学习一个转换。在推理时，不需要解决优化问题，我们的方法适用于交互使用。[50]通过循环一致的对抗训练学习了一个不成对的图像到图像的转换。然而，它的目标与我们的不同。虽然我们的方法可以解释任何分类器的决策，但他们的方法不行，而是使用两个单独的判别器，使得转换后的图像属于目标图像类别。生成模型中的潜在操纵已经证明GAN在其潜在空间中学习了可解释的方向，并且可以通过在这些方向上进行线性漫游获得有意义的变化。[15]展示了通过在预训练GAN的潜在空间中进行线性漫游，可以学习到图像的简单编辑（例如缩放、旋转等）。[13, 42,49]旨在学习GAN的潜在空间中的可解释方向，用于属性操作，如面部编辑（例如年龄、表情等）。然而，他们的操作不能解释外部分类器的决策。相反，我们的方法使用相同的GAN/VAE骨干来解释任何给定的分类器。03. 方法03.1. 在潜在空间中通过转换生成CFs0与一些先前的工作[37,39]一样，我们利用生成模型来获得更逼真的接近数据流形的反事实示例。为了实现这个目标，我们遵循生成模型潜在空间中可操纵性的最新思想[15]，并提出在生成器的潜在空间中学习一个转换g：RD−→RD来获得CFs。给定我们要解释的预训练分类器f，预训练生成器G，来自训练集中具有查询类别c的图像x∈Xc的输入（查询）图像和目标CF类别c'，我们重新定义了CF生成问题[18,45]，学习一个（非线性）转换g：RD−→RD，将输入的潜在编码(zx)映射到CF编码。0其中x′是生成的CF，gn(.)是一个n阶函数分解gn(g(g(...)))，g递归地应用n次，模拟离散的欧拉ODE近似。这里，g(.)使用一个简单的神经网络来估计。Lcls是分类0s.t. x′ = G�gn(zx) , zx = E(x) (1)0CFx′属于类别c'，Lprx是鼓励x′与输入x接近的接近度损失。为了从查询图像x获得潜在编码zx，可以使用预训练的编码器E：RC×H×W−→RD。值得一提的是，这个公式与之前的解释工作[18,37]的主要区别在于g是一个可以直接应用于任何新的查询图像的转换，一旦学习到了，而之前的工作需要为每个新的图像解决单独的优化问题。这个公式与常规的条件GAN的区别在于我们的方法用于解释一个与GAN无关的通用分类器f，而条件GAN使用它们的判别器来编码类别知识。实际上，训练有区分性的分类器需要大量的工作，因此希望能够通过与GAN的联合重新训练来诊断任何预训练的分类器。请注意，在我们的公式中，E不是一个必要的部分，zx可以通过直接从生成器的潜在空间分布中进行采样来获得。换句话说，为了训练g，我们的方法不需要访问图像x，只需要采样zx即可。当直接采样zx时，输入图像为x =G(zx)。对于无条件生成模型，需要使用拒绝采样来选择zx，基于分类器的预测zx = {z | c = arg maxf(G(z))}。对于有条件的生成模型，从类别c中采样z是简单的。直接采样zx在使用GAN时特别有优势，因为从图像中获取潜在的GAN编码仍然是一个开放的研究课题[47]。然而，当使用VAE作为生成模型时，获取潜在编码是直接的，其中E是VAE的编码器。03.2. 从查询到CF再到查询：循环一致的CF生成0找到一个转换 g是高度不受约束的，可能有很多满足CF属性的优化问题（1）的解。为了规范优化问题，我们修改了目标函数，并引入了查询和CF潜在代码之间的循环一致性[50]。这可以通过引入另一个转换 h：R D −→ R D 来实现，该转换估计了 g的逆，即在潜在空间中找到一个（非线性的）轨迹，将CF潜在代码映射回查询代码，即 z x ≈ z cyc x，其中 z cyc x =h n  � g n ( z x ) �。我们还将循环的查询图像定义为 x cyc =G � z cyc x � 并将循环损失添加到目标函数（1）中。注意，x′ 和 x cyc属于两个不同的类别（CF类和查询类）。尽管从生成模型的潜在空间生成CF有助于保持接近数据流形，但并不能保证这一点。为了确保保持在数据流形上，我们在目标函数（1）中添加了对抗损失。对抗性和循环损失的更正式描述如下：g∗, h∗ = arg ming,hEx∈Xc Lc3lt(x, c′, g, h) +Ey∈Xc′�Lc3lt(y, c, h, g)�(2)Lc3lt(x, c′, g, h) =Lcls�f�x′�, c′�+ Lprx�x′, x�+Lcyc (xcyc, x) + Ladv(x′, xcyc)s.t.x′ = G�z′x�, z′x = gn (zx) , xcyc = G�zcycx�,zcycx= hn z′x , zx = E(x),(3)Lcls = − log fc′ x′(4)prx =xx′1 +entr x, x′ +smth x, x′(5)|| ˆf l(xcyc) − ˆf l (x) ||1 + ||xcyc − x||1cyc(6)(7)102060图1. 循环一致的潜在转换的反事实对照（C3LT）。该图示出了我们提出的框架的架构。在获得潜在代码 z x 后，我们的方法使用 g将其转换为CF潜在代码 z ′ x。CF示例可以通过 x ′ = G � g n ( z x ) � 获得。通过虚线描绘了损失函数的输入。分类器 f 和鉴别器 D仅在训练过程中使用。（最佳观看颜色）0稍后在本小节中介绍。在这里，我们正式规定了我们方法的主要目标，即循环一致的潜在转换的反事实对照（C3LT）。为了循环一致性，我们的方法需要同时访问查询类和CF类的样本。给定训练集中查询类 c 的图像 x ∈ X c ，CF类 c ′的图像 y ∈ X c ′ ，我们的方法学习转换 g � 和 h � ，0其中，0C3LT同时学习查询和CF类之间的转换，因此查询和CF符号是可以互换的。为了简洁起见，我们跳过了  L c 3 lt ( y , c,h, g )的正式定义。图1显示了我们提出的框架的架构。接下来，我们定义了方程（3）中的各个损失项：分类损失  L cls鼓励生成的CF示例被分类为CF类。我们使用负对数似然损失，0c ′ 是类别 c ′ 的分类器的输出。接近性损失  L prx有助于生成的CF示例在某种距离函数的意义上与查询图像保持接近，即与查询图像相邻的CF。此外，我们还使用熵损失和平滑损失（ L entr 和 L smth）[39]来鼓励查询和CF图像之间的绝对差异，以促进变化。0更加稀疏和局部的，0循环一致性损失 L cyc强制查询和CF类别的潜在代码之间的循环一致性。除了潜在代码之外，我们还使用输入 x 和循环图像 x cyc上的感知相似性[17]。0L cyc =0s.t. z cyc x = h(g(z x)), x cyc = G(z cyc x)0其中 ˆ f l ( x ) 是预训练分类器 ˆ f 在给定输入 x 的第 l层的中间特征，L 是所有目标层的集合。注意，分类器 ˆ f可以与我们解释的原始分类器 f 相同或不同。对抗损失 Ladv 通过使用鉴别器D，使生成的CF和循环图像接近原始数据的流形。0L adv = log(1 - D(x cyc)) + log(1 - D(x'))0这样，x cyc 和 x' 就会被鉴别器识别为真实图像。03.3. 推理0在推理时，当有一个编码器 E 可用时，输入 x经过编码器得到潜在代码 z x = E(x)。然后通过 g�进行转换，然后通过生成器 G 得到 CF 示例 x' = G(g�)n(zx)。这样可以实现快速推理，使我们的方法适用于交互式应用，而不像之前的方法[7, 11, 18, 23, 26, 30, 37,38]那样通过解决单个输入的优化问题来生成CF。当没有编码器 E 可用时，推理稍有不同；给定一个输入图像x，潜在代码通过 z�x = arg min z L(G(z), x) [12, 47]计算，这比有编码器时要慢。其余部分与上述过程相似。注意，当没有̸102070通过从潜在空间分布中直接采样 zx，可以检查输入图像、查询和CF类别。04. 实验04.1. 设置0MNIST和Fashion-MNIST。我们通过定性检查和大量的定量指标，将C3LT方法与CF解释基线方法进行评估，即对比解释方法(CEM)[7]、反事实视觉解释(CVE)[11]和ExplainGAN(ExpGAN)[39]，在MNIST[22]和Fashion-MNIST[48]数据集上。由于CF解释和对抗攻击的相似性，我们还使用PGD攻击(标记为Adv.Attack)[25]生成查询图像的对抗性示例，其中CF类别为目标。这两个数据集的图像分辨率均为28×28，共有10个类别。我们使用标准的训练/测试集划分。C3LT和[39]使用训练集中查询和CF类别的示例(每个类别约6000个样本)进行训练，使用测试集中查询/CF类别的示例(每个类别约1000个样本)进行评估。虽然我们使用了[7,11]的官方实现，但我们没有找到[39]的可用实现，所以我们自己实现了它。[7,11]直接在测试集上进行评估，因为它们为单个样本解决优化问题而没有进行任何训练。此外，对于给定的来自类别 c的输入 x，[7, 11]不将用户指定的CF类别 c'作为目标，只是将分类器的输出更改为最大非查询类别 argmax i ≠ cf(x)。然而，为了进行公平比较，我们稍微修改了它们的目标，将CF类别 c'作为目标。与[39]类似，对于MNIST数据集，我们使用查询和CF类别对(3, 8)、(4, 9)和(5,6)。对于Fashion-MNIST，我们使用(外套, 衬衫)、(T恤,套头衫)和(运动鞋, 靴子)。与C3LT和[39]不同，[7,11]不能保证有解，我们发现它们的优化有时不会收敛，因此无法找到任何CF解释。为了公平比较，我们只考虑所有方法都成功生成CF解释的样本。以下各节中报告的数字是每个数据集的所有样本和对的平均值。在所有方法中，我们使用相同的分类器 f进行解释。所使用的分类器的架构在两个数据集上都是相同的，在MNIST和Fashion-MNIST数据集上的测试集准确率分别为99.4%和91.5%。关于C3LT，我们训练一个编码器 E将输入图像映射到生成器的潜在空间中的相应代码。对于生成器 G的选择，我们使用了预训练的DC-GAN[35]和PGAN[20]分别用于MNIST和Fashion-MNIST。我们使用与DCGAN方法相同的鉴别器。此外，我们对变换 g 和 h选择了一个简单的2层全连接神经网络，激活函数为ReLU。0来自BigGAN的ImageNet。为了展示我们的框架在生成高分辨率真实世界数据上生成CFs的能力，我们在ImageNet[6]训练的BigGAN[4]上使用C3LT，这是一个生成高保真度和高质量图像的条件GAN。据我们所知，C3LT是第一个能够生成解释高分辨率自然图像（如ImageNet）分类器的CF解释方法。这是由于我们框架的灵活性和模块化性质所致。在这里，我们直接从潜在空间分布中采样x x，即  z x  � N (0 , I)，截断为  0 . 4 ，不需要编码器  E。我们选择使用预训练的  BigGAN-deep  在  256 × 256分辨率上。我们使用了（豹子，老虎）、（埃及猫，波斯猫）、（公鸡，母鸡）、（哈士奇，狼）和（彭布罗克柯基，卡迪根柯基）类别对。在BigGAN上的实验仅限于C3LT（我们的方法），因为基线无法生成有意义的CFs，我们没有与它们进行定量比较。有关实验的更多细节，请参阅补充材料A。04.2. CFs的定性检查0图2展示了使用BigGAN生成高分辨率图像的CFs的一些示例。这展示了我们的方法可以插入最先进的GAN模型，并通过在潜在空间中找到变换来生成CFs。可以观察到我们的方法同时关注图像的前景和背景，并主要保持背景不变。C3LT根据类别找到了全局形状和纹理的变换。例如，从公鸡到母鸡，形状和纹理都发生了变化，例如，腿变小了，冠变小了，肚子变大了，胸部的纹理稍微改变了。然而，对于豹子到老虎和柯基的例子，主要的变换发生在物体的纹理和颜色上。在图3中，我们展示了从C3LT和其他基线得到的CF示例，这些示例来自MNIST和Fashion-MNIST数据集。我们展示了评估中使用的所有配对的比较结果。我们发现ExpGAN生成的解释比其他基线更可解释。然而，CFs通常是不自然的，具有扩散的扰动（例如图4和T恤）。我们怀疑这是由于它们的CF组合机制使用了对输入的掩码。此外，我们发现CFs有时是对抗性的，掩码生成失败（例如图3和外套）。毫不奇怪，从CEM得到的CFs大多是对抗性的，扰动几乎不可察觉（例如图5和外套、运动鞋）。虽然替换像素块和丢失全局形状可能会欺骗CNN[3]，但我们发现从CVE得到的CFs不可解释（例如图5和外套）。通过检查生成的CFs，我们发现我们的方法始终生成可解释和真实的图像。定量结果支持我们的发现。102080图2. 高分辨率（256 ×256）的CF生成。这个图展示了使用C3LT生成的高分辨率CF解释，分别是（豹子，老虎）、（埃及猫，波斯猫）、（公鸡，母鸡）、（哈士奇，狼）和（彭布罗克柯基，卡迪根柯基）的CF对。0图3.CFs的定性比较。该图展示了从MNIST和Fashion-MNIST数据集中使用我们的方法（C3LT）和基线得到的CF解释。总体而言，我们发现CEM和CVE生成的CFs是对抗性的，并且偏离了数据流形。与ExpGAN相比，我们的方法生成的CFs更加真实和可解释。0来自第4.3.2节的结果支持我们的发现。04.2.1 C3LT能否在非相似类别上生成CFs？0尽管实验中的CF类别被选择为与查询类别接近，但C3LT作为一种方法，可以为任意类别对生成CF示例。为了展示这一点，我们在MNIST中为非相似类别对（3，4）和Fashion-MNIST中的（靴子，套头衫）生成了CFs，如图4所示。请注意，尽管变化很大，但某些潜在属性仍然保持不变。0与类别无关的特征仍然保留，例如在手写数字3和4之间的配对中，笔画宽度和书写风格保持不变，在靴子/套头衫的情况下，可以看到修身的衣服转换为修身的靴子，反之亦然。0图4. 使用C3LT生成非相似类别的CF示例。04.3. 对CF解释进行定量评估04.3.1 反事实转换度量标准0解释深度网络的一个主要挑战是定义定量评估的自动度量标准。ExpGAN[39]的作者将他们方法生成的掩码视为像素级的归因图，并将其与归因图基线进行评估。然而，我们认为这只适用于事实性解释，而不适用于反事实解释。这主要是因为在归因图的评估中，只考虑了查询类别的输出分数的变化，而忽略了反事实类别的输出分数的变化。因此，我们提出了一种新的度量标准，称为COUnterfactualTransition（COUT）度量标准，以解决这个问题。受到删除度量[33]的启发，我们设计了一种新的度量标准，同时考虑了查询类别和反事实类别的分类器输出的变化，使其适用于自动评估反事实解释方法。给定查询图像x，生成的反事实示例x'和表示查询图像上变化的空间位置和相对数量的掩码。12p0.000.250.500.751.000.000.250.500.751.000.250.500.751.00AUPCcAUPCc′COUT = AUPCc′ − AUPCcx(0)x(T)102090表1. COUnterfactualTransition（COUT）分数。COUT度量标准衡量了生成的CF的质量，并隐含地评估了它们的有效性和稀疏性属性（I，III），即它偏好最大化CF类别的输出分数（最小化查询类别的输出分数）的少量变化。COUT的计算结果是分类器输出的查询类别（AUPC c）和CF类别（AUPCc'）的曲线下面积之间的差异。COUT分数越高越好。0方法ExpGAN [39] CEM [7] CVE [11] C3LT（我们的方法） Adv. Attack [25]0Mnist FMnist Mnist FMnist Mnist FMnist Mnist FMnist Mnist FMnist0AUPC c' ↑ 0.967 0.920 0.301 0.347 0.209 0.275 0.980 0.958 0.737 0.732 AUPC c ↓ 0.040 0.062 0.555 0.427 0.7670.638 0.031 0.052 0.266 0.4810COUT ↑ 0.927 0.858 -0.253 -0.080 -0.557 -0.363 0.948 0.906 0.471 0.2510为了到达CF类别，根据以下步骤计算COUT度量标准：首先，根据掩码的值对（归一化的）像素值进行排序。接下来，对于固定数量的步骤T，根据有序的掩码值，将CF示例中的像素批次插入到查询示例中。测量分类器对查询类别c和CF类别c'的输出分数的变化。然后计算每个类别k∈{c,c'}的扰动曲线下面积（AUPC∈[0,1]）。它们的差异被报告为COUT∈[-1, 1]的分数。0COUT = AUPA0AUPC k = 10T0t = 00其中x(t)是经过t∈{0, ...,T}步扰动后的输入，x(0)是查询图像（x =x(0)），x(T)是CF图像（x' =x(T)）（见图5），fk()是类别k的分类器输出，<.>pdata表示对评估数据中的所有图像的平均值。一些方法（如ExpGAN）明确生成掩码。然而，对于其他基线方法，给定CF和查询图像，可以通过计算图像的绝对差异并将其归一化到0到1之间来获得掩码。COUT度量标准衡量了将查询图像移动到CF类别所需的变化量。除了分类变化，它还衡量了CF类别的输出分数最大化的速度，以及查询类别的输出分数最小化的速度。这有利于找到关键地将分类器的输出从查询类别转移到CF类别的输入特征上的稀疏变化的方法。换句话说，COUT度量标准同时衡量了介绍中定义的属性I和III。表1总结了我们的方法和基线方法在MNIST和...上获得的COUT结果。CVE通过少量的离散编辑生成CF示例。为了公平比较，我们稍微不同地计算了CVE的COUT度量标准，其中我们通过测量每次编辑后的输出分数来计算AUPC。CEM和CVE在COUT度量标准上表现不佳，因为它们的优化未能达到CF类别的高输出分数。这也导致了它们生成的CF的有效性较低（参见第4.3.3节）。我们的方法在MNIST和...上始终优于基线方法，无论是在AUPC c、AUPC c'还是COUT方面。0扰动比例  ( t T )0f c( x)  -类别c的输出0f c ′ (x )  -类别c ′的输出0图5. COUnterfactual Transition (COUT)指标.这里我们展示了如何计算COUT指标. 从查询图像x(0)(例如数字4)开始, 经过T步的扰动, 我们得到生成的CF图像x(T)(例如数字9). 分类器输出的查询类别(AUPC c )和CF类别(AUPC c ′)的曲线下面积被计算出来, 并对所有评估数据进行平均.COUT指标就是它们的差异.0Fashion-MNIST数据集.04.3.2 CF的真实性0为了使生成的CF示例作为解释手段更相关,它们应该具有高真实性 (性质IV),即与CF类别的数据流形接近. 正如前面提到的,这是CF解释的主要挑战之一,特别是在高维输入空间(如自然图像)中,对抗性解决方案的陷阱变得更加突出. 为此,我们根据基线评估我们方法生成的CF示例的真实性以及它们与原始数据分布的匹配程度.[24]提出了使用预训练自编码器对查询图像,CF和所有类别的图像进行重构误差的IM1和IM2指标,以评估生成的CF的分布与原始数据的匹配程度.较低的IM1指标意味着CF更接近CF类别的数据流形而不是查询类别的数据流形. 另一方面,较低的IM2指标意味着CF的分布与所有类别的原始数据的分布相似. 此外,我们还使用了已经被广泛应用于评估合成图像质量的Fr´echet Inception Distance (FID) [14]和Kernel InceptionDistance (KID) [2]指标.MnistFMnistMnistFMnistMnistFMnistMnistFMnistMnistFMnistMnistFMnistIM1 ↓0.720.771.681.631.441.240.700.740.470.581.021.34IM2 × 10 ↓0.430.141.080.261.380.370.360.0930.290.122.100.365FID ↓41.1276.5250.0396.8747.5383.7722.8362.318.3716.26203.07140.28KID × 1e3 ↓37.2770.4444.8891.7137.2472.7113.3952.710.340.03283.50157.27MnistFMnistMnistFMnistMnistFMnistMnistFMnistMnistFMnistV al = 1N1f(x′n),c′(9)Prox =||xn − x′n||1NCHW(10)102100表2. CF的真实性比较. 在这个表格中, 我们比较了从C3LT (我们的方法)和基线得到的生成的CF的真实性, 即生成的CF与数据流形的接近程度.在所有指标上, C3LT优于基线并生成高质量的CF.0方法 ExpGAN [39] CEM [7] CVE [11] C3LT (我们的方法) 原始数据 对抗攻击 [25]0表3. 接近度和有效性. 该表比较了CF解释方法在有效性和接近度方面的差异. 高有效性和低接近度的方法是理想的.0方法 ExpGAN [39] CEM [7] CVE [11] C3LT (我们的方法) 对抗攻击 [25]0接近度  ↓ 0 . 074 0 . 135 0 . 016 0 . 013 0 . 055 0 . 054 0 . 072 0 . 116 0 . 229 0 . 1960从生成模型中的图像. 对于所有指标, 分数越低越好.表2比较了CF解释方法在真实性方面的差异.为了有上述指标的参考值,我们还使用了CF类别的评估集中的图像 (原始数据)作为基线. 与基线相比,我们的方法生成了更真实和更高质量的图像.我们还发现IM1和IM2指标更接近于我们对生成的CF的视觉检查, 而CEM, CVE和Adv. Attacks等方法的表现非常差.然而, 就FID和KID指标而言, 它们的性能相对较好,特别是对于Fashion-MNIST数据集.04.3.3 有效性0在使用CF示例解释分类器 f 时，生成的CFs应该位于CF类别c ′的决策边界内，即有效。除了COUT之外，为了有一个简单直观的度量CF有效性的指标（特性I），我们定义了Val指标。0N0其中 1 f ( x ′ n ) ,c ′ 是分类器 f 对第 n 个CF示例 x ′ n的预测为 c ′ 的指示函数，N是CF的总数。这个指标衡量了分类器 f 对CF类别 c ′的正确预测在生成的CF示例中所占的比例。表3显示了我们的方法的结果，并将其与基线方法进行了比较。我们的方法在MNIST和Fashion-MNIST数据集上都取得了非常高的Val。然而，[7,11]很难生成有效的示例，因此他们的解释具有较低的忠实性。从Adv. Attack获得的高Val分数也表明，仅仅依赖于CF有效性进行评估可能是误导性的，应该始终与其他评估标准（如COUT或逼真性）一起考虑（见第4.3.2节）。04.3.4 接近度0为了生成CF示例，对查询图像特征进行最小改变是有利的（特性II）。我们简单地将接近度度量定义为查询和CF示例之间特征逐元素L1距离的均值。0N0其中 x n 和 x ′ n 是评估集中的第 n个查询和CF示例，C、H和W分别是输入图像的通道数、高度和宽度。表3比较了我们的方法与基线方法在生成的CF接近度方面的表现。可以看出，[7,11]在这个指标上优于其他方法。然而，正如前面提到的，他们的方法生成的CFs缺乏高度逼真性（见第4.3.2节）和忠实性（见第4.3.3节），因此不可靠。05. 结论0在本文中，我们提出了一种新颖的框架，通过在生成模型（GAN/VAE）的潜在空间中学习一个转换函数（包括循环一致性等多个损失函数的组合）来生成反事实解释。大量实验证明，我们的方法在所有指标上都优于之前的工作，并具有两个可取的特性：首先，它不需要与生成模型进行联合训练，因此可以插入最先进的生成算法中生成高分辨率的CFs；其次，一旦学习完成，我们的方法可以在推理过程中即时生成CF示例，这使得它在实际系统中解释深度网络非常理想。致谢0本研究部分得到了DARPA合同N66001-17-2-4030的支持。我们还感谢来自Samaritan Albany GeneralHospital的Xin Wang博士，他激发了我们进行这项研究。[1] Mart´ın Abadi, Ashish Agarwal, Paul Barham, EugeneBrevdo, Zhifeng Chen, Craig Citro, Greg S. Corrado, AndyDavis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, IanGoodfellow, Andrew Harp, Geoffrey Irving, Michael Isard,Yangqing Jia, Rafal Jozefowicz, Lukasz Kaiser, ManjunathKudlur, Josh Levenberg, Dandelion Man´e, Rajat Monga,Sherry Moore, Derek Murray, Chris Olah, Mike Schuster,Jonathon Shlens, Benoit Steiner, Ilya Sutskever, Kunal Tal-war, Paul Tucker, Vincent Vanhoucke, Vijay Vasudevan, Fer-nanda Vi´egas, Oriol Vinyals, Pete Warden, Martin Watten-berg, Martin Wicke, Yuan Yu, and Xiaoqiang Zheng. Tensor-Flow: Large-scale machine learning on heterogeneous sys-tems, 2015. Software available from tensorflow.org. 11102110参考文献0[2] Mikołaj Bi´nkowski, Danica J Sutherland, Michael Arbel,and Arthur Gretton. 解密MMD GANs. 在  国际学习表示会议上, 2018.  70[3] Wieland Brendel and Matthias Bethge.在ImageNet上使用局部特征模型近似CNNs的效果出奇的好. 在国际学习表示会议上 , 2018.  50[4] Andrew Brock, Jeff Donahue, and Karen Simonyan.用于高保真度自然图像合成的大规模GAN训练. 在国际学习表示会议上 , 2018.  50[5] Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett,Cynthia Rudin, and Jonathan K Su. 这看起来像那个:用于可解释图像识别的深度学