生成模型的反事实解释方法及其局限性

693694不能很好地可视化/解释非空间定位的属性，如大小、颜色等。此外，它们可以显示图像的哪些区域可以被改变以影响分类，但不显示它们应该如何被改变。反事实解释通过提供替代输入来解决这些限制，其中改变一小组属性并且观察到不同的分类结果。生成模型是产生视觉反事实解释的自然候选者，事实上，最近的工作已经朝着这个目标取得了进展在[31，7，32，1]中，产生了生成的反事实解释，但它们的可视化立即改变了所有相关属性，如图所示。二、[29]中提供的另一种相关方法是使用来自分类器的深度表示来以不同粒度操纵生成的图像然而，这些可能涉及不影响分类结果的性质，并且还组合了若干属性。因此，这些方法不允许根据原子属性及其对分类的影响来其他解释方法使用属性生成反事实，其中可以对所需属性进行完全或部分监督[10，5]。[11]提出了一种反事实解释方法，该方法不基于生成模型，而是将一个图像中的少量补丁替换为另一个图像。他们的方法确实将反事实生成分解为几个补丁替换，尽管反事实通常不是真实的图像，并且该方法没有明确定义一组可控属性。在精神上最接近我们的StylEx方法提供的解释的方法是[21]，尽管他们的方法只适用于小图像，并且他们没有展示由多于一个属性变化组成的解释（他们也没有声称找到影响分类的多个语义属性）。在[38，6]中给出了基于以无监督方式提取的多个属性的它们基于超像素或分类器中间层的激活来提取属性，并且不使用生成模型。因此，它们不创建用作对比的图像，并且它们的属性通过示出相关的图像块或超像素来展示在可视化方面，代表性块在其可视化未空间定位的属性的能力方面受到限制此外，反事实图像让我们观察到在属性组合的干预下3. 方法接下来，我们描述我们的方法，发现分类器相关的属性和修改这些属性在真实的图像。我们的方法包括两个关键步骤。首先，我们以结合分类器的方式训练StyleGAN模型，从而鼓励StyleGAN的StyleSpace适应特定于分类器的属性（第二节）。3.2）。然后，我们搜索经过训练的GAN的StyleSpace来自动发现与特定于分类器的图3：StylEx架构。我们联合训练生成器G、鉴别器D和编码器E。在训练阶段期间，输入图像经由编码器被变换成潜在向量w。然后将w与分类器C在图像x上的输出C（x）连接。经由仿射变换将结果变换为样式向量s0，…，s，n，然后使用它们来生成接近原始图像的图像。应用重建损失在生成的图像和原始图像之间以及在对应的编码器输出之间。GAN损失被应用于生成的图像，并且KL损失被应用于生成的图像上的分类器C的输出与输入条件之间。属性（Sec. 3.3）。最后，我们展示了如何使用这些属性，以便直观地解释分类器对给定输入图像的决策（第二第3.4段）。3.1. StylEx架构回想一下，我们的目标是通过改变图像中的某些属性来解释给定图像的分类，并显示它们会影响分类器的输出。我们通过结合以下组件来实现这一目标：a）将嵌入w映射到输出图像中的条件生成模型。b）编码器，其将任何输入图像映射到嵌入w中，使得生成器可以修改真实图像中的属性。c）用于“干预”生成过程以改变图像中的视觉属性的机制。对于生成模型，我们使用StyleGAN2 [16]。这种体系结构被证明可以在多个域中生成逼真的图像但对我们的目标更重要的是[35]最近的观察，即StyleGAN 2倾向于内在地包含一个解纠缠的StyleSpace空间，它可用于提取单个属性。因此，我们认为修改StyleSpace的坐标是修改分类器相关属性的问题的自然方法。在[35]中，作者提取了与预先训练的StyleGAN2中的已知属性相对应的StyleSpace的坐标。然而，通常，StyleGAN2不被训练来发现任意分类器的分类器相关属性，因为标准StyleGAN训练不涉及该分类器（如图所示）。4.2.3）。为了克服上述问题并允许StyleSpace包含与分类器相关的属性，我们训练GAN通过条件反射来显式地解释分类器695696数据集分类器AFHQ [2]猫/狗AFHQ野生猫科动物FFHQ [15]感知性别FFHQ感知年龄植物村[14]健康/病假视网膜眼底[18] DME /非DME[34]第34话分类损失为Lcls=DKL[C（x′）]||C（x）]。节中 4我们提供了这些损失的消融结果。3.3. 提取分类器特定属性到目前为止，我们训练了一个生成模型，该模型被限制为捕获分类器相关信息。接下来，我们将在模型的StyleSpace中查找坐标，该坐标对特定于分类器的属性进行编码。也就是说，我们在StyleSpace中寻找特定的坐标，使得改变它们将以一种以不可忽略的方式改变分类器输出的方式改变所生成的图像。这将能够为给定的图像生成反事实的解释。算法1描述了用于发现特定于分类器的属性的AttFind过程用K表示样式向量的维度（跨所有层），并且用C（x）表示图像x的分类器对数（pre-softmax概率）的向量。AttFind将训练模型和由C预测的标签不同于y的N个图像的集合作为输入。对于每个类y（例如，y=Sy[1，. . .，K]和|= M ） ， 使 得 改 变 这 些 坐 标 增 加 |= M), such thatchanging these coordinates increases这些图像上的类别y的平均概率。2Ad-算法1：AttFind结果：设置顶部M样式坐标集Dy的Sy他们的方向。数据：分类器C。一组图像X，其由C预测的标签不是y。生成模型G.阈值t初始化：Sy，Dy=空。而|Sy| 0 doforxin X dof或样式坐标s∈/Sydo将x~设为在d∈ {±1}方向上改变坐标s后的图像x;结束结束设∆¯[s，d]= Mean（∆[x，s，d]） over allx∈X;f或样式坐标s∈/Sydo如果4∆¯[s，1]>0∆¯[s，−1]>0，则设为零：∆¯[s，1]=0∆¯[s，−1]=0;端设置smax，dmax为argmaxs，d∆¯[s，d];将s加到S，将d加到D;它找到一组{1}M，其中最大y最大yy指示需要在哪个方向上改变这些坐标以增加y的概率。AttFind按以下步骤进行：在每一次迭代中，它都考虑到-设X是所有x∈Xs. t。∆[x，smax，dmax]>t;端设置所有K样式坐标并计算它们对Y的概率34然后选择具有最大效果的坐标，并移除改变该坐标的所有图像。等级对其属于类别Y的概率有很大的影响（即，这个坐标足以“解释”那些图像;不需要进行到其它坐标）。重复该过程，直到没有图像留下，或者直到找到M个属性该过程总结在算法1中。对于各种不同的分类器（二进制和多类），这些自动检测到的属性的示例在图1和2中找到四，五，六。3.4. 生成特定于图像的解释StylEx提供了一种自然的机制来解释分类器对特定图像的决策：只需找到影响分类器对此图像的决策的StylEx属性，并可视化更改这些属性的效果。存在用于找到一组图像特定属性的各种策略。最简单的方法是迭代StylEx属性，计算更改每个属性对该图像的classi- fier输出的影响然后，我们可以可视化所得到的k个修改后的图像。我们将这种策略称为独立选择。或者，可能是单个属性没有很大的影响，因此我们可以搜索一组k个StylEx属性，其联合修改使分类器变化最大化。为了2这可以被视为对平均因果效应的估计[22]。3更确切地说，我们使用logits而不是概率，这在分类器解释中通常是首选的，例如。[30，4]。4如果坐标具有不一致的变化方向，则丢弃该坐标。时间复杂度为O（2k）贪婪搜索（即， 在每个步骤中，在给定到目前为止选择的属性子集的情况下，找到该图像的下一个最有影响力的属性;一旦分类器翻转了其分类就停止）。然后，我们可以可视化修改此子集的效果。我们将此称为子集选择。图7和图8示出了图像特异性解释的示例。国家（每个选择策略一个;见第4）. 我们问是什么导致分类器将这个人分类为“感知老年人”而不是“感知年轻人”，或者将这片叶子分类这些图显示了驱动分类器对该图像进行预测的顶级图像特定表1：本文中使用的数据集列表。4. 评价和结果我们测试我们的StylEx方法在各种分类器从一组不同的域，如表1所列。分类器697698解释是容易理解的，并且是信息丰富的。为了找到一个反事实的解释，我们使用第二节中的方法三点四分。图7针对“感知年龄”分类器示出了这一点可以看出，有五个属性单独地显著影响此外，这些不是在许多图像上具有最大平均效果的属性（参见图4），而是最影响该特定图像的那些属性。图8显示了Plants域的一个示例，其中我们使用了Subset选择方法。这里，所选择的属性中的每一个具有较小的影响（尽管logit的变化是显著的），但是改变三个属性的组合影响导致翻转分类器决策。这些例子很好地证明了StylEx可以用来将4.2. 定量评价目前尚不清楚如何评估多属性反事实解释。然而，以下三个标准似乎是任何此类方法的关键：视觉连贯性。属性应该是人类可识别的。例如，控制猫的瞳孔扩张的坐标的效果可以在看到几个例子后被人类容易地理解。另一方面，如果坐标改变每个图像的不同视觉属性（例如，在一些图像中放大瞳孔，而在其他图像中缩短耳朵），则理解其效果是更困难的任务，导致不太连贯的视觉属性。与众不同。提取的属性应该是不同的。具有不同的属性使我们可以组合几个反事实揭示分类器决策下的不同元素的解释与Ganalyze相反[7]）。属性对分类器输出的影响。更改图像中属性的值应导致分类器输出的更改。此外，不同属性应将分类器导入StyleGAN训练过程以获得分类器特定的StyleSpace。在这里，我们考虑将AttFind过程与不涉及分类器的标准StyleGAN2一起使用的效果。• Wu等人。[35]：[35]提出了识别与已知视觉标签相关的这些坐标可以通过测量每个标签上的坐标值之间的归一化差异来识别作为基线，我们使用他们的方法在标准Style-GAN 2 StyleSpace中找到与前M个分类器相关的坐标，并与我们的方法进行比 较 ， 后 者 使 用 AttFind 和 用 CST 训 练 的StyleSpace。4.2.2连贯性和清晰性为了评估连贯性和独特性，我们进行了一个两部分的用户研究。第一部分使用类似于[38]的设置。用户会看到四个动画GIF，每个对应于修改给定图像的属性。左边两个GIF是从属性i生成的，右边两个GIF是从属性i和j生成的。要求用户识别对应于属性i的正确GIF（更多信息见补充资料我们使用StylEx和Wu等人的前6个样式坐标。，并使用这些集合中的每一个来执行实验。正确的答案表明属性是不同的，因为用户能够区分所提取的属性。它还建立了视觉连贯性，因为用户能够仅基于两个示例将动画分类为属于该属性。表2中的结果表明，StylEx在该任务中实现了高准确性，表明属性是独特且一致的。它也优于吴等。在所有领域，但植物。然而，在植物上，我们在Sec中显示 4.2.3 Wu et al.属性对分类器的影响很小。具有互补的效果，使得修改多个at-贡献将导致在大多数图像上翻转分类器的决定。4.2.1基线和模型变量如第2、迄今为止，视觉分类器的多属性反事实解释尚未实现用于真实图像。因此，文献中没有直接可比的基线。然而，与我们的方法最密切相关的是[35]中定义的原始StyleSpace。虽然[35]不是作为解释类的方法提出的，但我们可以使用它作为基线来测试我们的方法添 加 到 StyleSpace 框 架 的 两 个 关 键 组 件 ： （ i ）StyleGAN的分类器特定训练（CST）和（ii）用于在StyleSpace中找到分类器相关坐标的AttFind方法。为了测试这两个贡献的重要性，我们与没有CST的StylEx进行了比较，并与使用[35]中的StyleSpace选择方法进行了比较：• StylEx w/o分类器特定培训（CST）：StylEx的培训程序包括以下类别：表2：用户研究结果。识别前6个提取属性的正确答案分数。对于研究的第二部分（在不同的用户组上进行），我们展示了4个GIF，展示了对单个样式坐标的干预。然后，用户被要求用1-4个单词描述他们在图像中看到的最突出的属性我们对人脸分类器和猫/狗进行了这些实验。这些数据集是选择的，因为它们对于外行来说更熟悉，使得用户在描述属性时更有可能写出类似的单词。我们在补充材料中提供了用户的全部答复，但对答复的定性评估得出了与第一部分类似的结论699Wu等人我们感知性别0.783（±0.186）0.96（±0.047）感知年龄0.85（±0.095）0.983（±0.（037）植物0.91（±0.081）0.916（±0.068）700引用[1] J a vierAntora'n ， UmangBhatt ， TameemAdel ，AdrianWelle r，andJo se'MiguelHer na'ndez-Lobato.获得线索：一种解释不确定性估计的方法。arXiv预印本arXiv：2006.06848，2020。[2] Yunjey Choi ， Youngjung Uh ， Jaejun Yoo ， Jung-WooHa.Stargan v2：多领域的多样化图像合成。在IEEE/CVF计算机视觉和模式识别会议论文集，第8188-8197页[3] Edo Collins，Raja Bala，Bob Price，and Sabine Susstrunk.编辑风格：揭示gans的局部语义。在IEEE/CVF计算机视觉和模式识别会议论文集，第5771-5780页[4] Kedar Dhamdhere、Mukund Sundararajan和Qiqi Yan。神经 元 有 多 重 要 ？ arXiv 预 印 本 arXiv ： 1805.12233 ，2018。[5] Patrick Esser Robin Rombach和Bjorn Ommer。一个解释潜在表征的解纠缠可逆解释网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第9223-9232页[6] Amirata Ghorbani ， James Wexler ， James Zou 和 BeenKim 。 基 于 概 念 的 自 动 解 释 。 arXiv预 印 本 arXiv ：1902.03129，2019。[7] Lore Goetschalckx，Alex Andonian，Aude Oliva，andPhillip Isola.Ganalyze ： Toward visual definitions ofcognitive image properties.在IEEE/CVF计算机视觉国际会议论文集，第5744-5753页[8] Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville 和 Yoshua Bengio 。 生 成 性 对 抗 网 。 在Proceedings of the 27th International Conference on NeuralInformation Processing Systems - Volume 2 ， NIPS'14 ，page 2672-2680，Cambridge，MA，USA，2014中。麻省理工学院出版社.[9] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。[10] Yash Goyal，Amir Feder，Uri Shalit，and Been Kim.用因 果 概 念 效 应 解 释 分 类 器 。 arXiv 预 印 本 arXiv ：1907.07165，2019。[11] Yash Goyal，Ziyan Wu，Jan Ernst，Dhruv Batra，DeviParikh，and Stefan Lee.反事实的视觉解释。国际机器学习会议，第2376PMLR，2019年。[12] Chuan Guo ， Jacob Gardner ， Yurong You ， AndrewGordon Wilson，and Kilian Weinberger.简单的黑盒对抗攻击。国际机器学习会议，第2484-2493页。PMLR，2019年。[13] Andrew G. Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko， Weijun Wang，Tobias Weyand ，MarcoAn- dreetto，and Hartwig Adam. Mobilenets：用于移动视 觉 应 用 的 高 效 卷 积 神 经 网 络 。 CoRR ，abs/1704.04861，2017。[14] D a vidHughes，MarcelSalath e´，etal. 植物健康图像的开放访问存储库，以实现移动疾病诊断的开发。arXiv预印本arXiv：1511.08060，2015。[15] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第4401-4410页[16] Tero Karras ， Samuli Laine ， Miika Aittala ， JanneHellsten，Jaakko Lehtinen，and Timo Aila.分析和改进StyleGAN的图像质量。 在IEEE/CVF计算机视觉和模式识别会议论文集，第8110-8119页[17] Been Kim ， Martin Wattenberg ， Justin Gilmer ， CarrieCai，James Wexler，Fernanda Viegas，et al.超越特征属性的可解释性：用概念激活向量（TCAV）进行定量测试。国际机器学习会议，第2668-2677页。PMLR，2018。[18] Jonathan Krause、Varun Gulshan、Ehsan Rahimy、PeterKarth、Kasumi Widner、Greg S Corrado、Lily Peng和Dale R Webster。分级变异性和参考标准对评估糖尿病视网膜病变机器学习模型眼科学，125（8）：1264[19] Ramaravind K Mothilal，Amit Sharma，and Chenhao Tan.通过不同的反事实解释来解释机器学习分类器在2020年公平，问责制和透明度会议记录中，第607-617页[20] ArunachalamNarayanaswamy、SubhashiniVenugopalan 、 Dale R Webster 、 Lily Peng 、 Greg SCorrado 、 Paisan Ruamvi-boonsuk 、 Pinal Bavishi 、MichaelBrenner 、 PhilipCNelson 和 AvinashVVaradarajan。通过使用图像翻译生成反事实的科学发现医学图像计算和计算机辅助干预国际会议，第273-283页。Springer，2020年。[21] Matthew O'Shaughnessy ， Gregory Canal ， MarissaConnor，Mark Davenport，and Christopher Rozell.黑盒分类器的生成因果解释。arXiv预印本arXiv：2006.13913，2020。[22] 朱迪亚·珀尔因果关系。剑桥大学出版社，2009年。[23] 亚历山大·拉赫林通过集成深度学习分类框架进行糖尿病视网膜病变检测。bioRxiv，第225508页，2018年。[24] Sylvestre-Alvise Rebuffi，Ruth Fong，Xu Ji，and AndreaVedaldi. 又 来 又去 ： 回 顾 反向 传 播 显 着性 方 法 。 在IEEE/CVF计算机视觉和模式识别会议论文集，第8839-8848页[25] Ramprasaath R Selvaraju，Michael Cogswell，AbhishekDas，Ramakrishna Vedantam，Devi Parikh，and DhruvBatra.Grad- cam：通过基于梯度的定位从深度网络获得视觉解释。在IEEE计算机视觉国际会议论文集，第618-626页[26] Yujun Shen，Jinjin Gu，Xiaoou Tang，and Bolei Zhou.解释GANs的潜在空间以进行语义人脸编辑。在IEEE/CVF计算机视觉和模式识别会议论文集，第9243-9252页[27] Yujun Shen ， Ceyuan Yang ， Xiaoyu Tang ， and BoleiZhou.接口：解释GANs学习的解纠缠人脸表示。IEEETransactionsonPatternAnalysisandMachineIntelligence，2020。[28] Yujun Shen和Bolei Zhou。GANs中潜在语义arXiv预印本arXiv：2007.06600，2020。[29] Assaf Shocher 、 Yossi Gandelsman 、 Inbar Mosseri 、Michal Yarom、Michal Irani、William T Freeman和TaliDekel。701用于图像生成的语义金字塔。在IEEE/CVF计算机视觉和模式识别会议论文集，第7457-7466页[30] Avanti Shrikumar ， Peyton Greenside ， and AnshulKundaje.通过传播激活差异学习重要特征。在机器学习国际会议上，第3145-3153页。PMLR，2017年。[31] Sumedha Singla ， Brian Pollack ， Junxiang Chen ， andKayhan Batmanghelich.通过渐进夸张来解释。arXiv预印本arXiv：1911.00483，2019。[32] 苏梅达·辛拉，布莱恩·波拉克，斯蒂芬·华莱士，凯汉·巴特曼格利奇.顺利地解释黑盒子-反事实的方法。arXiv预印本arXiv：2101.04230，2021。[33] Sandra Wachter Brent Mittelstadt和Chris Russell 不打开黑盒子的反事实解释：自动决策和gdpr。Harv. JL Tech. ，31：841，2017.[34] Catherine Wah，Steve Branson，Peter Welinder，PietroPerona，和Serge Belongie。加州理工学院-ucsd鸟类-200-2011数据集。2011.[35] ZongzeWu，DaniLischinski，andEliShechtman.Stylespace分析：StyleGAN图像生成的分解控件arXiv预印本arXiv：2011.12799，2020。[36] ShawnXu ， Subhashini Venugopalan ， and MukundSundararara-jan.在规模和空间上的归属。 在IEEE/CVF计算机视觉和模式识别会议论文集，第9680-9689页[37] Yinghao Xu，Yujun Shen，Jiapeng Zhu，Ceyuan Yang，and Bolei Zhou. 从合成图像生成层 次特征。CoRR，abs/2007.10379，2020。[38] Chih-Kuan Yeh，Been Kim，Sercan Arik，Chun-LiangLi，Pradeep Ravikumar，and Tomas Pfister.深度神经网络中基于概念的完整性感知解释。2020.[39] Richard Zhang 、 Phillip Isola 、 Alexei A Efros 、 EliShechtman和Oliver Wang。深度特征作为感知度量的不合理有效性。在CVPR，2018年。702