ProtGNN: 内置可解释性的图神经网络

+v：mala2255获取更多论文--ProtGNN：面向自解释图神经网络Zaixi Zhang1，Qi Liu1，Hao Wang1，Chengqiang Lu1，Cheekong Lee2*1安徽省重点实验室。大数据分析与应用中国科学技术大学计算机科学与技术学院2腾讯美国再熙，王浩3，mail.ustc.edu.cn，qiliuql@ustc.edu.cncheekonglee@tencent.com摘要尽管最近在图神经网络（GNN）方面取得了进展，但解释GNN所做的预测仍然具有挑战性。现有的解释方法主要集中在事后解释，即采用另一个解释模型来为训练好的GNN提供解释。事后方法无法揭示GNN的原始推理过程，这一事实提出了构建具有内置可解释性的GNN的需求。在这项工作中，我们提出了Prototype GGNN神经网络（ProtGNN），它将Prototype学习与GNNs相结合，并为GNNs的解释提供了一个新的视角。在ProtGNN中，解释自然来自基于案例的推理过程，并在分类过程中实际使用Prot-GNN的预测此外，为了更好的解释性和更高的效率，引入了一个新的条件最后，我们在广泛的数据集上评估我们的方法，并进行具体的案例研究。大量的结果表明，ProtGNN和ProtGNN+可以提供固有的可解释性，同时实现与不可解释的对应物相当的准确性。介绍图神经网络（GNN）已经变得越来越流行，因为许多现实世界的关系数据可以表示为图，例如社交网络（Bianet al. 2020）、分子（Gilmer et al. 2017年）和财务数据（杨等人2020年）。 遵循消息传递范式来学习节点表示，GNN在节点分类，图分类和链接预测方面取得了最先进的性能（Kipf和Weelling2017;Veli cko vi c'etal. 2017;Xu et al.2019）。尽管GNN的显着有效性，解释GNN的预测仍然是一个具有挑战性的开放问题。如果不了解预测背后的比率，这些黑箱模型就无法完全信任并广泛应用于医疗诊断等关键领域。此外，模型解释还有助于模型调试和误差分析。这表明了研究GNNs可解释性的必要性。*Qi Liu和Chee-Kong Lee为通讯作者。Copyright © 2022 ， Association for the Advancement ofArtificial Intelligence（www.aaai.org）. All rights reserved.最近，已经做出了广泛的努力来研究GNN的消除技术（Yuan等人，2020 b）。这些方法可以解释使用不同策 略 训 练 的 GNN 例 如 ， GNNExplainer （ Yinget al.2019）和PGExplainer（Luoetal. 2020）提出了选择一个紧凑的子图结构，最大化的互信息与GNN的预测作为解释。PGM-Explainer（Vuand Thai2020）首先通过随机节点特征扰动获得局部数据集。然后，它采用了一个可解释的贝叶斯网络来拟合本地数据集，并解释了原始GNN模型的预测。此外，XGNN（Yuanet al. 2020a）生成图形模式以最大化某个类别的预测概率，并提供模型级解释。尽管GNN的解释有了巨大的发展，但大多数现有方法都可以归类为事后解释，其中另一个解释模型用于为训练的GNN提供解释。事后解释在揭示原始模型的实际推理过程中可能不准确或不完整（Rudin2018）。因此，更希望构建具有内在可解释性的模型，其中解释由模型本身生成。我们利用原型学习的概念来构建具有内置可解释性的GNN（即自我解释的GNN）。与事后解释方法相比，由自解释GNN生成的解释实际上在分类期间使用，而不是事后生成的。原型学习是基于案例推理的一种形式（Kolodner1992;Schmidtet al. 2001），通过将新实例与几个学习到的范例（即原型）进行比较来预测新实例。这是解决图结构数据问题的自然实践。例如，化学家基于分子图中的已知官能团（即关键子图）识别潜在候选药物（He et al.2010;Zhang et al.2021）。原型学习通过模仿人类解决问题的过程提供了更好的可解释性。最近，原型的概念已被纳入卷积神经网络中，以 构 建 可 解 释 的 图 像 分 类 器 （ Chen et al.2018;Rymarczyk等人2021年）。然而，到目前为止，原型学习还没有被探索用于解释GNN。构建基于原型学习的自解释GNN带来了独特的挑战。第一，边缘的离散性arXiv：2112.00911v1 [cs.LG] 2021年12+v：mala2255获取更多论文∈∈Ni=1联系我们u使得图形原型的投影和可视化变得困难。第二，图结构的组合性使得很难建立具有高效和高精度的自解释模型。在本文中，我们解决了上述挑战，并提出了PrototypeGGNN神经网络（ProtGNN），它提供了一个新的角度解释GNN。具体来说，各种流行的GNN架构可以用作ProtGNN中的图形编码器。基于其与原型层中的原型的相似性来执行对新输入图的预测。此外，我们建议采用蒙特卡罗树搜索算法（Sil-veret al. 2017年），以有效地探索不同的子图原型投影和可视化。此外，在Prot-GNN+中，我们设计了一个条件子图采样模块来识别输入图的哪一部分与每个原型最相似，以提高可解释性和效率。最后，在几个真实世界数据集上的广泛实验表明，ProtGNN/ProtGNN+提供了内置的可解释性，同时实现了与不可解释的对应物相当的性能相关工作图神经网络图神经网络已经在各种图任务上证明了它们的有效性。设G=（V，E）表示一个图，它的结点属性为X，v，v为V，边集为E. GNN利用图连通性以及节点和边特征来学习表示向量（即，对于每个节点V，V或矢量h G，轮胎图G.通常，GNN遵循消息传递范例，其中通过聚合v的相邻节点（v）的表示来迭代地更新节点v的表示在这里，我们使用图卷积网络（GCN）（Kipf和Welling2017）作为示例来说明Titov2020 ） 、 分 解 方 法 （ Schwarzenberg et al.2019;Schnakeetal.2020 ） 和 替 代 方 法 （ VuandThai2020;Huang et al. 2020年）。具体地，基于梯度/特征的方法采用梯度或特征值来指示不同输入特征的重要性。这些方法只是简单地将图像域中的解释技术应用于图域，而没有结合图数据的属性。基于扰动的方法通过扰动不同的输入特征来监测预测的变化，分解方法通过将原始模型预测分解为若干项并将这些项与图节点或边相关联来解释GNN。给定一个输入示例，代理方法首先从给定示例的邻域中采样数据集，然后拟合一个简单且可解释的模型，例如，决策树到采样数据集。表面模型通常更容易解释，从而揭示更复杂模型的内部工作。然而，所有上述方法都是事后解释方法。与事后解释方法相比，内置的可解释性（Chen et al.2018;Ming etal.2019）更可取，因为事后解释通常不能精确拟合原始模型（Rudin2018）。因此，有必要建立具有内在可解释性和高精度的模型。提议的ProtGNN在本节中，我们介绍了ProtGN-N/ProtGNN+的体系结构，制定了学习目标并描述了训练过程。ProtGNN架构我们让{xi，yi}n 是一个标记的训练数据集，其中xi这样的消息传递过程：是输入属性图，y i1，...，C 是拉-图中的贝尔我们的目标是学习典型的hk +1 =σ.Σ. WkkkA中国，（1）可用于分类参考vu∈N（v）uuv类比的解释。对于一个新的输入图，它与每个原型的相似性是在潜在空间中测量的然后，可以导出新实例的预测，并且其中，hk是节点u在k处的表示向量。这是由其相似的原型图形模式解释的。第n层，A=D−2AD−2是归一化邻接y矩阵A_n=A+I是图G的邻接矩阵其中添加了自连接，并且D是对角矩阵，在图1中，我们展示了我们提出的ProtGNN架构的概述。该网络由三个关键组件组成：图形编码器f、原型层g和Dˆii =j阿吉吉. σ（·）在方程中（1）是ReLU函数，WkP全连接层c附加softmax以输出是第k层的可训练权重矩阵。图神经网络随着GNN应用的增长，理解GNN为什么会做出这样的预测变得越来越重要。近年来，GNNs的可解释性研究发展迅速 正如最近的一项调查（Yuan et al.2020 b）所建议的那样，现有的解释GNN的方法可以分为几类：基 于 梯 度 / 特 征 的 方 法 （ Baldassarre 和Azizpour2019;Pope et al. 2019 ） ， 基 于 扰 动 的 方 法（Yingetal.2019;Luoetal.2020 ;Yuanetal.2021 ;Schlichtkrull，De Cao，和多类分类任务中的概率。对于给定的输入图xi，图编码器f将整个图映射到具有固定长度的嵌入h的单个图。编码器可以是任何骨干GNN，例如，GCN、GAT或GIN。图嵌入h可以通过取最后一个GNN层的总和或最大池化来获得在原型层中，我们为每个类分配预定数量的原型m在最终训练的ProtGNN中，每个类可以由一组学习的原型表示原型应该捕获最相关的图模式，用于识别每个类的图对于每个输入+v：mala2255获取更多论文·n22ǁ − ǁn我Jni=1p（pj∈Pk）映射到最近的潜在训练子图上，n我J图1：我们提出的ProtGNN/ProtGNN+的架构。该模型主要由三个部分组成：GNN编码器f，原型层gP，以及在多类分类任务中附加softmax以输出概率的全连接层c。ProtGNN计算图嵌入和原型层中学习到的原型之间的相似性得分（图中的sim（pk，））为了进一步的可解释性，ProtGNN+中包含了条件子图采样模块（在虚线边界框中），以输出与每个学习的原型最相似的子图。图xi及其嵌入h，原型层计算相似度得分：Sep =-1i=1minj：pj∈/Pf（x）−p（五）10. intk = k（pk−h<$2+ 1pk−h（2）Div=max（0，cos（pi，pj）−smax）（6）/其中pk是第k个原型，具有与k=1i=jpi，pj∈Pk图的嵌入H.设计了相似度函数其中λ1、λ2和λ3是控制单调递减到pkh2，并且总是大于零。在实验中，损失的重量Pyi到y班。S是一组原型例如，在一个实施例中，1e-4。最后，通过相似性得分，完全一致-imax是余弦相似度与softmax连接的层计算每个类的输出学习目标我们的目标是学习一个既准确又具有内在可解释性的ProtGNN。为了准确，我们尽量减少交叉-在密度损失中由cos（·，·）测量。原型投影学习的原型是不可直接解释的嵌入向量。为了更好地解释和可视化，我们设计了一个投影程序在训练阶段进行。具体来说，我们将每个原型p训练数据集上的熵损失1nCrsEnt（cgjf（xi），yi）. 为了更好地解释，我们考虑几个在构建解释原型时的限制。首先，聚类成本（Clst）鼓励每个图嵌入至少接近其自己类的一个原型。其次，分离成本（Sep）鼓励每个图嵌入应该远离不属于其类的原型类型。最后，我们在实验中发现，与pj的类相同（参见等式（七））。 通过这种方式，我们可以在概念上将每个原型等同于一个子图，这更直观，更容易理解。为了降低计算成本，投影步骤仅每隔几个训练时期执行一次：pj<$argminh− pj2，一些学习的原型在潜在空间中彼此非常接近。我们通过增加多样性损失（Div）来鼓励学习到的原型的多样性，H∈HjH j={f_h：f（x_i），x_i∈Subgraph（x_i）}is. t.yi=k}。（七）原型太接近彼此。总而言之，我们要最小化的目标函数是n与像图像这样的网格数据不同，图的组合特性使得通过枚举来找到最近的子图是不现实的（Chenet al. 2018年）。 在图形原型中-1<$CrsEnt（c<$g<$f（x），y）+λClst+λSep+λ Div，类型投影，我们采用蒙特卡罗树搜索al-ni=1pi i1n2 3（三）出租m（MCTS）（Silveret al. 2017）作为搜索算法来指导我们的子图探索（见图2）。我们构建一个搜索树，其中根与输入相关联Clst =1μmminf（x）−p（四）图和每个其他节点对应于一个探索的子图形式上，我们定义搜索树2C2yi2i=1 j：pj∈Pyi2+v：mala2255获取更多论文NT NNNNE联系我们ENNNNNN·我E ∈{}E ∈JU（N，a）=λR（N，a）kC（Ni，ak），（9）i j i j1 +C（Ni，aj）根叶更新更新更新图2：使用蒙特卡罗树搜索的图形原型投影的说明。底部显示一个选定的其中λ是控制勘探和开采之间的权衡的超参数。该策略最初倾向于选择具有低访问计数的子节点来探索不同的修剪动作，但不对称地倾向于导致更高相似性分数的动作。在向后传递中，更新此路径中选择的所有节点和动作对的统计信息：C（Ni，aj）=C（Ni，aj）+1（10）W（Ni，aj）=W（Ni，aj）+sim（pk，hNl），（11）搜索树中从根到叶的路径，对应于MCTS的一次迭代不为人知的节点其中，hNl是关联到的子图的嵌入，为简单起见，忽略所选的对于每个节点，通过GNN编码器和相似性函数计算相似性得分来评估其在此图中，我们显示了节点1的相似性得分的计算（如蓝色虚线框所示）。在向后传递中，模型更新每个节点的统计数据。因为i和0表示根节点。搜索树中的边表示修剪操作。在搜索树中，与子节点相关联的图可以通过从对应于以下的图执行节点修剪来获得：它的父节点。为了限制搜索空间，我们增加了两个额外的约束：i必须是连通子图，投影子图的大小应该很小。在搜索过程中，MCTS算法记录访问次数和奖励的统计信息，以指导探索，缩小搜索空间。具体来说，对于节点和剪枝动作对（Ni，aj），我们假设子图Nj是由动作aj从Ni得到的。MCTS算法记录（Ni，aj）的四个变量：• C（N，a）表示用于为节点Ni选择动作a j的计数的数量。• W（Ni，aj）是所有（Ni，aj）次访问的总奖励。• Q（N，a）是多次访问的平均奖励。叶节点L.最后，我们选择具有从所有扩展的节点中获得最高的相似性得分作为新的投影原型。条件子图采样模块我们进一步提出ProtGNN+与一个新的条件子图采样模块，以提供更好的解释。在ProtGNN+中，我们不仅显示了原型的相似性得分，而且还识别了输入图的哪一部分与每个原型最相似，作为推理过程的一部分。在图1中，条件子图采样模块为每个原型类型输出不同的子图嵌入。虽然这个任务也可以通过MCTS来完成，但是对于图大小呈指数增长的时间复杂度以及并行化和泛化的困难使得MCTS算法成为不受欢迎的选择。相反，我们采用了一个参数化的方法，有效的相似子图选择给定的原型为条件。形式上，我们让e ij0，1是二进制变量，表示是否选择了节点i和j之间的边。e ij的矩阵表示为。条件子图采样模块的优化目标为：maxsim（p k，f（Gs））s.t. |Gs|≤ B，（12）其中Gs是所选的子图，其邻接矩阵i j 是E。B是子图的最大尺寸• R（i，a j）是在i上选择aj的即时奖励，它是用本文中的原类型与子图嵌入之间的相似性来度量的。子图嵌入通过使用GNN编码器f对子图进行编码来获得。在这些统计信息的指导下，MCTS在多次迭代中搜索最近的子图。每次迭代由两个阶段组成。在前向传递中，MCTS选择从根0开始到叶节点l的路径。为了保持子图的连接，我们选择用迷你修剪外围节点妈妈的程度。 叶节点可以基于子图中的节点的数量来定义，使得|Nl|≤ Nmin。在节点N i处的动作选择准则是：01-02i，aj）+U（i，aj）（8）一个j图的组合性和离散性使得直接优化上述目标函数变得困难。我们首先考虑一个松弛，假设该图是一个Gilbert随机图（Gilbert1959），其中每条边的状态彼此独立此外，为了便于梯度计算和更新，我们将0，1N×N松弛到凸空间[0，1]N×N中. N是输入图中的节点数为了提高效率和可推广性，我们采用深度神经网络来学习eij：eij=σ（MLPθ（[zi;zj;pk]）），（13）其中σ（）是Sigmoid函数。MLP是一个用θ参数化的多层神经网络，[·;·;·]是级联运算.zi和zj是从GNN编码器获得的节点嵌入，GNN编码器对特征进行编码GNN编码器+v：mala2255获取更多论文θΣO|E||E|C输入：训练数据集{x，y}iiC···C◦◦-−L−以及节点邻域的结构信息在Eq. （12）成为maxsim（pk，f（Gs））−λb RbRb= ReLU（eij− B），（14）eij∈E其中λb是预算正则化Rb的权重。在实验中，我们采用随机梯度下降法对目标函数进行优化。与MCTS比较：我们设计的条件子图采样模块比MCTS效率更高，更易于并行计算。我们的条件子图采样模块的参数是固定的，与图的大小无关。从一个有边的图中采样，我们的方法的时间复杂度是（）。条件子图采样模块的一个限制是它需要额外的训练。因此，为了优化的稳定性，在ProtGNN+的原型投影步骤中仍然使用MCTS。子图抽样为了提供更易于理解的可视化，ProtGNN+修剪输入图以找到最相似的子图算法1：ProtGNN/ProtGNN+训练ni=1参数：训练时期T，预热时期Tw，Pro-投射期Tp，原型投射期τ，Prot- GNN+1：初始化模型参数。2：对于训练时期t= 1，2，…，T，3：优化等式中的目标函数（三）4：如果t>Tp且t%τ= 0，则5：使用MCTS6：如果结束7：如果ProtGNN+使能并且t>Tw，则8：优化等式中的目标函数（14）.9：如果结束10：结束输出：训练模型，原型可视化模型参数。我们设wc为全连接层c和w（k，j）是第j个原型的输出与logit之间类K。特别地，对于类k，我们设置w（k，j）= 1，（k，j）所有j，其中pj∈Pk，且对所有j，其中pj∈/Pk ，w = 0.然后计算相似性分数。与ProtGNN相比，子图抽样过程可能会影响分类精度。下面的theo-rem提供了一些关于输入图采样如何影响分类精度的理论理解。定理1：设c gpf是ProtoGNN。输入图的嵌入是h。我们假设每个类的原型数相同，记为m。对于每个类k，最后一层c中k类原型与k类logit之间的权重连接为1，非k类原型与k类logit之间的权重连接为0。我们将pk表示为类k的第l个原型，将hk表示为嵌入的原型。直觉上，这样的初始化wh鼓励原型属于类k的语义概念，以学习具有类k特征的语义概念。训练开始后，我们采用梯度下降优化方程中的目标函数。（三）、如果训练时期大于投影时期Tp，则我们每隔几个训练时期执行原型投影步骤。此外，如果我们训练ProtGNN+，则当GNN编码器和原型的优化稳定时，在预热时期Tw之后迭代地优化条件子图采样模块和ProtGNN用于通用图形任务的ProtGNNL l修剪子图的丁ProtGNN和ProtGNN+具有相同的图形编码器f。我们证明：存在某个δ，0<δ1，• 对于正确的类，我们有一个veh−hk2≤（1+δ−KK在上述章节和插图中，我们已经使用图分类作为示例描 述 了 ProtGNN/ProtGNN+ 。 值 得 注 意 的 是 ，ProtGNN/ProtGNN+可以很容易地推广到其他图形任务，例如节点分类。阳离子和链接预测。例如，在节点类中1）h−pl<$2且h−pl<$2≤ 1−δ;任务，解释的目标是提供现实的，• 对于不正确的类，θh-hk2≤θh-pk2-θhk，节点V的预测后面的探测过程。假设01 - 02 -2016刘晓波（L l1+ δ1，11）。2−δGNN编码器具有L层，节点v的预测只依赖于它的L-hop计算图。因此，亲-对于ProtGNN中一个正确分类的输入图，如果如果前两 个 类 之 间 的 输 出 logit 至 少 为 2mlog （ （ 1+δ ）（2δ）），则ProtGNN+也能正确地对输入图进行分类。定理1背后的直觉是，如果子图采样不会太多地改变图嵌入，则Prot-GNN+将具有与ProtGNN相同的正确预测。证据包括在附录中。培训程序在算法1中，我们展示了ProtGN-N/ProtGNN+的训练过程。在训练开始之前，我们随机初始化在L-hop计算图中进行拓扑投影和条件子图采样。实验评价数据集和实验设置数据集：我们在不同的数据集和GNN模型上进行了广泛的实验，以证明我们提出的模型的有效性。这些数据集如下所示：• MUTAG（Debnath et al. 1991）和BBBP（Wu et al.2018）是用于图分类的分子数据集。在这些数据集中，节点表示原子，边表示√+v：mala2255获取更多论文（一）（b）第（1）款图三：ProtGNN+在决定分子图是诱变的（a）还是输入文本图的情感是积极的（b）中的推理过程。预测基于潜在输入表示与原型之间的相似性。网络试图通过查看哪个子图与原型最相似来找到证据选定的子图将高亮显示。由于空间限制，我们只展示了每个类的几个最大权重的原型化学键分子图的标号是由分子组成决定的。• Graph-SST 2（Socher et al. 2013）和Graph-Twitter（Donget al. 2014）是用于图分类的情感图数据集。他们用双仿射分析器将句子转换为图形（Gardner etal. 2018），节点表示单词，边表示单词之间的关系。节点嵌入用Bert字嵌入初始化（Devlinet al. 2018年）。 标签由文本句子的情感决定。• BA-Shape是一个综合节点分类数据集。每个图包含一个从Baraba′si-Albert（BA）模式（Albertand Baraba′si2002）获得的基图和一个连接到基图的类似房子的五节点模体。每个节点根据它是否属于基图或主题的不同空间位置来标记。实验设置：在我们的评估中，我们使用了GNN的三种变体，即GCN、GAT和GIN。分裂为训练集/验证集/测试集是80%：10%：10%。所有模型都经过了500个epoch的训练，并采用了基于验证集准确度的提前停止策略我们采用的ADAM优化器的学习率为0.005。 由方程式(3)，超参数λ1、λ2和λ3被设置为0.10、0.05和0.01分别smax在等式中被设置为0.3（六）、 的数量每个类的原型M被设置为5。在原型投影的MCTS中，我们在等式中设置λ（9）到5，迭代次数到20。 蒙特卡洛树中的每个节点最多可以扩展10个子节点，Nmin设置为5。原型投影周期τ被设置为50，投影时期Tp为设置为100。在ProtGNN+的训练中，预热时期Tw被设置为200。我们采用三层神经网络来学习边权重。由方程式在公式（14）中，λb被设定为0.01，B被设定为10。我们根据相关的工作或网格搜索来选择超参数我们所有的实验都是在Tesla V100 GPU上进行的。+v：mala2255获取更多论文表1：ProtGNN、ProtGNN+和原始GNN的分类准确度和标准偏差（%）数据集GCN GIN GAT84.6 ±3。4 89.4±4。188.0 ±4。 686.2 ±1。 186.5±1。6 85.9 ±4. 083.0 ±2. 6 85.9±2. 585.5 ±0. 889.7 ±0。5 89.9±2。489.0 ±3。0.922 ±0.999。392.0 ±0. 2 92.3±0. 488.1 ±0. 8 89.1±1。288.7 ±0. 967.5 ±1。9 68.9±5。966.1 ±6。5 66.2 ±1。3 75.2 ±2。8 76.5 ±3。4 69.6±6。564.8 ±4.066.4 ±3. 3e91.9 ±1。 795.7±1。4 94.3 ±3。792.9 ±0.595.2 ±1。395.5 ±2。4 92.9 ±1。2 93.4±3。493.2 ±2。0表2：不同方法对BBBP的效率研究1.00.80.6方法GCN ProtGNN ProtGNN+ProtGNN+*时间177.9 s506.3 s 632.7 s> 2 h0.40.20.00.00.20.40.60.81.0版ULE可以有效地识别最相似的子图。例如，在致突变类的第一行中，可以识别NO2基团和部分碳环，这与右边的原型非常相似。图4：使用t-SNE方法在BBBP数据集上可视化图形不同的颜色表示不同的类别。关于ProtGNN/ProtGNN+在表1中，我们比较了ProtGNN/ProtGNN+与原始GNN的分类精度。我们对随机数据分割应用3次独立运行，并报告平均值和标准差。在下面的部分中，我们使用GCN作为默认的主干模型。如我们所见，ProtGNN和ProtGNN+实现了与相应的原始GNN模型相当的分类性能，这也从经验上验证了定理1。在图3中，我们对MUTAG和Graph-SST 2进行了案例研究，以定性评估我们提出的方法的性能 我们将原型可视化，并展示了ProtGNN+在输入图上做出分类决策的推理过程。特别是，给定一个输入图x，网络通过将其与每个类的原型进行比较来找到每个类中的可能性条件子图采样模块查找x中最相似的子图。这些相似性得分被计算、加权并相加，以给出属于每个类别的x例如，图3（a）显示了ProtGNN+在决定输入分子图是否具有致突变性时的推理过程。基于化学领域知识（Deb-Nath等，1991），碳环和NO2基团倾向于致突变。在诱变类的Prototype列中，我们可以观察到原型可以很好地捕获NO2和碳环的结构此外，在相似子图列中，条件子图采样模-与生物化学数据集相比，文本数据上的例子由于不需要特殊的领域知识而更容易理解。在图3（b）中，输入图我们的方法可以有效地捕捉到关键短语/子图，导致积极的，“永远不要担心无聊”。此外，我们可以观察 到 输 入 图 与 正 原 型 之 间 的 相 似 性 得 分 ， “em-barrassed by总的来说，我们的方法提供了可解释的证据来支持分类。这种解释参与了实际模型的计算，并且始终忠实于分类决策。更多的例子和案例研究报告在附录中。t-SNE原型可视化在图4中，我们展示了使用t-SNE方法在BBBP数据集上的图形和原型类型嵌入的可视化。我们可以观察到原型可以占据图嵌入的中心，这验证了原型学习的有效性。效率研究最后，我们研究了我们提出的方法的效率。在表2中，我们显示了每个模型完成训练所需的时间。这里ProtGNN+* 表示在Prot-GNN+的训练中使用MCTS进行子图采样。由于MCTS的复杂性，ProtGNN+* 的时间复杂度非常高。所提出的条件子图采样模块可以有 效 地 减 少 ProtGNN+ 的 时 间 开 销 尽 管 ProtGNN 和ProtGNN+与GCN相比具有更大的时间成本（主要是由于使用MCTS进行原型投影），但考虑到所提供的内置可解释性，时间成本仍然是可接受的。图-SST 2Graph-TwitterBA形原始ProtGNNProtGNN+原始ProtGNNProtGNN+原始ProtGNNProtGNN+MUTAGBBBP73.3±5。876.7 ±6。473.3 ±2。993.3 ±2。990.7 ±3。291.7 ±2。975.0 ±5。078.3 ±4。281.7 ±2。9+v：mala2255获取更多论文结论虽然人们已经做出了大量的努力来从不同的角度解释GNN，但现有的方法都不能为GNN提供内置的在本文中，我们提出了ProtGNN/ProtGNN+，它提供了一个新的角度来解释GNN。ProtGNN的预测是通过将输入与原型层中的一些学习原型进行比较来获得的。为了提高子图的可解释性和效率，提出了一种新的条件子图采样模块大量的实验结果表明，我们的方法可以提供一个人类可理解的推理过程与可接受的分类精度和时间复杂度。引用Albert，R.; 和巴拉巴阿西西，A.- L. 2002年。复杂网络的统计力学Reviews of Modern Physics，74（1）：47.Baldassarre，F.;Azizpour，H.2019年。图卷积网络的可解释性ICML研讨会。Bian，T.; Xiao，X.; Xu，T.;赵，P.;黄，W.; Rong，Y.;和黄，J. 2020。使用双向图卷积网络检测社交媒体上的谣言。在AAAI，第34卷，549Chen，C.，中国科学院;Li，O.;Tao，C.;Barnett，A.J.道：苏，J.;鲁丁，C. 2018年这看起来像这样：用于可解释图像识别的深度学习NeurIPS。Debnath，A. K.的;洛佩斯德孔帕德雷河L.的; Debnath，G.; Shusterman，A. J.道：和Hansch，C. 1991.致突变芳香族和杂芳香族硝基化合物的构效关系与分子轨道能量和疏水性相关。药物化学杂志，34（2）：786Devlin，J.;张，M.-W的; 李，K.;和Toutanova，K.2018年Bert：深度双向转换器的语言理解预培训arXiv预印本arXiv：1810.04805。董湖;Wei，F.;谭，C.;Tang，D.;周，M.;还有徐，K. 2014.自适应递归神经网络用于目标依赖的Twitter情感分类。前交叉韧带，49Gardner ， M.;Grus ， J.;Neumann ， M.;Tafjord ，O.;Dasigi ， P.; 刘 ， N.; Peters ， M.; Schmitz ， M.; 和Zettlemoyer，L. 2018年Allennlp：一个深层语义自然语言处理平台.arXiv预印本arXiv：1803.07640。Gilbert ， E. N. 1959. 随 机 图 。 数 学 统 计 年 鉴 ， 30（4）：1141Gilmer ， J.; 舍 恩 霍 尔 茨 ， S 。 S. 的 ; Riley ， P. F.;Vinyals，O.;和Dahl，G. E. 2017.量子化学的神经信息传递。InICML，1263-1272. PMLR。他，Z.;张，J.;施，X。- H.的;胡湖L.的;孔，X.; Cai，Y.D.的; 和Chou，K.-C. 2010年。基于官能团和生物学特征预测药物-靶标相互作用网络PloS one，5（3）：e9603.黄，Q.; Yamada，M.;田，Y.; Singh，D.; Yin，D.;和Chang，Y. 2020. Graphlime：图神经网络的局部可解释模型解释。arXiv预印本arXiv：2001.06216。Kipf，T. N.的;和Welling，M. 2017.用图卷积网络进行半监督分类。ICLR。Kolodner ， J. L. 1992. 案 例 推 理 导 论 。 Artificialintelligence review，6（1）：3Luo，D.;郑，W.;Xu，D.;余，W.;Zong，B.;陈，H.;和Zhang ， X. 2020. 图 神 经 网 络 的 参 数 化 解 释 器 。NeurIPS。Ming，Y.;徐，P.;Qu，H.;和Ren，L.2019年。通过原型进行可解释在SIGKDD中。Pope，P.E.; Kolouri，S.; Rostami，M.;马丁角，澳-地E.的;和Hoffmann，H. 2019.图卷积神经网络的可解释性方法。在CVPR，10772鲁丁角2018.请停止解释高风险决策的黑箱模型。统计，1050：26。Rymarczyk，D.; Struski，M.; Tabo r，J.; 和Zieli n'ski，B.2021年ProtoPShare：用于可解释图像分类和相似性发现的原型共享. SIGKDD。Schlichtkrull，M. S.的; De Cao，N.; Titov，I. 2020.用可微边缘掩蔽的图神经网络解非线性问题。arXiv预印本arXiv：2010.00577。Schmidt，R.; Montani，S.; Bellazzi，R.; Portinale，L.;和Gierl，L. 2001.基于医学知识系统的案例推理。国际医学信息学杂志，64（2-3）：355Schnak e，T.;Eberle，O.;Lederer，J.;Nakajima，S.;许乌特，K. T.; Mülle r，K.-的R.; 和Mont av on，G. 2020年。XAIforgraphs：通过识别相关的行走来解释图神经网络预测。arXiv电子版Sch w arzenbe rg， R.;Hubner， M.;Harbec k e ， D.;Alt，C.; 和Hennig，L. 2019. 卷积文本图分类器中的分层相关可视化。arXiv预印本arXiv：1909.10911。Silver，D.; Schrittwieser，J.; Simonyan，K.;安东诺格鲁岛; Huang，A.;Guez，A.;Hubert，T.;Baker，L.;Lai，M.;Bolton，A.;等，2017年。在没有人类知识的情况下掌握围棋。nature，550（7676）：354Socher，R.;Perelygin，A.;吴，J.;Chuang，J.;曼宁，C. D.的; Ng，A.Y的; 和Potts，C.2013年。基于情感树库的语义组合性递归深度在EMNLP，1631Veli cko v ic′，P.; Cucurull，G.; Casan ov a，A.; Romero，A.; Lio，P.;和Bengio，Y. 2017.图注意力网络。arXiv预印本arXiv：1710.10903。Vu，M.;泰国，M。T. 2020年。PGM-Explainer：图神经 网 络 的 概 率 图 模 型 解 释 。 In Larochelle ， H.;Ranzato，M.; Hadsell，R.; Balcan，M. F.地;和Lin，H.，编辑，NeurIPS，第33卷。吴志; Ramsundar，B.; Feinberg，E. N.的; Gomes，J.;Ge-niesse，C.; Pappu，A. S.的; Leswing，K.;和Pande，V.2018。MoleculeNet：分子机器学习的基准化学科学，9（2）：513Xu，K.;胡，W.; Leskovec，J.;和Jegelka，S. 2019.图神经网络有多强大？在ICLR。+v：mala2255获取更多论文Yang，S.;张志;周，J.;王玉;太阳，W.;钟，X.; 方，Y.;于，Q.;Qi，Y.2020年。基于图挖掘的中小企业供应链财务风险在IJCAI，4661Ying，R.; Bourgeois，D.;你，J。Zitnik，M.;和莱斯科韦茨，J. 2019年。Gnnexplainer：为图神经网络生成解释。NeurIPS，32：9240。袁，H.;唐，J.;胡某;和Ji，S. 2020年a。Xgnn：图神经网络的模型级解释。在SIGKDD，430袁，H.;余，H.;Gui，S.;和Ji，S.2020年b。图神经网络的可解释性arXiv预印本arXiv：2012.15445。袁，H.;余，H.;王，J.;李，K.;和Ji，S. 2021.图神经网络的子图解释。ICML。张志;刘，Q.;王，H.;卢，C.;和Lee，C.- K. 2021.基于模体的图自监督学习用于分子性质预测。NeurIPS，34.+v：mala2255获取更多论文◦◦错误类别：（1+δ）（2−δ）√LKKLLLKL l=1KLl=1h−pkKL l=1hk −pkProtGNN中的其他类，输入图仍将是cor.h−pkhk −pkIJ≥≤≤≤L2L2l22−δl2ΣLL数据集统计数据然后，通过三角形不等式，我们有hk−pk≤h−L lp k + h − h k。因此，我们有：在表3中，我们显示了五个数据集的详细统计数据。这些数据集包括生物数据、文本数据和同步数据。L lh−pkh−pk