图形移植：节点显著性引导的局部结构保持图混合方法验证及优越性

+v：mala2255获取更多论文图移植：节点显著性引导的局部结构保持图混合3* Junhyung Park酒店，东京都-这里1韩国KAIST{deepjoon，shimazing，eunhoy} @ kaist.ac.kr摘要图结构的数据集通常具有不规则的图大小和连通性，使得最近的数据扩充技术（例如Mixup）的使用变得困难。为了解决这一挑战，我们提出了第一个Mixup类图增强方法在图的水平称为图形移植，它混合不规则的图形在数据空间。为了在图的各种尺度上很好地定义，我们的方法将子结构识别为可以保持局部信息的混合单元。由于基于混淆的方法没有特别考虑上下文容易产生噪声样本，我们的方法显式地使用节点显着性信息来选择有意义的子图并自适应地确定标签。我们广泛地验证了我们的方法与不同的GNN架构上的多个图分类基准数据集，从广泛的图形域的不同大小。实验结果表明，该方法与其它基本数据增强基线相比具有一致的优越性我们还证明了图移植增强了鲁棒性和模型校准方面的性能。1引言图分类在从化学到社会数据分析的各种领域中起着至关重要的作用近年来，尝试使用图神经网络（GNN）来 解 决 图 分 类 任 务 已 经 成 为 焦 点 （ Gilmer et al.2017;SimonovskyandKomodakis2017;Yingetal.2018;Errica et al.2019;Meng and Zhang2019），因为深度模型成功地从计算机视觉（CV）等各个领域的非结构化数据中学习（Heet al. 2016）或自然语言处理（NLP）（Vaswaniet al. 2017年）。然而，挑战在于，与大多数深度模型一样，为了让GNN成功地泛化，即使是看不见的图数据，我们通常需要太多的数据，这是不切实际的。为了更经济有效地训练这些数据饥渴的神经网络，通常采用数据增强技术现有的图增强方法在很大程度上依赖于注入结构噪声，例如边缘操作（Rong et al.2019;Zhou，Shen和Xuan2020）或节点删除（You etal.2020），而不考虑每个图数据的语义，从而误导网络*这些作者贡献相同。预印本因为它们的上下文不可知性。此外，大多数提出的图增强策略都集中在节点分类任务上（Verma et al.2019b;Rong et al.2019），这很难直接应用于图分类。作 为 另 一 个 有 吸 引 力 的 选 择 ， 我 们 考 虑 Mixup（Zhangetal. 2017），其在图像分类方面的优异性能已成为标准数据增强之一（Yun et al. 2019），句子分类（ Guo ， Mao 和 Zhang 2019a ） ， 模 型 鲁 棒 性（ Hendryckset al. 然 而 ， 由 于 现 有 的 Mixup 变 体（ Vermaet al.2019 a;Yun et al.2019;Guo ， Mao 和Zhang2019 b;Kim et al.2021）在某种程度上特定于图像数据或要求数据实例位于相同的维度空间中，因此它们不适用于通常没有节点对应关系的图形数据的情况，甚至节点的数量也可能在图形实例中有所不同。在本文中，我们提出了图移植，一种新的基于混合的数据增强的图形分类任务，可通常用于多域数据集，而不管图形的几何形状。为了使没有节点对应关系和节点数量不同的混合图实例有意义，图移植从目的地和源实例中的每一个中选择子图，并将源的子图移植到子图被移除的目的地然而，如果子图的原始电荷没有反映在标签中，则将子图从一个实例移植到另一个实例可能无法正确地将最终乘积与对应的内插标签对齐。为了解决这个问题，我们建议利用节点显着性来选择子图和分配标签。具体来说，我们将节点显着性定义为分类损失梯度相对于图卷积层输出的l2它可以看作是模型对图进行分类时节点贡献的一种度量。此外，混合图的标签被确定为源子图和目标子图之间的显著性的比率。基于显着性的标签混合不是简单地使用子图中节点数量的比率，而是通过根据节点的重要性对节点进行加权来正确地描述混合图混合图中的另一个重要为此，我们提出了两种变体：1）在原始节点度约束下的随机连接和2）边arXiv：2111.05639v1 [cs.LG] 2021年11月+v：mala2255获取更多论文∈联系我们N{∈|联系我们vvLv我Lvuv，u基于节点特征的预测。总之，我们的贡献有三个方面：• 我们提出了图移植，第一个输入级的基于混合的图增强，可以混合两个不同结构的图，通过替换目标子图与源子图，同时保持本地结构。• 与随机扩增产生噪声样本的风险相比，我们提出了一种新的策略，通过显式利用节点显着性来生成具有自适应分配标签的适当混合图，该标签与相应的标签相一致• 通过大量的实验，我们表明，我们的图移植是一种有效的算法，可以带来全面的改善，在多个领域的图分析，SIS的不同架构的分类性能，鲁棒性和模型校准。2相关作品图结构数据的数据扩充大多数图结构数据的数据扩充方法都偏向于节点分类任务。此外，它们中的许多在很大程度上依赖于边缘扰动。GraphSage（Hamilton，Ying和Leskovec2017）在每次迭代中均匀地对不同的邻居 DropEdge（Ronget al. 2019）在每个训练时期之前随机移除一部分边缘。AdaEdge（Chen et al.2020）迭代地添加或删除预测节点之间的边 有相同的标签和高的信心。Zhao等人（2020）提出在训练和推断阶段使用单独 的边缘预 测模块来 操纵边 缘。另一 种方法是GraphMix （ Verma et al. 2019 b ） ， 应 用 多 重 混 合（Vermaet al. 2019a）用于图节点分类，其联合训练具有共享参数的全连接网络（FCN）和GNN。图分类任务的数据增强，这是我们主要关心的，是相对较少探索。You等人（2020）创建了具有四种一般数据增强的新图形：节点丢弃，边缘扰动，属性掩码和用于对比学习的子图提取。这些基线确实成功地扩大了数据集的大小，但由于没有考虑每个图形的特征，因此存在创建误导性数据的风险。在这个意义上，提出了一种用于增强数据的过滤方法（Zhou，Shen和Xuan2020），该方法将增强和验证数据的预测值与边缘扰动进行比较，以决定是否采用增强数据。Wang等人（2021）还分别提出了用于图和节点分类的Mixup类扩充。对于图形分类，他们建议在读出层之后混合最终的图形表示向量，这可以被视为流形混合到图形数据的简单扩展。它对未知数据的泛化性能。此外，Manifold Mixup（Verma et al.2019 a）将Mixup扩展到潜在特征空间。特 别 是， Mixup 的 一 个新 扩 展 名为 CutMix （ Yun etal.2019），它通过从一个图像中剪切图像补丁并将其粘贴到另一个图像中来生成虚拟图像该方法有效地补偿 了 Cutout 中 的 信 息 损 失 问 题 （ Devries 和Taylor2017），同时利用区域丢弃强制模型参与整个对象。虽然Mixup及其变体不仅在CV领域，而且在NLP（Guo，Mao和Zhang2019 a）和ASR（Medennikovet al.2018年），混合数据方案尚未移植到图形领域。由于两个不同图的节点不匹配，并且必须确定新混合图的连通性，因此混合两个图是不平凡的，并且成为一个困难的挑战。解释模型预测已经成为深度学习领域的一个重要课题。具体地说，许多研究人员利用输出相对于输入特征的梯度来计算图像的显著性图。在图的领域中，也有人试图识别主要影响模型预测的显著子结构或节点特征（Ying et al.2019;Neilet al.2018）。使用损失相对于节点特征的梯度的简单方法可能比其他更先进的可解释性方法（如Ying等人，2019年）更不准确，但它不需要任何网络修改（Selvaraju等人，2019年）。2017） ， 也 没 有 额 外 网 络 的 训 练 （ Zhou et al. 2016年）。3初步图的分类让我们定义G=（V，E）是一个无向图，其中V是节点的集合，E是边或成对节点的集合。XR|V|×d是特征矩阵，其第i项是节点i的d维节点特征向量。（v）是节点的集合uVu，vE通过边连接到v对于图C类分类任务，每个数据点（G，y）由图G以及其对应的 标号y1，. . .、C.目标是训练GNN模型，该模型采用图G并预测每个班级的概率。在本文中，我们考虑具有以下四个可微组成部分的消息传递GNN框架的不同成员：1）消息函数m l，2）置换不变消息聚合函数φ l，例如元素平均值，总和或最大值，3）节点更新函数h l，以及4）读出函数γ，置换不变地将节点嵌入组合在一起，最后获得图形表示（Kipf和Welling 2016;Vel icko vi c'etal. 2017年;徐等人2018年）。 设x（l）是节点v的隐向量，Mixup方法最近提出的Mixup（Zhang 等人2017）使用一对输入样本来生成aug-层vL. 用递归定义简化符号通过凸组合分割数据这种方法证明了其有效性，因为混合数据允许模型对于GNNs，我们使用x（0）表示输入节点特征。在每个GNN层，节点特征被更新为学习更一般的决策边界，h（x（l），φ（{m（x（l），x（l），e）|（v），（v），（v），（v）+v：mala2255获取更多论文X∈Dθ−∈ X ∈ Y−S||∗vKddu表示二进制ππ最后第L层，所有节点特征向量通过读出函数xG=γ（x（L），.，x（L））。通过使给定从GNN第l层获得的潜在节点特征矩阵X（l），我们首先计算类的梯度于分类器0|V|液化损失L（G，y=c）=−logy关于X（1），xGf，我们得到了预测y=f（xG）CL对于图G，其中y∈c=P（y=c|G）。作为代表，（l）R|V| ×d.值得注意的是，梯度几乎可以免费获得，因为它是训练例如，图卷积网络（GCN）层定义为x（l+1）=θ第五次世界大战 x（l）其中踩在原来的图表上。然后，节点的显著性svv被导出为相应梯度的l2范数，dv=1+u ve v，u与边权重e v，u。到节点v：s-- Σ∂LΣ.. . 选择计算u∈N（v）v..X（l）v，：..2Mixup及其变体Mixup是一种基于插值的正则化技术，它通过组合成对的示例及其标签来生成虚拟数据，以解决分类问题。设x是输入向量，y是来自数据分布的独热编码的C基于混合的增强方法在给定混合比分布q的情况下优化以下损耗L：min. E（xi，yi），（xj，yj）<$D，λ<$q[L（g（xi，xj;λ），l（yi，yj;λ））]其中，g和l是数据和标签混合函数，req。在香草混合的情况下（Zhang et al. 2017），这些函数被定义为g（x i，x j; λ）=（1 λ）x i+λx j和l（y i，y j）=（1 λ）y i+λy j，其中混合参数λ从beta分布Beta（α，α）中采样。另一个实例，CutMix（Yunet al. 2019），将混合函数定义为g（xi，xj;B）=（1−1B）<$xi+1B<$xj，其中Ⓢ第l层的梯度是为了捕获高级空间每个节点的l-hop邻域中的信息（Bengio，Courville和Vincent2013;Selvaraju et al.2017）。最终节点显著性向量G=[s1，...，因此，在不修改网络架构的情况下获得了SVT。4.2图形混合图形混合包括以下两个步骤。对于每一次迭代，我们考虑N个图（ G1，. . .，GN）。 我们将两个图G πi和G i配对，其中π是range（N）=[1，. . . ，N]。从现在开始，为了简洁起见，我们去掉索引i，Gπ和G将分别被称为源图和目标图。构造子图G<$π =（V<$π，E<$π）从源G，我们首先选择节点V<$π的显著R %来定位掩码1B，其中B=[a，a+w]×[b，b+h]且λ=wh包含类语义的重要部分。节点WH其中W和H是图像的宽度和高度。4图形移植现在，我们介绍我们的有效的图分类的增强策略，图移植，生成语义上有意义的混合图，考虑到图实例的上下文。首先，我们定义了GNN的节点显着性，它在对图形属性进行分类时对每个节点的重要性进行编码（第4.1节）。有了节点显着性的概念，我们设计了图移植的两个主要组件：保留局部图结构的图混合（第4.2节）和基于每个节点显着性自适应分配监督的标签混合显著性通过其定义表示L-hop子图为了避免在整个训练阶段重复选择相同的节点，我们从前2个R%显著节点中随机抽取Vππ给定选定锚点的集合Vππ，我们提取部分K跳随机抽取p%的相邻子图G<$π每一个移动的步骤。对于每次训练迭代，p从Beta（α，α）100中采样（参见算法1）。选择部分子图的主要原因是当如果图G是稠密的，则K-hop子图可能与整个图G重合。对于每次迭代，K是从离散空间随机采样的。在目标端，子图从原始图来子图，以适当地描述混合图（第通过算法1获得的节点V'从第4.3段）。详情如下。4.1GNN的节点显著性图移植不依赖于计算子图重要性的特定方法，并且可以与各种方法结合。然而，与可解释性的一般目的不同，可解释性的一般目的是找到给定训练模型的重要区域，我们的目标是动态地找到并目的图G.与源端相比，锚节点V在目标图G中随机选择R%，以获得增强图的多样性的地方这些节点脱落的地方就是源子图G<$π将被移植的地方。 由V\V<$诱导的剩余目的子图表示为G<$=（V\V<$，E<$）。算法1：部分K-hop在GNN被训练时混淆子图所以在在本文中，我们优先考虑的方法，可以简单，快速地找到一个节点的重要性，使用节点的功能和梯度。其中，特别是，受仅使用梯度值进行图像分类的作品的启发（Simonyan，Vedaldi和Zisserman2013;Shrikumar，输入：跳数K、原始图G、子节点V、采样率p输出：V¯初始化：V<$V，H<$V，1：对于k= 1至K，2：H←随机选择N（H）中的p %节点Greenside和Kundaje2017;Kim，Choo和Song2020），3：V<$←V<$H我们设计节点显著性的以下定义4：结束u∈N（v）<${v}+v：mala2255获取更多论文S S{}∈\\\联系我们 |{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}Σ∈∈∈e<$u，v<$Bernoulli2<$（u，v）+2<$（v，u）vπv度的变化量为Dπ=v∈Uπ（degGπ（v）−图1：图形移植概述。首先，我们计算源/目的图Gπ，G的节点显著性向量π，。然后，我们从每个图中提取出由显著节点Vπ和随机节点Vπ锚定的部分K跳子图。 混合标记y′是基于显著性ySπ，S自适应确定的。 最后，我们将源侧子图G<$π移 植到剩余的目标子图上。算法2：图移植EP输入：图对（Gπ，G），节点显著性SGπ，跳数K，中心节点采样率R，边缘预测模块输出：混合图G'=（V'，E'）1：Vπ←R%显着节点从Gπgiv enSGπ//源2：V<$π ←部分K-hop（K，Gπ，V<$π）3：G<$π←导出子图（Gπ，V<$π）4：V←R%来自G的随机节点//目的地5：V<$←部分K跳（K，G，V<$）一种有效的度保持方法，简称DP，它保持了原图中结点的期望度。这使得生成的图的分布不会太远离原始图，同时产生不同的样本。另一种方法是在训练阶段引入可区分的边缘预测模块，以考虑节点对的特征，提高连通性。我们称之为边缘预测或EP。边缘预测模块采用一对级联的节点fea-6：G<$←导出子图（G，V\V<$）/* 合并 */tures（rvπ，rv）并预测边存在的概率7：V'←V<$π（V\V<$）8：E'←E<$πE<$/* 边缘预测 */9：f或u∈V<$π，v∈V\V<$do10：如果degGπ（u）>degG<$（u），degG（v）>degG<$（v），则n（r vπ，r v）=P（v π，v E′）.作为一种轻微的符号滥用，我们使用（u，v）来表示消耗节点对（u，v）的表示的边缘预测器。对于无向图，我们考虑对称形式，并采取平均-agee<$u，v=1（<$（u，v）+<$（v，u））.或输入的，我们uti-十一：12：其他π，11π2在第l个GNN层之后隐藏潜在节点特征x（l）和x（l）十三：e'u，v←0来整合当地的信息。 我们抽样14：如果结束15：结束16：E'←E'{{u，v}|u∈V<$π，v∈V\V<$，e<$u，v=1}T移植在提取子图G<$π和G<$之后，通过在V<$π和V之间添加n条边，将G<$π移植到G<$V'. 最后，我们构造了组合图G′=（V′ ，E′ ），其中V′=V<$π（五）V<$），并且需要确定V<$π和（V <$）之间的连通性（V）。我们只考虑通过子图提取保留丢失边的节点局部信息和内部结构完整。为此，让我们定义degG（v）为图中节点v的度G. 然后，计算源节点的候选节点集合和可 连 接 因 子 边 的 目 标 图 是 Uπ={v∈V<$π|degGπ（v ）>degG<$π（v ）}，U={v∈（V\V<$）|degG（v）>degG<$（v）}分别为v，从Bernouli（evπ，v）中得到一个新的 权值e <$ v π，v。为了使采样的边缘权重e可区分，我们在 训 练 阶 段 采用直通Gumbel-Softmax估计器（Jang，Gu和Poole 2016）。最后，给出了一个新的边集E′，设为E<$π 鄂vπ，vvπV<$π，vV，e<$vπ，v=1.边缘通过监督学习和监督学习来训练预测模块与原始图以及与虚拟图以端到端的方式（参见算法3的第4-5行、第13行）。 在Supple-100中，我们提供了原始图的节点对的边缘预测模块的准确性学习曲线。4.3自适应标签混合在上一节中，我们的方法生成了虚拟图数据，该数据捕获了图的语义，同时保留了原始的本地信息。然而，为生成的图分配适当的标签是必要的，以防止网络被不适当的监督所误导从嘈杂的数据。例如，假设核心节点degG<$π（v）），D=vU（degG（v）−degG<$（v））。为了确定vπ Uπ和v U之间的连通性，我们提出了以下两种不同的方法。第一种方法是对[（D + D π）/2]个节点对（u，v）∈Uπ×U随机一致。这种简单明了的，主要决定目的图G的性质都凝聚在一个很小的区域里如果这个小区域中的节点通过我们上面描述的子图选择方法被消除，则G的原始属性大部分丢失，因此简单地按比例分配标签+v：mala2255获取更多论文|B|，|我|i我是（1−λ G'）y，其中λ G'= I。SIS\πθ，θL我是我是L L−←−θ L2016年8月我我1G级算法3：使用图移植训练EP输入：数据分布D={（G，y）}，GNN模型θ，中心节点采样率R，边缘预测模块θ，离散K-跳空间K，学习率η1：虽然不符合提前停止标准，但2：样品批次B={（Gi，yi）} D我们的方法的每个组成部分的贡献-节点显着性，基于显着性的标签混合，和局部性增强。最后，我们进行了模型校准和对抗性攻击的实验（第5.5节，5.6节）。5.1基线3：反向传播以获得θL=θ1{SGi}i给定θL（Gi，yi）和节点显著性我们现在将图形增强基线引入COM-/* 边缘预测模块的监督更新 */4：节点表示及其连接图的移植。除了图扩充工作外，我们还采用了一般的图扩充-（l）（l）E ={（（xu，xv ），1{u，v}∈Ei）}5：用E更新边缘预测器DropN，PermE，MaskN和SubG -来自最近的图形对比学习工作GraphCL（You et al. 2020年）/* 执行图形移植 */6：通过混洗批次{（Gπi，Gi）}i的配对图7：K←random.choice（K）作为我们的基准。由于本文提出的方法是针对无监督学习的，因此在将它们制作成支持数据增强的版本8： 对于i= 1至|B|做图9：G'i←图移植EP（Gπi，Gi），SGπ，K，R，K10：yi'←A（yπi，yi）11：结束/* 更新 */12：θ θn（ +1（G′，y′））13：←−η1iLAug（G'i，yi'）在监督学习制度下，通过分配原始标签的增强图。请注意，对于所有基线，我们使用原始和增强图来训练模型，以进行公平比较。我们将把细节留待补充问题讨论。歧管混淆（Wang等人，2021）由于节点故障-14：结束时|B|在读出层γ之后，每个图的真矩阵被压缩成一个隐向量，我们可以将这些图的隐向量节点的错误将不能正确地解释所生成的图。为了解决这个问题，我们提出了一个简单而有效的标签混合策略的图移植。我们将源子图G<$π（以及目标图G<$的其余部分）的重要性定义为总显著性y构成原始全图中的子图的节点的数目。该自适应重要性函数I（S，V）可以是向量及其标签。M-Evolve（Zhou，Shen，and Xuan2020）这种方法首先用一种启发式设计的开放三元组边缘交换方法扰动边缘。然后，基于验证图的预测过滤出噪声增强我们稍微调整了框架，以便对每个训练步骤和过滤进行增强和过滤配制为 （，V）=v∈Vsv.标签权重λ '对于生成图G′，根据从源（Gπ，V<$π）到目的地（G、V）（V），因此，混合实例l（yπ，y）的标号定义为λG'yπ+I（SGπ，V<$π）（G，Vπ）+（G，V V）我们的最终目标是min. E（Gπ，yπ），（G，y）<$D[L（G，y）+LAug（G′，y′）]（1）其中Aug（G′，y′）定义为λ G′ （G′，y π）+（1λG′）（G′，y）.使用图移植的整个学习过程在算法3中描述。5实验我们在多个领域数据集上进行了一系列的实验，以验证我们的方法图移植。 由于这是第一个基于输入级Mixup的图形结构数据本身的工作，我们比较了Man-ifold Mixup的性能（Wang et al. 2021），混合了池化层之后的隐藏表示，以及其他随机图增强（第5.1节）。虽然理论上Graph Transplant可以统一到任何GNN架构而无需修改网络，但我们使用四种不同的GNN架构进行了实验：GCN（Kipf和Welling 2016），GCS（具有可学习的Skip连接的GCN），G A T（Veli cko v ic'etal.2017）、GIN（Xuet al. 2018年）。 我们还进行了 消融研究（第5.4节），以探索在每个训练时期之后更新标准。节 点 丢 弃 （ DropN ） 类 似 于 Cutout （ Devries 和Taylor2017）， DropN随机丢弃特定部分的节点。边扰动（PermE）操纵图的连通性是图扩充的最常见策略之一。PermE随机添加和删除一定比例的边缘。与Dropout（Sri-vastava et al.2014）一致， MaskN随机掩码掩盖了节点特征的一定比例。子图（SubG）使用随机游走，SubG从原始图中提取子图。5.2实验设置数据集为了证明图移植在图的各个领域和图实例的数量上带来一致的改进，我们对8个图基准数据集进行实验：用于社交网络数据集的COLLAB （Yanardag和Vishwanathan2015 ） 、 用 于 社 交 网 络 数 据 集 的 EN-ZYMES（Schomburget al. 2004）、obgb-ppa（Huet al.2020）用于生物信息学数据集，COIL-DEL（Riesen和Bunke2008 ） 用 于 计 算 机 视 觉 数 据 集 ， 以 及 NCI 1（Wale，Watson和Karypis2008），诱变性（Kazius，McGuire和Bursi 2005），NCI-H23，MOLT-4，P388（Yanet al. （2008年）分子数据集。+v：mala2255获取更多论文表1：为了将我们的方法“图移植DP/EP”与其他基线进行比较，我们报告了在五个图分类基准数据集和三个代表性GNN架构上重复3次5倍交叉验证的平均准确度和标准偏差（GCN的结果推迟到补充）。请注意，MaskN不能应用于没有节点特征的COLLAB方法COLLABNCI 1酶致突变性COIL-DELVanilla0.814 ±0.001。010 0.784 ±0. 0250.639 ±0. 0400.819 ±0. 0090.688 ±0.019歧管混合0.814 ±0。0100.792 ±0. 0180.664 ±0. 0530.822 ±0. 0090.756 ±0. 029M-Evolve0.817 ±0. 0110.775 ±0. 0230.666 ±0. 0590.821 ±0. 0090.703 ±0. 013DropN0.816 ±0. 0080.789 ±0. 0310.686 ±0. 0560.820 ±0. 0180.794 ±0. 026PermE0.816 ±0. 0060.785 ±0. 0230.675 ±0. 0520.820 ±0. 0150.798 ±0. 022MaskN-0.790 ±0. 0180.678 ±0. 0460.819 ±0. 0080.791 ±0. 021SubG0.812 ±0. 0100.784 ±0. 0210.675 ±0. 0570.821 ±0. 0110.819 ±0. 025图移植DP0.820 ±0. 0110.815 ±0. 0110.694 ±0. 0650.821 ±0. 0100.858 ±0. 022图移植EP0.828 ±0. 0070.807 ±0. 0130.707 ±0. 0530.829 ±0. 0100.858 ±0. 016香草0.804 ±0. 0130.750 ±0. 0170.415 ±0. 1900.806 ±0. 0090.680 ±0. 020歧管混合0.805 ±0。0100.778 ±0. 0140.507 ±0. 2250.811 ±0. 0110.741 ±0. 023M-Evolve0.809 ±0. 0080.728 ±0. 0230.441 ±0. 2240.811 ±0. 0090.729 ±0. 027下降N0.802 ±0. 0120.752 ±0. 0380.477 ±0. 2600.810 ±0. 0130.772 ±0. 017PermE0.804 ±0. 0090.760 ±0. 0370.532 ±0. 1960.814 ±0. 0150.776 ±0. 023MaskN-0.756 ±0. 0280.493 ±0. 2260.808 ±0. 0120.772 ±0. 029SubG0.792 ±0. 0080.755 ±0. 0200.506 ±0. 2200.815 ±0. 0120.731 ±0. 022图移植DP0.813 ±0. 0100.793 ±0. 0180.527 ±0. 2320.815 ±0. 0090.796 ±0. 021图移植EP0.813 ±0. 0090.789 ±0. 0250.551 ±0. 2200.817 ±0. 0110.795 ±0. 022香草0.805 ±0. 0070.793 ±0. 0130.596 ±0. 0300.815 ±0. 0100.620 ±0. 013歧管混合0.809 ±0。0080.797 ±0. 0130.618 ±0. 0420.822 ±0. 0110.654 ±0. 020M-Evolve0.809 ±0. 0070.785 ±0. 0150.608 ±0. 0310.813 ±0. 0110.604 ±0. 017下降N0.807 ±0. 0140.789 ±0. 0220.619 ±0. 0450.822 ±0. 0100.624 ±0. 020PermE0.809 ±0. 0080.790 ±0. 0180.641 ±0. 0380.823 ±0. 0080.629 ±0. 018MaskN-0.794 ±0. 0170.624 ±0. 0280.820 ±0. 0080.632 ±0. 017SubG0.805 ±0. 0100.789 ±0. 0210.631 ±0. 0300.820 ±0. 0080.667 ±0. 022图移植DP0.814 ±0. 0120.815 ±0. 0110.653 ±0. 0380.822 ±0. 0120.700 ±0. 025图移植EP0.815 ±0. 0090.811 ±0. 0110.649 ±0. 0390.828 ±0. 0090.682 ±0. 025评估协议我们使用5折交叉验证来评估模型。对于少于10 k个实例的数据集，实验重复三次，因此总共有15个不同的训练/验证/测试分层分裂，比例为3：1：1。我们精心设计了能够保证充分收敛的统一训练管道。对于小数据集，我们在早期停止条件下训练GNN 1000个epoch，并在1500次迭代的验证准确性没有进一步提高时终止训练类似地，如果1000次迭代的验证损失没有改善，则学习率衰减0.5。较大数据集（>10k）的详细评估方案和我们的实施细节见补充文件。5.3主要结果我们报告了基线和我们在五个数据集上的平均准确度和标准差（表1）。下标DP和EP表示移植方法（见第4.2节中的移植）。图移植实现了整个架构和数据集的最佳性能。值得注意的是，我们的方法始终表现出优越性的数据集具有不同的特征，如稀疏的连接，图的大小，和节点功能的存在与否，而其他基线是锯齿状的。有趣的是，我们的方法与简单的DP通常击败其他基线，甚至优于我们的方法移植与EP在某些情况下。我们猜想，允许混合图在弱而实的连通图中是多样的，表2：图移植还增强了大规模数据集上的分类性能。我们报告了5倍AUROC的平均值和标准差。方法NCI-H23 MOLT-4 P388香草0.876 ±0. 0090.833 ±0. 0110.905±0. 009歧管混合0.884 ±0。0130.842±0. 0110.902±0. 021M-Evolve0.875±0. 0090.829±0. 0110.904±0. 011下降N0.878 ±0. 0120.834 ±0. 0110.911±0. 013PermE0.884 ±0. 0040.840 ±0. 0100.910±0. 014MaskN0.877 ±0. 0060.838 ±0. 0070.907±0. 010SubG0.877 ±0. 0120.836 ±0. 0110.911±0. 014图形移植EP0.890 ±0. 0180.843 ±0. 0090.919±0. 007香草0.879 ±0. 0060.834 ±0. 0150.901±0. 012歧管混合0.873 ±0。0150.824 ±0. 0090.902±0. 006M-Evolve0.877±0. 0050.832±0. 0160.895±0. 013下降N0.850 ±0. 0300.821 ±0. 0090.896±0. 012PermE0.867 ±0. 0120.836 ±0. 0110.910±0. 018MaskN0.877 ±0. 0070.831 ±0. 0140.898±0. 017SubG0.878 ±0. 0050.834 ±0. 0140.900±0. 010图形移植EP0.890±0. 0120.846±0. 0110.916±0. 010对期望节点度的合理约束。我们获得进一步的增益在几种情况下，利用边缘预测，利用节点的功能，以确定连接。在表2和表3中，我们还验证了图移植在大规模数据集上的优势我们在生物信息学中的三个分子数据集上进行了实验，样本量由于分子数据集是类不平衡的，我们使用AUROC作为评估指标。松子GCSGATGCS松子+v：mala2255获取更多论文图2：消融研究。我们为每个数据集绘制一个条形图，其中条形图按图表中的模型架构分组。不同的消融研究可通过颜色区分显示最佳性能的最右边的条是我们的完整方法。表3：ogbg-ppa数据集上数据增强方法的比较。我们报告了3次重复的平均准确度和标准差。方法开放图基准（OGB）（GCS）ogbg-ppa香草0.638 ±0. 007歧管混合0.616 ±0。013DropN0.660 ±0. 005PermE0.655 ±0. 003MaskN0.627 ±0. 012SubG0.661 ±0. 005图移植EP0.680 ±0. 0025.4消融研究为了验证图形移植的每个组件，我们进行了以下四项消融研究：1）边缘预测2）标签混合策略：基于大小vs基于显著性3）混合单元的比较：K-hop子图与散点图表4：对抗性攻击的鲁棒性比较。GradArgmax方法（白盒攻击）（GCS）酶致 突变性NCI1香草0.543±0. 0300.579±0. 0130.596±0. 027歧管混合0.575 ±0。0410.596 ±0. 0190.609±0. 030M-Evolve0.593 ±0. 0300.603 ±0. 0420.628±0. 028DropN0.617 ±0. 0300.617 ±0. 0300.631±0. 028PermE0.623 ±0. 0710.645 ±0. 0310.602±0. 042MaskN0.588 ±0. 0500.514 ±0. 0240.589 ±0. 020SubG0.608 ±0. 0300.582 ±0. 0240.533±0. 024图形移植EP 0.648 ±0. 058 0.672 ±0. 010 0.642 ±0. 028使用GraphTransplant训练的GNN以更准确的置信度对图形进行分类，这是正确预测的实际可能性的更好表5：GCS和GIN模型校准的比较。节点4）基于显著性的子图的重要性。结果如图2所示。 每种颜色的条代表我们方法的每种变体。由于篇幅限制，其他数据集的结果和5.5对抗性示例最近，混淆变体证明了它们在模型鲁棒性方面的有效性（Hendrycks et al.2019;Pang，Xu，andZhu2019）。我们测试了使用GraphTrans- plant训练的GNN是否可以增强模型对对抗性攻击的鲁棒性。我们使用基于梯度的白盒攻击来攻击GNN，称为GradArgMax（Dai etal.2018），专为图结构数据设计。在表4中，我们的方法显示了与其他基线相比的超级防御性能有趣的是，虽然对抗攻击是基于边缘修改，我们的表现出更好的性能比PermE，边缘扰动增强。请注意，我们得到一致的其他架构的结果。详细设置和其他结果见补充说明。5.6进一步分析模型校准在图像分类任务中，使用mixup训练的DNN可以显著提高模型校准。我们评估图移植是否可以减轻GNN的过度/不足预测。在表5中，图形移植在大多数情况下具有最低的预期校准误差（ECE）这意味着方法预期校准误差（GCS/GIN）酶致突变性COIL-DELEP定性分析我们分析了诱变性中分子图的节点显着性，以表明我们的方法提高了泛化能力，并使模型能够正确分类分子。任务是确定分子是否引起DNA突变，这对 于 捕 获 分 子 中 官 能 团 的 相 互 作 用 很 重 要（Luch2005）。例如，图3中的第一种情况是诱变分子，因为它有两个连接到氧原子上的甲基在自由基的攻击下，DNA上的甲基基团转移到DNA碱基上，即所谓的DNA甲基化，导致DNA碱基性质的改变，从而导致突变。虽然使用Graph Transplant训练的模型关注红色的适当区域，表示高节点显着性，但香草模型给出了不正确的答案，突出显示了不相关的点。接下来，正确的分子有香草0.299/0.3610.068/0.0930.088/0.021Manifold Mixup0.144/0.1390.063/0.0930.313/0.241M-Evolve0.285/0.3190.056/0.0690.065/0.099DropN0.252/0.3270.051/0.0800.051/0.327PermE0.24