自监督语义对齐的图卷积网络SelfSAGCN及其应用

16775SelfSAGCN：图卷积网络的自监督语义对齐徐阳1、程登1、党志远1、昆伟1、严俊池21西安电子科技大学电子工程学院西安7100712上海交通大学计算机工程系、MoE人工智能重点实验室{xuyang.xd，zhiyuandang，chdeng.xd，weikunsk}@gmail.com，yanjunchi@sjtu.edu.cn摘要图卷积网络（GCN）是一种强大的深度学习方法，已成功应用于各种现实世界应用中的图表示学习。尽管它们取得了成功，但GCN的两个基本弱点限制了它们表示图结构数据的能力：当标记数据严重稀缺时性能较差，当堆叠更多层时无法区分特征。本文提出了一 种 简 单 有 效 的 自 监 督 语 义 对 齐 图 卷 积 网 络（SelfSAGCN），它包含两个关键技术：身份聚合和语义对齐，以克服这些弱点。其基本思想是将同一类中分别从语义和图结构方面学习到的节点特征具体地说，采用身份聚合方法从标注节点中提取语义特征，采用语义对齐方法利用类中心相似度对不同方面得到的通过这种方式，减轻了过度平滑现象，同时增强了未标记特征与来自同一类的标记特征之间的相似性五个 流 行 的 数 据 集 上 的 实 验 结 果 表 明 ， 所 提 出 的SelfSAGCN优于国家的最先进的方法在各种分类任务。1. 介绍表示实体及其关系的图已成功应用于广泛的应用[36，4]，例如社交网络[26]、知识图[34]和分子结构[8]。近年来，许多研究都集中在开发针对图结构数据的深度学习方法[38]，从而导致图卷积网络（GCN）领域的快速发展[13，7]。*通讯作者。GCN将深度卷积神经网络（C-NN）[30]推广到图形结构数据，将线性变换和图形聚合应用于节点的所有邻居，并采用非线性激活函数来获得图形节点的低维特征。通常，GCN可以分为空间和光谱卷积方法[39，12]。在空间方法中，利用对节点邻居组的操作来定义图的卷积层扩散卷积神经网络（DCNN）[1]采用图扩散模型来合并节点的上下文信息。MoNet [24]集成了CNN，并在图上提供了CNN架构的统一通用化。此外，图注意力网络（GAT）[29]通过设计注意力层来用于半监督分类任务对于谱方法，图卷积运算由图的谱表示定义提出了基于图拉普拉斯矩阵特征分解的Fourier域定义图卷积，并给出了基于拉普拉斯矩阵Chebyshev展开的谱滤波器，避免了特征分解的高计算复杂度[6]。最近，Kipf等人 [13]提出了一种用于半监督学习的简单图卷积网络（GCN）。提出了图形卷积（SGC）[31]，通过在单个神经网络层中应用图形卷积矩阵的K尽管他们取得了巨大的成功，但随着每个类的标记节点数量的减少，当前GCN的性能在标记节点严重不足的情况下，容易产生过拟合问题，即使其训练误差很小，也会这种现象的原因是GCN依赖于图结构来实现特征传播，而当16776仅提供了几个标记的节点。此外，大多数最近的GCN是浅的，并且使用2层模型实现其最佳性能。堆叠更多具有非线性激活的层往往会降低其性能，这被称为过平滑[17]。这种现象表明，随着堆叠更多层，感受野非常大，因此节点特征倾向于收敛到某个值[20]。基于图结构的传播可以将已标记的节点特征传递给同一类中未标记的节点特征，使同一类中的节点特征相似。然而，GCN的图传播是不充分的[35]，并且过拟合和过平滑现象在许多情况下限制了它们的性能。近年来，一些方法开始关注节点的语义信息。DAGNN[20]被提议自适应地合并来自大型接收字段的语义信息。GCNII [3]采用恒等映射直接保存输入信息。Geom-GCN [25]和非局部GNN [21]被提出用于根据非局部聚集器从节点特征捕获长程但是，很少有研究讨论语义信息与图结构之间的关系，并有效地解决这些问题。本文提出了一种简单有效的自监督语义对齐图卷积网络（SelfSAGCN），该网络将语义抽取和对齐集成到传统的GCN中，从而有效地克服了过拟合和过平滑问题。其背后的基本思想是同一类中的节点特征，但分别从语义和图结构方面来看，都希望被映射到附近。同时，未标记的节点特征应该与标记的节点特征相似。自监督语义对齐图卷积网络包括两个关键技术：身份聚合和语义对齐。具体来说，我们首先应用身份聚合从标记的节点中逐层提取语义信息，这不会受到过度平滑问题的困扰。此外，语义对齐将学习到的语义转换为使用类中心相似性优化从图聚合操作获得的未标记节点特征。通过这种方式，从语义和图结构方面的节点特征被映射到附近，这对减轻过度平滑具有显著效果特别地，我们通过在相似度优化中分配伪标签来构造未标记节点的类质心，并逐渐更新它们以抑制噪声信号。标记节点和未标记节点的对齐可以在标记节点严重稀缺时进一步提高模型的性能。我们的实验表明，SelfSAGC-N模型在各种分类任务上优于最先进的方法。本文的主要贡献有三个方面：• 我们提出了一种简单而有效的方法，称为自监督语义对齐图卷积网络（SelfSAGCN），它由身份Ag-以协同的方式使用了分离和语义对齐技术，以共同减轻过拟合和过平滑问题。• 为了提高节点特征的区分能力，提高分类性能，我们探索了身份聚合来提取区分性特征。标记节点的感知特征，在不同的层中具有一致的感受野然后利用语义对齐技术将图聚类得到的未标记节点特征与语义特征进行对齐，寻找额外的监督信息。• 我们评估了五个流行的基准，包括一些标准的引文网络，作品和图像数据集，实验表明，该模型优于国家的最先进的方法在各种分类任务。2. 相关工作公共GCN层执行类似于深度可分离卷积的两步处理：空间图聚合和特征变换。第一step使用相邻节点的特征向量更新每个节点的特征，这类似于1×1卷积。 然后，每个节点的特征向量映射到一个新的空间，通过一个共享的线性变换。GC- N [13]和GAT [29]计算节点的加权和1跳邻域内的特征，其中每个节点的权重分别来自节点的度和相邻节点之间的交互。GraphSAGE [11]呈现了最大池化，而GIN-s [33]简单地对节点特征求和。与这些工作不同的是，LGCN [9]通过top-k排名直接探索了正则卷积。简化图卷积（SGC）[31]探索通过在单个神经网络层中应用图卷积矩阵的K此外，一些方法对节点的语义信息感兴趣。Geom-GCN [25]和非局部GNNs [21]被提出来根据非局部聚集器捕获区分图的长程依赖性。Shoestring [19]将度量学习纳入了基于图的半监督学习的范式。最近，一些工作试图解决过度平滑的问题，这意味着节点特征收敛16777伪标记节点特征语义对齐已标记的节点特征IJ-1-1无法区分的界限。文献[17]证明了GCN模型的传播过程是一种特殊的对称形式的Laplacian平滑，它使得同类中的同时，他们表明，堆叠更多的层可能会使来自不同类别的节点特征无法区分。JKNet [34]进行密集跳跃连接以组合每个层的输出，以保持节点特征的局部性。最近，提出了DropEdge [27]，通过从图中随机移除一些边来个性化PageRank矩阵（APPNP）[14]用于取代图卷积矩阵并解决过度平滑问题。GDC [15]通过将Personalized PageRank推广到任意图扩散过程来进一步扩展APPNP。相比之下，我们的方法引入了一个身份聚合操作，从标记节点中提取额外的语义信息，并根据语义对齐采用学习到的信息来指导图的传播操作，这可以共同减轻过拟合和过平滑问题。的图形层图1. SelfSAGCN中每个层的插图。每个图卷积层有两个输入，并且同一类中的输出是对齐的。softmax（H（K））∈Rn×c为最终输出，其中c表示类的个数然后利用H_out来预测图节点的最终标签。GCN网络的权参数W（1 ），W（2），.，W（K）通过最小化所有标记节点上的交叉熵损失来训练。拉克什茨3. 初步LSemi−GCN =−i∈Lj=1我出去了。（三）在不失去推广性的前提下，我们简要回顾了半监督GCN的基本思想[13]。 设X ={x1，.， xn}是输入数据，G =（X，A）是图X的表示，其中A编码成对关系-在数据X之间运送，其中如果在节点i和节点j之间存在边，则Aij = 1。GCN通常包含几个传播（隐藏）层和一个最终感知层。给定输入H（0）= X和图A，GCN在隐藏层中进行以下逐层传播：其中L指示标记节点的集合，并且Y的每行Yi，i∈L表示第i个标记节点的对应标记指示向量。4. 方法在本节中，我们提出了一种自监督语义对齐图卷积网络（SelfSAGCN），它由两个关键技术组成：身份聚合和语义对齐，以同时解决深度图神经网络中的过拟合和过平滑问题。H（k+1） =σ（（I+D2AD12）H（k）W（k+1） ），（1）网络所提出的方法的流程图如图1所示。其中k=0，...，K-1表示图卷积层的数量，I是单位矩阵。D=dia g（d1，d2，.，dn）是对角矩阵，其中di=4.1. 身份聚合与传统模型GCN [13]不同，nj=1 一个ij。 W（k）是层特定的可训练权重ma，SelfSAGCN有两个不同的输入。给定输入- 是的 σ（·）表示动作函数，例如ReLU。直观地，GCN通过传播来学习每个节点的特征，提取邻居的特征，然后进行非线性变换。通过重新规范化技巧[13]，我们H（0）=X和图A，SelfSAGCN在隐藏层中进行以下逐层传播，H（k+1）=σ（P<$ H（k）W（k+1））.（四）可以代替矩阵I+D2AD12 通过一个标准化的˜ ˜−1 ˜ ˜−1除此之外，我们还采用了身份聚合的方法来实现，版本P=D2AD2，并获得以下图形卷积层。H（k+1）=σ（P<$ H（k）W（k+1））.（二）GCN的最后一层输出最终的节点特征H（K），其可用于节点分类。 在该任务中，softmax激活函数进一步应用于最终节点特征H（K）。放H出来=−−16778跟踪标记节点的语义信息，其中输入是F（0）=X，具有单位图I，并且隐藏层的输出是：F（k +1）= σ（IF（k）W（k +1））。（五）SelfSAGCN的最后一层输出最终的n节点特征H（K）和F（K），并利用softmax激活函数生成最终输出，如下所示：16779LLLLLL图2.整体架构的图示首先从语义和图结构两个方面提取不同输入图的节点特征，并采用逐层语义对齐的方法使不同方面的节点特征具有中心相似性。H输 出=softmax（H（ K ）），F输 出=softmax（F（K））∈Rn×c.SelfSAGCN网络的权重参数W（1），W（2），.， W（K）是通过最小化交叉来训练的。所有标记节点L上的熵损失。拉克什茨mation。对于H（k ）中的未标记节点，我们采用Self-SAGCN为具有当前网络参数的节点分配伪标记。特别地，中心相似度被用来减轻虚假伪标签对结果的负面影响LSemi= −（YijlnHout+YijlnFout）。 （6）伊季L=d（C（F（k）），C（H（k），（7）i∈L j=1其中L指示标记节点的集合，并且每行SemajLjj=1Yi·，i∈L表示第i个标记节点的对应标记当层数继续增加时，图聚合后的节点特征可能会变得一致，而LSemi中的第二项由于其感受野是一致的，可以有效地抑制这种现象t.换句话说，F（k）用于提供来自输入节点的对应的区别性语义特征。然后，我们的目标是将学习到的语义信息传递到从图聚合操作获得的所有节点特征，同时使每个节点的语义和图结构特征更加相似。4.2. 语义对齐由于F（k）和H（k）是由相同的网络参数得到的，并且来自相同类别的节点的分布在理想情况下应该相似。F（k）不受其中Cj（F（k））表示属于F（k ）中第j类的特征的质心，Cj（H（k））是属于H（k）中第j类的特征的质心.D是平方欧几里德距离函数特别地，H（k）的伪标签被从Hout中采用，并且伪标签节点中的假信号通过质心对齐被尽可能地抑制[32]。所提出的SelfSAGCN的框架如图2所示。随着网络层数的增加，利用每一层的语义对齐，为图传播操作得到的节点特征提供充分的判别信息同时，标记节点与未标记节点的中心相似度可以提供额外的监督信息，进一步提高未标记节点的分类叠加更多层的过度平滑现象-S. 因此，我们采用F（k）的标记部分是语义的克赖斯特彻奇LSema=d（Cj（F（k）），Cj（H（k）.（八）用于特征H（k）的指导信息。令F（k）是从标记节点集合L学习的语义特征。我们使用语义对齐来确保F（k）和H（k）中相同类的特征被映射到附近。更重要的是，在半监督学习任务中，我们无法获得所有节点的标签。因此，我们使用伪标签来实现类级别的语义对齐。具体来说，对于F（k）和H（k）的标记节点，我们直接将其对应的标签作为类用于-k=1j=1更正式地说，我们的总体目标可以写为：L= LSemi+ λLSema.（九）在半监督分类任务中，由伪标签构造的质心可能缺乏稳定性。因此，在每次迭代中，我们首先计算质心16780（k）Lj jj算法 1自监督 语义 Alignment-t图卷积网络输入：输入节点X，标号节点的图A，Y，L，层数K和类数c，超参数λ和α;虽然不收敛，一曰： 计算H（k），公式如下：（4）;第二章： 计算FL由等式（5）;3：根据E-计算每个类的质心Q. （十）、4：通过最小化等式4，联合更新所有参数（九）、方法每类end while输出：分类结果H输出。Ct（F（k））和Ct（H（k））的计算，表1.引文网分类准确率（%）使用20个带标签的节点。5. 实验在本节中，我们评估了亲的有效性，jLj图F（k）和H（k）。然后，添加上一次迭代的质心，以抑制不稳定性。Ct（ F（k））<$（1−α） Ct（ F（k））+α C（t−1）（ F（k））提出的SelfSAGCN与五个基准上的几个半监督分类任务。5.1. 数据集我们在五个数据集上测试了所提出的方法，包括-jLjLJ L（十）Ct（H（k））<$（1−α）Ct（H（k））+αC（t−1）（H（k）），其中α∈[0，1）是平衡权重。最后，我们提出的SelfSAGCN算法在算法1中进行了概述。4.3. 进一步分析首先，节点的类别可以通过其在理想环境中的特征来预测。在相邻节点通常属于同一类的假设下，基于图结构的传播可以将语义信息从标记节点传递到同一类中的未标记节点它使得同一类中的节点特征相似，这对于半监督分类任务是非常有利的然而，节点的类别应该由其特征来确定，而不是由节点与其他邻居节点之间的关系来确定[20]。因此，我们可以从语义和图结构两个不同的方面提取节点特征。所学习的语义信息可以用于指导图传播操作的特征学习此外，利用语义对齐保证从不同方面获得的特征具有中心相似性，主要包括语义特征和图结构特征的相似性，以及属于同一类的标记节点和未标记节点的中心相似性.最终目标是使不同方面的特征分布趋于一致，从而为节点特征提供更多的区分信息，提高性能。使用三个标准引用基准数据集（Cora [23]，Citeseer [10]和Pubmed [28]）和两个广泛使用的图像数据集（STL-10和CIFAR-10 [5]）。这些数据集的详情如下：• Cora包含2708个节点和5429条边。每个节点有一个1433维的特征向量，所有节点都属于七类。• Citeseer是一个包含3327个节点和4732条边的引文网络。该网络的节点分为六类，每个节点具有3703维特征向量• Pubmed是一个更大的网络数据，包含19717个节点和44338条边。每个节点有一个500维的特征向量，所有的节点都在下降分成三个班。• STL-10由96×96像素大小的彩色图像组成，其中有10个类，1，300个示例每个. 在[37]之后，我们提取STL-10的深层特征，并构建一个k-最近邻图（k=10），其中节点表示图像，边缘表示图像之间的邻域关系，然后用于测试所有基线的性能。• CIFAR-10是一个自然图像数据集，包含来自10个类的60，000个样本。然后，提取深度特征，构造一个k-最近邻图（k=20），节点表示样本，边表示样本之间的邻域关系.科拉CiteSeerPubMedMLP61.6（0.2）61.0（0.3）74.2（0.2）GCN [13]81.2（0.4）71.1（0.7）78.5（1.0）GAT [29]83.1（0.7）70.8（0.9）71.1（1.2）[31]第三十一话81.7（0.6）71.3（1.1）78.9（1.3）Shoestring [19]81.9（2.1）69.5（2.4）79.7（4.5）167811+e−10×p1+e−10×p(a) 每类1个标签（GCN）（b）每类2个标签（GCN）（c）每类5个标签（GCN）（d）每类20个标签（GCN）(e)每个类别1个标签（SelfSAGCN）(f)每个类别2个标签（SelfSAGCN） (g)每个类别5个标签（SelfSAGCN）（h）每个类别20个标签（SelfSAGCN）图3.在Cora上实现节点特征区分能力的可视化。颜色表示节点类。上图：GCN结果，下图：SelfSAGCN结果。方法每类1个标签每类2个标签每类5个标签表2.标签节点严重受限的引文网络分类准确率（%）5.2. 基线我们考虑以下基线：多层感知器（MLP），图卷积网络（GCN）[13]，图注意力网络（GAT）[29]，SGC[31] ， APPN-P [14] ， ICGN [18] ， DAGNN [20] ，Shorstring [19]。 更多-此外，我们采用了几个作品作为基线，试图解决过度平滑的问题，包括DropE-edge [27]，ResGCN [16]，JKNet [34]，IncepGCN [27]，GC-NII [3]。我们的目标是通过使用相同的数据集分割和训练过程，在每个数据集上的不同模型5.3. 实现细节我们使用Adam SGD优化器，学习率为0。01，0。5脱落率，5×10−4重量衰减。我们设定α=0。7在实验中，λ←λ（2-1）用于在训练的早期阶段抑制噪声标签。p表示训练时期，2−1∈（0，1）随着训练而逐渐增加我们采用ReLU作为最后一层是softmax。我们通过20次随机试验来运行我们的方法，并报告平均每秒钟和误差范围。5.4. 多个有限标签的性能我 们 在 不 同 的 深 度 图 模 型 上 验 证 了 所 提 出 的SelfSAGC- N的性能。如表1所示，我们的SelfSAGCN模型比每个类20个标记节点的其他基线表现更好此外，1、2和5个标记节点的结果如表2所示。从表中，我们可以观察到，在以下情况下，所提出的方法在这些基准数据集上的性能优于竞争方法：科拉CiteSeerPubMed科拉CiteSeerPubMed科拉CiteSeerPubMedMLP42.7（0.2）28.7（0.7）50.1（0.4）49.6（0.5）34.1（0.9）56.8（0.7）60.4（0.3）43.5（0.8）64.5（0.3）GCN [13]43.1（0.7）29.2（0.9）51.5（1.8）58.0（0.6）40.5（0.7）60.4（2.3）69.1（0.5）53.7（0.9）68.4（3.2）GAT [29]45.2（0.6）32.5（1.0）53.5（2.3）59.7（0.4）43.2（0.7）62.2（2.2）70.2（0.3）55.2（0.7）69.5（1.1）[31]第三十一话44.5（0.5）31.4（0.9）55.2（2.3）58.6（0.5）45.8（0.6）63.5（2.9）69.5（0.4）54.6（0.8）71.4（2.9）APPNP [14]45.2（0.3）33.5（1.2）52.3（3.2）58.3（0.7）50.1（0.6）62.7（1.3）71.2（0.5）55.9（0.9）70.7（1.3）ICGN [18]43.3（0.5）35.0（1.1）54.2（1.5）63.5（2.7）43.9（1.9）62.6（3.2）72.2（2.5）55.9（0.9）70.7（1.3）16782方法每类1个标签每类2个标签每类5个标签每类20个标签表3.各种数据集的分类准确度（%）结果总结，其中标记样本严重受限科拉CiteSeerPubMed85 9085808075757065706055655045每个类别1个标签每个类别2个标签每类5个标签20个标签90个858075706560555045每个类别1个标签每个类别2个标签每类5个标签每类20个标签60123456789101520标记的节点数（一）400.01 0.025 0.05 0.1 0.25 0.5 1（b）第（1）款4000.10.20.30.40.50.60.70.80.9（c）第（1）款图4.不同超参数的分类准确率（%）结果a）不同训练集大小的结果;b）Cora上不同损失权重λ的结果;c）Cora上不同平衡权重α的结果提供了几个有限的标记节点。当每个类只有一个标签节点特别是，Citeseer上每个类有5个标签的性能与Shoestring相比，我们的方法在各种分类任务上取得了更好的结果，Shoestring采用度量学习模型来解决有限标记节点存在的问题。为了公平比较，我们选择它在GCN上的扩展作为比较。更重要的是，该模型不会产生额外的网络参数。图3是在具有不同标记节点的Cora数据上使用t-SNE可视化[22实验结果表明，该方法提取的节点特征结构更清晰，分类精度也得到了提高。图4（a）显示了不同训练标签集大小在不同数据集上的分类准确性结果。随着标记节点的不断增加，分类精度也会逐渐提高.我们的方法也适用于图像数据集的其他半监督分类任务。对于数据集STL-10和CIFAR-10，我们随机选择1000个样本用于验证目的，并使用5000个样本作为测试样本，重新验证。表3中所示的结果表明，所提出的方法可以容易地应用于各种各样的应用。数据集并实现有竞争力的性能。5.5. 参数分析我们还研究了所提出的方法中的参数敏感性。图4（b）表示了不同损失重量λ时的精度变化，表明我们的方法对参数λ在[0.1，0.5]范围内不敏感。此外，当使用更多的标记节点时，此外，图4（c）说明了所提出的中心相似性优化方法可以有效地提高性能，这主要是因为逐渐更新机制可以抑制来自伪标签的噪声信号。5.6. 使用更深入的模型时的性能表4总结了每个类使用20个标记节点的具有不同层数的深度模型的结果，这表明所提出的模型可以缓解过度平滑问题并将GCN扩展到深度模型中。 根据图5中Cora上的t-SNE可视化，由不同数量的GCN层导出的节点特征的辨别能力逐渐变得相似。由多个GCN层（如第6层和第8层）生成的节点特征很难分离，而由不同Self-SAGCN层生成的节点特征仍然具有区分性。节点功能STL-10CIFAR-10STL-10CIFAR-10STL-10CIFAR-10STL-10CIFAR-10MLP61.4（0.3）40.8（0.9）72.2（0.4）48.6（0.8）84.8（0.3）58.3（0.5）88.2（0.5）64.5（0.8）GCN [13]82.3（0.5）60.2（0.7）86.4（0.4）67.5（0.7）88.2（0.5）71.2（0.6）93.1（0.7）77.7（0.3）GAT [29]84.2（0.4）58.7（0.8）86.9（0.7）65.5（0.9）89.1（0.8）71.5（0.3）94.5（0.6）78.5（0.7）APPNP [14]85.7（0.5）59.1（0.5）85.3（0.6）64.7（0.7）88.9（0.9）68.2（0.7）93.7（0.8）77.3（0.5）16783(a) GCN层2（b）GCN层4（c）GCN层6（d）GCN层8(e)SelfSAGCN层2（f）SelfSAGCN层4（g）SelfSAGCN层6（h）SelfSAGCN层8图5.t-SNE可视化的节点功能，来自不同的模型与不同数量的层在Cora上。颜色表示节点类。顶部：来自GCN的结果，底部：来自SelfSAGCN的结果。方法4层8层16层表4.具有不同层数的引文网络的分类准确率（%）结果从语义和图结构两个方面对邻域进行映射，为节点特征提供了有区别的语义信息，有效地缓解了过度平滑问题。6. 结论在本文中，我们尝试将语义提取和对齐集成到传统的深度图网络中，以同时解决过拟合和过平滑问题。为了实现这个目标，我们首先应用身份聚合从标记节点中逐层提取语义信息，这不会受到过平滑现象的困扰。然后，我们分别从语义和图结构方面使用中心相似性优化来对齐节点特征，这对减轻过度平滑具有显著效果。Partic-另外，我们通过分配伪标签来构造未标记节点的类质心，并逐步更新质心以抑制噪声信号。通过这种方式，不同方面的节点特征的分布趋于一致，从而提高了未标记节点的分类结果。我们在五个流行的基准测试上对所提出的SelfSAGCN进行了评估，实验表明，所提出的模型在各种分类任务上都优于最先进的方法。更重要的是，该模型不会产生额外的网络参数。7. 确认我们的工作得到了国家自然科学基金62071361、国家重点研发计划2017YFE 0104100和CERNET创新项目NGII 20190904的部分支持。科拉CiteSeerPubMed科拉CiteSeerPubMed科拉CiteSeerPubMedGCN [13]80.4（0.4）67.6（0.9）79.0（1.2）69.5（0.1）30.2（0.3）61.2（1.5）64.9（1.4）18.3（1.1）40.9（0.7）GCNdrop [27]82.0（0.7）70.2（0.8）79.1（1.4）75.8（0.4）61.4（0.5）78.1（0.7）75.7（1.1）57.2（0.9）78.5（1.5）JKNet[34]80.2（0.5）68.7（0.4）78.0（1.0）80.7（0.6）67.7（0.3）78.1（1.4）80.2（1.0）69.8（0.7）72.6（1.4）[27]第二十七话77.6（0.5）69.3（0.6）77.0（0.7）76.5（0.8）68.4（0.5）77.9（1.2）81.7（0.7）70.2（0.9）74.9（1.7）ResGCN [16]78.8（0.6）70.5（0.6）78.6（1.5）75.6（0.5）65.0（0.4）78.1（1.3）72.0（0.8）66.5（0.5）75.5（1.0）16784引用[1] 詹姆斯·阿特伍德和唐·陶斯利扩散卷积神经网络神经信息处理系统的进展，第1993-2001页，2016年[2] 琼·布鲁纳，沃伊切赫·扎伦巴，阿瑟·斯拉姆，扬·勒·昆.图上的谱网络和局部连通网络。arXiv预印本arXiv：1312.6203，2013。[3] Ming Chen ， Zhewei Wei ， Zengfeng Huang ， BolinDing，and Yaliang Li.简单和深度图卷积网络。arXiv预印本arXiv：2007.02133，2020。[4] 党志远，邓成，徐阳，黄恒。基于相似性约束的多尺度融合子空间聚类。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，2020年6月。[5] 党志远，邓成，徐阳，黄恒。双对比深度聚类。arXiv预印本arX- iv：2103.05484，2021。[6] MichaeülDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统的进展，第3844-3852页，2016年[7] SimonSDu ， KangchengHou ， Barnaba 'sPo'czos ，RuslanSalakhutdinov ， Ruosong Wang ， and KeyuluXu.Graph Neur- ral Tangent Kernel：融合图神经网络和图核。arXiv预印本arXiv：1905.13192，2019。[8] Alex Fout，Jonathe Byrd，Basir Shelter，and Asa Ben-Hur.利用图卷积网络预测蛋白质界面。神经信息处理系统的进展，第6530-6539页，2017年[9] 高宏扬，王正阳，季水旺。大规模可学习图卷积网络。第24届ACM SIGKDD知识发现数据挖掘，第1416-1424页，2018年[10] C Lee Giles，Kurt D Bollacker和Steve Lawrence。Cite-seer：一个自动引文索引系统.第三届ACM数字图书馆会议论文集，第89- 98页，1998年[11] Will Hamilton，Zhitao Ying，and Jure Leskovec.大图上的归纳表示学习。神经信息处理系统的进展，第1024-1034页，2017年[12] 姜波，张紫烟，林豆豆，唐锦，罗斌图学习卷积网络的半监督学习。在IEEE计算机视觉和模式识别会议论文集，第11313-11320页，2019年。[13] Thomas N Kipf和Max Welling。图卷积网络的半监督ICLR，2017年。[14] 约翰尼斯·克利佩拉，亚历山大·博伊切夫斯基，斯蒂芬·古内曼。预测然后传播：图神经网络满足个性化网页排名.arXiv预印本arX- iv：1810.05997，2018。[15] Johannes Klicpera ， Stefan Weißenberger ， and StephanGünnemann.差异融合改进了图学习。 在Ad-神经信息处理系统，第13354-13366页，2019年。[16] Guohao Li，Matthias Muller，Ali Thabet，and BernardGhanem. Deepgcns：gcns能像cnns一样深入吗？在IEEE计算机视觉国际会议的Proceedings中，第9267-9276页[17] Qimai Li，Zhichao Han，and Xiao-Ming Wu.深入了解用于 半 监 督 学 习 的 图 卷 积 网 络 arXiv 预 印 本 arXiv ：1801.07606，2018。[18] Qimai Li，Xiao-Ming Wu，Han Liu，Xiaotong Zhang，and Zhichao Guan.通过图过滤标记高效的半监督学习。在IEEE/CVF计算机视觉和模式识别会议论文集，第9582- 9591页[19] Wanyu Lin，Zhaolin Gao，and Baochun Li.鞋带：基于图的 半监 督分 类， 具有 严重有 限的 标记 数据 。在IEEE/CVF计算机视觉和模式识别会议论文集，第4174-4182页[20] 刘梦，高宏阳，季水旺。更深层的图形神经网络。第26届ACM SIGKDD知识发现数据挖掘国际会议集，第338-348页，2020年[21] 刘梦，王正阳，水王集。非局部图神经网络。arXiv预印本arXiv：2005.14612，2020。[22] 劳伦斯·范德马滕和杰弗里·辛顿。使用t-sne可视化数据。Journal of Machine Learning Research，9（Nov）：2579[23] Andrew Kachites McCallum ， Kamal Nigam ， JasonRennie和Kristie Seymore。用机器学习实现门户网站的自动化建设. 信息检索，3（2）：127[24] Federico Monti，Davide Boscaini，Jonathan Masci，E-manuele Rodola，Jan Svoboda，and Michael M Bronstein.使用混合模型cnns对图和流形进行几何深度学习在IEEE计算机视觉和模式识别会议论文集，第5115- 5124页[25] Hongbin Pei，Bingzhe Wei，Kevin Chen-Chuan Chang，Yu Lei，and Bo Yang. Geom-gcn：几何图卷积网络。arXiv预印本arXiv：2002.05287，2020。[26] 邱杰 忠、 唐健 、马 浩、 董宇晓 、王 宽三 、唐 杰。Deepinf：使用深度学习预测社会影响力。在KDD中，第2110-2119页[27] 于荣，黄文兵，徐廷阳，黄俊洲。Dropedge：TowardsDeepGraphConvolutionalNet-worksonnodeclassification.在2019年国际学习代表会议上[28] Prithviraj Sen ， Galileo Namata ， Mustafa Bilgic ， LiseGetoor，Brian Galligher，and Tina Eliassi-Rad.网络数据的集体AI magazine，29（3）：93[29] Peta rVelicko vic' ，GuillemCucurull，ArantxaCasanov a，Adriana Romero ， Pietro Lio ， and Yoeli Bengio. 图 at-tension网络。arXiv预印本arXiv：1710.10903，2017。[30] 昆维、程登、许阳。终身零射击学习。16785[31] Felix Wu，Tianyi Zhang，Amauri Holanda de Souza Jr，Christopher Fifty，Tao Yu，and Kilian Q Weinberger.图卷积网络的简化. arXiv预印本arX- iv：1902.07153，2019。[32] 谢少安，郑子斌，陈良，陈川。学习无监督领域自适应的语义表示。在机器学习国际会议上，第5423-5432页[33] Keyulu Xu，Weihua Hu，Jure Leskovec，and StefanieJegelka. 图神经网络有多强 大？arXiv预印本 arXiv：1810.00826，2018。[34] Keyulu Xu ， Chengtao Li ， Yonglong Tian ， TomohiroSonobe，Ken-ichi Kawarabayashi，and Stefanie Jegelka.具有跳跃知识网络的图上的表示学习。ICML，2018年。[35] 徐克如路，李静玲，张墨芝，西蒙S杜，河原林健一，和斯蒂芬妮杰格尔卡。神经网络能推理什么？arXiv预印本arXiv：1905.13211，2019。[36] 徐阳，邓成，刘同良，陶大成。用于无监督多目标域自适 应 的 异 构 图 注 意 力 网 络 。 IEEE Transactions onPattern Analysis and Machine Intelligence，2020。[37] 徐阳，登成，昆伟，严俊驰，刘伟。对抗性学习实现强大的深度聚类。神经信息处理系统的进展，33，2020。[38] 徐阳，登成，冯铮，严俊池，李伟--联 合 使 用 双 自 动 编 码 器 网 络 的 深 度 谱 聚 类 。 在IEEE/CVF计算机视觉和模式识别会议论文集，第4066-4075页[39] 张思，佟航航，徐杰军，罗斯.图卷积网络：算法，应用和开放的挑战。在计算社交网络国际会议上，第79-91页。Springer，2018年。