图神经网络基础教程:GCN、SAGE与PyTorch实现

需积分: 50 30 下载量 176 浏览量 更新于2024-07-15 收藏 2.52MB PDF 举报
图神经网络(Graph Neural Networks, GNNs)是一种新兴的深度学习模型,它在处理具有结构化数据的领域,如社交网络、化学分子、推荐系统等表现出强大的潜力。这份28页的教程旨在介绍图神经网络的基本概念、主要模型以及实际应用。 首先,章节"图:符号"定义了图的基本元素,包括节点(Nodes)、边(Edges)以及整个图(Graph)。在图中,每个节点通常关联有特征向量,而图分类任务则是每个图对应一个标签。节点分类则是指给定每个节点的特征,预测其所属类别。 接下来,教程介绍了几个关键的图神经网络模型示例: 1. **图卷积网络 (Graph Convolutional Networks, GCNs)** - 由Kipf和Welling在2017年的ICLR会议上提出,是GNN的基石之一。GCN通过邻居信息的聚合和卷积操作来更新节点特征,有助于解决节点分类问题。它的核心思想是通过局部连接和权重共享,将节点的特征与邻居的特征相结合。 2. **SAGE (Semi-Supervised Classification with Graph Convolutional Layers)** - 提出于2017年NIPS,SAGE采用了一种随机邻居采样的策略,可以处理大规模图,并且简化了模型架构。 3. **GAT (Graph Attention Networks)** - 由Velickovic等人在2018年的ICLR会议上发布,引入了注意力机制到图神经网络中,使得模型能够自适应地关注不同的邻居节点,提高了模型的表达能力。 在应用方面,教程展示了图神经网络在计算机视觉中的应用,如2020年的CVPR会议论文“Feature Matching”,利用GNN进行图像特征匹配。此外,还提到了一个名为"APPAP"的实际项目,展示了GNN在实际场景中的实践应用。 图神经网络库的选择也是一大亮点,例如**DeepGraphLibrary (DGL)**,这是一个专门用于构建和操作图数据的库,提供了高效且易于使用的接口;另一个是**PyTorch Geometric**,它是基于PyTorch的图神经网络库,由Fey、Matthias和Jan Eric Lenssen在2019年的ICLR workshop上发表的论文中详细介绍。 最后,教程探讨了图神经网络面临的挑战,如**邻居爆炸(Neighbor Explosion)** 和**特征平滑(Feature Oversmoothing)**,这些现象可能导致模型性能下降或过度拟合。作者提醒读者在设计和训练GNN时需注意这些问题,以优化模型的性能。 这份教程提供了一个全面的入门指南,涵盖了图神经网络的基础理论、核心模型、应用实例以及相关工具,对于对这个领域感兴趣的读者来说,是理解和掌握图神经网络不可或缺的参考资料。
2019-03-04 上传
# GPF ## 一、GPF(Graph Processing Flow):利用图神经网络处理问题的一般化流程 1、图节点预表示:利用NE框架,直接获得全图每个节点的Embedding; 2、正负样本采样:(1)单节点样本;(2)节点对样本; 3、抽取封闭子图:可做类化处理,建立一种通用图数据结构; 4、子图特征融合:预表示、节点特征、全局特征、边特征; 5、网络配置:可以是图输入、图输出的网络;也可以是图输入,分类/聚类结果输出的网络; 6、训练和测试; ## 二、主要文件: 1、graph.py:读入图数据; 2、embeddings.py:预表示学习; 3、sample.py:采样; 4、subgraphs.py/s2vGraph.py:抽取子图; 5、batchgraph.py:子图特征融合; 6、classifier.py:网络配置; 7、parameters.py/until.py:参数配置/帮助文件; ## 三、使用 1、在parameters.py中配置相关参数(可默认); 2、在example/文件夹中运行相应的案例文件--包括链接预测、节点状态预测; 以链接预测为例: ### 1、导入配置参数 ```from parameters import parser, cmd_embed, cmd_opt``` ### 2、参数转换 ``` args = parser.parse_args() args.cuda = not args.noCuda and torch.cuda.is_available() torch.manual_seed(args.seed) if args.cuda: torch.cuda.manual_seed(args.seed) if args.hop != 'auto': args.hop = int(args.hop) if args.maxNodesPerHop is not None: args.maxNodesPerHop = int(args.maxNodesPerHop) ``` ### 3、读取数据 ``` g = graph.Graph() g.read_edgelist(filename=args.dataName, weighted=args.weighted, directed=args.directed) g.read_node_status(filename=args.labelName) ``` ### 4、获取全图节点的Embedding ``` embed_args = cmd_embed.parse_args() embeddings = embeddings.learn_embeddings(g, embed_args) node_information = embeddings #print node_information ``` ### 5、正负节点采样 ``` train, train_status, test, test_status = sample.sample_single(g, args.testRatio, max_train_num=args.maxTrainNum) ``` ### 6、抽取节点对的封闭子图 ``` net = until.nxG_to_mat(g) #print net train_graphs, test_graphs, max_n_label = subgraphs.singleSubgraphs(net, train, train_status, test, test_status, args.hop, args.maxNodesPerHop, node_information) print('# train: %d, # test: %d' % (len(train_graphs), len(test_graphs))) ``` ### 7、加载网络模型,并在classifier中配置相关参数 ``` cmd_args = cmd_opt.parse_args() cmd_args.feat_dim = max_n_label + 1 cmd_args.attr_dim = node_information.shape[1] cmd_args.latent_dim = [int(x) for x in cmd_args.latent_dim.split('-')] if len(cmd_args.latent_dim) == 1: cmd_args.latent_dim = cmd_args.latent_dim[0] model = classifier.Classifier(cmd_args) optimizer = optim.Adam(model.parameters(), lr=args.learningRate) ``` ### 8、训练和测试 ``` train_idxes = list(range(len(train_graphs))) best_loss = None for epoch in range(args.num_epochs): random.shuffle(train_idxes) model.train() avg_loss = loop_dataset(train_graphs, model, train_idxes, cmd_args.batch_size, optimizer=optimizer) print('\033[92maverage training of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, avg_loss[0], avg_loss[1], avg_loss[2])) model.eval() test_loss = loop_dataset(test_graphs, model, list(range(len(test_graphs))), cmd_args.batch_size) print('\033[93maverage test of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, test_loss[0], test_loss[1], test_loss[2])) ``` ### 9、运行结果 ``` average test of epoch 0: loss 0.62392 acc 0.71462 auc 0.72314 loss: 0.51711 acc: 0.80000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.09batch/s] average training of epoch 1: loss 0.54414 acc 0.76895 auc 0.77751 loss: 0.37699 acc: 0.79167: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.07batch/s] average test of epoch 1: loss 0.51981 acc 0.78538 auc 0.79709 loss: 0.43700 acc: 0.84000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.64batch/s] average training of epoch 2: loss 0.49896 acc 0.79184 auc 0.82246 loss: 0.63594 acc: 0.66667: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 2: loss 0.48979 acc 0.79481 auc 0.83416 loss: 0.57502 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.70batch/s] average training of epoch 3: loss 0.50005 acc 0.77447 auc 0.79622 loss: 0.38903 acc: 0.75000: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.03batch/s] average test of epoch 3: loss 0.41463 acc 0.81132 auc 0.86523 loss: 0.54336 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.57batch/s] average training of epoch 4: loss 0.44815 acc 0.81711 auc 0.84530 loss: 0.44784 acc: 0.70833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 4: loss 0.48319 acc 0.81368 auc 0.84454 loss: 0.36999 acc: 0.88000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.17batch/s] average training of epoch 5: loss 0.39647 acc 0.84184 auc 0.89236 loss: 0.15548 acc: 0.95833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 5: loss 0.30881 acc 0.89623 auc 0.95132 ```