大规模图嵌入与图神经网络新进展

本文主要介绍了图神经网络（GNN）及其在大规模图嵌入中的应用。其中提到了两篇相关的研究论文，一篇是关于PyTorch-BigGraph（PBG）的大规模图嵌入系统，另一篇是关于改进图神经网络（GNN）的非线性激活函数设计。 在大规模图嵌入方面，由于实际应用中经常遇到包含数十亿个节点和数万亿边的大型图，现有的图嵌入系统往往无法应对。论文提出的PyTorch-BigGraph（PBG）系统是对传统多关系嵌入方法的扩展，通过图分区技术，使得嵌入训练可以在单机或分布式环境下来处理超大规模的图数据。这种方法对于处理工业级的大数据集非常有帮助，可以为各种机器学习任务提供有效的节点特征。 接着，文章提及了图神经网络（GNN）的基础概念，GNN是一种专门处理具有不规则结构的图信号的模型，由多层堆叠组成，每层通过图卷积滤波器传递信息。图卷积使得GNN具有对节点标签扰动的不变性。另一篇论文则提出了改进GNN中非线性激活函数的设计，通过中值滤波器和最大值滤波器来模拟线性图卷积，同时保持GNN的变换不变性。这种方法改进了反向传播算法，有助于更有效地训练局部激活函数。 最后，文章提到了在实际应用中，图数据可能存在噪声、缺失或不可用的情况。为此，研究者提出了一种方法，通过近似求解双层规划问题来学习图上边的离散分布概率，从而在学习过程中同时优化图卷积网络（GCN）。 这两篇论文都针对图神经网络的挑战提供了创新性的解决方案，旨在提高GNN在大规模图数据处理和复杂图结构学习上的性能，这对于图数据丰富的领域如社交网络分析、推荐系统、生物信息学等具有重要的理论和应用价值。