MERIT:图神经网络的自监督学习新方法

需积分: 33 6 下载量 25 浏览量 更新于2024-08-05 收藏 1.52MB DOCX 举报
"MERIT是一种结合了图神经网络(GNN)、增强学习和对比学习的自监督学习方法,旨在无须大量标注数据的情况下,有效学习图结构数据的表示。该方法利用多尺度对比学习和孪生神经网络结构,通过生成不同视角的图增强视图,提高节点表示的一致性。此外,它还引入了跨视图和跨网络的对比目标,以增强节点表示的区分性和鲁棒性。MERIT的实验证明了其在多个真实数据集上的优越性能,超过了当前最先进的半监督方法。代码可在https://github.com/GRAND-Lab/MERIT获取。" 文章详细介绍了一个名为MERIT的自监督学习框架,该框架主要用于图结构数据的表示学习。传统图神经网络(GNN)通常需要大量标记信息才能训练,但在许多实际应用中,这样的标注数据往往是稀缺的。为了解决这个问题,MERIT借鉴了对比学习和孪生神经网络的策略,以实现无监督或少监督的学习。 在MERIT中,首先通过局部和全局视角生成两个增强的图视图。这些视图有助于捕捉图的不同方面,包括局部结构和全局模式。接着,通过跨视图和跨网络的对比性学习,即比较不同视图和独立网络中的节点表示,来最大化节点表示的一致性,同时保持差异性,从而使模型能够学习到更丰富的信息。 对比学习的核心在于最大化相同实例在不同增强版本之间的相似度,同时最小化不同实例间的相似度。在图数据中,这有助于捕捉到节点间复杂的关系,而不仅仅是简单的邻居关系。通过利用多尺度对比,MERIT能够学习到更深层次的结构特征,这在随机游走或矩阵重构方法中可能无法获得。 论文中提到的互信息(MI)概念,来源于信息理论,常用于估计变量之间的依赖性。在视觉表征学习中,MI已被用于优化表示的判别性和信息含量。在这里,MERIT可能也采用了类似的思想,通过优化MI来提升节点表示的质量。 实证研究部分,MERIT在五个真实世界的数据集上展示了其效果,不仅超越了现有的自监督方法,而且在与半监督方法的比较中也表现出显著优势。这表明,即使在缺乏标签信息的情况下,MERIT也能有效地学习到高质量的图表示,这对那些标签资源有限的应用场景极具价值。 MERIT是一个创新的自监督学习框架,通过集成GNN、增强学习和对比学习,解决了图表示学习中对标注数据的依赖问题,为无监督或少监督的图数据分析提供了新的可能性。