图拓扑优化传输：微调图神经网络新框架

"这篇论文提出了一种新的微调框架，名为GTOT-Tuning，用于图神经网络（GNN）。该框架基于最优传输理论，旨在更好地保留图数据的结构信息和预训练模型的知识。通过图的局部知识转移，GTOT-Tuning优化了节点级别的最优传输过程，减少冗余，提高知识迁移效率。在多个GNN骨架网络和下游任务上的实验显示，GTOT-Tuning在GNN微调方面达到了最先进的性能。" 正文: 在图学习领域，预训练-微调策略已成为处理标签稀疏问题的有效手段。然而，当前的方法主要依赖于权重约束和表示约束，这些方法源自图像或文本数据，可能未能充分利用图数据的特性和GNN模型的结构不变性。为此，研究者们提出了GTOT-Tuning，一个基于图拓扑的最优传输微调方法，其核心是利用图的拓扑信息来增强微调过程中表示的保持。 GTOT-Tuning的创新之处在于将图的局部知识转移转化为一个带有结构先验的最优传输问题。最优传输理论是一种在不同分布之间寻找最小成本的映射方法，常用于机器学习中的配对问题。在GTOT-Tuning中，这一理论被用来指导节点间的表示转移，确保在微调过程中，节点的相邻关系得以保留，从而减少无效的知识传输，提高从预训练模型到微调模型的知识迁移效率。 在实际应用中，微调对于从有限的训练样本中学习至关重要，尤其是在图数据的背景下。传统的微调策略，如权重约束，仅仅关注模型参数的相似度，忽视了图的拓扑结构；而表示约束则关注模型输出的表示空间一致性，但同样没有充分利用图的结构信息。GTOT-Tuning的出现，填补了这一空白，它通过构造的GTOT正则化器，有效地实现了图结构的保留，增强了微调效果。 在一系列实验中，GTOT-Tuning被应用于多种GNN骨架网络，并在八个不同的下游任务上进行了测试。实验结果表明，GTOT-Tuning在大多数情况下都超越了现有技术，证实了其在GNN微调领域的优越性。这不仅提高了模型在有限数据条件下的泛化能力，也为处理各种图数据问题提供了新的思路。 GTOT-Tuning为图神经网络的微调提供了一个强大的工具，通过最优传输理论，它能够更好地适应图数据的特性，实现高效的预训练知识迁移，从而提升模型在实际应用中的性能。这对于解决现实世界中的图数据问题，尤其是那些面临数据稀缺挑战的应用，具有深远的影响。