图拓扑引导的最优传输微调图神经网络方法

"本文主要探讨了在图学习领域中，如何通过图拓扑引导的最优传输微调（GTOT-Tuning）方法来提升图神经网络（GNN）的微调性能。作者提出了一种新颖的微调框架，该框架利用图数据的特性，通过最优传输理论来保留和增强GNN模型在微调过程中的表示能力。GTOT-Tuning引入了GTOT正则化器，该正则化器基于节点的邻接关系，实现节点级最优传输，有效地减少了知识转移中的冗余，提高了预训练模型到微调模型的知识迁移效率。实验结果显示，GTOT-Tuning在多个GNN骨干网络和多个下游任务上均表现出最先进的微调性能，对于处理有限训练样本的情况尤其有益。" 在图学习中，预训练-微调范式的应用已经成为解决标签稀缺问题的有效策略。然而，现有的微调技术，如权重约束和表示约束，虽然在图像和文本数据上取得了一定的成功，但未能充分考虑图结构的特性。GTOT-Tuning针对这一问题，提出了一种新的方法，即通过最优传输理论，结合图的拓扑结构，来指导GNN的微调过程。 最优传输理论是一种优化问题，旨在寻找在两个分布之间最小成本的映射。在GTOT-Tuning中，这个理论被用来量化和转移图数据的局部知识，同时考虑到图的结构先验。通过构建GTOT正则化器，可以约束微调模型的行为，使其更有效地捕获和利用图的拓扑信息。这不仅有助于保持预训练模型的特性，还能避免无效或冗余的知识传递，从而提高微调的效率和性能。 在实践中，GTOT-Tuning适用于各种GNN模型，并在广泛的下游任务上进行了验证。实验结果表明，无论是在节点分类、链接预测还是其他图相关任务上，GTOT-Tuning都能显著提升模型的微调性能，尤其是在数据有限的情况下，其优势更为明显。这表明，图拓扑引导的最优传输微调是提升GNN模型泛化能力和适应性的一个有力工具，对于图学习领域的研究和应用具有重要的价值。