0通过图拓扑引导的最优传输微调图神经网络0Jiying Zhang 1,2，Xi Xiao 2，Long-Kai Huang 1，Yu Rong 1和Yatao Bian 1�01 腾讯AI Lab，中国深圳 2 清华大学深圳国际研究生院，中国深圳zhangjiy20@mails.tsinghua.edu.cn，xiaox@sz.tsinghua.edu.cn，yu.rong@hotmail.com，{hlongkai，yatao.bian}@gmail.com0摘要0最近，预训练-微调范式在图学习社区引起了广泛关注，因为它在许多实际应用中缓解了标签不足的问题。目前的研究使用现有的技术，如权重约束、表示约束，这些技术是从图像或文本数据中导出的，将不变的知识从预训练阶段转移到微调阶段。然而，这些方法未能保留来自图结构和图神经网络（GNN）风格模型的不变性。在本文中，我们提出了一种新颖的基于最优传输的微调框架，称为GTOT-Tuning，即图拓扑引导的最优传输微调，用于GNN风格的骨干网络。GTOT-Tuning需要利用图数据的特性来增强微调网络产生的表示的保留。为实现这一目标，我们将图的局部知识转移形式化为带有结构先验的最优传输（OT）问题，并构建GTOT正则化器来约束微调模型的行为。通过使用节点之间的邻接关系，GTOT正则化器实现了节点级最优传输过程，并减少了冗余的传输过程，从而实现了从预训练模型的高效知识转移。我们使用各种GNN骨干网络在八个下游任务上评估了GTOT-Tuning，并证明它在GNN上实现了最先进的微调性能。01 引言0在许多实际应用中，从有限数量的训练实例中学习是一个基本问题。解决这个问题的一种常见方法是对在大型数据集上进行预训练的模型进行微调。与从头开始训练相比，微调通常需要更少的标记数据，可以进行更快的训练，并且通常可以获得更好的性能[Li等人，2018b；He等人，2019]。0�通讯作者：Yatao Bian（yatao.bian@gmail.com）0传统的微调方法可以大致分为两类：（i）权重约束[Xuhong等人，2018]，即直接约束预训练模型和微调模型之间的权重距离。显然，它们无法利用图数据的拓扑信息。（ii）表示约束[Li等人，2018b]。这种方法约束了从预训练模型和微调模型产生的表示之间的距离，保留了微调网络的输出或中间激活。因此，这两种方法都未能很好地考虑中间层嵌入所隐含的拓扑信息。然而，已经证明GNN通过探索图的局部和全局语义来显式地查看数据的拓扑结构[Xu等人，2018；Hu等人，2020；Xu等人，2021]，这意味着节点嵌入之间的隐含结构非常重要。因此，这些仅涵盖权重或层激活并忽略输入数据的拓扑上下文的微调方法已经无法获得全面的知识转移。为了保留预训练模型中的微调网络的局部信息，在本文中，我们探索了一种基于原则的表示正则化方法。i）遮蔽最优传输（MOT）被形式化并用作预训练模型和微调模型之间的知识传输过程。与TypicalOT距离[Peyr´e和Cuturi，2020]相比，该方法考虑了两个域之间的所有成对距离[Courty等人，2016]，MOT允许选择在最终OT距离中求和的特定节点对，这是由于引入的遮蔽矩阵。ii）通过将遮蔽矩阵设置为邻接矩阵，将图的拓扑信息合并到遮蔽Wasserstein距离（MWD）中，从而在节点嵌入空间中产生GTOT距离。通过惩罚GTOT距离来最小化微调模型和预训练模型之间的嵌入距离，保留微调模型的局部信息。最后，我们提出了一种新的微调框架：GTOT-Tuning，如图1所示。利用节点之间的邻接关系，所提出的GTOT正则化器实现了精确的节点级最优传输过程，并省略了不必要的传输过程，从而实现了从预训练模型的高效知识转移（图2）。此外，由于OT优化动态更新传输映射（权重）0arXiv:2203.10453v1[cs.LG]20Mar20220+v:mala2277获取更多论文+135264+v:mala2277获取更多论文0GNN0冻结0GNN0可训练0C0P0分类器0� !"#"0� $%0共享结构0预训练网络0微调网络0微调阶段0节点嵌入0节点嵌入0成本矩阵传输计划MOT0图1：GTOT-Tuning的整体框架，其中L GT OT表示GTOT正则化器损失，LCE表示交叉熵损失。P的灰色格子表示当顶点对(vi，vj)不相邻时，Pij=0。假设输入图具有自环。0在训练过程中，通过对距离进行自适应和隐式调整，所提出的正则化器能够根据下游任务自适应地调整微调权重和预训练权重之间的距离。在八个不同的数据集上进行的实验证明，GTOT-Tuning在各种GNN骨干网络中取得了最佳性能，验证了我们方法的有效性和泛化能力。我们的主要贡献可以总结如下。1）我们提出了一个带有掩码矩阵的掩码OT问题，通过引入掩码矩阵来约束传输过程。特别地，我们定义了掩码Wasserstein距离（MWD）来提供一种灵活的度量来比较两个分布。2）我们提出了一种针对GNN的微调框架，称为GTOT-Tuning，基于所提出的MWD。该框架的核心组件GTOT正则化器具有利用图结构来保持微调模型和预训练模型之间的局部特征不变性的能力。据我们所知，这是第一个专门针对GNN的微调方法。3）在各种基准数据集上进行了大量实验，结果表明我们的方法具有竞争力的性能。02 相关工作0GNN的预训练。预训练技术已被证明对提高GNN模型的泛化能力非常有效。预训练GNN的现有方法主要基于自监督范式。一些自监督任务，例如上下文预测[胡等，2020；荣等，2020]，边/属性生成[胡等，2020]和对比学习([游等，2020；徐等，2021])，已被设计用于从无标签图中获取知识。然而，大多数这些方法只使用了传统的微调方法，即预训练权重作为下游任务的初始权重。如何充分利用预训练的GNN模型的最佳性能仍然是一个开放问题。我们的工作旨在利用图结构在下游任务上实现更好的性能。0迁移学习中的微调。微调预训练模型用于下游任务是一种常见的范式0在迁移学习（TL）中，[Donahue和Jia，2014；Oquab等，2014]表明将预训练的AlexNet模型提取的特征转移到下游任务中比手工设计的特征具有更好的性能。[Yosinski等，2014；Agrawal等，2014]的进一步研究表明，微调预训练网络比固定的预训练表示更有效。最近的研究主要关注如何从不同的角度更好地利用预训练模型的先验知识。i）权重：L2 SP[Xuhong等，2018]提出了一种L2距离正则化，惩罚微调权重和预训练权重之间的L2距离。ii）特征：DELTA[Li等，2018b]通过通道注意力选择预训练激活的方式来约束特征图。iii）架构：BSS[Chen等，2019]惩罚较小的奇异值以抑制不可转移的频谱分量，以防止负迁移。StochNorm[Kou等，2020]使用随机归一化替代预训练模型的经典批归一化。尽管取得了令人鼓舞的进展，但仍缺乏针对GNN的微调方法。0最优输运。最优输运经常在深度学习的许多应用中使用，包括领域自适应[Courty等，2016;Xu等，2020]，知识蒸馏[Chen等，2021]，序列到序列学习[Chen和Zhang，2019]，图匹配[Xu等，2019]，跨领域对齐[Chen等，2020]，刚性蛋白质对接[Ganea等，2022]和GNN架构设计[B´ecigneul等，2020]。一些经典的最优输运问题的解决方案，如Sinkhorn算法，可以在[Peyr´e和Cuturi，2020]中找到。与我们密切相关的工作可能是[Li等，2020]，它提出了一种基于典型OT的微调方法。显著的区别是我们的方法是i）基于提出的MOT，ii）为GNN量身定制的，iii）能够利用图的结构信息。03 预备知识0符号。我们通过�∙，∙�定义矩阵U，V∈Rm×n的内积�U，V�=tr(U�V)=�i,jUijVij。I∈Rn×n表示单位矩阵，1n∈Rn表示大小为n的每个分量都是1的向量。我们用粗体字母x∈Rn表示n维向量，其中xi是x的第i个分量。设G(V,E)是一个具有0顶点V和边E的图。我们用A∈R|V|×|V|表示G的邻接矩阵，⊙表示Hadamard乘积。为了方便起见，我们遵循迁移学习的术语，将从微调模型（目标网络）输出的信号图称为目标图（具有节点嵌入{xT1，...，xT|V|}），相应地，从预训练模型（源网络）输出的图称为源图（具有节点嵌入{xS1，...，xS|V|}）。请注意，在微调设置中，这两个图具有相同的邻接矩阵。0Wasserstein距离。Wasserstein距离（WD）[Peyr´e和Cuturi，2020]通常用于匹配两个经验分布（例如，图中的两组节点嵌入）[Courty等，2016]。WD可以如下定义。0定义1.令α=�ni aiδxi和β=�mibiδy为两个离散分布，其中δxi是集中在位置x的Dirac函数。Π(α,β)表示所有边缘分布为α(x)和β(y)的联合分布γ(x,y)。a∈Rn+和b∈Rm+是满足�ni=1ai=�mi=1bi=1的权重向量。两个离散分布α，β之间的Wasserstein距离定义如下：0Dw(α, β) = inf γ ∈ Π(α,β) E(x, y) � γ c(x, y) (1)0或Lw(a,b)=minP∈U(a,b)�P,C�=minP∈U(a,b)0ij PijCij (2)0其中 U(a, b) = {P ∈ Rn×m | P1m = a, P�1n = b}，Cij =c(xi, yj)是表示xi和yj之间距离的成本标量。P ∈Rn×m被称为输运计划或输运映射，Pij表示从ai到bj要移动的质量量。a，b也被称为P的边缘分布。0两个域中每对样本之间的差异可以通过最优输运距离Dw(α,β)来衡量。这似乎暗示Lw(a,b)是源图和目标图之间的表示距离的自然选择，用于GNN微调。然而，在源图和目标图之间存在局部依赖关系，特别是当图很大时（见第5节）。因此，将所有节点对的距离相加并不合适。受到这一观察的启发，我们提出了一个遮蔽最优输运问题，作为典型OT的扩展（第4节）。04 遮蔽最优输运0回顾一下在典型OT（定义1）中，ai可以被输送到任何bj∈{bk}mk=1，其数量为Pij。在这里，我们假设ai只能被输送到U中的bj，其中U�{bk}mk=1是一个子集。这个约束可以通过限制输运计划来实现：如果bj�U，则Pij=0。此外，通过引入掩码矩阵，问题可以形式化如下。0定义2（掩码Wasserstein距离）。按照定义1的相同符号，给定掩码矩阵M101在本文中，Mij = 0表示矩阵的第ij个元素被掩盖。0算法1 计算掩码Wasserstein距离0输入：成本矩阵C，掩码矩阵M ∈ {0, 1}n×m，边际a ∈ Rn+，b0初始化：u = v = 0. fori = 1, 2, 3, ... do0u1 = uu =0log(M ⊙ exp(−C + u1 � m + 1/n v �)1m)) + uv =ϵ(log(b) −0log((M ⊙ exp(−C + u1 � m + 1/n v �))�1n)) + v0如果∥u1 − u∥1 < τ则0跳出循环0否则0end for P = M ⊙ exp(−M ⊙ C + u1 � m +1/n v �)0Dmw = �P, C� 输出：P, Dmw0∈ {0,1}n×m，其中每行或每列都不全为零，掩码Wasserstein距离（MWD）定义为0Lmw(M, a, b) = min P ∈ U(M, a, b) �M ⊙ P, C�, (3)0其中U(M, a, b) := {P ∈ Rn×m+ | (M ⊙ P)1m = a, (M ⊙P)�1n = b, P ⊙ (1n×m − M) = 0n×m}，C ∈Rn×m是成本矩阵。0从公式（3）可以看出，掩码矩阵M表示需要优化P的元素，换句话说，在计算内积时需要考虑成本。值得注意的是，不同的掩码矩阵M导致不同的传输映射，并获得与M相关的OT距离。可以设计M以获得特定的WD。此外，定义的MWD可以通过设置M = 1/n×m来恢复WD，并且很明显Lmw(M, a, b)≥ Lw(a,b)。通过添加熵正则化惩罚，可以获得近似解决方案，这对于推导适用于并行迭代的算法至关重要[Peyr´e和Cuturi，2020]。0命题1. 带有熵正则化ϵH(M ⊙P)2的定义2的解是唯一的，并且具有以下形式0P ij = u i M ij K ij v j (4)0其中Kij = exp(−Cij/ϵ)，(u, v) ∈ Rn+ ×Rm+是两个未知的缩放变量。0从结果可以清楚地看出，MWD与直接加权距离矩阵C不等价[Xu等，2020]，因此掩码OT问题是非平凡的。我们在附录中给出了证明，其中关键是观察到exp(M ⊙ X) = M ⊙ exp(X)+ 1/n×m − M，其中X ∈ R n ×m是任意给定的矩阵。通过SinkhornKnopp迭代（附录中）可以简单地计算解。02即，min P ∈ U(M, a, b) �M ⊙ P, C�−ϵH(M ⊙ P)，其中H(∙)是0熵函数。假设0 log 0 = 0以确保H(M ⊙ P)是良定义的。0+v:mala2277获取更多论文15264+v:mala2277获取更多论文0�0可训练的0冻结01' 3'05' 2'06'04'01跳0掩码矩阵0�0图2：计算GTOT距离的示例。在目标图中保留第i个节点表示时，源图中与1跳顶点距离（即{2'，3'，4'，5'）内的对应顶点将被考虑。这意味着GTOT正则化器是一种局部知识传递正则化器。0A.2）。然而，正如我们所知，当正则化参数ϵ与成本矩阵C的条目相比太小时，Sinkhorn算法会遭受数值溢出的问题[Peyr´e和Cuturi，2020]。当掩码矩阵的稀疏性较大时，这个问题可能更加严重。幸运的是，通过在对数域中进行计算可以在一定程度上缓解这个问题。因此，为了保证数值稳定性和速度，我们提出了对数域掩码Sinkhorn算法（推导可以在附录A.3中看到）。算法1提供了整个过程。掩码思想的进一步扩展涉及将掩码矩阵添加到Gromov-Wasserstein距离[Peyr´e等，2016]（MGWD），它可以用于计算每个域中节点对之间的距离，以及确定这些距离与对应域中的距离相比如何。定义和算法可以在附录A.4中找到。C。05 通过掩码OT距离微调GNN在我们提出的框架中，我们使用掩码最优传输（MOT）进行GNN微调，其中学习一个传输计划 P ∈ R n × m来优化预训练模型和微调模型之间的知识转移。MOT具有几个独特的特点，使其成为GNN微调的理想工具。（i）自归一化：P的所有元素之和为1。（ii）稀疏性：引入的掩码矩阵可以有效限制传输映射的稀疏性，从而为微调提供更可解释和更健壮的表示正则化器（附录中的图12）。（iii）效率：我们的解决方案只需要矩阵-向量乘积，因此可以轻松获得，适用于GNN。（iv）灵活性：掩码矩阵可以为特定的传输任务分配独立的传输计划，并减少不必要的最优传输过程。05.1 GTOT正则化器0给定从预训练GNN和微调GNN消息传递期间提取的节点嵌入 { x S i } |V| i =1 和 { x T i } |V|i =1 ，我们计算余弦不相似度 C ij = 10将 2 (1 − cos( x S i , x T j )) 作为MWD的成本矩阵。0事实上，余弦不相似度是许多OT应用中常用的选择[Chen等，2020；Xu等，2020]。直观地说，在大多数情况下，图中两个（测地）距离较远的顶点的特征越不相似。这意味着当MWD用于微调时，应考虑图的邻接性，而不是对成本矩阵的所有成对距离求和。因此，我们将掩码矩阵设置为邻接矩阵A（带有自环），基于1-hop依赖性的假设，即目标图中的顶点仅与源图中相应顶点的1-hop内的顶点相关联（图2）。这个假设是合理的，因为通过（预训练的）GNN提取的相邻节点嵌入有些相似[Li等，2018a]，这也表明仅考虑节点之间的距离而不考虑邻居是次优的。我们将这种具有图拓扑的MOT称为图拓扑诱导的最优传输（GTOT）。在边缘分布均匀的情况下，GTOT正则化器正式定义为0L mw ( A , q , q ) = min P ∈ U ( A , q , q ) � A ⊙ P , C �（GTOT正则化器）0其中 q 被定义为均匀分布 1 |V| / |V|0j ∈N ( i ) � { i } P ij C ij ，其中 N ( i ) 表示节点 i的邻居集合。我们尝试了不同的方法将图结构融入到OT中，例如直接在非相邻位置的成本上添加一个大的正数，但这种方法不如我们的方法简洁，并且由于大量数值计算的挑战，避免非相邻顶点的求和是棘手的。此外，当邻接矩阵稀疏时，我们的方法有潜力使用稀疏矩阵加速。我们的方法易于扩展到i）通过逐元素乘积将加权图与成本矩阵相乘，即 � A ⊙ P , W⊙ C � 或 ii）通过将 A 替换为 A k 或 g ( A ) 来考虑 k-hop依赖性的假设，其中 g是一个多项式函数。类似地，使用MOT，我们可以定义基于MGWD的正则化器来对边级表示进行正则化。由于我们希望专注于使用MWD对节点级表示进行正则化，我们将详细信息推迟到附录 C。05.2 GTOT微调框架不同于[Li等，2020]提出的OT表示正则化器，其计算训练数据的小批量样本之间的Wasserstein距离，我们框架中的GTOT正则化器关注单个样本，即源图的节点嵌入与相应目标图之间的GTOT距离。考虑节点之间的GTOT距离允许在节点级别进行知识转移。这使得微调模型能够输出更适用于下游任务的表示，即节点表示与预训练模型输出的表示尽可能相同，但在图级别表示中具有特定的差异。总体目标。给定 N个训练样本 { ( G 1 , y 1 ) , ∙ ∙ ∙ , ( G N , y N ) } ，GTOT-Table 1: Test ROC-AUC (%) of GIN(contexpred) on downstream molecular property prediction benchmarks.(’↑’ denotes performance im-provement compared to the Fine-Tuning baseline. )MethodsBBBPTox21ToxcastSIDERClinToxMUVHIVBACEAverageFine-Tuning (baseline)68.0±2.075.7±0.763.9±0.660.9±0.665.9±3.875.8±1.777.3±1.079.6±1.270.85L2 SP [Xuhong et al., 2018]68.2±0.773.6±0.862.4±0.361.1±0.768.1±3.776.7±0.975.7±1.582.2±2.470.25DELTA[Li et al., 2018b]67.8±0.875.2±0.563.3±0.562.2±0.473.4±3.080.2±1.177.5±0.981.8±1.172.68Feature(DELTA w/o ATT)61.4±0.871.1±0.161.5±0.262.4±0.364.0±3.478.4±1.174.0±0.576.3±1.168.64BSS[Chen et al., 2019]68.1±1.475.9±0.863.9±0.460.9±0.870.9±5.178.0±2.077.6±0.882.4±1.872.21StochNorm [Kou et al., 2020] 69.3±1.674.9±0.663.4±0.561.0±1.165.5±4.276.0±1.677.6±0.880.5±2.771.03GTOT-Tuning (Ours)70.0±2.3↑2.075.6±0.7↓0.164.0±0.3↑0.163.5±0.6↑2.672.0±5.4↑6.180.0±1.8↑4.278.2±0.7↑0.983.4±1.9↑3.873.34↑2.49Table 2: Test ROC-AUC (%) of GIN(supervised contexpred) on downstream molecular property prediction benchmarks.MethodsBBBPTox21ToxcastSIDERClinToxMUVHIVBACEAverageFine-Tuning (baseline)68.7±1.378.1±0.665.7±0.662.7±0.872.6±1.581.3±2.179.9±0.784.5±0.774.19L2 SP [Xuhong et al., 2018]68.5±1.078.7±0.365.7±0.463.8±0.371.8±1.685.0±1.177.5±0.984.5±0.974.44DELTA[Li et al., 2018b]68.4±1.277.9±0.265.6±0.262.9±0.872.7±1.985.9±1.375.6±0.479.0±1.173.50Feature(DELTA w/o ATT)68.6±0.977.9±0.265.7±0.263.0±0.672.7±1.585.6±1.075.7±0.378.4±0.773.45BSS[Chen et al., 2019]70.0±1.078.3±0.465.8±0.362.8±0.673.7±1.378.6±2.179.9±1.484.2±1.074.16StochNorm [Kou et al., 2020] 69.8±0.978.4±0.366.1±0.462.2±0.773.2±2.182.5±2.680.2±0.784.2±2.374.58GTOT-Tuning (Ours)71.5±0.8↑2.878.6±0.3↑0.566.6±0.4↑0.963.3±0.6↑0.677.9±3.2↑5.385.0±0.9↑3.781.1±0.5↑1.285.3±1.5↑0.876.16↑1.97Tuning is to minimize the following loss:L = 1NN�i=1l(f, Gi, yi)(6)where l(f, Gi, yi) := φ(f(Gi), yi)+λLmw(A(i), q(i), q(i)),f denotes a given GNN backbone, λ is a hyper-parameter forbalancing the regularization with the main loss function, andφ(·) is Cross Entropy loss function.6Theoretical AnalysisWe provide some theoretical analysis for GTOT-Tuning.Related to Graph Laplacian.Given a graph signal s ∈Rn×1, if one defines Cij := (si − sj)2, then Lmw =minP∈U(A,a,b)�ij PijAij(si − sj)2.As we know,2sT Las = �ij Aij(si − sj)2, where La = D − A is theLaplacian matrix and D is the degree diagonal matrix. There-fore, our distance can be viewed as giving a smooth value ofthe graph signal with topology optimization.Algorithm Stability and Generalization Bound.We ana-lyze the generalization bound of GTOT-Tuning and expect tofind the key factors that affect its generalization ability. Wefirst give the uniform stability below.Lemma1(UniformstabilityforGTOT-Tun-ing).LetS:={z1=(G1, y1), z2=(G2, y2), · · · , zi−1 = (Gi−1, yi−1), zi = (Gi, yi), zi+1 =(Gi+1, yi+1), · · · , zN = (GN, yN)} be a training set withN graphs, Si:={G1, G2, ..., Gi−1, G′i, Gi+1, ..., GN}be the training set where graph i has been replaced. As-sume that the number of vertices |VGj| ≤ B for all j and0 ≤ φ(fS, z)M, then0| l(f S, z) - l(f S i, z) | ≤ 2M + λ√0B (7)0其中λ是方程（6）中使用的超参数。0根据引理1和[Bousquet and Elisseeff,2002]的结论，GTOT-Tuning的泛化误差界限如下所示。0命题2. 假设使用GTOT正则化的GNN满足0 ≤ l(f S, z) ≤Q。对于任意δ ∈ (0,1)，以下界限在样本S的随机选择上至少以概率1-δ成立。0R(f S) ≤ Rm(f S) + 4M + 2λ√0B0+ (8NM + 4Nλ√0B + Q)0�0l02N (8)0其中R(f S)表示广义误差，Rm(fS)表示经验误差。证明见附录。这个结果表明，GNN与GTOT正则化器的泛化界受到训练数据集中顶点的最大数量（B）的影响。07实验我们在图分类任务上进行实验以评估我们的方法。7.1各种微调策略的比较。设置。我们重复使用[胡等，2020]发布的两个预训练模型作为骨干：GIN（contextpred）[Xu等，2018]，仅通过自监督任务ContextPrediction进行预训练，以及GIN（supervisedcontextpred），这是一个通过Context Prediction + GraphLevel多任务监督策略进行预训练的架构。这两个网络都是在化学数据集（有200万个分子）上进行预训练的。此外，MoleculeNet[Wu等，2018]中的八个二元分类数据集用于评估微调策略，其中使用分子结构分割方案进行数据集分割。更多细节可以在附录中找到。基线。由于我们没有找到关于微调GNN的相关工作，我们将几个针对卷积网络的典型基线扩展到GNN，包括L2 SP[Xuhong等，2018]，DELTA [Li等，2018b]，BSS[Chen等，2019]，SotchNorm[Kou等，2020]。结果。不同微调策略的结果如表1、2所示。观察（1）：GTOT-Tuning在不同数据集上获得了竞争性能，并且平均表现优于其他方法。观察（2）：权重正则化（L2SP）无法改善纯自监督任务。这意味着L2SP可能需要预训练任务与下游任务相似。幸运的是，我们的方法可以持续提升监督和自监督预训练模型的性能。观察（3）：欧几里德距离正则化（Features(DELTA w/oATT)）的性能比普通微调差，表明直接使用节点表示正则化可能导致负迁移。0+v:mala2277获取更多论文0.20.30.70.85560657075Test AUC (%)Fine-TuningGTOT-Tuning0.20.30.70.850525456586062Fine-TuningGTOT-Tuning020400801000.250.500.751.001.251.501.752.00Fine-TuningGTOT-Tuning020400801003.13.23.33.43.53.63.73.8Fine-TuningGTOT-Tuning0测试AUC（%）0标签比例0MUV0标签比例0测试AUC（%）0SIDER0图3：不同标记数据比例的测试AUC。07.2消融研究0掩码矩阵的效果。我们通过使用GTOT正则化器对GNN进行微调的实验来验证引入的邻接矩阵的效率。表3中的结果表明，当使用邻接矩阵作为掩码矩阵时，大多数下游任务的性能将优于直接使用经典WD。此外，当掩码矩阵为单位矩阵时，竞争性能也意味着我们可以选择可能的预设计掩码矩阵，例如A的多项式，用于特定的下游任务。这也表明我们的MOT可以灵活地用于微调。0表3：GIN（contextpred）在下游任务上的测试ROC-AUC（%）。（括号表示掩码矩阵。MWD（A）是GTOT距离。）0方法 BBBP Tox21 Toxcast SIDER0# BPTs 1 12 617 27 # A距离 1.57 1.56 1.56 1.410w/o MWD 68.7 ± 3.4 75.9 ± 0.5 63.1 ± 0.6 60.2 ± 0.9 w/ MWD (1 n × n ) 66.2 ± 3.3 75.3 ± 0.9 63.6 ± 0.6 62.7 ± 0.7 w/ MWD (A ) 69.6 ± 2.6 75.7 ± 0.5 63.8 ± 0.4 63.5 ± 0.6 w/ MWD ( I ) 68.6± 3.5 75.4 ± 0.7 64.1 ± 0.3 63.7 ± 0.50方法 ClinTox MUV HIV BACE0# BPTs 2 17 1 1 # A距离 1.41 1.19 1.65 1.650w/o MWD 69.5 ± 5.0 69.5 ± 1.3 78.2 ± 1.2 82.5 ± 1.7 w/ MWD (1 n × n ) 69.5 ± 5.0 74.3 ± 1.3 78.2 ± 0.8 83.7 ± 1.9 w/ MWD (A ) 70.9 ± 5.8 80.7 ± 0.6 78.5 ± 1.5 83.1 ± 1.9 w/ MWD ( I ) 69.7± 4.0 80.2 ± 0.9 78.3 ± 1.3 82.6 ± 2.50不同标记数据比例的影响。我们还研究了在MUV和SIDER数据集上使用不同比例标记数据的方法的性能。如图3所示，MWD在不同数量的标记数据下始终优于基线（普通微调），表明我们方法的泛化性能。0无预训练 无预训练0微调0GTOT-Tuning0MUV MUV0负迁移0图4：多任务数据集（MUV）上一对微调策略的ROC-AUC分数的散点图比较。每个点代表一个特定的下游任务。有许多下游任务中，普通微调的性能比非预训练模型差，表明存在负迁移。与此同时，使用GTOT正则化器时，负迁移得到了缓解。07.3 GTOT-Tuning的原理0a）模型权重对下游任务的自适应调整。采用A-距离[Ben-David等，2007]，dA(DS，DT)=2(1-2ξ(h))来衡量预训练和微调领域之间的差异，即预训练数据DS和微调数据DT之间的领域差距。ξ(h)是一个线性SVM分类器h区分两个领域的错误率[Xu等，2020]。我们使用GIN（contextpred）提取的表示作为输入计算dA，并在表3中展示结果。从图5可以看出，当领域差距相对较小时（MUV），GTOT-Tuning约束了微调模型和预训练模型之间的权重距离。相反，当领域差距较大时（BACE），我们的方法不一定增加权重之间的距离，而是增加权重之间的距离。这表明GTOT-Tuning能够根据下游任务自适应地隐式调整微调权重和预训练权重之间的距离，从而产生强大的微调模型。b）在多任务下减轻负迁移。图4显示了GTOT-Tuning在多任务数据集上提高了大多数任务的性能，证明了我们的方法在减轻负迁移方面的能力。0Epoch0Frobenius距离01e3 BACE0Epoch0Frobenius距离01e3 MUV0图5：预训练初始化权重与微调权重之间的权重距离。由于MOT的软对齐，GTOT正则化器能够根据下游任务隐式调整权重的距离。0由于空间限制，我们将GCN（contextpred）骨干、敏感性分析和运行时间的额外实验结果推迟到附录D.5、D.6和D.7中。代码可在https://github.com/youjibiying/GTOT-Tuning获取。0+v:mala2277获取更多论文8Discussions and Future WorkDespite the good results, there are some aspects which worthfurther explorations in the future: i) The MOT-based meth-ods require relatively high computational cost, which callsfor designing a more efficient algorithm to solve it. ii) MWDhas the potential to perform even better when used in con-junction with MGWD, which may require a more suitablecombination by design. iii) The optimal transport plan ob-tained by MOT can be used to design new message passingschemes in graph. iv) The proposed method can be poten-tially extended for more challenging settings that needs ad-vanced knowledge transfer techniques, such as the graph outof distribution learning [Ji et al., 2022]. v) Other applicationsin graph knowledge distillation or MOT barycenters can beenvisioned.AcknowledgmentsThe authors would like to thank Ximei Wang ,Guoji Fu andGuanzi Chen for their sincere and selfless help.References[Agrawal et al., 2014] Pulkit Agrawal, Ross Girshick, andJitendra Malik. Analyzing the performance of multilayerneural networks for object recognition. In ECCV, pages329–344, 2014.[Altschuler et al., 2017] Jason Altschuler, Jonathan Weed,and Philippe Rigollet.Near-linear time approximationalgorithms for optimal transport via sinkhorn iteration.NeurIPS, 2017:1965–1975, 2017.[B´ecigneul et al., 2020] Gary B´ecigneul,Octavian-EugenGanea, Be
我的内容管理
展开
