RoSA：一个鲁棒的非对齐节点-节点图对比学习框架

+v：mala2277获取更多论文RoSA：一个鲁棒的节点-节点图对比学习自对准框架Yun ZhuXiang， Jianhao GuoXiang， Fei Wuand Siliang Tang<$浙江大学{zhuyun dcd，guojianhao，wufei，siliang}@ zju.edu.cn摘要图对比学习近年来取得了重大进展。然而，现有的工作很少探索非对齐节点-节点对比。在本文中，我们提出了一种新的图对比学习方法命名为RoSA，重点是利用非对齐的增强视图的节点级表示学习。首先，我们利用推土机的距离来模拟将一个视图的分布转换为另一个视图的最小努力，作为我们的对比目标，这不需要视图之间的对齐。然后，我们引入对抗训练作为辅助方法，以增加采样多样性并增强模型的鲁棒性。实验结果表明，RoSA在同构图、非同构图和动态图上的学习效果优于一系列据我们所知，RoSA是第一个专注于非对齐节点-节点图对比学习问题的工作。我们的代码可在：https://github.com/ZhuYun97/RoSA1介绍图表示学习（Graph Representation Learning）是处理图域问题的一种常用方法，其目的是学习图域中节点和边的低维表示 数据最近 之间所有这些方法中，无监督图对比学习得到了相当大的研究关注。 它结合了图神经 网络 的最 新研 究趋 势-工作 （GNN ）[Kipf和Welling，2017]和对比自监督学习[Oordet al. ，2018;Chenet al. ，2020; Grillet al. #20200;方法，并？实现在许多基于图形的任务上都有良好的效果[Zhuet al. ，2020c; Velickovicet al. ，2019; Youet al. ，2020]。对比学习的目的是最大限度地提高一致性-在图域中，*同等贡献†通讯作者对齐视图不结盟观点1 1413 313G-G223233311121N-G2224123114232313N-N漨编码读出编码中心节点对比表示图一：图-图、节点-图、节点-节点对比层次分别为G-G、N-G、N-N。我们只展示了一个正对子图的中心节点被一个黑圈包围节点上的数字对应于它们在原始全图中的索引，颜色表示它们的标签。我们将增广子图称为“视图”。基于两个对比视图的规模，图对比学习可以分为节点-节点、节点-图和图-图级别[Wuet al. ，2021]。从另一个角度来看，一对对比视图被识别为对齐或未对齐，这取决于它们的节点集的差异。两个对齐的视图必须具有相同的节点索引，除了结构和某些功能可能不同，并且两个未对齐的视图可以具有不同的节点集。图1给出了根据这种分类法的说明性概述。[Zhuet al. ，2021 a]指示对于诸如节点分类的节点级任务，应用节点-节点对比可以获得最佳性能增益。然而，以往的节点-节点图对比学习方法都是将所有对比节点放在对齐的场景中进行，这可能会阻碍采样视图的灵活性和可变性，限制对比学习的表达能力此外，还存在一定的循环--arXiv：2204.13846v1 [cs.LG] 2022年4月+v：mala2277获取更多论文对齐视图不可用的情况，例如节点可能随着时间的推移而出现/消失的动态图，以及视图自然不对齐的随机游走采样与对齐的节点-节点对比相比，非对齐场景能够更自由地采样不同的节点及其关系，这将有助于模型学习更具代表性和鲁棒性的特征。然而，应用非对齐节点-节点对比面临三个挑战。首先，如何设计子采样方法，可以生成不对齐的视图，同时保持语义一致性？第二，如何对比两个不对齐的视图，即使节点数量和节点之间的对应关系不一致？第三，如何在提高无监督图对比学习模型性能的同时增强模型的鲁棒性这些问题都没有得到以往工作的满意回答。为了解决上面讨论的挑战，我们提出了RoSA：一个RobustS elf-一个用于节点-节点图对比学习的ligned框架。首先，我们利用随机游走抽样来获得非对齐节点的增强视图，节点对比学习具体来说，对于给定的图，我们基于中心节点对一系列子图进行采样，并且将同一中心节点的两个不同视图视为正对，而将跨不同中心节点的视图选择为负对。请注意，即使是正对也不一定对齐。其次，受图神经网络消息传递机制的启发，节点表示可以解释为相邻节点分布变换的结果 直观地说，对于一对视图，我们利用地球移动器第三，我们引入了无监督对抗训练，它显式地对节点特征进行操作，以增加样本的多样性并增强模型的鲁棒性。据我们所知，这是第一个工作，填补了非对齐节点节点图对比学习的空白。我们的主要贡献总结如下：• 我们提出了一个鲁棒的自对齐对比学习框架，用于节点-节点图表示学习，名为RoSA。据我们所知，这是第一个致力于解决非对齐节点-节点图对比学习问题的工作。• 为了解决非对齐问题，本文提出了一种新的基于图的最优传输算法g-EMD，该算法不需要明确的节点间对应关系，能够充分利用图的拓扑和属性信息进行非对齐节点间的对比。此外，为了弥补非对齐子采样可能带来的信息损失，本文提出了一种非平凡无监督图对抗训练方法，以提高子采样的多样性，增强模型的鲁棒性。• 在不同图形环境下的大量实验结果表明，该方法的性能优于几种基线方法，验证了该方法的有效性和通用性。2相关作品2.1自监督图表示学习第一出现在的领域的计算机vision[Oordet al. ，2018; Heet al. ，2020; Grillet al. ，2020]和自然语言处理[Gaoet al. ，2021]，自监督学习在各种任务中表现出良好的性能，将其应用于图域很快成为研究热点。GraphCL[Youet al. ，2020]使用不同的增强并应用读出函数来获得图-图级表示，然后优化InfoNCE损失，其可以在数学上被证明是互信息的下限。灵感来自Deep Info- Max[Hjelmet al. ，2019]，DGI [Velickovicetal. ，2019]最大限度地提高了补丁和图表示之间的互信息，这是节点-图级别的对比。最近，像GMI [Pengetal. ，2020]，GRACE [Zhuet al. ，2020c]，GCA [Zhuetal. ，2021b]和BGRL [Thakooret al. ，2021]在节点分类任务上显示出优越的性能。与DGI不同，GMI去除了读出功能，并在节点-节点级别上最大化编码器的输入和输出之间的MI。通过图增强方法，GRACE专注于使用不同的节点作为负对来对比对齐的视图，并且来自不同视图的相同节点被视为正对，其中每个正对应该首先对齐。GCA类似于GRACE，但具有自适应数据增强。BGRL是一种无负样本方法，它借用了BGRL的思想[Grillet al. ，2020]。以前的作品涉及图形级别的对比，通常是-Ally具有读出功能以获得自然对齐的整个图表示，但是当涉及到节点-节点级别对比时，它们总是显式地对齐正对的节点。非对齐节点-节点图对比学习的工作尚未被探索。2.2对抗训练对抗训练（AT）已被发现有助于提高模型的鲁棒性。AT是一个最小-最大训练过程，其目的是在添加对抗性扰动之前和之后保持模型输出的一致性。以前的作品从许多不同的角度解决对抗扰动。[Goodfellowet al. ，2015]给出了L2范数下扰动的线性近似（即，快速梯度方法）。投影梯度下降法[Madryet al. ，2018]试图以迭代的方式获得更精确的扰动，但这需要更多的时间，[Shafahiet al. ，2019; Zhuet al. 2020a]提供了更有效的方法。最近，[Konget al. ，2020]以监督的方式将这些方法采用到图域中。然而，无监督对抗训练的图仍然是未开发的。在本文中，我们将AT引入到我们的对比方法中，以非监督的方式提高模型的鲁棒性。3方法在本章中，我们将介绍RoSA的框架。图2给出了RoSA的概述。+v：mala2277获取更多论文KΓΣΣ图2：我们提出的方法概述：RoSA。输入是从全图中采样的一系列子图，其中来自相同中心节点的不同然后将子图送入编码器和投影仪，以获得用于对比的节点嵌入自对准的基于EMD的对比损失将最大化正对之间的互信息（MI），并最小化负对之间的MI，引导模型学习丰富的表示。此外，在该工作流中引入对抗训练增强了模型的鲁棒性。3.1预赛给定一个图G=（V，E），其中V是N个结点的集合，E是M条边的集合也可以使用G =（X，A）来表示图特征，其中X ={x1，x2，. . . ，xN} ∈RN ×d表示节点特征矩阵，每个节点的特征维数为d，可表示为xi ∈ Rd，A ∈ RN ×N表示图的邻接矩阵，其中如果节点i和j之间存在边，则Ai，j = 1，否则Ai，j = 0. 对于子图采样，每个节点i将被视为中心节点以获得子图G（i）。子图G（i）的一个直观表示为：G.（i）当存在子文件时，不存在子文件-存在子文件。3.2不结盟 节点-节点 水平事实证明，设计良好的数据增强在提高对比度性能学习[Youet al. ，2020]。 与CV和NLP领域，其中数据是以欧几里德方式组织的，图数据增强方法需要重新设计和仔细选择。值得注意的是，在这项工作中，对于一个积极的对，我们需要得到不同的节点集，同时保持其语义的一致性。基于这样的前提，我们提出了利用随机游走与重新开始采样作为一种增强方法，随机选择节点和generer。而在我们的设置下，两个视图可能有不同的和未对齐的节点，其中简单的余弦相似性失去了它的可用性。因此，我们建议利用推土机EMD[Rubneret al. ，2000;Zhangetal.，2020; Liuet al. 2020年1月20日，《距离》在两个离散的分布，它可以被解释为移动一堆污垢到另一堆污垢的最小成本。虽然先前的工作已经将EMD引入CV域，但尚未探索图域中的适应。此外，根据图数据的特点，在计算代价矩阵时，还考虑了拓扑距离的影响。通过一个非平凡的解决方案，我们结合香草成本矩阵和拓扑距离，以获得一个修正的成本矩阵，使成本相关的节点相似性和距离的图拓扑。g-EMD的计算可以用公式表示为线性优化问题。在我们的例子中，两个增强视图分别具有特征映射X∈RM×d和Y∈RN×d，目标是测量将X转换为Y的距离。 假设对于每个节点xi∈ Rd，它有ti个单元要传输，并且节点yj ∈Rd有rj个单位要接收。 对于给定的一对节点xi和yj，每单位运输成本为Dij，以及运输量是rij。有了以上的记号，我们可以将线性优化问题定义如下：关闭未对齐的视图。具体地说，随机游走抽样MN从中心节点V开始并产生具有给定步长S的随机路径。此外，每走一步，最小值Dij<$ij，（1）I j以重新开始概率α转向中心节点v。 步骤大小s不应该太大，因为我们要捕获S.T. rij≥ 0，i = 1，2，...，M，j = 1，2，...，NM中央节点的局部结构。最后，边缘下降，特征掩蔽[Zhuet al. ，2020 c]应用于子图。3.3g-EMD：一个自对准的对比目标伊季IN=rj，j = 1，2，.，N在获得两个未对齐的增强视图后，我们定义了一个对比目标，该目标测量两个不同视图的一致性。 现有技术大多使用余弦相似性作为度量来评估两个特征向量漂移开多远rij= ti，i = 1，2，.，MJ其中t∈RM和r∈RN是Γ-ε的边际权.+perrtur ba tio npuzzorpuzzo（puzo）ଵG= ，正对G （）（ଵ（ଵ积极G（）（ଶ（ଶ对比损失（）Gଵ（）ଵ（）负对负G（）ଶ（ଶ（ଶ瀖瀖濷+v：mala2277获取更多论文1212“我的 天，Σu我J=max{xT·j=1j，0}，（9）IJ我= max{yT·i=1i，0}。k=112k=1[ki]11J）12所有可能的传输矩阵Γ的集合可以被定义为：那么问题就在于如何得到边际权重t和R.权重表示节点n（t，r）={Γ∈RM×N|1M=t，rT1N=r}，（2）两个视图，其中如果节点的权重较大，语义上与另一种观点接近基于此其中，1是具有相应大小的全一向量，并且n（t，r）是边际权重为t和r的所有可能分布的集合。转移x的成本 至y 被定义为假设，我们将节点权重定义为其特征与来自另一集合的均值池化特征之间的点积中国D=1个xTyj||Xi||||yJ||iiNMxJJM这表明具有相似表示的节点倾向于在彼此之间产生较少的匹配成本。除了直接使用节点表示相异度矩阵作为距离矩阵外，还考虑了拓扑距离<$∈RM×N（每对节点之间的最小跳数）。 节点在拓扑结构结构，表明它们可能包含类似的语义信息。如何将表征的不同性其中max是确保所有权重都是非负的，然后两个视图将被归一化以确保具有相同数量的要传输的特征。在最佳时间段内，我们获得：g-EMD（X，Y，S）=<$r，D<$F. （十）现在我们可以利用EMD作为距离度量来对比损失目标。 对于任何中心节点v 其馀的，矩阵和拓扑距离不是一个简单的问题。为了为了不大幅调整原始成本矩阵D，我们采用MENTEDGRAPHVIEW（G（i）），G（i）我）、编码器fθ（例如，GNN）sigmoid函数S与拓扑距离上的温度得到重标度因子S ∈ [0. 5，1]M×N：分别得到嵌入H（i）和H（i），则（一）在其上应用线性投影仪gω以得到Z，Si，j=S（i，j）=1+e1−i，j /τ，（4）Z（i）以提高下游任务的通用性，如[Chen et al. ，2020]。形式上，我们定义基于EMD的其中τ≥1是控制曲线变化率的温度因子。我们根据经验将τ设为2，节点vi的对比损耗n（Z（i），Z（i））=不同的重新缩放功能和不同的1 2未来工作中的温度因素。 随着重新缩放因子es（Z（i），Z（i）/τS，我们可以更新成本矩阵，1 2- log（），<$N es（Z（i），Z（k）/τ+<$N1e s（Z（i），Z（k）/τ其中，λ是Hadamard乘积。这样，我们将拓扑距离和节点表示相异度矩阵结合成距离矩阵。其中s（x，y）是计算x和y之间相似度的函数，这里我们使用1−EMD（x，y）来替换s（x，y）;1是一个指示函数，如果i k，则返回1由于D根据分布X、Y和拓扑距离是固定的，为了得到g-EMD，我们需要找到最佳的否则返回0;τ是温度参数。添加N中的所有节点，总对比损耗由下式给出：你好。为了达到最佳效果，我们使用Sink hor nA l去-rithm[Cuturi，2013]通过引入正则化项：J=1μm好吧Z（i），Z（i） +100。Z（i），Z（i）.（十二）g-EMD（X，Y，S）=inf<$r，D <$F+ Γ∈Π1Γ（logΓ−1），（6）λ2N1 2 2 1i=1正则化项其中，λ，λF表示Frobenius内积，λ是控制正则化强度的超参数。有了这种设计，最佳的图像可以是这样的：r=diag （ v ） Pdiag （ u ） ，（7）其中P=e−λD，v，u是两个系数向量，其值可以迭代更新为vt+1=ti，（8）我们总结了我们提出的非对齐附录A中的节点3.4无监督对抗训练对抗性训练可以被认为是一种增强技术，旨在提高模型的鲁棒性。[Konget al. ，2020]已经经验地证明了特征空间上的图对抗增强可以在监督方式下提高GNN的性能。这样的方法可以被修改用于图对比学习，INj=1u=Pij不Rv最小E（一）（一）、M−1最大J.X（i）N（不−、（3）RD= D ◦ S，（5）（十一）+v：mala2277获取更多论文+δt，X（i）δt，电话+1JMi=1JPij.电话+1我θ，ωX X D1 2Mt=0时δt∈It12（十三）Σ+v：mala2277获取更多论文其中θ，ω是编码器和投影器的参数，D是数据分布，It=BX+δ0（αt）<$BX（α t），其中τ是扰动预算。为了提高效率，内部循环运行M次，每次δ、θt−1和ωt−1的梯度将被累加，累加的梯度将用于外部更新期间更新θt−1和ωt−1。配备了这种对抗性增强，我们完成了一个更强大的自对准任务。最大化过程希望能量在不同类别的节点之间传递，而最小化过程将弥补这种不良情况，使对齐更加鲁棒。通过这种方式，对抗性增强增加了样本的多样性并提高了模型的鲁棒性。4实验我们在10个公共基准数据集上进行了广泛的实验，以评估RoSA的有效性我们使用RoSA以无监督的方式学习节点表示，并通过在此基础上训练的线性分类器评估其质量有关数据集和实验设置的更多详细信息，请参见附录B、C。4.1数据集我们在10个公共基准数据集上进行了实验，包括4个同质数据集（Cora，Citeseer，Pubmed和DBLP），3个非同质数据集（Cornell，Wisconsin和Texas），2个大规模归 纳 数 据 集 （ Flickr 和 Reddit ） 和 1 个 动 态 图 数 据 集（CIAW），以评估RoSA的有效性数据集详情见附录B。4.2实验装置对于小规模数据集，我们应用两层GCN作为我们的编码器fθ，对于大规模数据集（Flickr和Reddit），我们采用三层GraphSAGE-GCN [Hamiltonet al. ，2017]，其中残余连接作为DGI之后的编码器[Velickovicet al. ，2019]和GRACE [Zhuet al. ，2020c]。编码器的公式可在附录C中找到。 具体而言，类似于[Chenet al. ，2020]，投影头，其包括两个-具有BN的层非线性MLP被添加在编码器的顶部详细的超参数设置见附录C。我 们 比 较 了 RoSA 与 两 种 节 点 图 约 束 方 法 DGI[Velickovicet al. ， 2019] ， SUBG-CON [Jiaoet al. ，2020]）和四个节点-节点方法GMI [Penget al. ，2020]，GRACE [Zhuet al. ，2020c]，GCA [Zhuet al. ，2021b]和BGRL [Thakooret al. ，2021]。4.3结果和分析同质数据集的结果表1显示了四个同质数据集上的节点分 类 结 果 ， 一 些 报 道 的 统 计 数 据 是 从 [Zhuet al. ，2020c]。实验结果表明，N-N方法在节点分类任务上优于N-G方法。 而罗莎是优于所有基地-线 ， 并 实 现 了 最 先 进 的 性 能 ， 甚 至 超 越 监 督 方 法（GCN），这证明了利用基于EMD的对比损失和非对齐节点-节点场景中的对抗训练不同于在全图上训练的其他节点-节点方法方法水平科拉CiteSeerPubMedDBLP原始特征-64.864.684.871.6DeepWalk-67.243.265.375.9GCN-82.872.084.982.7DGIN-G82.6±0.468.8±0.786.0±0.183.2±0.1SUBG-CONN-G82.6±0.969.2±1.384.3±0.383.8±0.3GMIN-N82.9±1.170.4±0.684.8±0.484.1±0.2恩典N-N83.3±0.472.1±0.586.7±0.184.2±0.1GCAN-N83.8±0.872.2±0.786.9±0.284.3±0.2BGRLN-N83.8±1.672.3±0.986.0±0.384.1±0.2罗莎N-N84.5±0.873.4±0.587.1±0.285.0±0.2表1：同构图上节点分类任务的分类准确性的总结。第二列表示方法的对比模式，N-G表示节点图级别，N-N表示节点节点级别。 为了公平比较，在⋆SUBG-CON我们用所用的编码器替换原来的编码器在我们的论文中，并应用与我们相同的评估协议我们的方法是在各种非对齐子图上训练的，这带来了更大的灵活性，但也带来了非对齐挑战。RoSA从具有挑战性的借口任务中学习更多信息。培训期间EMD中成本矩阵和运输矩阵的可视化见附录E。方法康奈尔威斯康星人Texas康奈尔威斯康星人TexasDGI56.3±4.750.9±5.556.9±6.358.1±4.152.1±6.357.8±5.2SUBG-CON54.1±6.748.3±4.856.9±6.958.7±6.859.0±7.861.1±7.3GMI58.1±4.052.9±4.257.8±5.969.6±5.370.8±5.269.6±5.3恩典58.2±4.154.3±7.158.9±4.772.3±5.374.1±5.569.8±7.2罗莎59.3±3.655.1±4.760.3±4.574.3±6.277.1±4.371.1±6.6表2：使用GCN（左）和MLP（右）的非同源节点分类非嗜同性的结果数据集先前工作表明，GCN表现不佳的非homophilous图[裴等人。，2020; Zhu等人，2020 b]，因为在这样的图上有很多高频信号，并且GCN本质上是一个低通滤波器，其中很多有用的信息将被过滤掉。由于编码器的设计不是作为我们工作的重点，我们使用GCN和MLP作为我们的编码器。我们使用GCN或MLP作为编码器将我们的模型的性能与DGI，SUBG-CON，GMI，GRACE进行比较，参见表2。从统计数据中，我们可以总结出三个主要结论：第一，SUBG-CON和DGI的整体表现落后于其他人。这是因为SUBG-CON和DGI是节点-图级对比方法，最大化了中心节点表示与其上下文子图表示之间的互信息，而在非同构环境下，上下文图表示收集了不同类型节点的高度变异特征，从而产生错误和无意义的信号。其次，在相同的方法下，MLP版本的性能明显优于其GCN版本，这证实了MLP更适合于非齐次图的说法。此外，我们可以观察到，当使用MLP作为编码器时，节点全局方法和节点-节点方法之间的性能差距扩大我们怀疑这种现象是由于GCN编码器丢失了一个+v：mala2277获取更多论文大量的信息在一个非homophilous设置，使其他模块的努力白费。第三，也是最重要的，RoSA在所有三个数据集上的表现都优于其他基准，无论选择哪种数据集。CIAW CIAW*GraphSAGE 64.0±8.5 69.7±10.1GRACE 65.3±7.9-RoSA67.6±7.0 73.2±9.3编码器，它验证了RoSA对非同构图我们推测，RoSA将收紧同一类节点的距离。大规模数据集上归纳学习的结果上述实验都是在转导设置下进行的。在这一部分中，实验是在诱导的环境下进行的，测试是在看不见的或未经训练的人身上结这两个数据集均使用微平均F1评分结果如表3所示，我们可以看到，RoSA在归纳设置下在大规模图上工作良好，达到了最先进的性能。一个解释是DGI，GMI和GRACE不能直接工作在满图上，它们使用[Hamiltonet al.2017年]在其原创作品中。然而，我们采用子采样（随机游走）作为我们的增强技术，这意味着我们的方法可以无缝地工作在这些大型图上。此外，我们的借口任务是专为这样的子采样，这是更适合于大型图。方法Flickr Reddit原始特征20.358.5DeepWalk27.932.4FastGCN48.1±0.589.5±1.2GraphSAGE50.1±1.392.1±1.1Unsup-GraphSAGE36.590.8DGI42.9±0.194.0±0.1GMI44.5±0.295.0±0.0恩典48.0±0.194.2±0.0罗莎51.2±0.195.2±0.0表3：大规模数据集上的归纳学习动态图数据集的结果此外，我们还在动态图上测试了我们的方法。对于对比任务，我们认为相邻的快照是积极的观点，因为进化过程通常是远离锚的镜头被认为是负视角。在CIAW中，每个快照维护时间轴中出现的所有节点，然而，在现实场景中，节点的添加或删除随着时间的推移而发生。因此，在CIAW* 中，我们删除每个快照中的孤立节点以模拟这种情况。请注意，GRACE不能在CIAW*上 工作，因为CIAW* 创建了一个非对齐的情况，而GRACE本质上是一个对齐的方法。从表4中的统计数据来看，RoSA超越了其他竞争对手，在这两种情况下都能很好地工作目前，我们简单地使用具有离散时间范例的静态GNN编码器，其可以被时间GNN编码器取代，我们将把它留给未来的工作。4.4消融研究为了证明RoSA设计的有效性，我们在表4：在动态图上使用GraphSAGE的节点分类。图3：RoSA相同的超参数。首先，我们将基于EMD的信息损失替换为常规余弦相似性度量，表示为RoSA w/o EMD（为了使其在这种情况下可计算，我们限制对比视图的相同数量的节点其次，我们使用EMD的普通成本矩阵，称为RoSA w/o TD。然后，我们删除了对抗性训练过程，表示为RoSA w/o AT。最后，我们采用对齐的视图对比代替原来的非对齐的随机行走，命名为RoSA对齐.为了公平比较，我们保持其他超参数和训练方案相同。结果总结见图3。正如我们所看到的，在没有EMD、对抗训练或校正成本矩阵的情况下，性能会下降，这表明了相应组件的有效性此外，与对齐视图相比，该模型在非对齐条件下取得了相当甚至更好的结果，这表明该模型在一定程度上解决了非对齐图的对比问题。敏感性分析实验见附录D。5结论在本文中，我们提出了一个强大的自对齐框架节点节点图对比学习，我们设计和利用基于图的地球移动然后将无监督对抗训练引入图域，进一步提高模型的鲁棒性。在同构图、非同构图和动态图数据集上的实验结果表明，该模型可以有效地应用于非对齐情况，并优于其他竞争者。此外，在这项工作中，我们采用简单的随机游走与重新启动作为子采样技术，和RoSA可能会取得更好的性能，如果配备更强大的采样方法在未来的工作。+v：mala2277获取更多论文引用[Chen et al. ， 2020] Ting Chen ， Simon Kornblith ，Moham-mad Norouzi，and Geoffrey E.辛顿视觉表征对比学习的一个简单框架。ICML，2020。[Ciotti et al. Valerio Ciotti ， Moreno Bonaventura ，Nicosia，Pietro Panzarasa，and Vito Latora.引文网络中的同源性和缺失链。EPJ数据科学，2016年。[Cuturi，2013] Marco Cuturi.下沉角距离：最佳运输的光速计算. NeurIPS，2013年。[Fey和Lenssen，2019] Matthias Fey和Jan Eric Lenssen。用pytorch geometric进行快速图形表示学习ArXiv预印本，2019年。[Gao et al. ，2021] Tanyu Gao，Xingcheng Yao和DanqiChen. Simcse：句子嵌入的简单对比学习。ArXiv预印本，2021年。[Glorot and Bengio，2010] Xavier Glorot and Yooney Ben-gio.理解训练深度前馈神经网络的困难。InProc. ofAISTATS，2010.[Goodfellow et al. Ian J. Goodfellow，Jonathe Shlens，andChristian Szegedy.解释和利用对抗性的例子。InProc.of ICLR，2015.[Grill et al. ，2020] Jean-Bastien Grill ，Florian Strub ，Flo-re n tA lt c he' ， Core nti nTa ll ec ， PierreH.Richemond ， El en aBu ch atskay a， CarlDo ers ch，Bern ard oA'vilaPires ， Zh ao-han Guo ， MohammadGheshlaghi Azar，Bilal Piot，KorayK avukcuoglu ， Re'miMunos ， andM i c h alVa lko.Bootstrap your own latent-A new approach to self-supervised learning. （ 英 语 ： B oo tstrap your ownlatent- A new approach在Proc. of NeurIPS，2020。[Grover and Leskovec ， 2016] Aditya Grover and JureLeskovec. Node2vec：可扩展的网络特征学习。在Proc. of KDD，2016年。[Hamilton et al. William L Hamilton，Rex Ying，and JureLeskovec.大图上的归纳表示学习。在ICONIP，2017年。[He et al. ，2020] Kaiming He，Haoqi Fan，Yuxin Wu，Sain-ing Xie和Ross B.女孩无监督视觉表征学习的动量对比。在CVPR的程序，2020年。[Hjelm et al. ，2019] R. Devon Hjelm，Alex Fedorov，Samuel Lavoie-Marchildon ， Karan Grewal ， PhilipBachman，Adam Trischler，and Yoonne Bengio.通过互信息估计和最大化来学习深度表示。ICLR，2019年。[Jiao et al. Yizhu Jiao，Yun Xiong，Jiawei Zhang，YaoZhang，Tianqi Zhang，and Yangyong Zhu.可扩展自监督图表示学习的子图对比度，2020年。[Kipf and Welling，2017] Thomas N.Kipf和Max Welling图卷积网络的半监督分类。ICLR，2017年。[Kong et al. Kezhi Kong ， Guohao Li ，Mucong Ding，Zuxuan Wu ， Chen Zhu ， Bernard Ghanem ， GavinTaylor，and Tom Goldstein. Flag：图神经网络的对抗性数据增强。ArXiv预印本，2020年。[Liu et al. ，2020] Songtao Liu ，Zeming Li 和Jian Sun.Self-emd：没有图像的自监督对象检测。ArXiv预印本，2020年。[Madry et al. Aleksander Madry，Aleksandar Makelov，Ludwig Schmidt，Dimitris Tsipras，and Adrian Vladu.深度学习模型抵抗对抗性攻击。ICLR，2018年。[McPherson et al. Miller McPherson ， Lynn Smith-Lovin，and James M Cook.物以类聚：社交网络中的同质性。社会学年度评论，2001年。[Oord et al. 2018] Aaron van den Oord，Yazhe Li，andOriol Vinyals.使用对比预测编码的表示学习。ArXiv预印本，2018年。[Paszke et al. ， 2019] Adam Paszke ， Sam Gross ，Francisco Massa ， Adam Lerer ， James Bradbury ，Gregory Chanan ， Trevor Killeen ， Zeming Lin ，Natalia Gimelshein，LucaAntig a，Alb anDes maison，And reasKo�p f ， Edw ardYang ， Zachary DeVito ，MartinRaison，AlykhanTejani，SasankChilamkurthy，Benoit Steiner，Lu Fang，Junjie Bai，and Soumith Chintala.Pytorch：一个命令式风格的高性能深度学习库。在Proc. of NeurIPS，2019。[Pe d r egos aetal. ，2011]Fa bi anPe d r egos a，Ga eülVaroqu a ux ， Alexandre Gramfort ， Vincent Michel ，Bertrand Thirion ， Olivier Grisel ，Mathieu Blondel，Peter Prettenhofer，Ron Weiss，Vincent Duballe，et al.Scikit-learn：Machine learning in python. 机器学习研究杂志，2011年。[Pei et al. ， 2020] Hongbin Pei ， Bingzhe Wei ， KevinChen- Chuan Chang ， Yu Lei ， and Bo Yang. Geom-gcn：几何图卷积网络。ICLR，2020。[Peng et al. Zhen Peng，Wenbing Huang，Minnan Luo，Qinghua Zheng ， Yu Rong ， Tingyang Xu ， and Jun-zhou Huang.基于图互信息最大化的图表示学习.在WWW上，2020年。[Rubner et al. ，2000] Yossi Rubner，Carlo Tomasi，andLeonidas J Guibas.推土机距离作为图像检索的一种度量方法。国际计算机视觉杂志，2000年。[Sen et al. Prithviraj Sen ， Galileo Namata ， MustafaBilgic ， Lise Getoor ， Brian Galligher ， and TinaEliassi-Rad.网络数据的集体分类。AI杂志，2008年。[Shafahi et al. Ali Shafahi ， Mahyar Najibi ， AminGhiasi ， Zheng Xu ， John P. Dickerson ， ChristophStuder，Larry S.戴维斯加文·泰勒和汤姆·戈尔茨坦对抗训练免费！在Proc. of NeurIPS，2019。[Shchur et al. Oleksandr Shchur，Maximilian Mumme ，Aleksandar Bojchevski和Stephan+v：mala2277获取更多论文Gunnemann.Pitfallofgrap hneuralnettwo rkeva-ation.关系表示学习研讨会，NeurIPS 2018，2018。[Thakoor et al. Shantanu Thakoor，Corentin Tallec，MohammadGh eshl agh iAzar，Re'miMunos，Pet tar V elickovic' ， and dMi c h alVa lko. Bootstrppedrepresent-t-tion learning on graphs.在ICLR 2021年几何和拓扑表示学习上，2021年。[Van der Maaten and Hinton ， 2008] Laurens Van derMaaten and Geoffrey Hinton. 使 用 t-sne 可 视 化 数 据Journal of Machine Learning Research，2008。[Velickovic et al. Petar Velickovic ， William Fedus ，WilliamL. 火腿肠，皮埃特罗·李奥，你是个傻瓜，R.德文·耶尔姆深度图infomax。ICLR，2019年。[Wu et al. ，2021] Lirong Wu，Haitao Lin，ZhangyangGao，Cheng Tan，Stan Li，et al.图上的自我监督：对比、生成或预测。ArXiv预印本，2021年。[You