基于分层任务图的少镜头学习框架FAITH的研究与实验验证

+v：mala2277获取更多论文FAITH：基于分层任务图的王松1，董玉顺1，黄晓2，陈晨1，李俊东11弗吉尼亚大学2香港理工大学{sw3wv，zrh6eb，zrh6du，jundong} @ virginia.edu，xiaohuang@comp.polyu.edu.hk，摘要少镜头图分类的目的是预测图的类别，给定每个类别的有限标记图。为了解决标签稀缺的瓶颈，最近的工作提出了将少量学习框架用于快速适应具有有限标记图的图类。具体地说，这些工作提出在不同的元训练任务中积累Meta知识，然后将这些元知识推广到具有不相交标签集的目标任务。然而，经验方法通常忽略元训练任务之间的任务相关性，同时独立地对待它们。然而，这种任务相关性可以将模型推广到目标任务，以获得更好的分类性能。另一方面，由于大量元训练任务中的复杂组件，利用任务相关性仍然是不平凡的。为了解决这个问题，我们提出了一种新的少镜头学习框架FAITH，通过构建不同粒度的分层任务图来捕获任务相关性。然后，我们进一步设计了一个基于损失的抽样策略来选择具有更多相关类的任务。此外，提出了一个任务特定的分类器，利用学习的任务分类的少镜头分类。在四个流行的少镜头图分类数据集上的广泛实验证明了FAITH优于其他最先进的基线。1介绍图分类旨在预测图样本的类别，并且许多现实世界的问题可以在这种情况下制定[Xuet al. ，2019;Ma等人，2020]。例如，在分子性质预测任务中[Chauhanet al. ，2020]，每个分子被表示为图，并且分子性质被认为是图 标签 。一般来 说， 图 神 经网 络 （ GNNS ） [Kipf和Welling，2017;Veli cko v ic'etal. ，2018;Hami l tonetal. ，2017; Xuetal. ，201 8]由于昂贵的标记过程，性质仅由有限的标记分子组成[Guoet al. ，2021]。除此之外，这种标签缺陷问题也广泛存在于其他图分类场景中[Huang和Zitnik，2020]。为了解决图分类的标签不足问题，近年来已经投入了许多研究工作[Chauhanet al. ，2020;Ma等人，2020;Yao等人，2020]。这些研究通常诉诸于流行的少数学习框架 [Snellet al. ， 2017;Finnet al. ， 2017;Liet al. ，2019;Zhouet al. ，2019年]，它学习一系列元训练任务，并提供快速适应具有有限标记数据的类。具体而言，元训练任务中的图 基于这些图样本，可以进行大量的元训练任务，以确保快速适应目标任务。值得注意的是，目标任务与Meta训练任务共享相似的结构，但从不相交的标签集中采样。在不同的元训练任务中，最近的研究可以积累元知识，然后将这些元知识推广到目标任务。然而，在少样本学习中，每个随机采样的元训练任务仅由几个标记样本组成因此，关于特定类的判别信息可以分散在不同的元训练任务中。例如，毒性性质预测的目标任务与化学活性预测的元训练任务具有比其他任务更强的任务相关性[Guoet al. ，2021] 1.因此，不同的元训练任务本质上是相关的，并且这种隐性相关性可以在提高目标任务的性能方面提供互补的见解。因此，捕捉元训练任务之间的相关性以从各种元训练任务中获得某些类的全面视图是至关重要的。换句话说，这种训练可以帮助将有用的元知识跨不同的元训练任务转移到目标任务[Suoet al. ，2020;Lichelmanet al. ，2020]。然而，据我们所知，现有的少镜头图分类方法独立地处理不同的元训练任务，而不考虑任务相关性[Chauhanet al. ，2020;Ma等人，2020;Yao等人，2020]，这导致次优性能。在分子性能预测。然而，他们的表现显着下降，在少数镜头的情况下[姚等。#20200;，其中，？1通常，固有化学活性是影响分子毒性的重要因素。arXiv：2205.02435v1 [cs.LG] 2022年5月+v：mala2277获取更多论文i=1不i=1联系我们|Y||S|Y∈Y不i=1K尽管捕获任务相关性对于少镜头图分类具有重要意义，但如何正确地表征定义1.少镜头图分类：给定由支持集S={（G i，yi）}NK和这种相关性仍然是一个具有挑战性的问题。基本上，查询集Q={（G′，y′））}Q ，我们的目标是发展一个捕捉不同元训练任务之间的相关性ii i=1需要全面理解它们的构建块（即，类和图样本）以及它们的复杂交互（例如，不同图样本之间的相关性为此，我们建议构建一个分层的任务图，以促进元知识转移到目标任务。具体地，分层任务图由三层组成：在底层，我们在跨越若干元训练任务的不同图样本之间构建关系图;在中间层，在质心之间建立另一关系图（即，原型）;在顶层，我们在不同的元训练任务之间有一个粗粒度的关系图。然后根据Meta训练任务、类和图样本之间的构成关系，构造层与层之间的连接。通过这种方式，可以以更全面的方式捕获任务相关性。此外，为了促进不同元训练任务之间的知识转移，我们提出了一种新的基于损失的采样策略，对具有较强相关性的元训练任务进行采样，并在此基础上构建一个细化的分层任务最后，为了说明每个元训练任务的独特信息，我们学习每个元训练任务在分层图中的嵌入，并将这些嵌入纳入预测模型。这项工作的主要贡献归纳如下：• 我们研究了一个重要的问题，少镜头图分类和显示的重要性，捕捉不同的元训练任务之间的相关性。• 我们设计了一个分层的任务图，以有效地捕捉任务的相关性，以及一个基于损失的策略，以构建一个更好的任务图和一个特定于任务的分类器，将任务信息进行分类。• 我们在四个广泛使用的图分类数据集上进行了大量的实验，实验结果验证了我们提出的框架的优越性。2问题定义在少镜头图分类中，目标任务由NK标记样本{（Gi，yi）}NK作为支持集S和Q机器学习模型，可以学习跨T训练不同元训练任务的元知识i，iT训练以及从少镜头标签集合Y f中预测目标任务的查询集合中的图样本的标签。3拟议框架在本节中，我们详细介绍了我们提出的框架FAITH如图1所示，为了捕获元训练任务之间的任务相关性，从而促进元知识转移和适应，我们以自下而上的方式为每个元训练任务构建三层分层任务图。具体来说，对于每个当前的元训练任务，我们通过基于损失的采样策略对P个额外的任务进行采样，称为支持任务。然后，这些P+1任务（包括当前任务）形成分层任务图。在这里，三层由图形组成样本节点，原型节点（即，任务中同一类的图样本的质心）和任务节点。以这种方式，来自不同任务的图样本和原型中的相关性可以在任务之间聚合和然后，特定于任务的分类器利用从分层任务图中学习的任务嵌入来对查询集进行分类。因此，从其他任务中转移的Meta知识可以有益于每个任务的分类。接下来，我们将详细介绍这三个关键步骤。3.1支持任务的基于损失的抽样我们的目标是对支持任务进行采样，为每个元训练任务构建一个分层任务图;然而，随机采样可能会导致任务之间的巨大差异导致任务相关性不足。因此，为了减少任务方差，我们建议对具有相关类的任务进行采样。我们假设特定类的相关类应该由具有相似分类结果的图样本组成。因此，我们使用一个分类器来找到一个任务的相关类。然后将分类概率作为每一类的抽样概率。假设我们随机抽取了一个元训练任务0，其支持集由NK个图样本组成，其中N个类中的每个类由K个图样本组成。值得注意的是，这N个类是从Yt采样的，其中样品′ ′Qi=1 查询集要保密|= C和N=| Yf| ≤C.|≤ C. 要对具有{（Gi，yi））}i=1，与T0的强相关性，我们需要对这里，每个样本是一个图G i，其标签为y if，其中f是每个类别具有有限样本的少数样本标签集。此外，委员会认为，f=N， =NK，这意味着支持中的N个类中的每个类都有K个标记样本与0中的类相关。因此，我们建议获得采样概率（即，类被采样的概率这里我们用zj∈RD表示第j个图集这样，这个问题就称为N路K点图分类问题.用有限的标签我T中维数为D的第i类样本0，学习与样本，我们建议积累元知识，T训练不同的元训练任务{Si，Qi}T训练。Meta-GNNe.然后，采样概率被生成为：1年j训练任务在与目标任务相同的设置中被采样，不同之处在于样本是从辅助数据中提取的。辅助数据具有丰富的标记图样本，10）=0.0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000K+v：mala2277获取更多论文i=1j=1zi）），（1）与目标任务不同的标签集Yt，这意味着其中pi∈RC是第i个pro-c的采样概率Yt Yf=。鉴于上述情况，研究的问题很少-所有C类的类型最终抽样概率为镜头图分类可以用公式表示如下：通过平均计算：p=<$Npi/N，其中p∈RC为+v：mala2277获取更多论文所有输入图形样本1类当前任务S Q任务当前任务原型样本（图表）支持任务1支持任务P任务级图支持任务12类SQ样品P+1任务原型级图3类支助任务GNN样本级图SQTT.Σ联系我们不∈∈∈H样品HNi、ji、j泰恩斯M=（NK+Q）（P+1）图形样本总数，S0，否则GNNGNNGNN任务嵌入原型嵌入样品包埋逐元素乘积投影损失采样阶段分层构造阶段少炮分类图1：我们提出的模型FAITH在元训练任务中的说明，该任务由三个阶段组成。在抽样阶段，对当前任务和P个支持任务进行抽样，构造支持集和查询集。然后，我们学习所有图样本的嵌入，作为样本级图中节点的输入嵌入。在分层构建阶段，构建三层图，并以自底向上的方式执行聚合。最后，任务、原型（类的表示）和图样本的输出嵌入被聚合以用于少镜头分类。所有C类的最终抽样概率。为了在训练过程中改进采样策略，我们计算采样概率的损失如下：样本水平图：由于每个任务由多个图样本组成，任务相关性在很大程度上存在于图样本之间。因此，我们首先N C 构建一个样本级图，该图由所有图样本组成L=-1ylogp，（2）i=1j=1P +1任务。这样，样本级图就可以S其中，如果第i个原型属于所有C类中的第j个类，则yi，j =0，1和yi，j=1;否则yi，j=0。pi，j表示pi的第j个元素。通过这种方式，将采样损失纳入模型训练以改进采样过程。根据p，我们可以对N个不同的类进行从所有的C类中创建一个新的任务。通过这种方式，我们确保新任务中的类与0中的类更相关，使得新任务可以具有更强的0任务相关性。与0类似，对于N个类中的每一个类随机采样K个图样本，这形成了具有NK个图样本作为支持集的新任务此外，Q查询图样本被采样以形成该任务的查询集。在重复该过程P次之后，我们获得P个支持任务T1，T2，. . . ，TP用于分层任务图。3.2构建分层任务图尽管我们选择了与以下因素有很强相关性的任务，分层任务图，它仍然是具有挑战性的上限-结在此样本级别图中，来自不同的图形样本连接ENT任务以捕获样本级相关性。具体来说，样本中节点的输入嵌入水平图表示为ZsRMs×D，通过嵌入模型GNNe获得。D表示嵌入大小。为了捕捉图样本之间的相关性，我们学习邻接矩阵As来对连接进行建模特别地，我们提出基 于 节 点 嵌 入 和 标 签 信 息 来 学 习 邻 接 矩 阵 ：As=A′s+A′s′，其中As，A′s和A′s′RMs×Ms。 这里As表示最后的ad-雅可比矩阵，A′s和A′s′是从节点em学习的床上用品和标签信息。 基于余弦相似性，我们得到A′s（i，j）=cos（ZS（i），ZS（j）），其中ZS（i）RD表示ZS 的第i行向量.然后基于样本的标签学习A′s′：A′ ′（i，j）=. 1，如果yi=yj，（3）找出这些任务之间的内在联系原因是这些任务具有不同的图样本和类的分布。因此，我们建议建立一个三层的分层任务图，以捕捉任务的相关性。具体地，分层图包含由图样本节点、原型节点（即，每个任务中不同类的质心）和任务节点。此外，层之间的连接是建立在任务，类和图形样本的组成关系的例如，图样本节点连接到下一层中的对应原型节点。通过这种方式，可以利用图样本和类全面地捕获任务相关性为了在每一层中构建图，我们建议利用一种新的相似性学习策略，基于标签信息和节点嵌入来学习该图的邻接矩阵。下面介绍这三层的详细施工过程其中yi=yj表示第i个和第j个样本属于同一类。 通过这种方式，标签信息与节点嵌入相结合，以建立图样本之间的连接。使用As，我们执行消息传播：Hs=GNN（s）（Zs，As），（4）其中Hs∈RMs×Ds表示GNN（s）的输出节点嵌入，Ds是输出维度大小。然后，在下一层（即，原型级图），我们提出学习权重以将样本嵌入聚合在与对应的原型节点嵌入相同的类中。通过这种方式，原型级图的输入原型嵌入是从其图样本中获得的，这些图样本已经吸收了来自具有强解释性的其他任务的知识。为了生成聚合权重，我们应用另一个······+v：mala2277获取更多论文GH∈GSS∈∈∈∈i、j∈拉克西i、ji、j∈Li、j我J响应任务节点以获得最终的输入嵌入i、jj=1i、jGNN模型：Gs=GNN（s）（Zs，As），（5）向量Zt。然后用另一个GNN模型执行消息传播：Ht=GNN（t）（Zt，At），其中Ht∈ R（P +1）×Dt表示输出任务节点嵌入。其中GsRMs×1表示每个样本节点，GNN（s）的输出维度大小为1。应该注意的是，我们假设查询样本是未标记的，因此聚合步骤仅在支持样本上执行。 然后为下一层中的第i个原型节点产生输入嵌入（即，原型级图），我们如下利用其K个图样本执行聚合我们首先从Gs和Hs中提取其对应的K项Dt是任务级图的输出维度大小。到目前为止，我们已经构建了由三层组成的分层任务图以这种方式，任务相关性被捕获在不同的粒度，并促进所有任务之间的元知识的转移3.3特定任务少镜头分类在这一部分中，具体介绍了任务小镜头分类的过程从而形成Gi∈RK×1和Hi∈RK×Ds。然后是softmax详细描述。 现在从分层任务图中，我们已经获得了图SAM的全面嵌入函数用于归一化权重：Zp（i）=softmax（Gi）THi，（6）程序、原型和任务。这些嵌入是通过任务之间的相关性来学习的，这可以提供更多S s有用的分类知识。 所以我们提出其中Zp（i）∈ R1×Ds表示第i个原型的嵌入（即，ZpRN（P+1）×Ds的第i行向量这些原型嵌入将被用作下一层的输入节点嵌入，该下一层由N（P+1）个原型节点组成（因为每个任务具有N个类）。原型级图表：为了捕获原型之间的任务相关性，我们建议构建一个原型级图，该图由P+1任务中的所有原型组成。由于样本级图中的相关性已经聚合到原型嵌入中，因此我们可以连接这些原型节点以传播来自不同任务的原型信息这样，可以经由消息传播在原型之间捕获任务相关性。 同样，对于P+1任务，我们有结合每个任务中学习到的嵌入，对查询图样本进行特定于任务的分类。通过这种方式，每个任务的唯一信息可以被合并到分类过程中以获得更好的性能。具体来说，我们结合原型和任务嵌入与图样本嵌入进行分类，其中所有三种类型的嵌入都是从历史任务图中学习的图样本、原型和任务的嵌入矩阵分别为HsRMs×Ds、Hp RMp×Dp和HtR（P+1）×Dt，其中M s=（NK+Q）（P+1）和Mp=N（P+1）。 这是notwor-即在每个训练步骤中，对所有P+1个任务中的查询样本进行分类优化，而在测试过程中，只对目标任务中的查询样本进行分类。这里我们将sk和pk表示为第i个查询总共Mp=N（P+1）个原型然后一个原型级的i j图是以原型为节点构建的，输入节点sample和第j个prototype分别在第k个任务嵌入Zp∈RMp×Ds 是通过聚合获得的，tk表示第k个任务的表示。将原型和任务中的信息合并到分类样本级图的处理过程为了生成广告-在此图的邻接矩阵中，我们以与样本级图相同的方式利 用 标 签 信 息 和 节 点 嵌 入 来 学 习 邻 接 矩 阵 ：Ap=A′p+A′p′。类似地在这个过程中，我们根据它们相应的原型和任务的嵌入对图样本进行分类。特别地，我们建议利用投影点积来计算分类分数：对于样本级图，A′p和A′p′是从em学习zK=（sk）TW（pk<$tk），（7）有了学习的Ap，我们还应用了另外两个GNN mod-其中zk表示第i个图的分类得分（p）（p）i、j使GNNh和GNNg分别执行消息传播和聚合原型节点，方式与第k个任务中第j个类的样本，W∈RDs×Dp 是可训练参数矩阵。 表示sample-l向量图。 具体地说，输出嵌入了元素式生产。归一化后z<$k=这一层的Hp∈RMp×Dp被聚集成它们的核-（P+1）×下一层的Dp，其中D是输出exp（zk）/（Nexp（zk）），则分类损失为（P+1）N QZtRp原型级图的维度大小。任务级图表：L级1=−（P+1）Qk=1Ki、ji=1j =1logz<$k，（8）最后，为了明确地描述任务相关性，我们建立了其中yk∈ {0，1}表示第i个样本是否属于任务级图，由P+1个任务作为节点组成。第k个任务中的第j个类ki，j代表了正确的-任务相关性从上一层聚合到每个任务节点，消息在该层的不同任务之间传播通过这种方式，可以捕获任务相关性并促进元知识的转移。利用从前一层获得的输入任务嵌入ZtR（P+1）×Dp，我们首先基于任务节点嵌入学习邻接矩阵At：cos（Zt（i），Zt（j）），其中Zt（i）∈RDp 表示第i行自动分类评分。 加上损失的亲-在采样过程中引入，最终损耗变为L=L类+αL样本，（9）其中α是样本的权重超参数。训练结束后，对目标任务进行同样的过程进行评估。状态。然而，支持任务也是从Yt采样的，因为Yf是不z<$原型的垫料和标签信息+v：mala2277获取更多论文可行的。因此，训练和评估之间的唯一区别是当前任务来自Yf。+v：mala2277获取更多论文联系我们YY表1：所有方法在四个基准数据集上使用不同的少次设置的结果。最佳结果以粗体显示方法Letter-high ENZYMES TRIANGLES Reddit-12 K5发10发5发10发5发10发WL65. 27± 7。6768. 39± 4。6955. 78± 4。7258. 37± 3。8451. 25± 4 0253. 26± 2。9540。26± 5。174257± 3。6933. honeymoon 76± 6。9437. 59± 4。6053. 17± 5 9255。30± 3。78 40. 17± 3。1843. 76± 3。九点三十三分。76± 6。9437. 59± 4。60PN68. 48± 3。2872. 60± 3。0153. 72± 4。37 55. 79± 3。9569. 56± 3。9773. 12± 3。六四四十二31± 2。3243. 23± 2。01第51章. 14± 4。215254± 4。0441. 39± 4。七三四三。27± 3。4946. 09± 3。1049. 15± 3。4934. 89± 3。7637. 76± 3。09GSM69. 91± 5。9073. 28± 3。六四五十五42± 5。7460. 64± 3。8471. 40± 4 3475. 60± 3。6741. 59± 4。124567± 3。6869. honor 44± 0。7575. 93± 0。5349. 83± 1。1252 30± 1。4378. 42± 0。6780. 39± 0。5636. 96± 0。7441. 47± 0。8371. honor 55± 3。5876. 65± 3。26 57. 89± 4。六十五六十二。16± 4。1179. 59± 4。0580. 79± 3。53 42. 71± 4。184663± 4。014实验在本节中，我们在少量场景中对四个广泛使用的图分类数据集进行了FAITH然后，我们进一步展示了我们的框架的不同模块如何有助于分类性能。代码和数据可在https://github.com/SongW-SW/FAITH上获得。4.1数据集我们遵循[Chauhanet al. ，2020年]评估我们的框架上的四个处理图分类数据集，字母高，酶，三角形和我们采用Adam [Kingma and Ba，2015]，学习率为0.001，辍学率为0.5，损失权重α=1。训练步数Ttrain和目标任务Ttest分别设置为1000和2004.3总体评价结果我们在表1中通过不同的方法展示了少镜头图分类的性能。具体来说，为了证明不同大小的支持集的分类性能，我们显示了每个类具有5个和10个支持样本的结果（即，射击次数）。结果[Reddit-12K。Letter-high包含表示dis的图形WL，Graphlet和GSM的数据来自Chauhanet酶含有三级蛋白质结构。TRIANGLES由10个不同的类组成，表示每个图中三角形/3-团的数量，Reddit-12 K包含对应于线程的图，其中节点表示用户，边表示交互。详细统计数字见表二。表2：所用数据集的详细统计数据。数据集|/|Y t |#图形|# Graphs 节点数 边缘数量信高4/11 2，250 4.67 4.50酶2/460032.6362.14三角形3/72,00020.8535.50Reddit-12K4/71,111391.41456.894.2实验设置为了验证我们提出的框架的有效性，我们比较了它的性能与不同的基线。对于图核方法，我们比较WL核[Shervashidzeetal.，2011]和GraphletKernel[Shervashidzeet al. ， 2009]。 我们 还 比较 了 原型 网 络[Snellet al. ，2017]和关系网络[Sunget al. ，2018]这是经典的几次学习方法。对于少拍图分类方法，我们比较了两 个 最 近 的 作 品 ： GSM [Chauhanetal. ， 2020] 和 AS-MAML [Maet al. ，2020]。所有基线和我们提出的框架FAITH都是基于PyTorch实现的[Paszkeet al. ，2017]。我们采用分类准确率作为评价指标。我们遵循[Chauhanet al. ，2020]来将每个数据集中的类分成训练类t和测试类f。我们指定K5，10和Q=10，其中K是每个类的标记图样本的数量，Q是每个任务中未标记图样本在每个训练步骤期间的支持任务P的数量分层任务中使用的GCN维度[Kipf和Welling，2017]图设为Ds=Dp=Dt=300。我们利用5层GIN [Xu et al. ，2019]，其中隐藏维度D=128作为嵌入模型GNN e。对于模型优化，al. ，2020]，并通过我们的实验获得了其他结果。从结果中，我们可以观察到，我们提出的框架FAITH在具有不同数量的支持样本的所有数据集中优于所有其他基线，这验证了FAITH在少镜头图分类上的有效性。同时 ， 原 型 网 络 [Snellet al. ， 2017] 与 最 近 的方 法 AS-MAML [Maet al. ，2020]和GSM [Chauhanet al. ，2020年]，这表明与GNN相结合，传统的少量学习框架也可以实现类似的结果。此外，FAITH相对于其他基线的改善略高于ENZYMES。原因在于，在这个真实世界的分子图数据集中，任务相关性更强，从而将更多有益的Meta知识转移到每个任务以进行分类。同时，我们的模型可以更好地利用这种任务之间的相关性，通过层次任务图。此外，当增加支持样本的数量（即，发射次数）从5到10，所有方法的性能都有不同程度的提高。同时，信念也得到了更显著的提高。原因在于，任务中较大的支持集可以为其他任务提供更强的任务相关性。4.4消融研究在这一部分中，我们通过在5次射击设置上使用三种变体进行消融研究，同时将支持任务P的数量从1改变到20，来验证FAITH的三个基本模块的重要性。 为了验证基于损失的抽样策略的影响，我们将其替换为随机抽样作为第一个变体，该变体忽略了不同类中的方差。第二种变体去除了复杂的任务图，通过平均每个任务中的所有图样本嵌入最后一个变体用基于欧几里得距离的分类器替换任务特定的分类器，这意味着任务特定的信息不被并入分类过程中Letter-high和ENZYMES数据集上的FAITH消融研究结果见图2。从+v：mala2277获取更多论文结果，我们观察到，所有这三个模块发挥至关重要的作用，在信仰。具体而言，分层任务图的移除导致少镜头图分类性能的大幅下降。此外，基于损失的采样策略带来了可观的性能提高。更重要的是，在没有特定于任务的分类器的情况下，通过增加支持任务的数量所带来的性能改善不那么令人印象深刻，这表明了该模块在任务之间传递元知识方面的重要性(a) Letter-high结果（b）酶结果图2：Letter-high和酶的消融研究。4.5Q和P的影响在本小节中，我们进行实验，以显示每个元训练任务中的查询实例数量Q和分层任务图中的支持任务数量P如何影响我们提出的模型FAITH的性能。图2（FAITH曲线）和图3报告了在Letter-high和ENZYMES数据集上改变P和Q具体地，当我们改变P的值时，Q被设置为10，并且类似地，当Q的值改变时，P被设置为10从图2和图3中，我们可以观察到，在训练期间涉及更多的查询样本（即，增加Q的值）稍微增加了性能，因为更大数量的训练样本有助于减轻过拟合问题。此外，FAITH的少镜头图分类结果首先随着P的增加而增加。这是因为由更多支持任务组成的层次任务图可以构建更复杂的任务关联，从而有利于元知识的传递。然而，随着支持任务数量的进一步增加，性能略有下降，这是由于冗余的无关元知识从其他任务转移到目标任务。在测试过程中，元训练任务中会有更多的图样本，这可能会将冗余知识传播到当前测试任务中。然而，我们提出的模型FAITH始终优于最先进的模型AS-MAML，这也证明了FAITH的有效性。(a) 字母高的结果（b）酶图3：关于FAITH和AS-MAML在两个数据集上的查询样本数量的准确性。5相关工作5.1图分类图分类的任务是从一个给定的标签集中为每个未标记的图分配一个类标签。现有的图分类方法可以大致分为两类。第一类是基于图核的图间相似性度量，经典图内核包 括 Graphlet [Shervashidzeet al. ， 2009] 和 Weisfeiler-Lehman [Shervashidzeet al. ，2011]。第二类利用图神经网络（GNN）[Kipf和Wel l ing，2017; Xuetal. ，2019; Veli cko vi c′etal. ，2018;Baiet al. ，2019;Xuet al. ，2018]，以通过利用特定的聚合机制递归地传递来自其邻居节点的消息来学习节点的区别性嵌入。然后将节点嵌入聚合以获得图的全局嵌入。例如，SAGPool [Leeetal. ，2019]提出了一种自注意力池机制，同时考虑节点特征和图形拓扑。Graph U-net[Gao and Ji，2019]基于池化和解池化的两个逆操作设计了一个编码器-解码器模型。5.2少数学习少样本学习的目的是为训练样本数量有限的类学习一个好 的 分 类 模 型 [Xionget al. ， 2018;Zhanget al. ，2019;Wanget al. ，2021; Tanet al. ，2022]。通常，有两种类型的少量学习：基于度量的模型和基于优化的模型。前一种类型的目标是学习一个有效的距离度量与一个精心设计的匹配函数来衡量类之间的距离。然后，查询集中的样本可以根据它们与支持集中的样本的距离进行分类。一个经典的例子是匹配网络[Vinyalset al. ，2016]，其通过查询样本和每个支持样本之间的相似度输出对查询样本的预测。后一种类型的方法通过对少数样本的梯度下降来优化模型参数，使得模型可以被快速地generalize到新的类。例如，MAML [Finnet al. ，2017]在每个任务中使用几个梯度下降步骤更新参数，以快速适 应 新 数 据 ， 而 基 于 LSTM 的 元 学 习 器 [Ravi 和Larochelle，2016]学习不同的步长以实现更有效的模型优化。6结论本文研究了标记图不足引起的少射图分类问题。我们提出了一种新的少镜头框架FAITH，建立了一个分层的任务图，以捕捉元训练任务之间的任务相关性，并促进元知识转移到目标任务。为了解决构建任务图所带来的相关挑战，我们建议利用基于损失的采样策略来对任务图中具有更强相关性的任务进行采样。我们进一步利用学习到的任务嵌入，将特定于任务的信息纳入分类过程。在四个广泛使用的图数据集上的大量实验结果表明，FAITH在少数图分类上优于其他最先进的基线。此外，消融研究也验证了FAITH中每个模块的有效性。+v：mala2277获取更多论文7致谢Song Wang、Yushun Dong和Jundong Li部分由美国国家科学基金会（NSF）资助，资助号为2006844。引用[Bai et al. Yunsheng Bai，Hao Ding，Song Bian，TingChen，Yizhou Sun，and Wei Wang.Simgnn：一种快速图相似度计算的神经在WSDM，2019年。[Chauhan et al. Jatin Chauhan，Deepak Nathani和ManoharKaul。基于图谱测度的超类图的少镜头学习。2020年，在ICLR。[Finn et al. Chelsea Finn ， Pieter Abbeel ， and SergeyLevine.模型不可知元学习用于深度网络的快速适应。在ICML，2017年。[Gao and Ji，2019] Hongyang Gao and Shuiwang Ji.图u网。2019年，在ICML[Guo et al. Zhichun Guo，Chuxu Zhang，Wenhao Yu，John Herr ， Olaf Wiest ， Meng Jiang ， and Nitesh VChawla.用于分子性质预测的少镜头图学习。在WWW上，2021年。[Hamilton et al. William L Hamilton，Rex Ying，and JureLeskovec.大图上的归纳表示学习。在NeurIPS，2017年。[Huang和Zitnik，2020] Kexin Huang和Marinka Zitnik。通过局部子图进行图Meta学习。2020年，在NeurIPS中。[Kingma and Ba，2015] Diederik P Kingma and Jimmy Ba.Adam：随机最佳化的方法。2015年，国际会议。[Kipf and Welling ， 2017] Thomas N Kipf and MaxWelling.图卷积网络的半监督分类。在ICLR，2017年。[Lee et al. Junhyun Lee，Inyeop Lee，and Jaewoo Kang.自我注意力图池。2019年，在ICML[Li et al. ， 2019] Huayyu Li ， Weiming Dong ， XingMei，Chongyang Ma，Feiyue Huang，and Bao-GangHu. Lgm- net：学习生成匹配网络，用于少量学习。2019年，在ICML[Lichelmanetal.2020]MosheLicheli ， PrasannaSattigeri ， Rogerio Feris ， Raja Giryes ， and LeonidKarlin-sky. Tafssl：用于少数镜头分类的任务自适应特征子空间学习。在ECCV，2020年。[Ma et al. 马宁、卜嘉俊、杨洁瑜、张震、姚成伟、俞智、周胜和严熙凤。用于少镜头图分类的自适应步长图元学习器在CIKM，2020。[Paszke et al. Adam Paszke ， Sam Gross ， SoumithChintala ， Gregory Chanan ， Edward Yang ， ZacharyDe- Vito ， Zeming Lin ， Alban Desmaison ， LucaAntiga，and Adam Lerer. pytorch中的自动微分。在NeurIPS，2017年。[Ravi and Larochelle ， 2016] Sachin Ravi and HugoLarochelle.优化作为一个模型，为少数拍摄学习。2016年，在ICLR[Shervashidze et al. Nino Shervashidze ， SVN Vish-wanathan，Tobias Petri，Kurt Mehlhorn，and KarstenBorg-wardt. 用 于 大 型 图 比 较 的 高 效 图 核 。 载 于AISTATS，2009年。[Shervashidzeetal.NinoShervashidze，PascalSchweitzer，Erik Jan Van Leeuwen，Kurt Mehlhorn，and Karsten M Borgwardt. Weisfeiler-Lehman 图 核 。Journal of Machine Learning Research，2011。[Snell et al. 2017年]杰克·斯内尔，凯文·斯沃斯基和理查德·泽梅尔。用于少次学习的原型网络。在NeurIPS，2017年。[Sung et al. Flood Sung，Yongxin Yang，Li Zhang，TaoXiang，Philip HS Torr，and Timothy M Hospedales.学习比较：用于少数学习的关系网络。在CVPR，2018年。[Suo et al. 索 秋 玲 ， 周 敬 源 ， 钟 伟 达 ， 张 爱 东 。Tadanet：用于图丰富元学习的任务自适应网络。在SIGKDD，2020年。[Tan et al. Zhen Tan，Kaize Ding，Ruocheng Guo，andHuan Liu.图少数镜头类增量学习。在WSDM，2022年。[Velickovic 'etal.，2018]PetarVelickovic'，GuillemCucurull，ArantxaCasanova，AdrianaRomero，PietroLio`，andYoonge Bengio.图注意力网络。2018年，在ICLR[Vinyals et al. Oriol Vinyals，Charles Blundell，TimothyLillicrap，Daan Wierstra等人，Matching networks forone shot learning. InNeurIPS，2016.[Wang et al. ， 2021] Song Wang ， Xiao Huang ， ChenChen，Liang Wu，and Jundong Li.改革：错误意识少拍知识图完成。在CIKM，2021年。[Xiong et al. 熊文涵，莫宇，常世宇，郭晓晓，王阳。知识图谱的一次性关系学习。在EMNLP，2018年。[Xu et al. Keyulu Xu ， Chengtao Li ， Yonglong Tian ，Tomohiro Sonobe ， Ken-ichi Kawarabayashi ， andStefanie Je