混合少样本学习的拓扑转换" - 任务自适应异构网络解决数据稀缺性挑战

3134→混合少样本学习的拓扑转换摘要陈嘉仪弗吉尼亚大学美国弗吉尼亚州夏洛茨维尔jc4td@virginia.edu张爱东弗吉尼亚大学美国弗吉尼亚州夏洛茨维尔aidong@virginia.edu1引言从互联网上挖掘信息知识和分析内容是一项具有挑战性的任务，因为Web数据可能包含缺乏足够标记数据的新概念，并且可能是多模态的。小样本学习（FSL）在处理几乎没有标记的概念方面吸引了大量的研究关注。然而，现有的FSL算法已经假设了统一的任务设置，使得少数拍摄任务中的所有样本共享公共特征空间。然而在实际的Web应用中，由于源数据的异构性，一个任务通常会涉及多个输入特征空间，即任务中的少量标记样本可能会被进一步划分，属于不同的特征空间，即混合少样本学习（hFSL）。hFSL设置导致每个空间中每个类别的混合射击数量，并随着每个空间中每个类别的训练样本数量的减少而消除了数据稀缺性挑战。为了克服这些挑战，我们提出了任务自适应拓扑转换网络TopoNet，它训练了一个异构的基于图的转换元学习器，可以将来自标记和未标记数据的信息结合起来，以丰富关于特定任务的数据分布和多空间关系的知识。具体来说，我们在一个节点异构的多关系图中建模少镜头任务的底层数据关系，然后元学习器通过一个边缘增强的异构图神经网络来适应每个任务我们的实验与现有的方法相比，证明了我们的方法的有效性。CCS概念• 计算方法学机器学习方法多任务学习;分类和回归树。关键词多模态内容分析，少样本学习，半监督学习，图神经网络ACM参考格式：陈 嘉 仪 和 张 爱 东 2022 年 混 合 少 镜 头 学 习 的 拓 扑 转 换 在 ACM WebConference 2022（WWW'22）的会议记录中，2022年4月25日至29日，虚拟活动 ， 法 国 里 昂 。 ACM ， NewYork ， NY ， USA ， 9 页 。https://doi.org/10.1145/3485447.3512033允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上有本声明和完整的引用。版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.3512033随着万维网的迅速发展，互联网上的数据量巨大，并将继续增加。从如此海量的数据中手动分析和获取相关信息不仅耗时而且不可能，这使得使用机器学习和深度学习技术开发智能Web挖掘和Web内容分析势在必行[2，14，16]。然而，应用机器学习来分析数据并从互联网中挖掘信息知识是一项具有挑战性的任务。挑战之一是互联网上的一些概念可能没有足够的标记数据。例如，由于Web的后续演变，新概念每天频繁出现（例如， 新餐馆、新技术或工具以及新发现的动物），但可能没有足够的注释。由于基于深度学习的Web挖掘的成功高度依赖于大量的标记数据和详尽的训练，缺乏足够的注释使得难以从几乎没有标记的Web概念中学习。少样本学习（FSL）最近受到了广泛关注，因为它具有从少量标记数据中学习的吸引力[8，18，21，22，22，28，29，32，43]，这有可能改善Web内容分析，特别是对于几乎没有标记的内容没有太多注释。FSL的主要目的是通过利用上下文和先验知识，从少量示例中快速学习新概念，这模拟了人类理解概念的能力。如[8]中所定义的，少量任务是指训练和测试过程，旨在在一小组标记的训练数据（支持集）的监督学习该任务中数据的类分布，然后在一组未标记的测试数据（查询集）上进行测试。 图1（a）示出了N路K次分类任务的示例，其中需要从每个类的K个标记样本中学习N个类。FSL的方法通常遵循元学习范式-给定在一组基类上解决少量任务的经验，元学习旨在提取可以作为先验知识（也称为元知识）的领域通用信息，以提高新概念的学习效率和性能[12]。然而，大多数现有的FSL方法假设一个定义良好的统一的少数拍摄任务设置，其中任务内的所有样本拥有相同的特征空间。例如，如图1（a）所示，在标准的N路K次单模态分类任务中，所有样本的模态都是相同的，并且具有相同的特征空间。现有FSL方法的这种假设将限制其在数据更复杂、多模态和非同分布的web领域中的适用性。Web内容以视频、图像、文本、音频等不同的形式传递给用户，通常概念由一种以上的模态组合来表示。例如，“猫”可以是一张图片、一段描述或一段带有标题的视频。WWW陈嘉仪，张爱东3135图1：均匀和混合FSL之间的比较绿色矩形内的彩色形状表示训练样本。在每个任务中，不同的颜色表示不同的类（概念）。红色矩形内的空心形状表示未标记的测试点。注意，在情况2中，每个灰色区域表示数据样本，其中样本可以包含多于一个模态。由于Web数据的异构性和混合性，如何处理异构信息是FSL在Web上应用为了弥补这一不足，本文定义并研究了一种新的混合少次学习问题，它与均匀少次学习问题相反，但被大量文献所在hFSL中，我们认为一个概念可以由不同类型的数据或不同的模态组合来表示。也就是说，在一个少数拍摄任务中的样本可以进一步划分和分布在不同的特征空间。 图1（b）显示了混合5路1次分类任务的两个示例，其中样本可能在其特征空间方面彼此偏离。混合FSL是Web领域不可避免的问题 Web数据可能经常缺失或不可访问，因此统一的多模态FSL通常会变成hFSL，因为在Web场景下可能会丢失某些模态。具有不规则模态缺失的多模态少镜头任务是典型的混合少镜头任务。hFSL的一个关键属性是由于多个输入特征空间的存在而导致的数据的异质性，这导致两个挑战。首先，与均匀FSL相比，hFSL中的数据稀缺性问题将加剧具体地，由于每个类的少量标记样本可以分布在不同的特征空间中，因此在每个空间中，每个类将存在较少的标记数据（即，更少的射击）或甚至在某些类中没有可用的训练数据（即，零射击）。也就是说，可以减少每个空间中的训练样本的数量。例如，考虑图1（b）中所示的任务情况-1，在类-2中没有模态1训练数据，因此模态1的类-2是零激发情况。第二，对于混合K次分类任务，每类K个样本的不均匀分割将导致每类标记样本的混合数量（即， 混合镜头）在每个空间中。通常，模型被设计用于训练和测试具有相同输入空间的数据然而，每个空间中训练样本数量的减少和混合可能会给模型训练带来困难。尽管可以考虑训练对齐函数以统一来自异质空间的训练数据，但是这种任务特定的对齐函数的准确性仍然依赖于每个输入空间中的有限数量的支持示例。为了缓解hFSL的数据稀缺性和混合镜头问题，我们建议将混合少数镜头任务制定为一个转导学习任务，它最大限度地利用任务中的可用信息来丰富我们对目标概念的知识，同时学习异构数据之间的潜在关系用于少数学习的直推推理通常利用查询样本来改进特定于任务的知识提取[20，25，45]。 受此启发，我们提出了一个转导元学习器，它可以合并一些未标记的数据，其中包含的信息是不具备的标记样本。直观地说，我们的关键思想是联合学习任务中的所有样本与异质空间，以便模型可以获得有关空间之间关系和数据分布的额外信息（来自未标记数据），以做出更好的预测。特别地，我们的目标是学习特定于任务的关系：1）异质输入空间之间的关系，以及2）同一类内的样本（类内样本）或属于不同类的样本（类间样本）之间的关系，其中任务内的底层数据关系由于数据异质性而复杂且难以学习。为 了 实 现 这 些 目 标 ， 我 们 提 出 了 自 适 应 拓 扑 转 换 网 络（TopoNet），一个基于图神经网络的hFSL的转换少镜头学习框架基本上，我们引入了一个拓扑转换元学习器，它可以通过同时探索概念之间的关系以及数据的异质特征空间之间的关系来学习任务的类分布。 我们显式地建模一个图结构来连接任务中的所有样本以执行转换;边缘表达地连接类间和类内样本以及桥接异构样本，这有助于利用多空间关系和数据语义相似性。为了同时捕获多空间关系和类间和类内数据关系，我们首先从原始多空间特征构建节点异构多关系图，然后我们提出边增强异构图神经网络来逐层交替更新边和节点特征，其中异构输入空间逐渐统一，同时利用边特征来合并类间和类内关系。我们的贡献概述如下。我们研究了一种新的混合少镜头学习问题，其中一个任务涉及多个特征空间，并包含一个混合的镜头数，每个类在每个空间。 据我们所知，我们是第一个考虑数据异构性的问题，在少数标记的情况下，旨在学习新的概念，几乎没有标记和异构的Web内容。我们提出TopoNet克服hFSL的数据稀缺性和混合拍摄的挑战，通过建模一个可学习和概括的拓扑结构。在均匀和混合少镜头任务上的实验结果表明，我们的框架优于现有的方法。2相关工作用于少镜头分类的元学习 最近的元学习方法可以分为两类：归纳和trans-ductive few-shot分类。归纳式少镜头学习一直是···混合少样本学习的拓扑转换WWW3136不ST∈电子邮件电子邮件公司简介TBT {ST QT}（∈|）QT{（）（）}T不（B）B（·）联系我们比传导性少次学习更广泛地被研究 归纳方法主要包括基于度量的算法和基于优化的算法。基于度量的方法学习由所有任务共享的嵌入度量空间，在该空间上，不同类别的数据样本可以基于距离测量相互区分[22，28，29，32]。基于优化的方法训练元学习器作为优化器来微调元先验，从而使类分布适应每个特定任务[8，18，21，43]。此外，一些作品[22，33，41]改进了基于任务适应性的度量或 虽然这些方法假设任务中的样本共享统一的输入空间，但我们假设混合任务设置涉及不同输入空间的混合。最近的一些研究工作研究了多模态少数镜头学习[4，23，39]。虽然我们也使用多模态少拍数据集，但我们允许在真实世界的多模态少标记数据场景中频繁发生和不同条件的缺失模态Transductive Inference. Transductive learning在[30]中首次引入。 一系列的转换方法建立在图学习框架上，例如图传播[35]和图神经网络（GNN）[3，36]。近年来，直推推理被用于解决小样本任务，它利用未标记的查询数据获得更具代表性的类分布，与归纳推理相比有了很大的改进。 根据模型如何合并未标记数据，现有的转换方法可以分为隐式和显式方法。隐式转换方法直接使用整个未标记的特征信息来增强分类边界[1，6，21，25]。 虽然隐式方法在转换期间不利用数据关系，但显式转换方法测量数据之间的潜在关系以丰富类特征[11，13，15，20，26，45]我们的方法遵循显式转换范式，因为我们也在任务内转换适应期间探索数据关系。然而，现有的转换方法依赖于一个共同的度量空间来衡量数据的关系。然而，这一假设并不成立的混合少数镜头设置异质输入空间。本文主要讨论了样本划分（数据异质性）带来的困难，其中数据之间的关系可能更加复杂和不清楚。3问题公式化几次学习任务=、由一个小的任务级训练（支持）数据集和一个测试（查询）数据集组成。至于分类问题，任务的目标是在该任务中的数据上学习特定于任务的类分布，由中的少数标记示例监督。现有的FSL方法[8，9]主要假设相同分布的数据，称为均匀少次学习（uFSL）。如在这些算法所定义的，标准均匀N路K镜头分类任务T={ST，QT}包含支持集ST={（x1，y1），（x2，y2），...，（x N ×K，yN ×K）}，其包括来自每个采样点的K个标记样本。N个类，而que ry集为x1，y1，x2，y2，.. . ，x，y其中包括来自相同N个类的T个不同样本：任务的一致性是指每个样本xi in的 输 入 特 征 空 间 的 一 致性 ，即任务中的输入样本共享一个共同的特征空间。特别地，对于从一种类型的传感器收集数据的单模态少拍学习（SFSL），每个样本是单个模态x1 R d，其中d表示共享输入特征空间的尺寸。在多模态应用中，均匀多模态少拍学习（uMFSL）假设所有模态的数据对于每个样本都是可用的，即，每个样本由M个模态的集合xi=xi，mR dm= 1，2，.，M.这里xi，m表示元组xi中的第m个模态，并且dm是模态m的特征空间的维度。由于输入模态集是完整的，所有样本xi in共享复合空间-M个特征子空间的组合。3.1混合少样本学习我们定义了一个非均匀的和更复杂的FSL设置，即混合少拍学习（hFSL）。hFSL指定了一种真实世界的情况，其中任务中概念的支持/查询样本在不同的特征空间中分离，同时保持语义级相似性。1上的定义（混合少镜头分类）。与单一少样本分类不同，混合任务中的每个输入样本xi与附加指示符i相关联以指定其特征空间。混合N向K镜头分类任务的支持集和查询集定义为图的元学习我们的框架利用图神经网络（GNNs）[36，37]来解决混合少数任务。然而ST ={（x 1，y1，B1），...， （x N ×K，yN×K，BN ×K）}QT={（x=1，y=1，B=1），. . ，（xT，yT，BT）}.（一）我们专注于共同学习图结构和节点表示，以及如何在任务上推广和适应可学习的结构。 一些作品[10，46]提出了使用元梯度，强化学习或离散边缘概率优化图结构以及GNN参数的技术，但研究了不同的问题（例如，完成损坏的边缘和对抗性攻击）。最近的工作将图结构化数据纳入元学习[5，40，42，44]。我们还将我们的问题表述为插入元学习的图结构半监督节点分类任务。然而，这些方法假设一个单一的大规模的图，其结构是给定的。相比之下，我们的任务的图结构没有给出，而且，我们将图结构知识推广到无限的图，并在不同的任务中调整图学习过程假设在任务域上存在有限数量（U）的输入空间，并且假设每个U1， 2U指示特定空间。我们给出了一个启发式函数ptr来识别每个样本xi乘i的空间ui=ptri。在本文中，我们特别关注的hFSL在多模态域。 与uMFSL相比，我们认为为每个样本收集一组完整的所有模态，特别是在数据更昂贵的低数据场景中，可能很困难[24]。因此，即使在同一任务中的样本也可能具有不规则的缺失模态。具体地，假设原始数据是从M个模态收集的，uMFSL任务的输入样本包括由Bi表示的一组可获得的模态，xi=（xi，m∈Rdm|m∈ Bi <$B），（2）其中B ={1，.，M}表示完整的模态集合，并且子集Bi = B通过指定WWW陈嘉仪，张爱东3137. - 是的 - 是的Σ火车DC（T）T（T）TC T（T）D {T T· ·· T}trn（一）| ST）不？Z {| ∈SQ}TT不（|∈B）i=1|B|G（V E T）G（V E T）ZM1M2MM+···+=2M− 1个空格。输入xi，其中θ表示其参数。假设有eee每种模式的可达性因此，每个输入特征空间-u是指M个子空间的特定组合，总共有4.1特征嵌入利用特征嵌入网fe（·;θe）对每个任务都有空间UT≤U空间。注意，如果Bi=B，在T中，混合任务变得均匀。3.2元学习eM个模态，fe包含M个模态特定的子网f1，f2，...， f M. 样本xi的每个现有（未缺失）模态xi，mfm（·;θm），e ezi，m=fm（xi，m;θm）∈RF，（4）我们考虑一个任务分布P（T）在少数拍摄学习任务。e e我们的元目标是训练一个元学习者pθ来适应P，即，元学习者应该能够解决由中的少数标记样本监督的任何少数任务P。在大多数在现有的归纳FSL框架中，元学习器依赖于来自支持集pθy<$x<$;的知识来适应每个任务。在实践中，我们给出了一组元训练少量任务Meta =1，2，N使用一组基类训练，其中每个元训练任务P从训练中采样的N路类的子集中学习，每个类有几个元学习者是从元学习者训练成能够快速适应新的任务，这些任务的类保持不变（iunnse en）在元训练中。4方法在混合少数镜头分类任务中，如等式2中所定义。(1)由于数据的特征空间不一致，数据是异构的。也就是说，每个类的有限标记样本（即，K个镜头）可以进一步由不同的特征空间划分。因此，每个空间u只包含每个类的部分标记样本，这导致两个子问题：1）数据稀缺问题加剧，使得每个空间中每个类的训练样本数量减少到更少的镜头或零镜头; 2）混合镜头问题，其中不同的类在每个空间u中具有不同数量的训练样本，因为每个类的K个样本被不均匀地分割。为了克服这些挑战，我们建议采用trans-ductive推理的任务适应。 我们的目标是训练一个转导元学习者，共同考虑S T和Q T中关于异质数据的知识：其中F是每个模态嵌入的维度。因此，每个样本X1被嵌入为包含i个模态特定嵌入的元组，Z1=Z1，m，m，i。通过联合学习任务中的支持和查询数据的直推推理，我们将获得任务中所有支持和查询样本的嵌入特征集=zixi.请注意，对于均匀多模态FSL，fe将生成每个样本具有固定数量嵌入的特征集，使得Z=Z∈R（N K+T）×MF。4.2拓扑转换学习为了克服hFSL的混合镜头和数据稀缺的困境，我们的关键思想是在模型训练期间建立连接并统一任务中所有不同类型的样本。因此，我们考虑转换推理（如在方程。（3）可以从多个输入空间联合学习支持和查询样本。在这个转换框架中，我们专注于解决两个子问题：1）如何探索多个输入空间之间的关系，以便样本可以在统一的语义空间中对齐; 2）如何发现类间和类内的数据关系，然后利用它们来提高学习的类分布的代表性。为了便于在转导学习框架内探索数据和多空间关系，我们建议显式地建模一个可学习的图结构来连接任务中的所有样本。我们认为任务的输入集被认为具有某种几何结构，并且图结构的边（拓扑）可以自然地连接不同的输入空间，以及利用任务的潜在类间和类内数据关系因此，给定一个任务T，我们的目标是学习它的底层拓扑图G=（V，E;T），其表示支持度之间的关系并在任务中查询样本V={vi}N K+T表示ver-i，组合支持和查询样本的最小集合，并且E={eij}N K+Tpθ（y |x , S T, Q T \Y QT),(3)其中YQT表示T中的查询样本的地面实况标签，i，j=1是连接来自不同类别和不同输入空间的每对样本的边缘集。每个节点vi与节点特征hi，并且每条边ei j也与边这意味着解决每个任务都不需要查询集的标签，这是现实中的真理。假设Eq.（3）是我们知道部分测试（查询）样本用于解决一个任务。这个假设在元学习框架中仍然成立，特征/权重ei，j，其与节点关系相关解决hFSL任务可以被视为学习图=，;的节点和边特征。我们用公式表示这样的图学习任务作为一个半监督节点分类任务，监督DMeta包含每个任务的查询数据，以启用训练由|S|他是个好人。在本节中，我们将首先构建奥菲特姆雷阿埃伊特纳勒纳河直观地说，在转换任务适应过程中，我们将未标记的样本合并到任务中，并与异构空间联合学习任务中的所有样本，以便元学习者能够获得有关特定任务的数据分布和空间之间关系的额外信息，从而做出更好的预测。在本节中，我们将介绍所提出的任务自适应拓扑转导网络（TopoNet），其概述如图2所示。首先构造一个多关系图，初始化节点和边特征，然后通过边增强的异构图神经网络逐步细化边和节点特征。4.2.1多空间结点的图构造。 从特征嵌入网络产生的多空间特征集合中，我们可以构造一个图=，具有初始节点特征H（0）和初始边特征E（0）。U=+混合少样本学习的拓扑转换WWW3138i=1|B||B|GSTG节点∈（）（）下一页r，uLLlд图2：TopoNet框架。每个节点vi的初始特征是avail的级联图G=（V，E;T）.在所提出的拓扑转换中，样品的能力模型，即，例如， hi（0）=||m∈Bzi,m,whe re||我框架，解决一个hFSL分类任务，可以制定表示串联。初始节点特征集H（0）={hi（0）∈R |B我|F}NK+T是异质的，因为不同的节点（样本）具有不同的模态组合。 注意，如果两个节点hi（0）和h（j0），其中Bi={1，2}和Bi ={2，3}，尽管两者都是2 F维的（即，i=j=2），它们仍然属于不同的特征空间。边缘功能利用数据关系。但是，这是不可能的--能够直接测量一对异质体之间的相似性作为半监督节点分类任务，由训练节点。然而，这里的困难在于学习具有多种类型节点和多视图节点连接的图的复杂性因此，我们利用图神经网络（GNNs）的力量来促进对上的转导学习。给定初始异构节点特征H（0）和多个关系边缘特征E （ 0 ） ，通过堆叠边缘增强异构图神经网络（EHGNN）逐层迭代地更新边缘和节点特征：neous节点;此外，一些节点对可能不包含共同的H（l）=fl（H（l−1），E（l−1）;θl）（六）模态，例如节点Bi={1}和节点Bj={2， 3}，但属于节点E（1）=f H（，E节点;θ同一个类，应该是连接的。考虑到这些差异，（（l）（l−1）ed de），ficulties，我们初始化一个多关系图，其中每条边测量节点关系的多个视图：1）每个模态-m其中θl勒埃德埃是节点和边更新参数可以通过比较第m个模态（如果可用的话）来提供节点关系的视图;2）支持样本的给定标签可以提供类相似性的附加视图 我们得到一个边缘特征张量E（0）RD×D×（M+1），其中D=NK+T.每个i，j，m-条目E（0）计算为分别位于层L基本上，来自多个空间的节点沿过程对齐到统一的语义空间中;边缘特征直接编码在节点更新模型中，使得可以合并多视图相似性分数以提高节点代表性。A. 通过节点更新的异构空间对齐。在（0）. 若m ∈ Bi？BJ第一层，我们给出初始的异构节点特征H（0）。Ei，j，m≤M=д0。5i，jд如果mgB是？Bj，每个节点特征hi（1）通过聚合其一跳近邻来更新（0）1如果yi=yj且vi，vj∈ST（五）每个特征空间的邻域Ei，j，M+1=0如果yi≠yj且vi，vj∈ST0。5如果vi∈QT或vj∈QT，h（1）=M+1σll..E（0）W（1）h（0）\l，（7）其中，为|z-z|;fm（·;θm）是度量函数，ir=1Z小伊r，uji、ji，mj，mд д<$u∈UTj∈N（i，u）<$modality-m，一个堆叠的多层感知器网络，eterθm;σ是sigmoid函数。边缘特征（关系）哪里||是连接操作，U T表示一组输入空间，并且N（i，u）表示用于而θUT}混合少样本学习的拓扑转换WWW3139一对节点之间是一个M+1维向量，通过测量每个视图的相似性得分来构建注意对于输入空间u上的v i。W（1）={W（1）∈ RF1 ×Fu |r ≤ M +1，u ∈一些不具有共同视图但属于相似视图的样本对类，他们应该有高相似性分数在一些失踪视图，但丢失的视图我们使用0。5、对这些不确定的观点进行解释4.2.2用边缘增强的Hedge-enhanced学习基于神经网络的学习算法hFSL分类任务已转化为一个节点异构和多关系混合少样本学习的拓扑转换WWW3140是每个要素中节点的节点编码器参数空间和关系的每个视图，其中Fu是特征空间u，F1是节点编码器输出的维数边缘特征被合并到邻域聚合中，其中多关系边缘特征的每个视图生成新的节点特征，该节点特征然后与其他视图的新特征连接为了避免乘法增加输出特征的规模WWW陈嘉仪，张爱东3141∈∈（）下一页T（T）（）下一页T′tYSTtL（（）QT）QTSJ（·）∈.（·）关于我们不viTTE小伊ijrk∈N（i）E（0）k∈N（i）E（l−1）Ij埃德埃我J埃德埃的，也就是说，（0）E（0）.. 然后，在层1、我们简化TopoNet的算法1训练过程（T）作为一种新特征，用于提高知识获取效率的聚集过程在F1M+1维空间中是早期均匀化的给定在最后一层H（l −1）RD×Fl−1和E（l −1）中获得的特征，RD×D，1：需求：混合少拍任务P的分布2：要求：学习率α，β; GNN层数L3：随机初始化任务网络θ和元网络θ。4：不做就做（l）诉讼。（l−1）（l）（l−1）5：任务tP的样本批次英文片名：For AllTDo{ST Q}TTtt（l−1）Ijhi=σj∈N（i）E（l−1）EijW hj，（8）7：对于每个任务t，获得数据。8：初始化任务网络θt′ = θ0，用θ0，t代替θ0。9：计算嵌入的多空间特征集Zt。不不不whereee=.Ij，W（l）∈RFl×Fl−1表示第10章： 构造图G并初始化H（0）和E（0）。层1节点编码器通过每个样本共享kB. 边缘更新。边特征更新通过测量当前节点特征之间的关系来完成边更新的目标是修改先前的类间和类内关系的表示，使拓扑结构与特定任务更相关。为了简化和减小参数大小，第一层之后的边缘特征的维数被减小到1。因此，在第一边缘更新层处，初始M+1视图边缘特征被压缩成单个视图11：通过EHGNN更新节点和边特征;获得Ht（L）。12：获得支持集的预测，计算适应具有固定步数的内部参数w.r.t.的如在Eq中的NK示例。（12）.第13章： 评价tfx; θt，θ t，yθ t;t w.r.t. t的样本。14：结束15：将任务网络θ0的初始化更新为等式（13）.16：将元网络更新为等式16：（14）.第17章：结束18：返回：θ0和θ 2（一）1M.+11（0）Eij =M+1 r=1αij，rEijr，（9）4.3优化其中α1=fl（h（1），h（1）;θ1）是一个标量，任务目标。在我们的框架中，一个混合的N-路K-镜头类-伊杰河伊杰埃德杰河一个半监督的N向K射任务被转换成一个半监督的N向K射任务可以使用任何度量或注意力函数（例如，加法注意力、点积、乘法注意力）[31]。然后，在层l>1处，为了简化计算，直接使用当前节点特征上的注意力分数来异构节点的节点分类任务。在最后一个GNN层L获得节点特征H（ L ）R D×FL后，我们使用非线性分类器p; θp ， 然后使用softmax层对每个节点进行类预测。将预测与地面实况标签进行比较内在的-E（l）=fl（h（l），h（l）;θl）的。（十）循环优化由支持标签监督，通过最小化总而言之，通过边的信息聚合考虑了当前边特征，从而自动地杠杆化当前学习的类间和类内关系，LTt=−yi∈YSTtyi·log（ softmax（p（hi（L）;θp），（11）成就。支持样本和查询样本之间的信息交换联合建模不同类型的空间，其中每个空间可以包含来自其他空间的额外信息。 该过程隐含地实现了多空间对齐，从而可以缓解混合拍摄和数据稀缺的挑战。4.2.3拓扑学的推广与任务适应性 Meta学习探索跨任务的可转移知识。在To- poNet中，我们的目标是在不同的hFSL任务概括底层拓扑结构，包括多空间对齐参数和用于建模类内和类间数据关系的参数。尽管全球共享的结构知识，也有关于每个任务的底层拓扑结构的特定知识。例如，每个模态的重要性可以在不同任务之间变化因此，在[22]之后，我们构建了一个任务调制网络来调节拓扑转换学习模块，该模块利用外部任务级信息来稍微调整每个任务的先验知识，可能更适合于找到正确的底层特定于任务的类分布。其中YSTt表示支持集STt中的NK标签。请注意，vi的最后一层节点表示hi（L）聚合了来自t和tQ到GNN。在支持标签的监督下，拓扑学习网络学习的拓扑结构可以与特定任务的真实类分布相关元目标。我们按照优化来训练拓扑网络基于元学习范式，例如模型不可知元学习[8]，其解决了双层优化问题以找到先验θ作为元学习者我们的三模网络的参数是θ=θe，θp，其中θ p=θ<$，θnode，θed <$e是拓扑转换模。元目标是获得一组元初始化参数θ0，所有任务的先验知识的适当概括，加上外部任务调制元网络的参数θ0 [22]。双层优化。形式上，让θt′表示任务t在内部循环优化期间的θ，并让初始θt′=θ0。在内部循环自适应中θt′←−θt′−α<$θt′LTt（f（x;θt′，），y;STt），（12）=L>交叉熵损失定义如下：混合少样本学习的拓扑转换WWW3142不（·）LT（·S）Tt t（）i.ˆ.|C|--|C|| C||C||C|| C|（）/（−）（−）（）−|C|| C|| C||C|| C|LT（·Q）TTtt|C|其中f是TopoNet的前向功能，;是t的支持集上的损失，如等式中所示。（十一）、对于每个任务单独地，在固定数量的内部循环更新之后，我们获得自适应参数θ ′ θ0，其取决于元初始化θ0。然后，外循环优化在一批任务实例上更新θ0和θ 2：迷你ImageNet公司简介 omniglotθ0←−θ0−β∇θ0Ttp（T）LTt（f（x≠;θi′（θ0），θ），y≠;QTt） （13）在哪里;Ttp（T）Tt. 整体是任务t的查询集上的损失TopoNet的训练过程在算法1中。5实验我们评估TopoNet的N路K杆分类任务与均匀和混合少数镜头设置。5.1数据集我们首先使用五个标准的少拍分类数据集在正常的均匀FSL设置下评估我们的模型：1）三个数据集用于单模态（图像）少拍分类，包括迷你ImageNet [27]（具有100个类，分为train= 62，test= 30，val = 100）。 = 8），omniglot [17]（有1623班分裂为火车= 1150， 测试=423，val= 50）和CUB-200 [34]（包含200种鸟类，分为train= 100，test= 50，val= 50）; 2）两个数据集用于模拟统一的多模态少数镜头场景，包括源自CUB-200的CUB-200（图像+文本）[34]，其中每个图像都用312维文本（属性）模态进行注释，以及从ModelNet 40[ 38 ]构建的3D对象识别数据集miniModel 40（视图1+视图2），其中包含覆盖40个常见类别的3D CAD对象（分为train= 25，test= 9，val = 6），每个对象由两个要素视图标记如图[7]。此外，为了模拟概念几乎没有标记且数据异构的Web应用场景，我们构建了两个混合少样本分类数据集，因为hFSL以前从未研究过，并且我们无法找到现有的数据集。这两个数据集是从每个统一的多模态数据集构建的：h-CUB-200和h-mini Model 40，它们包含模态的混合组合。具体而言，为了模拟真实网络应用中模态缺失的不规则和频繁发生，通过从随机选取的样本中随机删除模态，将源数据集中的每个统一任务转化为混合任务。删除过程如下。对于每个任务，我们首先联合支持集和查询集，并打乱实例。然后，将包含（NK + T）个实例的组合集分成2个M1不相交的子集（组）：给定混合比0 <ρ <1，第一组有1个 ρ NK +T样本，其他组有ρ NK + T2个M2样本。除第一个群外，每个群都是1，...，M表示模态可用性，对于同一组中的所有样本，我们从原始多模态数据中删除缺失的模态。最后，在第一组中，我们挑选了ρ百分比的样本，并且从每个挑选的样本中，我们随机删除一个模态。表1：单模态少数样本分类数据集的平均准确度（%）5.2基线方法我们将TopoNet与三种现有的FSL方法进行了比较：1）具有归纳推理的监督学习方法：ProtoNet [28]， ProtoNet [29]和MAML [11]; 2）具有转导推理的半监督学习方法：GNN [11]，TPN [19]，TransductiveTuning [6]和Laplacian-Shot [45];3）虽然前两个系列是单峰基线，但我们也考虑了最近在多模态领域的工作：AM3 [39]和MultiProtoNet [23]。当测试单模态基线时（例如，MAML 、ProtoNet 、PNET 、LaplacianShot等）在统一的多模态低数据条件下，我们在特征嵌入网络之后连接所有模态，通过线性组合多模态特征嵌入将多模态数据转换为单模态数据。此外，当在混合多模态数据集上测试单模态基线方法时，我们在连接所有原始/估算模态之前将输入上的缺失模态估算为零。单模态分类数据集上的基线结果大多来自他们的论文。5.3结果我们实现了两个版本的TopoNet：用于统一任务的TopoNet-U和用于混合任务的TopoNet-H。我们的模型和基线、超参数和实验设置的配置可以在附录A.2中找到。在所有实验，我们将内部循环梯度更新的数量固定为10步，并且将更新元学习器的批量大小固定为每步4个任务5.3.1均匀少射分类。 我们评估了我们的模型（版本TopoNet-U）在标准的单模态场景表1. 我们可以观察到，TopoNet-U和现有的转导方法通常优于归纳方法，因为未标记的数据被纳入任务适应。TopoNet-U的性能与现有的转换方法相当，因此TopoNet可以用于均匀和混合的少拍学习。在表2中，我们在统一的多模态场景下评估了我们的模型，其中所有模态始终可用。M模态是ϕ←−ϕ −β∇ϕLTt（f（x∈;θi′（θ0），θ），y∈;Q），（十四）方法5路1拍五向五射5路1拍20路1次拍摄MAML49.6165.7274.2595.83ProtoNet46.1465.7773.9996.00网络51.3867.0776.5897.60GNN52.9168.2373.7697.40TPN59.4675.6475.20-传感器调谐62.3574.5373.46-LaplacianShot72.1182.3180.96-TopoNet-U72.4583.2281.1399.62WWW陈嘉仪，张爱东3143方法CUB-200mini Model 405路5路10路避免这种噪音。这表明，在镜头较少的情况下，不建议使用插补策略1发5发1发1发1发TopoNet-U（我们的）81.75 88.12 91.23 79.17表2：均匀多模态少量分类数据集的平均准确度（%）。h-CUB-200 h-miniModel 40这是混合FSL而不是现有统一算法的有用工具同时，我们的方法的有效性表明，我们的异质邻域聚集可以综合利用其他样本的信息，以减轻缺失信息的影响。5.3.3混合水平的影响。在表4中，从第2列到第4列，我们增加了任务在数据集上的混合比率ρ越大，意味着丢失的模态越多，输入特征空间的数量也越多最后一列显示了动态混合比的结果，其中对于每个任务，ρ的值不是给定的，而是随机选择的，因此不同的任务具有不同的混合水平。 随着混合比例的增加，TopoNet-H的性能变化较小，而不是基线，这表明我们的方法可以有效地处理多个空间。方法ρ = 0。3 ρ = 0。5 ρ= 0。7 动态ρ主题方案网络AM3-TADAM方法5路5路10路MultiProtoNet73.67 71.34 64.78 69.721发5发1发1发1发LaplacianShot80.31 78.06 72.01 75.13GNNTPN67.4171.1772.3476.3873.4579.8362.5866.05传感器调谐69.7368.6276.1568.10LaplacianShot78.06 82.37 84.63 74.43AM3-ProtoNet++72.46 76.55 78.68 67.18AM3-TADAMMultiProtoNet71.34 77.44 79.71 69.44TopoNet-H（我们的）80.23 83.11 86.46 77.15表3：混合比率ρ=0的混合少数样本分类数据集的平均准确度（%）。五、在基线和我们的模型中串联起来 我们的模型TopoNet-U的性能略好于基线，因为我们构建了一个多关系图，其中边缘特征比基线更复杂，然后通过结合多视图边缘特征，通过图神经网络学习数据关系。5.3.2混合少镜头分类。表3报告了在ρ = 0的情况下创建的混合少炮数据集的结果。5. 这些结果比较了我们的方法TopoNet-H，它直接使用原始的异质数据进行学习，与基线（为统一任务设计），它使用零来估算缺失的模态，以便将混合任务转换为统一任务。从统一设置（表2）到混合对应物，尽管我们的模型受到缺失模态的相关影响，但我