弯曲空间曲率用于少镜头学习

8691- -- -用于少镜头学习的弯曲空间曲率生成北京市智能信息技术重点实验室，北京市智能信息技术北京理工大学计算机学院，北京2电气与计算机系统工程系莫纳什大学，澳大利亚Data61{gaozhi 2017，wuyuwei，jiayunde}@ bit.edu.cn，mehrtash. monash.edu摘要少镜头学习描述了在给定非常少的标记示例的情况下从看不见的类中识别样本在许多情况下，少量学习被转换为学习将测试样本分配给其对应的类原型的嵌入空间。以前的方法假设所有少数学习任务的数据符合固定的几何结构，主要是欧几里得结构。质疑这一假设，这显然是很难在现实世界的情况下举行，并招致数据失真作为一个结果，任务特定的嵌入空间中生成合适的曲线，以匹配数据的特性被构造，从而导致更通用的嵌入空间。然后，我们利用嵌入空间中的类内和类间上下文信息来生成用于判别分类的类我们进行了一个全面的一套实验，归纳和转导少拍学习，证明我们提出的方法比现有的嵌入方法的好处。1. 介绍少镜头学习（FSL）[2，12，57]旨在从看不见的类中识别样本，给定每个类很少的标记示例。在许多情况下，嵌入方法[5，44，45，53，55]是解决FSL问题的首选方法。其基本思想是从可见的类中学习嵌入空间，希望对于具有不可见类的新FSL任务，嵌入空间中的类原型提供足够的信息以辅助分类（例如，通过将测试样品分配给最接近的原型）。在我们的工作之前，大多数嵌入方法假设所有FSL任务的数据具有欧氏结构，并使用欧氏嵌入空间和相应的欧氏空间。*通讯作者曲率FSL任务曲率为0曲率为-1曲率为-0.01任务1太阳能碟式独轮车沃克烟草店猎犬收割工任务2煎锅转盘牛肝菌阶段三角龙塔SK3悬崖抹布垃圾桶鸡尾酒搅拌器清汤准确度=89.3%准确度=63.7%准确度=77.7%准确度=69.0%准确度=百分之八十九点一准确度=80.7%准确度=65.0%准确度=83.7%准确度=百分之九十三点三图1.一个例子表明，固定的曲率是不适合所有的FSL任务。我们将曲率评估为0、1和0。01在从Mini-ImageNet数据集采样的三个FSL任务上[50]。在任务1中，当曲率为0（即，欧氏空间），而曲率0在任务2和任务3中实现较差的结果，任务2和任务3的合适曲率是1和0。01，分别。这表明固定曲率并不适合所有FSL任务。操作（例如，向量空间中的距离测度）用于分类[3，35，38，55]。然而，这样的假设在现实世界的场景中显然难以成立。虽然有些数据（如，遥感图像[15]）本质上是欧几里得的，非欧几里得结构也广泛存在于数据中（例如，，面部图像位于自然流形中[59]）。因此，在所有FSL任务中假设相同的几何结构可能导致数据失真并导致较差的性能。在本文中，我们提出了一个曲率生成嵌入方法，学习一个任务感知的弯曲嵌入空间，以匹配数据的几何结构，通过使用双曲几何。定义弯曲空间的双曲几何可以优雅地表示数据中的层次结构，并且在最近的研究中，对于一些问题，双曲几何已经被证明优于欧几里得几何[33，47，30，32，36]。曲率是双曲几何中的一个基本概念，表示弯曲空间与平坦空间的通过更改8692曲率，人们可以希望更好地捕获数据的各种几何结构[29]。FSL中的一个关键观察是任务可以表现出不同的几何结构。换句话说，虽然具有固定和预定曲率的空间可能成功地捕获FSL任务中的数据的几何结构，但它不一定适合看不见的和未来的任务（图1中示出了示例）。这促使我们学习确定合适的曲率FSL任务。为此，我们需要应对两个挑战。（1）如何使用非常少的样本生成合适的曲率。在FSL任务中，几何结构可以是复杂的并且不均匀的。当给出非常少的样本时，生成可以适当地匹配复杂结构的适当曲线是具有挑战性的。（2）如何在任务感知的弯曲嵌入空间中进行判别分类。FSL中的样本特征通常经由公共特征提取器（例如，使用CNN）。这使得特征对于所生成的曲率是不可知的，并且因此天真地组合它们（例如，平均）来形成类原型可能损害嵌入空间的辨别能力。为了解决上述挑战，我们利用样本的高阶统计量来识别FSL任务中每个类的曲线。这将导致描述具有多个几何形状的任务，其中每个类中的数据被单独表征。显然，与到处使用单个几何学相比，这种设计更灵活，并且可以更好地匹配复杂的数据结构。然后，我们受益于弯曲嵌入空间中的类内和类间上下文信息，以产生用于判别分类的类原型。我们的模型在元学习框架中进行训练，该框架从一些可见的类中学习知识，并将其应用于新的FSL任务，以使用很少的样本生成合适的弯曲空间和判别原型。我们证明了所提出的方法的有效性的感应和转导设置的FSL，并比较我们的方法对国家的最先进的嵌入方法。该代码可在https://github.com/ZhiGaomcislab/CurvatureGeneration_FSL 上获得。总之，我们的贡献有两个方面：（1）提出了一种基于任务感知的弯曲嵌入空间的实现方法。在这样做的过程中，我们的方法生成特定于任务的曲率，使嵌入空间更加通用。据我们所知，这是针对不同任务自动生成曲率的第一次尝试，具有使模型适应数据的不同几何结构的能力。（2）为了捕捉数据中的复杂结构，我们为每个类生成曲率，并利用类内和类间的上下文信息生成类原型。正如我们将以经验证明的那样，当样本非常少时，这会导致判别分类。2. 相关工作2.1. FSL的嵌入方法学习一个嵌入空间是逼近FSL的一种有效方法。可以基于嵌入的性质将现有的嵌入方法分为两组，即任务不可知的嵌入方法和任务特定的嵌入方法。早期的开创性工作，如原型网络[44]，关系网络[45]和匹配网络[50]都是任务不可知的嵌入方法。它们学习一个公共的嵌入空间，并使用嵌入空间中的度量对新样本进行分类。然而，最近的进展表明，一个共同的和任务不可知的嵌入空间可能是不够的区分。因此，任务特定的嵌入方法出现，其寻求通过各种手段使嵌入空间适应特定任务。这包括学习任务特定的变换[13，35，55，56]，采用任务特定的损失函数[21]，生成任务特定的类原型[12，28，37，39，54]，实现任务特定的距离度量[3，38]，或学习任务特定的子空间[43]，仅举几例。我们的工作属于任务特定嵌入方法组，但超越了以前的研究（例如，[28，43，55]），因为我们放弃了数据在所有FSL任务中具有相同几何结构的假设。本质上，我们提出了一种曲率生成嵌入方法，该方法通过生成特定于任务的曲率来使嵌入空间适应于几何结构。2.2. 双曲几何利用双曲几何的现有方法可以分为两类。第一类是建立深度双曲神经网络。代表性的作品包括双曲多层感知器[10]、双曲卷积神经网络[42]、双曲图卷积神经网络[6，29，58，7]和双曲注意力网络[14]。第二类专注于学习双曲嵌入。双曲线嵌入在各种自然语言处理问题中取得了优异的性能[8，14，47]。最近，计算机视觉中的几项研究表明，双曲嵌入可以提高模型的性能（例如，图像分类[16，30]和视频搜索[32]）。在这两个领域中，有人认为，改进是由于双曲几何可以很好地捕捉数据中的高精度[18，34]。在我们的工作中，我们还利用双曲几何来实现嵌入空间。与将空间的曲率视为固定的并将其调整为超参数的现有技术相比，我们利用元学习框架来学习自动生成合适的曲率。我们将表明，我们的方法是能够快速适应双曲空间的几何结构的数据，使用少量的标记样本。8693我Σ√- -CXǁ −C0CCCS= {I，y}s，is，iC--2 22C∈∈C∈∈i=1联系我们CCCCCwcx=√ctanhCCCJ转我们将平均值投射回庞加莱球，由下式给出西乌岛2xi=1+cx2Σmx= Hyperavexi∈X（xi）=u=γiuiγ射线我x=u1+√1−cu2图2.左图：2-D庞加莱球的插图。虚线代表最短的曲线连接两个向量其中ui∈Kd，u是Kd上的平均值，x是Dd上的平均值，庞加莱球。右图：不同曲率的庞加莱球作为曲率（ c）增加，两个向量aB下降。γ i=1是洛伦兹因子。1−cui2距离测量。两个向量之间的距离x，u∈Dd为2√3. 双曲几何（2）x= 0，y =0（c− xcu）。（四）双曲空间d维双曲空间是具有负曲率的光滑弯曲空间[19]。它有五个等距模型：双曲面模型、克莱因模型、半球模型、庞加莱球模型和庞加莱半空间模型[33]。在本文中，我们选择庞加莱球来模拟嵌入空间，如图2所示，并利用Mo¨ biusgy-当c → 0时，dc（x，u）与欧氏距离成正比，即limc→0dc（x，u）=2xu.指数映射指数映射expc将向量v从切空间T xDd映射到庞加莱球Dd。在这项工作中，我们使用一个神经网络来获取Poincare球中原点0处的切线空间T0Dd中的特征，然后使用expc来获得Poincare球中的嵌入。旋转向量空间[49]，为Poincare'sCexpc（v）= tanh。√cvΣ√v.（五）球一个庞加莱球被定义为Dd={x∈Rd，cx<01}，其中·是欧几里德范数。参数c>0cv是必不可少的，在我们的工作，并确定曲率Dd。注意，Dd的这个定义涵盖了欧氏空间和具有不同曲率的双曲空间。如果c0，则Dd成为d维欧氏空间Rd;如果4. 曲率生成嵌入方法4.1. 框架FSL任务（即一个片段）被表示为 - 开枪-cdk nc>0，则Dc是开球，曲率为一个包含支持集和-c. 对于庞加莱球上的点x∈Dd，切查询集。 一个支撑装置包括空间，表示为CTxDd，是一个欧氏空间，包含kni=1k个标记的样本Is，i，对于η个类别中的每一个ys，i是la-所有向量在x处与Dd相切。莫比乌斯加成两个向量x，u∈Dd的加法Bel和Cj包含了i=1第j类。 查询集定义为莫比乌斯加成cQ={Iq，i}en由每个类别中的e个测试样本组成，并且enxcu=（1+2cx，u+cu2）x+（1−cx2）u1+ 2cx，u+cx u（一）它们的基础真值是y q，ii=1。FSL方法通常相同-从一些已知类中提取k个n向FSL任务，并利用足够的标记样本训练模型，然后在未知类的FSL任务上评估它们的性能。本文提出了一种嵌入方法，采用其中，·表示欧几里得内积。Poincare球来模拟任务感知的弯曲嵌入式莫 比 乌 斯 标量乘法向量x的标量乘Dd乘以标量wR由M ¨ bius标量乘法定义，丁空间（见图3的概念说明）。我们的方法包含一个特征提取器fθ（·），一个类曲率生成器（CCG）gφ（·），和一个双曲聚集网络（HAN）hψ（·），θ，φ，ψ表示它们的参数。1.一、√Σx半径。 给定一个FSL任务，我们的方法首先提取样本特征fθ（I）∈Rd. 然后我们 q，i），fθ（I年代我双曲线平均给定一个集合X=x1，，xm，xiDd和i[1，m]，我们使用爱因斯坦中点[48]来计算X的平均值。具体来说，我们首先将庞加莱球Dd的向量投影到克莱因模型Kd，方法使用类为每个类生成曲率曲率发生器（即，c j=g φ（Dj）），并通过双曲聚合网络将样本聚合成适应嵌入空间的判别类原型，如pj=h φ（Dj）∈Dd. 这里，j∈[1，n]，且c j和pj然后计算Klein模型的平均值，最后给出第j类的曲率和原型Dj是Mi=1、（3）01 - 02 -2016刘晓波（cx）.（二）x86940∈J^S\C}||||−{|}{|∈不其中xi∈Rd，ziU∈Rd×r，Vl∈Rd×r，且LLgφ（Dj）0θ角q，iψJQ∫JJ庞加莱球支持实例特征特征类曲率双曲公正和有区别的提取器生成器（CCG）庞加莱球不同类别聚合网络（HAN）的曲率原型查询实例特征提取器特征查询实例和原型之间的距离预测标签支 持 示 例 类 原型查询示例图3.我们方法的概念图。给定一个FSL任务，我们为每个类生成一个曲率和一个判别原型。然后，我们将查询样本映射到嵌入空间，并计算它们与用于分类的类原型之间的距离包含第j个类的类内和类外样本的集合将很快被定义。最后，我们通过expcj将查询样本fθ（Iq，i）映射到嵌入空间，并使用类曲率计算它们与类原型之间的距离以进行分类。的Dj=[Xj，Zj]，其具有捕获给定样本的特征之间的显著相关性的能力[11，26]。具体地，我们将Dj的二阶统计量表示为bjRq（Q是类曲线生成器的超参数），并且其第l个元素bl可以通过fac计算。假设y是我们的方法对查询torized双线性模型[24，46]：样品Iq，iq，i，我们通过最小化以下内容来训练我们的模型-bl=ΣΣ1T（UTxi◦VTzi'），在物镜上，L（θ，φ，ψ）= −一个|Q|Jxi∈Xjzi'∈Zjlogp（y^q，i=yq，i|Iq，i），（6）’JJl j l j（八）其中Qt是从第t个FSL任务采样的查询集。1∈Rr是一个元素全为1的向量。 r是所见的类，并且p（y q，i=y q，i|q，i的概率是类曲率生成器的其他超参数de-^I）注意U和V的等级，◦表示Hadamard模拟p（yq，i=j|Iq，i）as∫−d.实验cj.f（I）Σ，pΣ，产品在这种情况下，我们可以直接计算bj为bj=Σ ΣO（UTxi◦VTzi'），p（y，q，i =j|Iq，i）=exp ∫J'cj0 .cj'θ角q，i.0θ角JΣΣq，iJ'J Jxi∈Xjzi'∈Zj（九）Σexp−dexpcj' f（IJJ），p∫。Σ（七）其中U=[U1，···，Uq] ∈Rd×rq，V=gφ（Dj）。Σexp− dexpf（I），h（D）· · ·，V ]∈Rd× rq，O∈Rq× rq 是一个固定的二进制=Σexp−d.expgφ（Dj'）f（I）Σ，h（D'）Σ，.行l、列（（l−1）× r +1）到（（l − 1）×r+1）中有元素的矩阵j'gφ（Dj'）0θ角q，iψj（lr）为“1”，其中l ∈ [1，Q ]。Dj=[Xj，Zj]包含类内集合Xj和类外集合X j。类集Zj。注意，可以应用所提出的方法。FSL的感应和转换设置在归纳设置，由于查询集不可用，我们选择Xj=fθ（Is，i）Is，ij且Zj=fθ（Is，i）Is，ij，其中Xj=k且Zj=k（n-1）。在转换设置中，支持集和查询集都是可用的，因此我们设置Xj={fθ（ Is ， i ） |Is ， i∈Cj} ， Zj={fθ （ Iq ， i ） |Iq ，i∈Q}∪{fθ（Is ，i）|Is，i∈S| Cj}，以及SoftmaxΣ不Iq，i∈QtIq，i属于其地面真值类。在本文中，我们为-[V1，Σ.8695.Σ我们根据经验观察到任意曲率可以导致训练过程中的数值不稳定是-一些方法已经表明，将c设置在在许多情况下[16，32]的[0，1]是合适的因此，我们使用多层感知器（MLP）网络MLP1和sigmoid函数，以生成cj= S形MLP1（bj），（10）其中，MLP1的参数是Wf1，并且S形|= k（n − 1）+ en 。|=k(n−1)+en. 在下面的章节中，我们将详细介绍给出类曲率生成元gφ（·）和双曲聚合网络hψ（·）。4.2. 类曲率发生器在类曲率生成器中基于二阶统计量生成第j个类函数是一种实现高效训练的正则化方法。ing. 总而言之，类曲率生成器是φ={U，V，Wf1}。4.3.双曲聚合网络我们考虑任务感知的弯曲嵌入空间的上下文信息来生成样本的权重86960CJJCJJJΣcijΣCCCJJJ0J0JMJJJJJ0J0JJJGj=dcjexp0（xj），exp0（xj），Jn−1ClLJJxi∈Xj实验0（ajxj）。j∈R（1−λj）wjcjhj|hj∈Hj通过投影（·）参数进行任务特定嵌入由W和指数映射expcj表示。 然后我们将最接近p′j的m个样本收集到集合Hj={expc} （zi）Σ|实验cj. （zi）Σ∈ N（p′），zi∈Z}，哪里|HJ|=m，Nm（p′j）包含m个最接近的嵌入。dings到p′，并且在H j中的第i个嵌入是hi ∈Dd.剩余样本构成集合Hj=图4.韩的插图我们首先计算权重aj，并将它们聚合成a{expc} （zi）Σ|实验cj. （zi）Σ∈/Nm（p′），zi∈Zj}，初步原型p′j. 然后，我们从哪里|HJ|为|Zj|−m，第i次嵌入Hj类外集合Zj，并计算权重wj和权衡λj当hi∈Dd. 我们使用另一个MLP网络MLP3Hj和Xi以获得原型pj。在Dj=[Xj，Zj]中，并将它们聚集成可区分的原型pj，其中上下文信息被建模为（由Wf3 参 数 化）来计算Zj中所收集的m个样本的权重。到MLP3的输入（由disj表示）根据下式由类间距离组成：(1)p′j与Hj中嵌入之间的距离，记为（2）p′和嵌入之间距离的平均值嵌入空间中的类内和类间距离J J我们首先计算样本的权重.一个班内（3）距离的平均值为-Xjj′使用第j类的曲率cj来计算距离矩阵Gj其他初步原型P\pj与Hj中的嵌入之间的距离，由dis3表示;（4）之间距离的平均值二世.cjicji'Σ（十一）其他初步原型P\p′j和嵌入Hj，由DIS4表示，其中xi，xi'∈Xj，Gii'是第i个原始元素j j jdis1=[dc（p′，h1），· · ·，dc（p′，hm）]∈Rm，矩阵Gj的第i′列∈Rk× k。我们使用MLPjjjjjjjK|Zj|−m网络MLP2来计算权重aj∈R对于Xj，dis2=1JΣd（p′，hi）∈R，aj= MLP2（Gj），（12）|−m|− mi=1CJJJdis3=[1Σd（p′，h1），···，MLP2Wf2一个jl∈（[1，n]\j）计算一个初始原型p′∈Dd1Σmmp′= HyperaveJ. aiJCJexp（x）、（13）n−1Jl∈（[1，n]\j）dcl（pl，hj）]∈R，ClLJjxi∈Xjjcj0jdis4=1|−m| −mD（p′，hi）∈R，表示为P=[p′1，· · ·，p′n]。当量（十三）disj =[dis1，dis2，dis3，dis4]。具有双曲线平均的复杂公式j j j j（十六）运算、指数映射和M¨ bius标量乘法。基于引理1，我们可以重写Eq.（13）更简单的公式：我们将disj馈送到MLP3以获得Wj，λj=MLP3（dis，j），（17）p′= Hyperave.CJJi iΣ（十四）并且λ j是Xj和Zj之间的折衷。 原型引理1. 在Poincare球Dd中，在切空间T0Dd上的指数映射和标量乘法原点满足交换律，即00pj∈Dd将使用aj、wj和λj计算为T=，expcj.λaixiΣ|xi∈X，J0,jj j jj我我我，的。（十八）计算权重类内设置中的功能类外集合中的要素第j个类的初步原型其他类计算权重其中的参数是. 基于，我们其中ai是a的第i个元素。初步原型J（1）（|Z| − m）JJl∈（[1，n]\j）i=1WM是Zj中收集的m个样本的权重∪Σ8697CJ其中w ∈ R是一个标量，x ∈T0Dd.证据 证据在补充材料里。pj=Hyperaveti∈Tj （ti）接下来，我们计算Zj中的样本的权重。这通过仅考虑Z j中与p ′ j最接近的m个样本来完成。为此，我们首先将Zj中的样本映射到在（18）中，wi是wi的第i个元素。总的来说，双曲聚合网络的框架如图4所示，并且参数为Φ=[Wf2 ，Wf，Wf3]。我们的方法的训练过程如算法1所示。8698Q算法1所提出方法的训练过程。输入：查看类。初始特征提取器fθ、类曲率生成器gφ和双曲聚合网络hφ。输出：更新的fθ、gφ和hψ。1：whiletMaxIterationdo2：从具有支持集St和查询集Qt的可见类中采样k次n路FSL任务。3：提取特征fθ（Is，i）和fθ（Iq，i），其中Is，i∈ St，Iq，i∈t.4：为每个类构造数据集Dj =[Xj，Zj]。5：通过类曲率为每个类生成曲率生成器gφ通过等式(9)和等式（十）、6：通过双曲聚合网络hψ生成类原型p j。1. 通过等式（1）计算Xj(11)，方程式(12)，方程式（14）。2. 计算sam的权重-在Zj中通过等式(16)，方程式（17）。3. 通过等式（1）聚合具有权重的实例。（十八）、7：通过等式（1）对Qt中的样本进行分类（七）、8：通过最小化等式（1） 更新f、g和h（六）、θ角φψ9：结束时十： 返回fθ，gφ和hψ。5. 实验5.1. 实验设置数据集。 我们在四个流行的数据集上进行了实验：mini-ImageNet [50]，tiered-ImageNet [40]，CUB [51]和CIFAR-FS [4]。我们使用标准协议来处理和划分用于训练、验证和测试的数据。详见补充资料。骨干为了与现有方法进行公平和全面的比较，使用了三个主干：4层卷积网络（ConvNet）[22，45，50]，12层卷积网络[22，45，50]残差网络（ResNet12）[35，38，39]，以及更大的12层残差网络（我们将其表示为BigResNet12）[20，43 、 55]。 ResNet12 和 BigResNet12 都 具 有 四 个 残 差块，而不同之处在于四个块中的卷积通道的数量对于ResNet12 是 （ 64 ， 128 ， 256 ， 512 ） ， 而 对 于BigResNet12是（64，160，320，640）详见补充资料。培训详情。在[35，55]之后，我们在训练集上预训练了ResNet12和BigResNet12。 然后， 我们进行了元训练来学习我们的方法超过200个时期，每个时期有100个情节。验证集仅用于在元训练阶段之后选择模型，并且性能报告为具有95%置信区间的测试集上的平均准确度。其他细节在补充材料中。5.2. 主要结果我 们 将 我们 的 方 法 与 最 先进 的 FSL 方 法 在 mini-ImageNet，tiered-ImageNet，CUB和CIFAR-FS数据集上的归纳和转导设置进行比较，其中实现了1-shot/5-shot 5-way分类表1.与mini-ImageNet数据集上最先进的少量分类结果的准确性（%）比较。设置方法单次拍摄5次射击MAML [9]51岁67 ± 1。81五十三51 ±0。89五十四48 ±0。93六十五99 ±0。7268岁41 ± 0。3969岁。09 ± 0.2263岁08 ± 0.1566岁。22 ±0。75七十80 ± 0。23七十一66±0。23七十30 ± 1。75七十二69 ±0。74七十一32 ±0。7881. 56 ± 0。6384. 28 ± 1。7384. 58 ± 0。16八十26 ± 0。1282岁79 ± 0。4884. 79 ± 0。16八十五50±0。15ProtoNet [44]联系网络[45][20]第二十话感应CTM [23]简体中文[CN]Tap Net [56]DSN [43][55]第五十五话我们直推TPN [31]DSN [43]我们五十九91 ±0。9467岁39 ± 0。82七十七。19±0。24七十三。30 ±0。7582岁85 ± 0。5686岁。18±0。15表2.与分层ImageNet数据集上最先进的少量分类结果的准确性（%）比较。并且查询集每类具有15个样本。为了公平比较，我们在mini-ImageNet数据集上使用了ConvNet，ResNet 12和BigResNet 12。我们在分层ImageNet和CIFAR-FS上使 用 了 BigResNet 12 ， 在 CUB 数 据 集 上 使 用 了ConvNet。四个数据集的结果分别见表1、表2、表3和表4。在mini-ImageNet数据集上，无论使用哪种主干，我们的方法都达到了最先进的性能，特别是在转导设置中。TADAM [35]，TEAM[38]、DSN[43]、阿弗拉西亚比 et al. [1]，Net-设置方法骨干单次拍摄5次射击MatchingNet [50]ConvNet四十三56 ±0。84四十九42 ±0。7850块44 ± 0。82五十三37 ±0。4851岁78 ± 0。96五十三14 ±1。0655. 1555. 53± 0。20五十六52 ±0。45五十八50 ±0。3061岁65 ± 0。1562. 53 ± 0。19五十九0063岁56± 0。2062. 64 ± 0。6161岁72 ± 0。8162. 64 ± 0。6667岁02± 0.2055. 31 ± 0。7368岁20 ± 0。66六十五32 ±0。7066岁。97 ±0。3568岁99 ± 0。69七十一45 ±0。72七十一61七十二12±0。1674岁28 ± 0。20七十六。70 ±0。38七十六。36 ±0。1078岁95 ± 0。13七十七。4679岁。13±0。1478岁63 ± 0。4681. 79 ± 0。5578岁83 ± 0。4582岁32± 0。14ProtoNet [44]ConvNet联系网络[45]ConvNetMMN [5]ConvNetDSN [43]ConvNetAfrasiyabi等人[1]第一章ConvNet[55]第五十五话ConvNet我们ConvNet感应ProtoNet [44]TADAM [35]ResNet12ResNet12Tap Net [56]ResNet12华盛顿特区[25]ResNet12ECMSFMT [39]ResNet12我们ResNet12[20]第二十话BigResNet12净余弦[27]BigResNet12DSN [43]BigResNet12我们BigResNet128699余弦[27]、BD-CSPN [28]和FEAT [55]是最先进的嵌入方法，同时使用固定和单一的欧几里得几何形状。与它们相比，我们的方法具有更好的性能，表明适应曲线的数据的几何结构，可以导致更好的嵌入。在分层ImageNet，CUB和CIFAR-FS数据集上，我们的方法再次达到了最先进的性能。 例如，在8700表3.与CUB数据集上最先进的少量分类结果的准确度（%）比较。设置方法单次拍摄5次射击ProtoNets [44]七十二2 ±0。7七十二6 ±0。7七十二0 ±0。7七十二3 ±0。8七十三。0±0。783岁5 ± 0。584. 3 ± 0。584. 2 ± 0。5八十五1 ±0。6八十五8±0。5MetaOpt-RR [20]感应MetaOpt-SVM [20]DSN [43]我们直推DSN [43]我们75. 6 ± 0。9七十六。8±0。786岁。2 ±0。686岁。4±0. 5表4.与CIFAR-FS数据集上最先进的少量分类结果的准确度（%）比较。设置方法单次拍摄5次射击ProtoNet五十八34 ±0。20五十九05 ± 0.2150块92 ± 0。22五十八97 ±0。20五十九47 ±0。2062. 60 ± 0。20六十四17 ±0。2167岁02± 0.2078岁49 ± 0。1478岁34 ± 0。2275. 66 ± 0。16八十19 ± 0。14八十41 ± 0。1479岁。25 ±0。14七十六。49 ±0。1682岁32± 0。14不含CCG HAN，c=1w/oCCG HAN，c =0。01w/o HAN，单c感应不含HAN，等级c不含CCG，c=1w/oCCG，c = 0。01我们不含CCG HAN，c=1五十九14 ±0。2251岁06 ± 0.22五十九16 ±0。20五十九94 ±0。2162. 80 ± 0。2062. 50 ± 0。2168岁25 ± 0。21七十一79±0。2379岁。82 ±0。2175. 73 ± 0。16八十29 ± 0。14八十67 ± 0。1481. 02 ± 0. 14七十七。59 ±0。1681. 08 ± 0. 1683岁00± 0。17w/oCCG HAN，c =0。01w/o HAN，单c直推不含HAN，等级c不含CCG，c=1w/oCCG，c = 0。01模型容量我们表5.mini-ImageNet数据集上的消融实验tiered-ImageNet，我们实现了77. 19%，86。18%的1杆和5杆任务，9。80%，3。比现有方法高33%。在CUB的归纳设置中，我们的方法达到了74。66%和88。37%，5. 27%和5。比现有方法高47%5.3. 消融研究我们在迷你ImageNet数据集上进行了消融实验，以评估 我 们 的 类 曲 率 生 成 器 （ CCG ） 和 双 曲 聚 合 网 络（HAN）。我们首先删除了CCG和HAN，手动将c设置为1或0。01，并通过平均样本计算类原型，表示为“w/oCCG HAN，c= 1 / 0”。01然后，我们将CCG添加到模型中。我们评估了为所有类别生成单个曲率，由“w/oHAN，单个c”表示设置方法单次拍摄5次射击MAML [9]55. 92 ± 0。9551岁31 ± 0。9162. 45 ± 0。9861岁16 ± 0。8963岁30 ± 0。9469岁。3968岁87 ± 0 .01，P <0.05。2274岁66+ 0。21七十二09 ± 0.76七十77 ± 0。69七十六。11 ±0。69七十二86 ±0。7081. 35 ± 0。6782岁7882岁90 ± 0。1588岁37± 0。12ProtoNet [44]联系网络[45]感应MatchNet [50]Afrasiyabi等人[1]第一章团队[38][55]第五十五话我们8701×个||||表6.在mini-ImageNet数据集上评估m由“w/oHAN，类级别c”表示最后，我们在移除CCG的同时添加HAN，并且c被手动设置为1或0。01，由“w/o CCG，c= 1 / 0”表示。01除此之外，我们删除了9个10 BigResNet12中的5个参数，以保持我们整个参数的数量与骨干一致，表示为“模型容量”。我们的目标是显示我们的改进是否来自模型能力。结果示于表5中。比较不含CCG HAN，c= 1 / 0。01’与‘w/o HAN’比较，并且比较‘w/o CCG’，c= 1 /0。01此外，多个类级曲率比单个曲率对所有类具有更好的性能，更好地匹配复杂的数据结构。比较不含CCG HAN，c= 1 / 0。01'，其中'w/o CCG，c= 1 /0。01“模型容量”的性能我们评估了收集样本的数量mmini-ImageNet数据集上的HAN，如表6所示在感应设置，Zj=4，我们measured，从1到4的m。随着m的增加，我们获得了更好的性能，最好的性能为67. 当m = 4时，达到02%。 原因是因为在Zj中仅支持样本可用，大的m提供更多信息以生成原型。 在转导设置中，Zj= 79，并且我们在[15，30，45，60，75]中测量m。业绩先上升，然后业绩趋于稳定在71%左右。 在开始阶段，较大的m提供了更多的信息，而在稳定阶段，这些信息足以获得良好的原型。5.4. 生成曲率在本节中，我们评估了生成曲率的方式。我们用特征的串联和平均值替换了CCG中特征的二阶统计量，并且我们使用手工设计的曲率估计方法[16]评估了生成曲率 在CCG为每个类生成c之后，我们对生成的c进行一些干扰并评估其性能。如果业绩下降-设置方法单次拍摄M=15六十五88 ±0。2267岁98 ± 0。2269岁。62 ±0。22七十一79±0。22七十一11 ±0。22M=30870281.7281.4981.3081.1881.0681.0181.0480.6083.00家用微型呼吸管运输机精度83.583.082.5二阶统计量的性能83.583.082.5级联性能82.082.081.581.581.081.080.580.580.083.583.082.582.081.581.080.580.0调整曲率（一）平均性能调整曲率（c）第（1）款80.083.583.082.582.081.581.080.580.0调整曲率（b）第（1）款手工设计方法的性能调整曲率（d）其他事项图6. min-ImangeNet数据集的四个FSL任务上的数据分布和类原型的可视化。三角形表示支持样本，点表示查询样本，星表示生成的类原型。有时，支持样本可能是异常值（例如，左图中的微型类的支持样本，右图中的bar类直接使用三角形作为原型将导致性能不佳。相比之下，我们的方法可以生成更多的判别原型。在左图中为微型类，在右图中为条形类）。在这种情况下，直接使用支持样本作为原型将导致不良性能。图5.将生成的c乘以0的求值。25，0。5，0。75，0。九，一。一，一。25，1。5和1。75. 在图5（a）、5（b）、5（c）中，CCG基于二阶统计量、级联和样品的平均值。在图5（d）中，c是通过手工设计的曲率估计方法[16]生成的。折痕，这意味着原始曲率是适当的。如果性能变化不大甚至有所增加，则说明原来的曲率不好。具体来说，我们通过将生成的c乘以0来扰乱它。25，0。5，0。75，0。九，一。一，一。25，1。5和1。75，并测量平均精度超过10000FSL任务。我们在mini-ImageNet数据集上进行了5次5路实验，结果如图5所示我们可以发现，使用二阶统计量可以生成适当的曲率。当使用特征的串联或均值时，尽管原始c实现了最佳性能，但受干扰的c与原始c之间的性能差异很小，表明原始c不够好。最后，使用曲率估计方法的扰动c获得与其原始c几乎相同的性能。曲率估计方法通常需要大量样本以避免估计偏差[16]，而FSL任务仅提供非常少的样本。因此，它不能生成适当的C。相比之下，CCG利用元学习来从可见的类学习知识，这有助于在给定很少样本的情况下为不可见的类生成适当的曲线。5.5. 类原型我们在mini-ImageNet数据集的1- shot5-way任务上可视化生成的类原型，并且我们使用MDS方法[17]将嵌入减少到2-D向量，如图6所示。我们观察到，有时支持样本可能是离群值（例如，支持样本相比之下，我们的方法可以生成判别类原型的基础上的类内和类间的上下文信息的自适应曲率，推动离群支持样本到其集群。因此，我们的方法可以提高-证明性能的大幅度。请注意，图6中描绘的任务是精心挑选的，以表明我们的方法可以在极其具有挑战性的场景中生成有区别的原型因此，直接使用图中的支持样本的不良性能在所有任务中并不常见。6. 结论在本文中，我们已经发现，假设所有的FSL任务的数据具有相同的几何结构可能会扭曲的结构，在一些任务，从而导致一个穷人的概括能力。为了解决这个问题，我们提出了一种曲率生成嵌入方法，该方法通过为每个类生成曲率来使任务感知的弯曲嵌入空间适应数据结构。虽然FSL中给出的样本很少，但使用二阶统计量可以捕获它们的表达表示，这有助于生成合适的曲率。与到处使用单个曲率的嵌入空间相比，用于不同类的曲率可以更好地匹配复杂数据。通过考虑自适应几何的类内和类间上下文信息，我们的方法可以在嵌入空间中生成用于少镜头分类的区分类原型大量的实验结果证实，我们的嵌入空间可以很好地适应新的FSL任务，并达到最先进的性能。鸣谢。这项工作得到了中国自然科学基金（NSFC）的部分资助。62072041号61773062。82.0082.0481.9881.9081.8881.8581.7381.7281.5980.5580.5380.4480.6780.7180.73 80.7080.6681.5081.4981.47 81.47 81.4881.48 81.4681.49 81.49卷轴巨嘴鸟巴尔斯热狗烟草店精度精度精度8703引用[1] ArmanAfrasiyabi ， Jean-FranccoisLalonde ， andChristian Gagn e´. 用于拍摄图像分类的关联对准。在欧洲计算机视觉会议（ECCV），第18-35页[2] Sungyong Baik，Seokil Hong，and Kyoung Mu Lee.学习忘记是元学习。在IEEE/CVF计算机视觉和模式识别会议（CVPR），第2379-2387页[3] Peyman Bateni、Raghav Goyal、Vaden Masrani、FrankWood 和 Leon