没有合适的资源?快使用搜索试试~ 我知道了~
8433面向少样本学习的任务感知零件挖掘网络吴佳敏,张天柱*,张永东,中国科学技术大学jiaminwu@mail.ustc.edu.cn,{tzzhang,zhyd73,fengwu} @ustc.edu.cn摘要少镜头学习(FSL)的目的是将样本分类到新的不可见的类中,其中只有少数标记的样本可用。然而,大多数现有的方法是基于图像级池表示,但忽略了相当多的本地线索,是跨任务转移。为了解决这个问题,我们提出了一个端到端的任务感知的部分挖掘网络(TPMN)集成到FSL的基于度量的模型的自动部分挖掘过程(一)(b)第(1)款建议的TPMN模型享有几个优点。首先,我们设计了一个Meta过滤器学习器,以元学习的方式生成基于任务嵌入的任务感知部分任务感知部件过滤器可以适应任何单个任务,并自动挖掘与任务相关的局部部件,即使是看不见的任务。其次,提出了一个自适应的重要性发生器,以确定关键的局部部分,并分配自适应的重要性权重不同的部分。据我们所知,这是第一个工作,自动利用任务感知的本地部分在FSL的元学习方式在四个标准基准上的广泛实验结果表明,该模型对最先进的FSL方法表现良好。1. 介绍深度卷积神经网络(CNN)在广泛的计算机视觉任务中取得了巨大的成功[43,14,20,37,29,54,55]。然而,CNN的少镜头学习(FSL)[12,11,48,44]在减少对人类注释的需求方面很有前途,其目的是学习具有良好泛化能力的模型,以便它可以将未标记的样本(查询集)分类到只有一个或几个示例(支持集)的新的未见过的类中。通常,训练少量分类器来解决由N个类和每个类K个支持样本组成的N路K为了解决FSL问题,一系列先前的工作[44,46,13,23,22,52]采用了基于度量的学习模型,该模型首先学习一个好的嵌入空间,然后进行自适应学习。*通讯作者图1.我们的动机的说明。(a)显示了不同局部表示的比较。第一行呈现了在先前方法中通过网格划分导出第二行示出了以自动方式学习的局部部分后者实现了更好的区分度,并包含更少的背景噪声。(b)显示了任务感知机制。对于同一个狗的形象,不同的任务所关注的局部是不同的。选择距离度量以直接计算用于分类的查询图像和支持图像之间的距离。然而,这些方法中的大多数利用图像级合并表示进行分类,这可能会丢失大量具有良好跨类可转移性的判别性局部线索最近,几种方法[24,25,53,9]考虑利用FSL的局部表示。这些方法通过在特征图上进行网格划分将图像分解成一组局部块。然后,通过聚集局部块之间的相似性来实现一对查询图像和支持图像之间的图像级距离测量。通过研究以前基于局部表示的FSL方法[24,25,53,9],我们总结了三个特征,这些特征对于构建鲁棒的少镜头模型至关重要。(1)自动性在以前的方法中,通过预定义的分解策略获得的局部块遭受较大的随机性。一些局部补丁很可能只覆盖对象的一小部分语义区域,甚至完全覆盖背景区域(见图1(a)中的第一行)。这种随机性在匹配局部块时可能导致未对准。然而,人类可以通过自动地将对象分割成多个类别来快速识别新的类别。任务1:区分狗和猪任务2:将狗与虎8434×tiple局部部分(见图1(a)中的第二行),并将它们与已经看到的类似对象部分进行部分挖掘过程中的自动性确保了局部部分之间的自然语义对应。(2)任务感知机制。在以前的方法中,一组公共的局部区域在任务之间共享,这可能不能很好地处理具有大分布差异的多样化任务由于每个单独的任务由一组唯一的类别组成,因此对当前任务有效的局部区域可能并不总是满足其他任务的需求例如,当区分狗和老虎时,人类更多地关注部分面部的纹理,而当识别狗和猪时,部分鼻子的结构显然更重要(参见图1(b))。即使对于同一图像,局部部分的重要程度也因任务而异。因此,在没有任务感知机制的情况下,使学习的模型很好地推广到新的类是具有挑战性的。(3)自适应权重。在进行最终预测时,抑制不相关区域的重要性可以避免引入噪声,而更多的区分区域应该享有更高的权重。因此,不同的局部部分的重要性权重应自适应地分配。受上述见解的启发,我们提出了一个端到端的任务感知的部分挖掘网络(TPMN)集成到基于度量的FSL的自动本地部分挖掘过程。为了实现自动发现局部区域,我们首先引入一组部分过滤器(PF)自动生成部分感知激活图。PF通过多个可学习的11卷积核来参数化,这可以激活覆盖特征图上的某个局部部分的空间注意力所得到的激活图被用作部分掩模,以获得支持和查询图像的多个判别性部分感知特征。然而,上述PF一旦被学习,则是固定的并且跨任务共享,这不能很好地处理各种任务。因此,为了使网络具有任务感知机制,我们设计了一个Meta过滤器学习器(MFL),以元学习的方式灵活地生成为单个任务定制的PF的参数。这是通过将任务嵌入,它表示的特定任务的独特的分类信息。MFL建立任务嵌入和零件过滤器之间的连接。直观地说,PF的参数将通过将任务嵌入变换到参数空间中来导出。以这种方式,任务感知PF能够从任务到任务进行适配,并且可以为任何任务提供最期望的信息,甚至是具有看不见的类的任务。然后,为了确定给定查询和支持图像的图像级相似性,我们通过自适应重要性生成器为局部部分分配自适应权重,使得不太相关的部分被抑制,而有区别的部分被突出显示。最后,图像级相似性被导出为来自不同图像的部件感知特征之间的局部相似性的我们的方法的贡献可以总结为三个方面:(1)提出了一个端到端的任务感知的零件挖掘网络,它结合了自动局部零件挖掘过程和元学习策略。(2)我们设计了一个Meta过滤器学习器来生成任务感知的部分过滤器,它可以发现任务相关的局部部分,即使是看不见的任务。提出了一种自适应的重要性生成器来为局部零件分配重要性权重。据我们所知,这是第一个工作,exploit歧视性的局部部分,在元学习的方式FSL。(3)在四个测试基准上的大量实验结果表明,我们的方法与最先进的FSL方法相比具有更好的性能。2. 相关工作在本节中,我们将介绍几条研究路线,包括少量学习、FSL中的局部表示学习和部分感知注意机制。少射学习。 现有的FSL方法一般可分为三组:(1)基于度量的方法[48,44,46,47,26,42,52]学习用于其所选距离度量的判别嵌入空间。Match-ingNet [48]和ProtoNet [44]通过计算支持和查询样本之间的相似性或距离来还存在直接学习深距离度量的有趣方法,使用基于CNN的关系模块来产生关系得分[46],利用图神经网络来推断边缘强度[41,18,50]。(2)基于梯度的方法[12,34,3,45,16]将元学习器设计为优化器,以使模型参数适应低拍摄状态中的新任务。MAML [12]及其许多变体[3,45,16]旨在学习良好的模型初始化,以便学习者能够快速适应新的任务。在[34]中,基于LSTM的元学习器被训练为学习更新模型参数的优化器,用于取代SGD优化器。(3)基于生成的方法[5,33,32,30,38]通常将元学习器开发为参数预测网络,以在给定很少的新类样本的情况下生成特定于任务的网络。[32]以及[33]从提取的特征生成分类层的权重。[30]和[38]利用从当前任务输入预测的缩放和移位参数来调制特征图我们提出的方法属于基于度量的方法。然而,一个关键的区别在于,上述方法通常采用基于度量的分类的全局表示,而我们的方法侧重于自动挖掘多个局部对象部分。FSL中的局部表示学习。一些FSL方法[25,24,9,53]试图利用局部表示的区分能力。其基本思想是将要素地图中的每个空间位置视为局部8435我∈×∈⊙∈∈···∈⊗i=1不我不我 i=1每个类的PLE,(xi,yi)i=1块,并将块级距离收集为图像级距离。DC [25]对每个局部特征执行密集分类,并将结果融合用于最终预测。在由N个类组成的支持集S上训练,每个类具有K个样本,即,S={(xs,ys)}NK,其中ys∈ {1,2,···,N}。查询集由M个sam组成Q我DN 4 [24]在贴片距离ma上采用k-NN选择。即,Q{q}MN。 我们的目标是它融合了高度相关的距离,而ATL-Net [9]使得通过应用情景注意机制来选择重要的补丁的改进。DeepEMD [53]在局部补丁之间执行多对多匹配,并通过解决地球移动器距离的优化问题来获得全局距离然而,这些方法都没有显式地设计一个任务自适应机制,以动态地适应不同的任务的本地功能。 我们的方法利用一种元学习策略,自动定位多个对象部分作为本地表示,这是任务感知的,可以推广到一个任意的看不见的任务。部分感知注意力机制。注意力机制旨在突出重要区域以提取更具区分性的特征。几种方法[31,56,8]利用注意力机制来利用多个对象部分并从这些部分学习互补表示。在文献[31]中,采用选择性搜索来挖掘候选局部块,并通过阈值滤波来去除噪声块。[56]聚类特征通道以产生多部分注意力图。在[8]中,动态稀疏注意将查询样本xq∈Q分类到N个支持中的一个类给出了一些标记的样本从S。3.2. 任务感知部件过滤器模块与以前通过手动网格划分提取局部特征的方法不同[24,25,53,9],我们自动探索不同的对象部分区域,以灵活地关注多尺度局部信息,而无需任何边界框或部分注释。为了实现这一目标,我们设计了一个部分挖掘过程,以获得部分意识到的功能,和Meta过滤器学习器,以增强部分挖掘过程与任务意识的能力。零件挖掘过程。 我们引入多个部分过滤器(PF)过滤掉嘈杂的背景区域,并保留具有高对象的歧视性部分区域。具体地,从特征提取器Φ中提取特征图xRHXWXC,其中C、H和W分别表示通道的数量、高度和宽度。我们假设对象由k个有意义的局部部分组成因此,我们设计k个PF,每个PF负责处理一个特定部分,表示为P ={p,p,···,p}。每个学会了专注于信息区域。怎么-PF由一个12k然而,这些方法不是为FSL设计的,其中测试任务包括不同的新类集合。此外,这些方法缺乏任务自适应机制,因此不能很好地推广到未见过类的测试图像。与现有的方法不同,本文通过Meta过滤学习器设计了一种任务感知机制,帮助FSL模型适应新任务,发现与任务相关的局部。3. 我们的方法在本节中,我们首先制定了少镜头学习的任务。然后,我们详细描述了所提出的任务感知的部分挖掘网络(TPMN)的各个模块。如图2所示,我们的TPMN由两个模块组成。(1)任务感知部分过滤器模块负责通过由Meta过滤器学习器生成的任务感知部分过滤器来发现局部部分。(2)部件感知度量模块旨在通过部件级相似性的加权聚合来计算最终的相似性得分。3.1. 问题定义在一组任务上进行少镜头分类11卷积核权重(省略核偏置以简化表示法),即,第i部分滤波器piR1×1×C.我们应用PF与特征图x进行卷积并导出激活图:Ai=pix,i=1,2,···,k,(1)其中A iRHXW是第i个部位感知激活图,并且是卷积运算。然后,可以通过对Ai应用S形函数σ来生成第i个部分掩码Mi,即,Mi=σ(Ai),i=1,2,…,k. 然后,我们可以获得k个对应的部件感知特征图F ={F1 ,F2,···Fk}。输入特征图x:Fi=x<$R(Mi),i= 1,2,···,k,(2)其中R将掩模 Mi整形为与x相同的尺寸,即,R(Mi)RH×W×1,表示每个通道中每个空间位置处的逐元素乘法。Fi RHXWXC是所得到的第i个部件感知特征图。然后,通过对空间维度中的每个Fi应用全局平均池化,我们导出k个部件感知特征:T(也称为发作)。 训练集D训练是分段的。Ω(x)={f i}k ,其中fi∈RC.这些部分感知的fea-将其分解为一组任务进行训练,以模拟测试环境,希望获得跨任务的泛化能力测试集D 测试由测试任务test组成,并且包含与训练集Dtrain不相交的类。每个少镜头任务T由支持集S和查询集Q. 具体来说,N向K次射击任务意味着模型图封装了有区别的局部信息,因此可以被看作给定图像的多尺度和互补表示。Meta过滤器学习器。 以上通用PF在不同任务之间共享,并且在端到端训练之后是固定的。然而,训练任务和测试任务是相同的。=8436{···}∈i=1P PPKKLL我我我12KNKm=1M--联系我们任务感知部件过滤器模块部件感知度量模块图2.TPMN的架构(在1次拍摄设置中示出):(1)任务感知部件过滤器模块接收查询和支持图像以导出它们的部件特征。Meta过滤器学习器在任务嵌入的条件下产生任务感知部分过滤器PT。P_T用于为每个图像生成多个部分掩模。(2)部件感知度量模块计算部件相似性,然后通过自适应重要性生成器产生的重要性权重对部件相似性进行加权,以获得最终相似性得分。PF的选择以特定任务的情境化信息为条件,使得PF知道任务特性并且可以利用与任务最相关的部分,即使对于看不见的任务。这些任务感知PF被表示为PT=PT1,PT2,,pTk ,其中pTiR1×1×c可以由G中相应的生成元gp产生:Ip➚ ➚ ➚任务感知部件过滤器���pT=gp(eT;θp),i= 1,2,…,k,(3)权重生成器序列{g p}k的列表,生成ii=1其中θp表示gp的参数。 然后我们...对应的任务感知部分过滤器的参数我我从具有大的分布差异的不同类别中提出。通用PF不能适应这些不同任务的需要,因为每个任务涉及区分潜在唯一的类集合。因此,我们设计了一个Meta过滤学习器(MFL)来增强模型的任务感知能力.的MFL,表示为Gp,是负责自适应地产生的PF的条件下的特定任务的分类信息。具体地,MFL由一系列权重生成器g、g、g(参见图3)组成,其可以分别生成k个对应的任务感知PF的参数(参见补充材料以获得内核偏置生成的细节Gp接受嵌入eT的任务作为输入PT= Eq.(1)和等式(2)以产生适配的部件感知特征Fik。MFL可以在大量任务上进行训练,以学习如何以元学习的方式产生最适合当前任务的零件过滤器。这是通过最小化查询样本上的分类错误来元学习的MFL能够在测试中的全新任务上实现良好的泛化和快速适应。多样化的本地零件。在没有部件级监督的情况下,可能的情况是所有部件掩模聚集在最具区别性的区域中,并且因此产生相同的部件感知特征。为了帮助部件感知特征针对不同的对象部件区域,我们提出了由[27,51]激发的部件多样性损失,其被公式化为:以将涉及的分类信息置于上下文中当前任务T. eT被定义为fea的平均向量。Ldiv=Σ Σ< f i,f j>.(四)fi任务T中所有支持实例的真向量x~s,即,i=1j=1,j ieT =1ΣNKx~s。在这里,x∈RC由以下等式定义:Ldiv背后的直觉是,如果第i和第j在支持特征图上执行全局平均池化。Gp建立从任务嵌入eT到部分过滤器的参数空间这样,公式-部件感知特征同时在类似区域中给出高激活响应,则div将具有大的值。通过最小化div,防止部件感知特征彼此具有高相似性。查询图像特色地图部分口罩特征提取器间隙H任务感知部件过滤器���⨀...⨂部件识别功能部件重要性相似性权重((特色地图共享支持c特色地图部分口罩相似度评分特征提取器⨀...⨂特征间隙生成⨁网站地图生成池化Meta过滤器学习器自适应重要������发电机组其他支持���样本间隙任务���任务嵌入���逐元素乘法串联⨀���×���ConvolutionGAP:Global Average Pooling���Meta过滤器学习器间隙���...��� ���支持样品在任务中任务嵌入���➚........................图3. Meta过滤器学习器Gp的图示。 Gpcon-8437联系我们i=1--L···我我我···× ×××⊕±CLS|Q|我i=1s,n我Kn=1我我i=1我i=1我我Σ----Φ(x,c)=Σai(f·f).(六)K3.3.部件感知度量模块在经历了任务感知的部件过滤器模块之后,每个实例在结构上被重新构造为一组部件感知的通过softmax函数对当前任务中的每个查询点xqexp(Φ(xq,c))特性:Ω(x)={fi}k.预测查询p(y=c|x q)=Σexp(Φ(xq,c′)) 、(7)样本,我们设计了一个部件感知的度量模块,计算和合并的局部零件之间的自然语义对应关系的然后,我们使用全局相似性来执行k-NN分类。具体地说,给定查询的部件感知特征集c′=1分类损失可以公式化为负对数概率:1ΣqqL=−logp(y=y|x)、(8)(xq,yq)∈Q与支持集中的所有类别cc=1的相似性然后可以将其变换为预测的类别概率。对于单次拍摄设置,支持样本xs来自因此,我们TPMN的最终损失如下:c类可以直接表示它的类:CΩ(c)={fs}k。Ltotal=Lcls+ λdiv Ldiv。(九)值得注意的是,对于多次拍摄设置,我们将同一类中的支持实例的部件感知特征与类别部件感知特征进行平均:f c=1Kfs,n,i=其中fi表示类别c中的第n个支持样本。则类别c可以表示为:Ω(c)=f ck。 为了表达式的方便,我们使用Ω(c)=f ck作为类别部分感知特征对于单次拍摄和多次拍摄设置。之后,从相同的任务感知PF获得的部件感知特征形成自然的语义对应,因为它们最有可能描述相同的局部部件。因此,我们匹配fq和fc以形成部件感知特征对。查询Xq和类别c之间的全局图像级相似性可以通过聚合部件相似性来确定。然而,天真地将局部相似性与相等权重组合是次优的,因为不同局部部分的贡献变化很大。有些零件可能含有背景噪声,需要加以抑制.为了实现这一目标,我们设计了一个自适应的重要性生成器Ga分配适当的重要性权重的部分知道的功能。具体地,零件特征对被关联并馈送到Ga中以导出重要性权重:ai=Ga(fqfc;θa),i= 1,2,3,···,k,(5)其中λdiv是div的权重。有关TPMN与相关方法之间差异的讨论,请参阅补充材料4. 实验在本节中,我们首先介绍实现细节和数据集。然后,我们展示了实验结果和一些可视化。更多实施细节和结果请参见补充资料4.1. 实现细节为了与以前的作品[52,15,53]进行公平比较,我们选择ResNet-12作为特征提取器φ的主干,并删除最后一个全局平均池化层。具体地,将大小调整为84 843的输入图像馈送到φ中以得到大小为5 5 640的特征图x。Gp中的权重生成器gp(i= 1,2,…,k)由2个全连接(FC)层组成,每个层后面跟随ELU激活函数。自适应重要性生成器Ga也由2个FC层组成。在元训练之前,我们对骨干φ应用预训练策略以加速训练过程,如[40,52]所示然后,以情节的方式训练模型每一集由一个包含15个查询的N向K其中表示级联,并且ai是第i个部件感知特征对的重要性权重,θa表示Ga的参数。受地面实况的约束,端到端训练的Ga可以学习向对分类具有较大贡献的部分分配较高权重,例如,匹配良好且有区别的部分。将比较模块记为Φ,最终的全局相似性被定义为局部相似性的加权和:q cq我我i=13.4.培养目标基于Φ计算的全局相似度,我们的网络可以计算类c∈每个班级的样本。我们主要尝试5路1次拍摄和5路5次拍摄设置。采用SGD优化器,学习率为0。0001 我们采用图像增强,包括水平翻转,随机裁剪和颜色抖动的训练。对于miniImageNet上的1次和5次设置,局部部分的数量设置为15和20,这是通过情景交叉验证选择的。λ div的默认值设置为0。1.一、在测试阶段,我们在1000个随机抽样任务中报告了95%4.2. 数据集描述我们在四个具有挑战性的数据集上评估我们的模型,包括迷你ImageNet[48]、分层ImageNet[36],Fewshot-CIFAR 100(FC 100)[30]和CIFAR-FS [4]。MiniImageNet[48]有100个类别,600个样本样本xq:Ω(xq)={fq}k,我们希望获得其SIM卡-我i=1NN843880757065605550450125 10 15 20 25掩模数量(一)888684828078767472012510 15 20 25掩模数量(b)第(1)款在miniImageNet上,5路1次拍摄设置中的准确率提高了7.17%,5路5次拍摄设置中的准确率提高了3.97%。这验证了我们的方法在发现局部部分和利用局部特征的有效性准确性的改进,profements也显示了局部部分表示优于全局表示,因为局部功能更细粒度和跨任务的可转移。与基于局部表示的方法的比较。我们还比较了我们的方法与几个度量-图4. (a)5路1次激发设置和(b)在miniImageNet上的5向5次拍摄设置。支持查询杜宾支持查询电吉他图5.可视化学习的局部部分(以五个局部部分为例)的两对支持和查询图像从类杜宾犬和类电吉他。 每对 的图像来自同一类。我们可以观察到局部部分之间明确的语义对应关系。根据ILSVRC-2012中选择的类别[39]。按照[34]中的划分,这些类别分别分为64、16和20个,用于培训、验证和测试。TieredImageNet[36]是ILSVRC的一个更大的子集12 [39],包含608个类,分为351个训练类,97个验证类 和 160 个 测 试 类 , 如 [36] 所 示 CIFAR-FS[4] 基 于CIFAR 100 [19]构建,包含100个类,每个类600个样本。这些类被分成64、16和20个类,分别用于训练、验证和测试。FC100[30]也来源于CIFAR100 [19],它包含100个类,分为20个超类,以最大限度地减少类重叠。这些类被分成60个、20个和20个,分别用于训练、验证和测试。4.3. 与其他方法与基线的比较。我们首先将我们的方法与基于图像级表示的基线ProtoNet [44]进行比较。ProtoNet计算查询样本与每个类原型(支持样本的平均表示)的距离,作为预测的类概率。我们重新实现了Pro- toNet与相同的预先训练的骨干和培训策略与我们的TPMN。如表1所示,我们的TPMN在两种设置下都明显优于依赖于全局图像表示的ProtoNet,实现了基于本地嵌入的基线,包括DN 4 [24],ATL-Net [9],DC [25]和DeepEMD [53]。结果总结于表1中。我们的方法优于所有这些方法,并且比最好的基于局部的方法(即,Deep-EMD)。这是因为先前的方法简单地采用从特征图划分的补丁表示并且遭受大的随机性。这种方法会掩盖较大的噪声,丢失头部、腿部等不规则区域的判别信息。然而,我们的模型可以自动地利用多个局部部分的过滤器,并感知最相关的任务与当前任务的任务感知机制的局部特征。与最先进技术的比较。我们比较TPMN与一些国家的最先进的方法。(1)迷你ImageNet和分层ImageNet的结果(见表1(a))。比较的现有技术方法分为三组:基于梯度、基于生成和基于度量。我们的TPMN在所有设置下的两个基准上都达到了新的最先进的性能,这有力地证明了我们的方法的有效性。与基于最佳生成的方法(DTN)相比,TPMN实现了4.19%的大幅度在1-shot设置,并在5-shot设置5.53%以前的基于生成的方法通常产生线性分类器和卷积层的参数,而我们的方法专注于生成更通用的任务感知部分过滤器。与基于度量的方法相比,我们的方法也有明显的领先优势。这是因为我们的方法要求更好的可转移性,利用任务感知的本地部分。(2)FC 100和CIFAR-FS的结果(见表 1(b)和表1(c))。该方法在FC 100和CIFAR-FS上的所有任务中也取得了优异的性能。特别地,我们的结果在CIFAR-FS上的5路1次任务中以1.6%的显著幅度优于最先进的性能,这进一步证明了我们的方法在利用任务感知局部部分方面的4.4. 消融研究在本节中,我们进行了详细的消融研究,以评估每种设计的效果。模型组件分析。我们在miniImageNet上对TPMN的模型组件进行了详细分析,如表2所示。为了研究任务感知部分过滤器(TAPFs)的贡献,我们将我们的重新准确度(%)准确度(%)..67.667.1.65 666 466 160.56461.5mini-1shot82.683.183.482.279.581.481.2mini-5shot8439LLL方法骨干Fewshot-CIFAR1001发5发TADAM [30] ResNet-1240.10±41.10±43.88±45.10±44.60±45.83±42.04±46.47±0.400.600.751.80.70.480.170.2656.10 ±0.4055.50 ±0.6057.05 ±0.7157.60 ±0.960.90 ±0.659.74 ±0.5657.05 ±0.1663.22 ±0.71[21]第二十一话[48]第四十八话MTL [45] ResNet-12[47]第四十七话Centroid [1] ResNet-18DC§ [25] ResNet-12DeepEMD§ [53] ResNet-12ProtoNet‡ [44]ResNet-1242.66± 0.7658.92 ±0.76TPMN(我们的)ResNet-1246.93±0.7163.26±0.74(b)关于Fewshot-CIFAR 100数据集的结果。方法骨干CIFAR-FS1发5发免费射击[35]ResNet-1269.2 ± 无72.0±0.773.5±0.873.9± 0.872.3 ±0.884.7 ± 不适 用 84.2±0.585.7±0.786.9± 0.585.1 ±0.6[21]第二十一话ResNet-12马巴斯[17]ResNet-12蒸馏[47]ResNet-12DSN [42]ResNet-12ProtoNet‡ [44]ResNet-1270.3 ±0.783.5 ±0.5TPMN(我们的)ResNet-1275.5±0.987.2±0.6(a) 迷你ImageNet和分层ImageNet数据集的结果(c)CIFAR-FS数据集的结果。表1.我们的方法与最先进的方法在(a)miniImageNet,分层ImageNet,(b)Fewshot-CIFAR 100和(c)Fift-CIFAR 100上的比较。(c)CIFAR-FS。粗体表示最高结果。‡表示结果来自我们重新实现的版本,§表示基于局部表示的方法。方法单次拍摄5次射击ProtoNet‡60.4779.47ProtoNet+PF64.1180.75ProtoNet‡ +TAPF65.9481.47ProtoNet‡ +TAPF+Ldiv ProtoNet‡+TAPF+Ga66.5366.8382.8482.39ProtoNet‡ +TAPF+Ga+Ldiv(TPMN)67.6483.44方法单次拍摄5次射击Cosmax [7]43.06 ±1.0147.51 ±0.72-46.85 ±0.7550.67 ±0.7864.38 ±0.8667.96 ±0.7066.17 ±0.5570.37 ±1.0271.08 ±0.73ProtoNet‡ [44][10]第二十话质心[1][52]第五十二话TPMN(我们的)52.83± 0.6572.69± 0.52表2.在miniImageNet上以5路1次和5路5次设置的消融结果。实现了ProtoNet和通用零件过滤器(PF),这些过滤器使用相同数量的掩码在任务之间进行端到端学习和共享。然后,我们测试了div和自适应重要性生成器Ga的性能改进。TPMN的完整版本在这两种设置中给出了最高的结果。 结果分析如下:(1) 与ProtoNet相比,TAPF的引入实现了显著的性能增益,5.47%在一次拍摄设置中。这些改进主要归功于TAPFs发现互补局部的能力。此外,TAPF的性能明显优于通用PF,在单次注射设置中领先1.83%。这证明了我们的任务感知机制的优越性。与一般特征函数相比,TAPFs能适应任意任务,产生更多的可传递和任务相关的零件特征。(2) 利用div,可以观察到进一步的改进,例如1.37%,5次拍摄。div防止过滤器聚焦在相似的局部部分上。多元化表3.跨域结果从迷你ImageNet到CUB在1- shot和5-shot设置。‡表示我们的实现。局部区域帮助模型形成对对象的更全面的理解。(3)与ProtoNet和TAPF的组合相比,Ga的加入也有助于一定的性能提升这证明了Ga在辨别有区别的部分和无区别的部分方面是生产性的。因此,Ga可以分配适当的部分权重,以促进更有效的全局度量。局部零件数量分析。我们研究了局部部分的数量(表示为Nf)对迷你ImageNet的影响(见图4)。在单次设置中,当Nf=15时,获得最佳性能。随着Nf的增长,准确率呈现出上升的趋势,因为更多的局部区域可以带来更多的对象的互补语义信息。然而,在Nf=15处达到峰值之后,精度随着Nf的增加而下降。这是因为可用的少量样本无法支持由增加模型参数所带来的大量模型参数的方法骨干迷你ImageNet分层ImageNet单次拍摄5次射击单次拍摄5次射击基于梯度48.70±61.20±62.64±63.8±0.841.800.610.455.31 ±0.7375.50 ±0.8078.63 ±0.4680.1±0.351.67±65.62±65.99±71.2±1.811.800.710.470.30 ±1.7580.61 ±0.9081.56 ±0.6385.3±0.3美国[12]MTL [45] ResNet-12[21]第二十一话[28]第二十八话基于产生58.50±56.20±61.76±63.45±0.300.860.080.8676.60 ±0.3873.00 ±0.6477.59 ±0.1277.91 ±0.62TADAM [30] ResNet-12--[13]第十三话--LEO [40] WRN-28DTN [6] ResNet-1266.33±-0.0581.44 ±0.09-基于度量43.56±50.44±63.85±51.24±54.30±64.82±62.64±66.78±67.10±62.53±65.91±0.840.820.480.740.760.600.660.200.520.190.8255.31 ±0.7365.32 ±0.7079.44 ±0.3471.02 ±0.6473.22 ±0.6382.14 ±0.4378.83 ±0.4582.05 ±0.1479.54 ±0.6078.95 ±0.1382.41 ±0.56-54.48±69.89±--71.52±66.22±---71.16±0.930.510.690.750.87-71.32±0.7884.23 ±0.37--86.03±0.4982.79 ±0.48---86.03±0.58[48]第四十八话[46]第四十六话:CAN [15] ResNet-12DN4§ [24] ConvNet美国[9][47]第四十七话[42]第四十二话[52]第五十二话美国[22]DC§ [25] ResNet-12DeepEMD§ [53] ResNet-12ProtoNet‡ [44]ResNet-1260.47± 0.6279.47 ±0.4370.46± 0.6983.78 ±0.65TPMN(我们ResNet-1267.64±0.6383.44±0.4372.24±0.7086.55±0.638440w=0.18w=1.00w=0.28w =0.37w=0.53w=0.19(a) 重要性权重。通用零件过滤器任务感知部件过滤器(b) 不同的部分挖掘策略。图6. (a)局部部分及其归一化重要性权重的可视化。更大的权重被分配给更有区别的部分。(b)对未知任务采用不同的局部挖掘策略得到局部部分。任务感知PF具有比通用PF更好的泛化和本地化能力,通用PF是端到端学习和跨任务共享的。面具过多的PF会引入冗余的语义信息甚至背景噪声。在5次激发设置中可以观察到类似的性能变化趋势不同之处在于,在Nf=20时实现最佳性能。总的来说,在不同的Nf下,精度变化相对平稳,表明了模型的鲁棒性。4.5. 跨域传输实验根据[7]中的实验设置,我们进行了跨域转移实验,其中模型在迷你ImageNet数据集上进行元训练,但在CUB数据集上进行元测试[49]。该实验设置允许更大的域差距和更好地评估不同方法的知识转移能力。如表3所示,我们的方法证明了优于其他方法,并且显示出在1次拍摄设置中的2.16%的绝对精度增益,以及在5次拍摄设置中的1.61%的绝对精度增益,优于最佳方法(即,FEAT [52])。这表明,我们的方法有效地挖掘的对象部分区域,提供更多的跨不同领域的可转移的本地信息。此外,Meta过滤器学习器中的任务感知机制允许为任何任务定制部分挖掘过程。因此,我们的模型可以克服领域差距,并推广到新的类。4.6. 可视化部件对应关系的可视化。为了定性地评估任务感知部分过滤器,我们在迷你ImageNet和分层ImageNet上可视化查询和支持图像的几组部分掩码每组中的图像来自相同的类别(参见图5)。如我们所看到的,在从相同的任务感知PF获得的一对部件掩码之间建立了清晰的语义对应例如,在Doberman类别中,部件查询图像的头部、臀部和下肢可以与支撑图像的相应部分掩模精确地匹配,即使两个图像中的对象在相反的方向上。这证明了我们的PF的效率在对由不同图像组成的大量任务进行元训练之后,每个PF都可以很好地捕获特定的语义模式,因此所得到的部分对齐对视图和尺度变化具有鲁棒性。另一个有趣的事实是,我们的PF不仅可以发现像部分头部这样的小区域,还可以发现像身体上部这样的大区域。多尺度信息可以进一步增强模型的区分能力和鲁棒性。部件重要性权重的可视化。为了生动地呈现自适应重要性生成器Ga的工作机制,我们将具有由Ga分配的归一化重要性权重的部分掩模可视化在属于同一类别的一对查询和支持图像中。如图6(a)所示,一些匹配良好且有区别的部分被突出显示,占据较大的权重(即,第二、第四和第五部分),而一些没有很好对准或包含大背景噪声的部分被分配较小的权重(即,第一部分和最后部分)。不同局部开采方案的比较。 我们比较了部分掩模在看不见的任务学习的通用PF和任务感知的PF在一个更直观的方式。如图6(b)所示,通用PF几乎不能注意到对象,其中大部分被掩蔽的区域充满了不相关的背景。由于缺乏一个明确的机制,用于特征自适应,通用的PF不能产生歧视性的部分区域的图像从新的类。相比之下,任务感知的局部过滤器由于具备Meta过滤器学习器带来的任务自适应能力,在挖掘未知类的多样性和高质量局部部分方面表现良好。5. 结论在本文中,我们提出了一个任务感知的部分挖掘网络的FSL。我们以元学习的方式自动探索基于度量的模型中的对象部分。提出了一种Meta过滤器学习器来生成任务感知的部件过滤器,该过滤器可以适应任何单个任务,并为FSL挖掘有区别的实验证明了该方法的有效性。6. 确认这项工作得到了国家重点研究发展计划的部分支持 。 2018YFB0804204 , 国 防 基 础 科 研 计 划(JCKY2020903B002),中国科学院战略优先研究计划 ( No.XDC02050500 ) , 国 家 自 然 科 学 基 金( 62022078 , 62021001 ) , 模 式 识 别 国 家 实 验 室(NLPR)开放项目202000019,青年创新促进会CAS2018166。8441引用[1] ArmanAfrasiyabi,Jean-FrancoisLalonde,andChristianGagn e´. 用于拍摄图像分类的关联对准欧洲计算机视觉会议,第18-35页。Springer,2020年。[2] Maria-Luiza Antonie、Osmar R Zaiane和Alexandru Co-man。数据挖掘技术在医学图像分类中的应用。在Proceedings of the Second International Conference onMultimedia Data Mining,第94- 101页[3] Antreas Antoniou,Harrison Edwards,
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- SSM动力电池数据管理系统源码及数据库详解
- R语言桑基图绘制与SCI图输入文件代码分析
- Linux下Sakagari Hurricane翻译工作:cpktools的使用教程
- prettybench: 让 Go 基准测试结果更易读
- Python官方文档查询库,提升开发效率与时间节约
- 基于Django的Python就业系统毕设源码
- 高并发下的SpringBoot与Nginx+Redis会话共享解决方案
- 构建问答游戏:Node.js与Express.js实战教程
- MATLAB在旅行商问题中的应用与优化方法研究
- OMAPL138 DSP平台UPP接口编程实践
- 杰克逊维尔非营利地基工程的VMS项目介绍
- 宠物猫企业网站模板PHP源码下载
- 52简易计算器源码解析与下载指南
- 探索Node.js v6.2.1 - 事件驱动的高性能Web服务器环境
- 找回WinSCP密码的神器:winscppasswd工具介绍
- xctools:解析Xcode命令行工具输出的Ruby库
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功