受限的少样本类别增量学习：C-FSCIL模型在挑战性的少样本学习问题中的准确性和压缩性能优于基线

Michael Hersche1,2her@zurich.ibm.comGeethan Karunaratne1,2kar@zurich.ibm.comGiovanni Cherubini1cbi@zurich.ibm.comLuca Benini2lbenini@iis.ee.ethz.comAbu Sebastian1ase@zurich.ibm.comAbbas Rahimi1abr@zurich.ibm.com1IBM Research-Zurich, 2ETH Zurich......RetrainingRetraining∼90◦∼90◦∼90◦∼90◦pesConvConvagents deployed in new and dynamic environments, wherethere is a need to continually learn about novel classes fromvery few training samples, and under resource constraints.We consider the challenging scenario of learning from anonline stream of data, including never-seen-before-classes,where we impose constraints on the sample size, computa-tional cost, and memory size.Let us first focus on the sampling constraint of trainingdata. Inspired by human-like sequential learning, classi-cal connectionist networks can be naively trained sequen-tially, e.g., first on a set of old classes, and then on a setof novel classes, whereby the training dataset of old classesis no longer available. As a result, the new learning mayinterfere catastrophically with the old learning by overwrit-ing weights involved in representing the old learning (andthereby forgetting) [33].This effect is known as catas-trophic interference, or catastrophic forgetting, and causesthe classification accuracy to deteriorate [12,33]. To addressthe catastrophic forgetting problem, research efforts have90570受限的少样本类别增量学习0摘要0从新数据中持续学习新类别，而不会忘记旧类别的先前知识，是一个非常具有挑战性的研究问题。此外，这种学习必须遵守某些内存和计算约束，例如（i）每个类别的训练样本仅限于少数，（ii）学习新类别的计算成本保持恒定，以及（iii）模型的内存占用随观察到的类别数最多线性增长。为了满足上述约束，我们提出了C-FSCIL，它的架构由一个冻结的元学习特征提取器、一个可训练的固定大小的全连接层和一个可重写的动态增长内存组成，该内存存储与遇到的类别数量相同的向量。C-FSCIL提供了三种更新模式，可以在学习新类别的准确性和计算-内存成本之间进行权衡。C-FSCIL利用超维度嵌入，可以在向量空间中持续表示比固定维度多得多的类别，且干扰最小。通过使用新的损失函数将类别向量之间准正交地对齐，进一步提高了类别向量表示的质量。在CIFAR100、mini-ImageNet和Omniglot数据集上的实验证明，C-FSCIL以显著的准确性和压缩性能优于基线。它还通过在1200个基类之上学习423个新类别，在这个少样本设置中尝试的最大问题规模上，准确性下降不到1.6%。我们的代码可在https://github.com/IBM/constrained-FSCIL上获得。01. 引言0深度卷积神经网络（CNN）在各种计算机视觉任务中取得了显著的成功，例如图像分类[15, 24, 26,47]，这得益于大规模的精心策划的数据集以及巨大的计算和内存资源。然而，这对于它们在新颖环境中的应用性带来了重大挑战，新颖环境中需要从极少量的训练样本中持续学习关于新类别的知识，并且受到资源约束。我们考虑从在线数据流中学习的具有挑战性的场景，包括从未见过的类别，其中对样本大小、计算成本和内存大小施加了约束。让我们首先关注训练数据的采样约束。受到类似人类的顺序学习的启发，经典的连接主义网络可以被顺序地天真地训练，例如，首先在一组旧类别上进行训练，然后在一组新类别上进行训练，旧类别的训练数据集不再可用。结果是，新的学习可能通过覆盖与表示旧学习相关的权重来与旧学习发生灾难性的干扰（从而遗忘）[33]。这种效应被称为灾难性干扰或灾难性遗忘，并导致分类准确性下降[12,33]。为了解决灾难性遗忘问题，研究工作已经进行了努力。0时间0FCL EM 输入图像0卷积0卷积0图1.C-FSCIL的概述，将输入图像映射到准正交原型，使得不同类别的原型之间的干扰很小。and xdog, revealing the semantic relation between a blackdog and a black cat (both include xblack) [9, 16]. In fact,fixed quasi-orthogonal vectors have been successfully usedas class vectors achieving improved performance in the su-pervised classification tasks [16,17].90580已经有一些研究致力于在网络权重的某些部分冻结的同时，扩展网络的其他部分以增强学习能力。其中，增量式学习（CIL）[4, 18, 34, 39,52]旨在学习一个统一的分类器，将在连续数据流中遇到的新类别添加到识别任务中，而不会忘记先前观察到的类别。更进一步，最近提出了少样本增量式学习（FS-CIL）[2, 5-7,40, 44, 48,56]算法，可以仅使用少量数据样本不断扩展学习到新类别。相比于通常从大规模训练样本中学习新类别的CIL，要求FSCIL只能用很少的新训练样本进行训练，这使得它更具挑战性。为了促进少样本学习，记忆增强神经网络（MANNs）将信息处理与存储分离[13, 14,21, 23, 42, 46,51]。MANNs将显式内存（EM）引入到嵌入网络中，使得网络可以将少量数据样本的嵌入写入内存作为类别原型，并在推理过程中从这些个别条目中读取。这种分离使得网络能够将新的原型卸载到EM中，从而不会危及先前学习的原型被覆盖，从而在少量类别（通常为20类）中获得显著的准确性。然而，MANNs的这一特性在CIL或FSCIL中尚未得到利用。这主要是因为在FSCIL中，不同类别原型之间的干扰随着类别数量的增加而增加。为了使MANNs能够进行持续学习，嵌入网络的表征能力应该自然地扩展到大量类别，并且干扰最小。这一关键要求可以通过利用超维计算[10, 19,35]来满足，其中类别可以由具有数千维度的随机高维向量表示。这种MANNs和超维计算的新组合最近在少样本学习中得到了发展。超维计算具有以下特点：（i）随机选择的向量与其他随机向量几乎正交的概率非常高（“维度诅咒”），因此新类别的表示不仅对旧学习是增量的，而且引起的干扰最小。这种现象被称为测度集中[28]，具有伪正交性随着维度增加而收敛到精确正交性的特殊属性。（ii）这种准正交向量的数量随着维度的增加呈指数增长，为随时间推移容纳新类别提供了足够大的容量。（iii）与直觉相反，准正交向量仍然可以编码语义信息。我们可以通过绑定准正交原子向量（x black  xdog）的向量来描述场景中的一个概念（例如，一只黑狗），该向量与所有其他涉及的向量（原子和复合向量）几乎正交。绑定向量可以分解为x black和xdog，揭示了黑狗和黑猫之间的语义关系（两者都包含x black）[9,16]。事实上，固定的准正交向量已经成功地用作类向量，在监督分类任务中实现了改进的性能[16, 17]。0在本文中，我们通过利用超维计算的表征能力来增强MANNs以执行FSCIL。在FSCIL操作期间，它被限制为要么没有梯度更新，要么对于学习新类别进行少量恒定次数的迭代，并且随着遇到的类别数量的增加，内存大小呈线性增长。本文的贡献总结如下：0首先，我们提出了C-FSCIL，它由一个冻结的特征提取器、一个可训练的固定大小的全连接层和一个可重写的动态增长的EM组成，该EM存储到目前为止遇到的类别数量相同的向量（见图1）。冻结部分与增长部分通过插入全连接层分开，全连接层在一个超维度嵌入空间中输出类向量，其维度保持不变，因此与过去和未来的类别数目无关。特征提取器是一个通过适当的锐化注意力进行元学习的CNN，它努力用准正交向量表示不相似的图像。C-FSCIL架构在第4.1节中介绍。0其次，C-FSCIL通过三种更新模式在学习新类别的准确性和计算-内存成本之间提供了一个权衡。简单而强大的模式1在EM中创建和更新一个平均的原型向量，作为EM中样本的平均值，而无需进行任何梯度计算（见第4.2.1节）。模式2将原型向量双极化，并在不超过一个小常数次迭代的情况下重新训练全连接层；为了重新训练，它需要在全局平均激活（GAA）内存中存储每个类别的平均激活模式（见第4.2.2节）。模式3将平均原型向量推动到准正交对齐，同时保持与原始平均原型的接近，使用一组新的损失函数的组合。然后，在不超过常数次迭代的情况下重新训练全连接层（见第4.2.3节）。0第三，与FSCIL基线相比，C-FSCIL在准确性、计算-内存效率和可扩展性方面表现更好，如第5节所示。在CI-FAR100、miniImageNet和Omniglot数据集上的实验证明，即使在模式1中，原型只需在一次通过中简单获得而无需进行任何基于梯度的参数更新，C-FSCIL仍然优于基线。在Omniglot数据集上，C-FSCIL可以扩展到1623个类别，其中423个新类别逐步添加到1200个基类别中，使用模式1、2和3时，准确性下降不超过2.6%、1.4%和1.6%。由于EM中类原型的准正交性，它们可以通过2×进行压缩，在FSCIL过程中导致1.7%-3.5%的准确性下降。905902. 相关工作02.1. MANNs0MANNs已经在一次性和少样本学习任务中使用过[21, 23,42, 50,51]。首先，它们的嵌入网络在一组初始类别（所谓的基类）上进行元学习。元学习之后，网络准备好为以前从未见过的类别（即新类别）提供新的表示，这些表示可以独立存储或通过EM检索。在这些工作中，训练是在基类上进行的，推理仅在新类别上进行，而不是FSCIL所需的两组类别的并集。此外，EM的大小由c个向量[42, 50]或c×k个向量[21,53,54]设置，其中c和k分别表示类别数和每个类别的训练样本数。可以使用带有随机标签的外积来压缩EM的内容[23]。类似地，C-FSCIL通过叠加两个类向量在EM中存储c/2个向量，如下所述。02.2. 回放和模式重放0为了解决CIL中的灾难性遗忘问题，回放方法在增量阶段学习新类别时存储一些旧的训练数据，并在学习过程中重放它们[1, 3, 31, 32, 36,39]。例如，每个类别可以在一个情节性记忆中存储灵活数量的样本。它为分类器提供旧类别和当前可用类别的训练数据，以便逐步学习新类别。情节性记忆的内存占用通过依赖入口/退出准则来保持有限[1, 3, 31, 36,39]。另外，过去类别的样本可以使用额外的计算成本使用GAN生成[8]。回放方法的存储和计算开销可以通过潜在重放[34]及其TinyML演化[38]来减少。潜在重放方法不是在输入空间中存储过去样本的一部分，而是存储来自中间层的相应激活模式[34]。存储的激活模式被重放以重新训练潜在重放层上面的所有层。我们的C-FSCIL避免了回放和模式重放的开销，因为它不需要以任何形式访问先前的数据。相反，它在EM（模式1）或GAA内存（模式2-3）中保持高度压缩的少量过去知识，其与比较方法相似或更小。注意，在模式2-3中，只需存储GAA内存就足够了，因为它包含c个压缩的激活，可以即时重新生成EM。为了区分c个类别，至少需要维护c个原型（类向量）；因此，与类别数目成线性增加是不可避免的。此外，如果内存限制变得更加紧密，我们的准正交设计可以通过将每个向量与随机绘制的键绑定并叠加两个键-原型对来进一步压缩其中一个内存，从而实现两倍的压缩并带来适度的准确性下降（见附录A.3）。02.3.类别不平衡和重新参数化0CIL中的另一个问题是类别不平衡问题，后面增量阶段观察到的类别的范数或偏差可能不平衡，导致网络的预测对新类别有偏见[18,52]。学习新类别可能还会干扰过去的类别。为了减轻类别不平衡的影响，最近的CIL方法采用余弦距离度量[18]，或者添加偏差校正层[52]以避免范数和偏差不平衡。类似地，已经提出了一种权重对齐方法，将新类别的权重向量的范数与过去类别的范数对齐[57]。另一个扰动源是来自新类别观察的梯度，可能会影响过去类别改变其权重。正则化策略旨在避免这种遗忘[22]，但最近的研究表明在CIL中不足够[30]。已经提出了各种掩码方法，在反向传播过程中仅将梯度应用于类别的子集[29]。我们在C-FSCIL中系统地避免了这些问题，其中为每个类别分配了超维准正交向量，以减少干扰。这不能通过其他方法来实现，这些方法用固定的Hadamard[17]或身份[37]矩阵替换全连接层，因为它们无法支持比它们连接到的层的向量维度更大的类别数。我们的原型存储在EM中，使用余弦相似度进行比较，并且可以选择性地更新。通过适当地重新训练保持结构固定且独立于类别数量的全连接层，可以改善与原型的对齐（见图1）。02.4.少样本类别增量学习（FSCIL）0最近，通过一系列增量会话，提出了FSCIL [5-7, 44, 48,56]来解决CIL中训练样本非常少的问题。已经提出了各种解决方案，例如利用神经气体网络[48]，图注意网络[56]，语义词嵌入[6]和向量量化[5]。具体而言，预训练的主干网络与非参数类均值分类器分离，其权重可以通过图注意网络在会话之间逐渐适应。即使是简单的Mode1，C-FSCIL也比以前的FSCIL [5-7, 44, 48,56]设置了新的最高准确性，并通过支持此设置中遇到的最大类别数（1623）展示了其可扩展的表示。事实上，所有以前的工作都使用了最多200个类别。为了能够在其他模式中进行重新训练，C-FSCIL需要GAA内存来存储与遇到的类别一样多的压缩激活模式。与Mode1相比，它允许随着时间的推移稳定地重新训练任意组合的会话或类别，并且准确性更高。̸......�...△p△p�...�a�a△a�...�a�EMp�p�EMp�p△EMp�p�p△p�a�EMp�p�△p△p��a�a△a�li = cos(tanh(gθ2(fθ1(x))), (tanh(pi))),(1)906003.符号和预备知识03.1.问题形式化0FSCIL按顺序提供训练集D（1），D（2），...，0D（s），...，D（S），其中D（s）：= {(x（s）n，y（s）n)} | D（s）| n =1，输入数据x（s）n，例如图像，和相应的真实标签y（s）n。标签y（s）n∈C（s）在不同的训练集中是互斥的，即�i≠j，C（i）∩C（j）=�。训练集被称为“会话”，其中第一个训练集被称为“基础会话”，提供更多的训练示例和类别。基础会话的目标是学习一个有意义的表示，我们可以区分C（1）中的方式（即类别）。后续会话提供大小为| D（s）| =c∙k的训练集D（s），其中c = |C（s）|是方式的数量，k是每个方式的训练样本数量，因此我们称之为c-wayk-shot。在给定的会话s中，只能访问相应的训练集D（s）；以前的会话1、2、...、s-1的训练集不再可用。模型在特定会话的评估集E（s）上进行测试。0它包含来自所有先前会话和当前会话的样本，即�j1）0模式30a）基础会话上的元学习0模式2模式10特征提取，全连接层，显式内存0GAAM0（θ 1）（θ 2）0T U 重新训练推动0特征提取0GAAM0T U 重新训练推动0FCL（θ 2）0全连接层（θ 2）0特征提取，全连接层，显式内存0（θ 1）（θ 2）0全连接层（θ 2）0FE0GAAM0T 重新训练双极。0FCL（θ 2）0特征提取 EM0GAAM0T 1 重新训练双极。0FCL（θ 2）0图2.C-FSCIL架构由特征提取（FE），全连接层（FCL）和显式内存（EM）组成。仅在模式2和3中需要全局平均激活内存（GAAM）。图中展示了这些组件在元学习、基础会话和新会话中的演变过程；更新的组件用灰色标记，冻结的组件保持为白色。同时还展示了三种更新模式，强调它们更新的组件以及迭代次数（1，T和U），以及它们如何随类别数量线性扩展的内存。这三种模式在基础会话之前都需要进行元学习。0并且原型向量。给定查询x∈E(s)和原型P(s):=(p1，p2，...，p|˜C(s)|)，我们计算类i∈˜C(s)的得分li如下：0其中tanh(∙)是双曲正切函数，cos(∙,∙)是余弦相似性。双曲正切已被证明是超维MANNs中有用的非线性函数[21]，它限制了激活的原型和嵌入输出的范数。此外，余弦相似性通过关注嵌入网络和EM之间的激活原型和嵌入输出之间的角度，而忽略它们的范数，解决了FSCIL中通常遇到的范数和偏差问题[18，29]。总体而言，这形成了嵌入网络和EM之间的基于内容的注意机制，通过计算每个内存条目相对于给定查询的相似性得分。这个注意向量通过软绝对锐化函数ϵ(∙)进行锐化，导致= gθ2As the number of prototypes increases with the new ses-sions, they fall short in discriminating between differentclasses due to insufficient inter-class separability. To thisend, we adjust the prototypes and the fully connected layerto better guide the activations that are provided by thefrozen feature extractor. We follow a two-stage strategy,where we first adjust the prototypes and then retrain thefully connected layer to align the averaged activations withthe newly adjusted prototypes.The first step tries to create separation between nearbyprototype pairs, which optimally yields close to zero cross-correlation between the prototypes pairs. A computation-ally cheap yet effective option is to add some sort of noiseto the prototypes, e.g., quantization noise. We propose toquantize the prototypes to bipolar vectors by applying theelement-wise sign operation, defined as K∗ = sign(P(s)).Next, the embedding has to be retrained such that itsoutput aligns with the bipolarized prototypes. Instead ofattempting to optimize every training sample, we aim toalign the globally averaged activations available in the GAAmemory, defined in (2), with the bipolarized prototypes(K∗). The final fully connected layer of the embeddingnetwork has the task of mapping localist features from thefeature extractor to a distributed representation. Hence, wefind that exclusively updating the parameters of the fullyconnected layer θ2 is sufficient, while the parameters of thefeature extraction θ1 are kept frozen during retraining. Dueto the averaged prototype-based retraining and the linearityof the fully connected layer, it is sufficient to pass the av-eraged activations from the GAA memory through the fullyconnected layer.The fine-tuning of the fully connected layer is based oniterative updates using a loss function that strives to maxi-mize the similarity between the averaged activations and the90610准正交性[21]。请参见附录A.2.2。生成的注意力向量用于读取值存储器。嵌入网络（θ1，θ2）和EM通过解决各种逐渐增强映射质量的少样本问题集来进行元学习（参见图2a）。这是通过逐渐学习为不同的图像类别分配几乎准正交向量，并将它们在超维空间中彼此远离来完成的。这个空间不会因为新遇到的类别而用尽这样的不相似向量。为了改善类间分离性，C-FSCIL在元学习设置的基础上进行了改进，并提供了三种更新模式，下面将对其进行描述。04.2. 更新模式0C-FSCIL无需以集中方式跟踪所有类别表示。相反，它依赖于超维嵌入空间，使用三种不同的技术逐步创建最大可分离的类别，以在内存计算成本和改进准确性之间进行权衡。在第一种模式中，嵌入网络已经被强制执行（在元学习期间）以为新类提供有效的准正交向量，如第4.2.1节所述。该模式在没有任何梯度更新的情况下在线学习。在第二种模式中，平均原型被双极化以实现更好的准正交性，然后重新训练完全连接层（第4.2.2节）。在第三种模式中，通过原型微调和完全连接层的微调进一步提高了分离质量（第4.2.3节）。图2中说明了这三种模式。在元学习之后，它们都不会更新特征提取器中的权重。04.2.1 模式1：平均原型0之前的少样本学习网络[45，50]提出了使用类均值作为每个类别的单个原型，然后将查询分类到最近的原型。受这些网络的启发，我们也通过计算属于一个类别的所有支持向量的类别平均值来表示每个类别的单个原型向量。原型存储在EM中，随着新的会话中计算出新的原型，EM会随时间不断扩展（参见图2b和c；模式1）。原型存储在EM中，P（s）=（p1，p2，...，p |˜C（s）|），P（s）∈Rd×| ˜C（s）|0到目前为止，已经暴露给模型的所有类别中，第i类的原型如下确定：0p i ( D ( s ) , θ )= 10k0|D (s ) | �0n =1 s . t . y( s ) n = i0g θ 2 � f θ 1 � x ( s ) n �� (2)0�0� � �k0|D (s ) | �0n =1 s . t . y0f θ 1 � x (s ) n �0�0� � � (3)0= g θ 2 � a i ( D ( s ) , θ 1 ) � , � i ∈ C ( s) . (4)0g θ 2 ( ∙ )的线性性使得从（2）到（3）的步骤成为可能。每个a i作为一个df维的压缩向量，表示类别i的全局平均激活，并使用g θ 2 ( ∙)确定相应的原型。全局平均激活（GAA）存储器跟踪所有过去的平均激活A（s）：= � a 1 ，a 2 ，...，a | ˜C（s）|�，A（s）∈R d f ×|˜C（s）|。模式1不需要GAA存储器，因为GAA存储器维护了下一两种模式中重新训练所需的过去类别的压缩激活。04.2.2 模式2：基于双极化原型的重新训练bipolar prototypes:LF�θ(t)2 , K∗, A�= −| ˜C(s)|�i=1cos�tanh(k∗i ), tanh(gθ(t)2 (ai))�(5)θ(t+1)2= θ(t)2− β∂LF�θ(t)2 , K∗, A�∂θ(t)2(6)where β is the update rate.After T iterations of parameter updates, the final proto-types P∗ are determined by passing the globally averagedactivations through the fully connected layer one last time.The fully connected layer was already fine-tuned on thequasi-orthogonal bipolarized prototypes and therefore thesefinal generated prototypes also tend to be quasi-orthogonal.Moreover, the final prototypes provide a better alignmentthan the earlier bipolarized prototypes. Fig. 2 illustrates thisprocess in Mode 2.4.2.3Mode 3: Retraining on Nudged PrototypesThis mode proposes an improved prototype alignment strat-egy based on solving an optimization problem instead ofsimply bipolarizing the prototypes. Given a set of initialprototypes, generated by the meta-learned embedding net-work, C-FSCIL first optimizes them to yield the nudgedprototypes. C-FSCIL then fine-tunes the fully connectedlayer to align it with the nudged prototypes.We aim to find the nudged prototypes that simultane-ously a) improve the inter-class separability by attaininga lower similarity between the pairs of nudged prototypevectors, and b) remain close to the initial averaged proto-types generated by the meta-learned embedding network.We set the initial nudged prototypes to the current proto-types stored in the EM, i.e., K(0) := P(s). The nudgedprototypes are then updated U times in a training loop tofind an optimal set of prototypes unique to the given A(s)available in the GAA memory (see Fig. 2 Mode 3).The updates to the prototypes are based on two distinctloss functions that aim to meet the two aforementioned ob-jectives. The first main objective is to decrease the inter-class similarity, which is achieved by minimizing the cross-correlation between the prototypes:LO(K(u)) =| ˜C(s)|�i,j=1i̸=jσ�cos�tanh(k(u)i), tanh(k(u))j)��,(7)The activation function σ(·) penalizes prototype pairs withlarge absolute cross-correlations:σ(c) := eα·c + e−α·c − 2, ∀c ∈ R,(8)where α = 4 controls the steepness of the loss. Optimally,all of the prototypes would be orthogonal due to having zerocross-correlation, which is not possible when the growingnumber of classes exceeds the number of dimensions. In-stead, we focus on finding the quasi-orthogonal vectors thatcan meet the constraint of d < | ˜C(s)|. There is a large num-ber of quasi-orthogonal vectors that can be found by mini-mizing the proposed loss function LO.The second objective is to keep the updated prototypessimilar to the initial prototypes K(0). This avoids signifi-cant deviations from the original representations of the ini-tial base categories on which the embedding network wastrained during meta-learning. We retain high similarity be-tween the currently updated and the initial prototypes byadding the following loss function:LM(K(u), K0) = −| ˜C(s)|�i=1cos�tanh(k(u)i), tanh(k(0))i)�.(9)Finally, the nudged prototypes are updated for U itera-tions, whereby one update is defined as:K(u+1) = K(u) − γ ∂(LO(K(u)) + LM(K(u), K(0)))∂K(u),(10)where γ denotes the update rate. The final nudged proto-types K∗ := K(U) will be used to retrain the fully con-nected layer for T iterations using the loss (5) and the up-date rule (6). Akin to Mode 2, the final prototypes are deter-mined by passing the globally averaged activations throughthe fully connected layer after retraining.906205. 实验05.1. 数据集0我们在miniImageNet [41]、CIFAR100 [25]和Omni