基于ViT的持续学习的元注意力

{mqxue,haofeizhang,sjie,brooksong}@zju.edu.cn1500基于ViT的持续学习的元注意力0薛梦琪 1 ，张浩飞 1 ，宋杰 1 ，† ，宋明丽 1 ，201 浙江大学 2 阿里巴巴-浙江大学前沿技术联合研究所，浙江大学0摘要0持续学习是一个长期存在的研究课题，因为它在应对不断出现的任务方面起着至关重要的作用。到目前为止，计算机视觉中的持续学习研究主要局限于卷积神经网络（CNNs）。然而，最近新兴的视觉变换器（ViTs）逐渐在计算机视觉领域占据主导地位，这使得基于CNN的持续学习在ViTs上的应用显得滞后，因为如果直接应用于ViTs，它们可能会遭受严重的性能下降。在本文中，我们研究了基于ViT的持续学习，以在ViTs的最新进展上取得更高的性能。受CNN中基于掩码的持续学习方法的启发，其中每个任务学习一个掩码，以使预训练的ViT适应新任务，我们提出了MEta-ATtention（MEAT），即自我注意的注意力，以使预训练的ViT适应新任务而不会牺牲已学习任务的性能。与Piggyback等先前基于掩码的方法不同，MEAT利用了ViTs的特性，仅对其部分参数进行掩码处理。这使得MEAT更加高效和有效，开销更小，准确性更高。大量实验证明，MEAT在准确性方面明显优于其最先进的CNN对手，提高了4.0％至6.0％。我们的代码已在https://github.com/zju-vipa/MEAT-TIL上发布。01. 引言0在开放世界场景中，能够解决不断出现的任务是一个有利的优点。人类通过将新任务与先前学到的知识关联起来，擅长解决不断出现的任务。然而，深度神经网络（DNNs）通常会因为数据偏差而在简单适应新任务时遭受“灾难性遗忘”[33]。0† 通讯作者0任务MEAT0任务1 任务2 任务3 初始任务0固定 调整 调整 调整0图1.在MHSA块中用于任务持续学习的MEAT与视觉变换器。随着新任务的增加，MEAT动态分配注意力掩码，以生成每个任务的任务特定的自注意模式。0在过去的几年中，已经有大量的文献致力于解决“灾难性遗忘”问题，以使DNNs能够在序列中掌握新到达的任务[23,27, 30, 36, 38, 41,43]。现有的持续学习方法可以广泛分为三类：重放方法[3, 6,19, 36, 37]，正则化方法[21, 23, 26, 27, 34, 50,52]和掩码方法[18, 30-32,41]。重放方法重放以前的任务样本，这些样本以原始格式存储或由生成模型生成，以减轻在学习新任务时的遗忘。为了避免存储原始输入、保护隐私和减轻内存需求，正则化方法在学习新任务时引入正则化项来巩固先前的知识。掩码方法学习每个任务的掩码，以使预训练模型适应新任务，以防止任何可能的遗忘。0尽管在计算机视觉领域取得了显著的进展，但大多数上述方法都是针对卷积神经网络（CNNs）进行的，因为在过去的十年中，CNNs在该领域的表现卓越。然而，CNNs在计算机视觉中的主导地位是1510最近，由于视觉变换器（ViTs）[10, 28,45]的更通用的架构（即在自然语言处理和计算机视觉之间架起了架构差距）和更优越的性能，它们对传统的基于CNN的持续学习方法提出了挑战。相比于ViTs的快速发展，先前基于CNN的持续学习方法似乎有些过时，因为直接应用它们于ViTs并没有充分利用变换器的特性。在这项工作中，我们致力于基于ViT的持续学习，以跟上ViTs的进展。具体而言，我们将我们提出的方法基于掩码方法[30-32,41]，原因如下：（1）掩码方法实际上为每个任务分配了不同的参数，因此完全避免了灾难性遗忘问题；（2）掩码方法对任务顺序不敏感，在持续学习中具有非常有利的优点；（3）掩码方法避免了昂贵的数据存储，并具有处理更多任务的更大容量，这使它们在重放和正则化方法方面具有突出优势。受到这些有吸引力的优点的启发，我们提出了基于掩码的ViT支持的持续学习方法，称为MEta-ATtention（MEAT），以进一步提高持续学习性能，如图1所示。MEAT继承了所有上述优点，并同时引入了以下与先前掩码方法不同的创新：（1）MEAT充分利用了ViTs的架构特性，并引入了注意力自注意机制（其中包含元注意力），这是为基于变换器的架构量身定制的，使MEAT更加有效。（2）先前的方法，如Piggyback[30]，需要手动设置二值化掩码的阈值超参数。MEAT采用Gumbel-softmax技巧[20]来解决离散掩码值的优化困难，从而减轻了超参数搜索的负担。（3）与先前的基于掩码的方法不同，MEAT仅对其部分参数引入掩码，这使其比先前的方法更加高效。为了验证所提方法的优越性，我们在各种ViT变体（包括DeiT-Ti[45]，DeiT-S [45]和T2T-ViT-12[49]）上进行了广泛的实验，包括基准比较和消融研究，涵盖了各种图像分类基准（包括ImageNet [8]，CUB[47]，Stanford Cars [24]，FGVC-Aircraft[29]，CIFAR-100 [25]，Sketches [11]，WikiArt[40]和Places365[53]）。实验结果表明，MEAT在准确性方面明显优于其最先进的CNN对手，提高了4.0％至6.0％的绝对准确性，同时存储任务特定掩码的存储成本更低。总之，我们的工作的主要贡献如下：0• 我们提出了MEAT，据我们所知，这是第一个以ViT为支撑的持续学习方法，以推动ViTs的发展。0•大量实验证明，MEAT相对于其最先进的CNN对手表现出显著优势，同时在保存任务掩码的存储成本方面消耗较低。0•我们在MEAT中引入了三项创新，包括部分参数掩码、避免手动超参数设置和元注意机制，以提高MEAT的性能。02.1. 视觉Transformer02. 相关工作02.2. 持续学习0变压器[46]是自然语言处理（NLP）[1,9,35]中一种流行的网络架构，在计算机视觉领域取得了巨大的成就，享有最先进的性能，在许多视觉任务中表现出色，包括图像分类[10,28,45]，目标检测[2,5]和目标分割[4,51]。在这些工作中，VisionTransformer[10]是该领域的开创性工作，通过将图像分割成16×16的补丁，并将它们嵌入到一个令牌序列中作为模型输入，类似于NLP中的单词。受到VisionTransformer取得的优异结果的启发，许多研究人员开始研究和改进基于transformer的计算机视觉模型。DeiT[45]通过引入新的蒸馏令牌和一些训练策略来提高VisionTransformer的训练效率。SwinTransformer[28]提出了一种构建分层表示的新的transformer骨干。Tokens-To-Token VisionTransformer（T2T-ViT）[49]采用令牌到令牌（T2T）过程，在ImageNet[8]上从头开始训练，取得了很好的结果。在我们的实验中，我们使用了三个代表性的视觉transformer：DeiT-Ti，DeiT-S和T2T-ViT-12作为骨干网络。0持续学习是指在保留先前知识基础的同时，通过新的任务流增量训练模型，近年来引起了广泛关注[7]。通常，持续学习有两种设置：（1）任务持续学习，通过新任务扩展知识，这些任务具有明确的领域边界；（2）类别持续学习，通过在同一数据集中分离的不同类别集上积累知识。在这项工作中，我们主要关注任务持续学习。以往的持续学习方法可以广泛分为重放方法、正则化方法和掩码方法。重放方法[3,6,19,36,37]期望存储先前任务的样本子集，并在旧样本上重新训练模型以复习旧任务的知识。基于正则化的方法[21,23,26,27,34,50,52]利用知识蒸馏技术[15]和特殊的正则化项来避免灾难性遗忘。持续学习的其他掩码方法致力于通过为每个新任务引入额外的掩码来扩展网络容量[18,30-32,41,43,48]。通过顺序增加新的掩码（权重掩码[18,30-32,48]或单元掩码[41,43]）并同时屏蔽旧任务的参数，可以保留先前任务的知识。例如，PackNet[31]迭代地对训练良好的基础网络进行修剪，并保持二进制稀疏掩码以固定传入任务所需的参数。Piggyback[30]为每个任务在基础网络的所有参数上引入二进制掩码，避免了遗忘问题。HAT[41]设计了单元掩码，并保留了学习任务的特征嵌入以保留旧任务的信息。我们提出的MEAT基于掩码方法：给定一个良好初始化的transformer，我们为自注意机制分配注意力掩码，并为一部分参数分配掩码，充分利用ViTs的架构特性进行持续学习。除了主要设计用于CNN结构的增量学习在计算机视觉中，越来越多的NLP研究将transformer与增量学习相结合。Adaptor-BERT[16]在每一层中添加两个全连接层作为适配器，并在训练过程中冻结旧参数（除了归一化层）。受到这项工作的启发，B-CL[22]采用胶囊和动态路由[39]将旧知识传递给新任务，用于情感分类任务。[17]提出了一种基于信息解缠的正则化方法，进一步推广旧任务的知识。我们还将MEAT与Adaptor-BERT进行比较，以验证我们方法的有效性。methods [3, 6, 19, 36, 37] expect to store a subset of sam-ples of previous tasks and retrain the model on old sam-ples to review knowledge of old tasks. The regularization-based methods [21,23,26,27,34,50,52] utilize the knowl-edge distillation technique [15], special regularization termsto avoid catastrophic forgetting.The other mask meth-ods of continual learning are devoted to expanding thenetwork capacity via introducing extra masks for eachnew task [18, 30–32, 41, 43, 48]. The knowledge of pre-vious tasks can be preserved by sequentially increasing newmasks (weight masks [18,30–32,48] or unit masks [41,43])and masking out parameters of old tasks simultaneously. Forexample, PackNet [31] iteratively performs pruning a well-trained base network and maintains binary sparsity masks tofix necessary parameters for incoming tasks. Piggyback [30]introduces binary masks on all parameters of a base networkfor each task without the forgetting problem. HAT [41] de-signs unit masks and keeps the feature embeddings of learnedtasks to preserve information of old tasks. Our proposedMEAT builds upon mask methods: given a well-initializedtransformer, we assign attention masks to the self-attentionmechanism and a portion of parameters to fully leverage thearchitectural characteristics of ViTs for continual learning.Besides incremental learning in computer vision mainlydesigned for CNN structures, a growing body of research inNLP has equipped the transformer with incremental learn-ing. Adaptor-BERT [16] adds two fully connected layersas an adaptor in each layer and freezes old parameters (ex-cept for normalization layers) during training. Inspired bythis work, B-CL [22] adopts capsules and dynamic rout-ing [39] to transfer old knowledge to new tasks for aspectsentiment classification tasks. [17] presents an informationdisentanglement-based regularization method to further gen-eralize old task knowledge. We also compare MEAT withAdaptor-BERT to verify the effectiveness of our methods.15203. 方法03.1. 预备知识0典型的视觉变换器由三个关键组件组成，即用于嵌入补丁特征的可训练线性投影、多头自注意力（MHSA）块和前馈网络（FFN）块。输入图像被分割成n个小补丁作为图像令牌，然后映射为d维向量的序列。可训练的类令牌与图像令牌序列连接以进行最终的分类。输入序列X ∈ R(n+1)×d0被馈送到一堆相同的编码器层。每个编码器层由一个MHSA块和一个FFN块按顺序组成，带有残差连接。具体来说，具有H个头的MHSA块可以表示为0MHSA(Q, K, V) = Concat(head1, ..., headH)WO, (1)0其中Q，K和V是查询、键和值的嵌入；头h ∈R(n+1)×dk是注意力头h的输出，满足dk = d/H，WOh ∈Rdk×d是输出投影矩阵。注意力头h的计算方式为0头h = ΨhVh = σ(Ah)Vh = σ � QhK�h√dk0�Vh，(2)0其中Qh = XWQh，Kh = XWKh，Vh =XWVh是X通过WQh，WKh和WVh的线性投影；Ah =QhK�h/√dk是点积注意力矩阵；σ(∙)是softmax激活函数；Ψh ∈R(n+1)×(n+1)是一个非对称矩阵，通过执行点积来衡量所有查询和键对之间的相似性。例如，Ψh的条目Ψi,jh表示令牌i对令牌j的注意分数。FFN块由两个线性层和一个激活函数φ(∙)（例如，GELU [14]）组成，并将输入序列X映射到0FFN(X; W1, W2) = φ(XW1)W2, (3)0其中W1 ∈ Rd×d'，W2 ∈Rd'×d是投影矩阵。为简单起见，省略了MHSA和FFN的偏置项。03.2. 元注意力0根据方程1和2，在MHSA块中，每个图像令牌的输出依赖于所有输入令牌。因此，自注意机制可以被普遍认为是所有图像令牌对之间的密集关系。因此，无论分配的任务如何，同一层中的所有图像令牌都参与最终的分类。在本文中，我们将像Ψh这样的令牌交互模式称为标准令牌交互模式。提出的MEta-ATtention（MEAT）旨在通过将注意力放在自注意力上动态地适应新任务的标准令牌交互模式。为了简化和将重点放在图像令牌的交互上，类令牌保持激活状态，Ψh ∈Rn×n仅测量图像令牌之间的关系。此外，我们还通过关注每个神经元将MEAT机制扩展到FFN块的训练神经元，探索适合的初始训练权重的子网络，以提高持续学习性能。03.2.1 注意力自注意力0对于一个以基础模型为基础的良好初始化的变压器，每个图像令牌在MHSA块中以标准的信息交互形式与其他图像令牌进行交互，用于初始旧任务。MEAT动态分配一个注意力掩码m ∈ Rn0用连续的值修改所有图像令牌之间的标准信息交互，以学习适应性通信模式，当顺序学习新任务时Ψih = Ψi,jhnj=1 =mj exp(Ai,jh )ns=1 ms exp(Ai,sh )j=1.(4)˜Ψi,jh =��mi =exp((log(ti,1) + g1)/τ)2k=1 exp((log(ti,k) + gk)τ),(6)mi = arg max ti,j.(7)1530MHSA0规范0激活0隔离0正常的令牌交互0适应的令牌交互0孤立图像令牌0激活的图像令牌0类令牌0图2.MEAT在transformer编码器层的MHSA块中的工作机制示意图。在标准令牌集成中，所有令牌之间的相互作用没有限制。MEAT提出了注意力掩码，通过动态激活和隔离图像令牌来修改这种通信模式。X和Y表示输入和输出序列。Q，K和V表示MHSA模块的查询、键和值。0对于来自旧任务的域偏移，特别是对于第i个输入图像令牌，掩码m的第i个条目mi用于修改与该层中的令牌i相关的注意力值。因此，MEAT掩码m以令牌为基础，根据标准信息交互Ψh生成自适应的令牌交互模式。在前向传播中，Eqn.2中的softmax函数σ可以修改为自适应softmax函数σA，用于计算任务特定的注意力，即Ψh =σA(Ah)。相似性Ψh的第i行可以写成0因此，Ψi，jh表示令牌i通过注意力掩码m支付给令牌j的修改后的注意力。任务特定的关系提供了一种在修改令牌交互时具有任务顺序不变性的解决方案：在推理时，每个新任务只使用相应的一组掩码和分类器，而不受其他任务的干扰。0随着进入任务数量的增加，提出的具有连续值的MEAT掩码需要大量的内存空间。如图2所示，采用二进制值MEAT掩码来替代以前的连续值掩码。具体而言，对于令牌i，二进制变量，注意力条目mi∈{0，1}修改其适应的注意力状态，其中1和0表示令牌i在适应的令牌交互模式中是否被激活。通过二值化的MEAT0掩码，可以计算Eqn. 4中的Ψi，jh为0exp ( A i,j h ) � n s =1 m s  exp00 , 否则. (5)0配备了注意力掩码后，图像令牌可以根据新任务动态激活。然而，在反向传播时，二进制掩码不能与新任务的分类器直接进行优化，因为它属于非可微分的分类分布，导致了NP-hard问题[12]。为了获得二进制mi，我们引入了一个可微分的变量，由可训练的ti∈R2参数化，然后利用一种新颖的Gumbel-Softmax估计器[20]来近似离散的二项分布，同时实现梯度下降优化，如下所示0其中τ > 0是温度，gk和g0是从Gumbel分布g =−log(−log(u))中采样的，其中u�Uniform(0,1)。ti的初始权重是从分布Uniform(−γ,γ)中独立采样的，其中γ >0是一个超参数。通过使用Gumbel-Softmax技巧，所提出的二进制掩码可以通过梯度下降与新任务的分类器一起平滑优化。对于推理，不需要更新权重。松弛过程被替换为0总之，MEAT将特殊设计的注意力掩码分配给自注意力块，通过在增量学习新任务时动态激活和隔离相应的图像令牌，以任务特定的方式创建适应的令牌交互模式。二进制值掩码大大减少了额外的开销。对于初始旧任务，标准令牌交互是一种特殊的适应性令牌交互模式，每个mi的值都是0始终设置为1。03.2.2 注意力到前馈网络0为了进一步提高任务增量学习的性能，我们将MEAT机制扩展到FFN块的训练神经元，通过关注每个神经元来探索初始训练权重的适合子网络。还提出了一个针对FFN块的注意力掩码，用于动态激活和隔离FFN块中每个线性层中的神经元。在传入任务的数据偏差上自动生成经过良好训练的FFN块的子网络。让W ∈ Rd1 ×d2表示在FFN块的任意内层上初始旧任务上训练的权重矩阵，其中d1和d2是输入和输出特征维度。注意，W已经在初始任务上进行了优化。我们不重新训练W用于新任务，而是自定义一个激活映射到W以防止灾难性遗忘。对于权重矩阵W中的每个神经元wi,j，二进制MEAT掩码的条目mi,j ∈ {0,1}表示其激活状态。引入新任务时，采用二值适配器与wi,j相乘，如下所示：,(9)1540和输出特征维度。注意，W已经在初始任务上进行了优化。我们不重新训练W用于新任务，而是自定义一个激活映射到W以防止灾难性遗忘。类似于TI适配器，对于权重矩阵W中的每个神经元wi,j，二进制MEAT掩码的条目mi,j ∈ {0,1}表示其激活状态。引入新任务时，采用二值适配器与wi,j相乘，如下所示：0˜ w i,j = m i,j w i,j =0� wi,j，如果mi,j =1；0，否则。（8）0在二进制适配器的帮助下，根据新任务可以保留或丢弃权重。类似于TI适配器的优化过程，也采用了Gumbel-Softmax技巧来解决注意力掩码m的非可微问题，如公式6所示。03.3. 优化目标0最终的优化目标由两个损失函数组成。第一个是传统的交叉熵损失L ce (ˆ p, p )，其中ˆp和p分别是预测的类别分布和真实标签。隔离图像标记可能会导致准确性下降，当隔离的标记数量超出正常限制时。因此，引入了一种新的降低控制损失，以防止过多的补丁丢弃。0L dc ( m ) =10L0L �0l =10�0λ − 10n0i =1 mi l0� 20其中λ是调整预期激活令牌数量的系数。公式9通过λ调整掩码，避免在早期训练阶段隔离太多的图像标记，这往往会降低性能。令α表示加权因子，最终的优化目标是求和的形式：0L = L ce (ˆ p, p ) + α L dc ( m ) . (10)04. 实验04.1. 实验设置0数据集：ImageNet[8]被设置为初始任务。采用了六个广泛使用的分类基准作为新的视觉任务，以添加到ImageNet初始化的视觉转换器中。展示了我们的方法在比ImageNet更细粒度的图像上的性能的三个细粒度分类数据集，包括CUB [47]，StanfordCars [24]和FGVC-Aircraft[29]。还采用了具有类别层次结构的CIFAR-100[25]。Sketches [11]，WikiArt[40]作为两个包含来自初始任务的不同领域图片的艺术相关数据集。此外，我们还引入了一个大规模数据集Places365[53]，以研究在MEAT的大领域转移数据上的持续学习能力。所有输入图像都调整为224×224像素。0骨干网络：原则上，特别设计的元注意力机制可以应用于任何视觉转换器。在本文中，使用了三种流行的基于transformer的模型作为骨干网络：DeiT-Ti [45]，DeiT-S[45]，T2T-ViT-12[49]。我们遵循所采用的三个ViTs的官方实现，并将我们提出的注意力掩码插入到每个编码器层的自注意力（仅添加在MHSA块中）和FFN的注意力掩码（仅添加在FFN块中）。官方在ImageNet上预训练的权重作为良好初始化的权重。参数：在训练阶段，我们基本上遵循DeiT[45]官方代码中使用的训练策略。新分类器和二进制MEAT掩码的初始学习率是批量大小。01024 ×  0 . 1 .所有ViTs都使用批量大小为256进行30个时期的训练。γ，α和λ分别设置为4，2和0.9。所有实验结果都是在6个随机新任务序列上进行5次平均。竞争对手我们将我们提出的MEAT与以下竞争对手的三个基于Transformer的模型进行比较：（1）单独分类器；（2）分类器；（3）LwF[27]；（4）Piggyback [30]；（5）HAT[41]；（6）Adaptor-Bert[16]。在这些基线方法中，单独分类器表示为每个任务训练一个独立的ViT。由于该方法通过任务的数量来复制模型，因此其性能可以作为连续学习的上限。分类器是简单的连续学习策略，仅对新任务的分类器层进行微调，即最后的全连接层。LwF、Piggyback、HAT和Adaptor-Bert是计算机视觉和NLP领域的四种代表性现有方法，用于连续学习。对于初始的ImageNet任务，我们直接使用官方开源的预训练权重。更多细节请参考补充材料。04.2. 基准比较0表1总结了主要的实验结果。总体而言，我们的MEAT在所有任务上与每个竞争对手相比，除了单独分类器之外，都具有更好的性能。虽然从准确性的角度来看，单独分类器是理想的，但它增加了模型参数，因为为新任务训练了6个独立模型，实际上违反了连续学习的设置。与其他连续学习的竞争对手相比，MEAT只添加和重新训练了少量的参数（即二进制掩码）。具体而言，分类器没有引入太多额外的参数，但在旧任务的领域巨大变化的数据上表现不佳。LwF和HAT需要对模型参数进行整体重新训练，并且会遇到遗忘问题。与我们提出的方法类似，Piggyback和Adaptor-Bert为连续学习引入了一些额外的参数（即掩码或层）。然而，Piggyback将掩码应用于所有参数。Adaptor-Bert在每个编码器层中应用了两个线性层，导致额外的参数过多。DeiT-TiCUB75.1346.0559.0360.6568.3466.0371.16Cars69.8216.2739.3944.8750.5745.5053.42FGVC70.0014.3538.8745.5846.7141.2852.69WikiArt72.1338.6446.8862.4261.8457.0464.63Sketches73.5030.6453.1769.0765.4969.2170.73CIFAR-10083.8566.0569.7971.1870.6775.2178.13ImageNet30.8272.2026.2472.20N/A72.2072.20(0.00)(0.00)( 45.96)(0.00)N/A(0.00)(0.00)DeiT-SCUB82.6949.1069.3472.8979.6777.2081.53Cars84.7418.2974.0074.7273.2267.2377.20FGVC82.6915.5155.9960.0462.9957.0465.69WikiArt79.4843.8565.6468.0970.4371.3373.43Sketches80.6839.8070.7475.0374.9772.8776.68CIFAR-10089.0372.7175.6779.7679.5284.0085.93ImageNet49.7879.8423.0179.84N/A79.8479.84(0.00)(0.00)( 56.83)(0.00)N/A(0.00)(0.00)1550数据集 方法0单独分类器 LwF [ 27 ] Piggyback [ 30 ] HAT [ 41 ] Adaptor-B [ 16 ] MEAT0模型大小 149 MB 23 MB 23 MB 26 MB 23 MB 29 MB 25 MB0模型大小 582 MB 86 MB 86 MB 101 MB 86 MB 99 MB 96 MB0T2T-ViT-120CUB 74.47 26.15 45.33 63.57 66.57 64.31 69.900Cars 72.67 11.52 59.01 58.22 54.63 53.79 61.900FGVC 64.09 12.46 42.07 51.47 52.69 48.02 53.550WikiArt 73.51 35.57 51.24 60.34 58.53 59.01 61.200Sketches 76.60 18.79 61.98 73.07 71.29 74.02 74.750CIFAR-100 85.03 33.10 66.34 70.98 74.86 73.58 77.420ImageNet 32.62 55.42 28.54 55.42 N/A 55.42 55.420(0.00) (0.00) (↓26.88) (0.00) N/A (0.00) (0.00)0模型大小 179 MB 27 MB 27 MB 32 MB 28 MB 36 MB 30 MB0(6.63x) (0.07x) (1.00x) (0.20x) (1.02x) (0.30x) (0.14x)0表1.在初始ImageNet任务上添加的六个新任务的性能比较，使用三个视觉transformer。将新任务顺序输入网络，结果按照5个预设种子随机排序后取平均值。注意，Adaptor-B是使用的Adaptor-Bert基线。粗体和蓝色字体分别表示每个新任务中最佳和次佳性能（除了Individual（理想设置））。括号中标有↓的红色数值表示在连续学习新任务后ImageNet任务的平均性能下降。括号中的灰色数值表示重新训练模型大小相对于Classi�er的倍数。0新任务 方法 DeiT-Ti DeiT-S T2T-ViT-120Places3650Individual 52.67 55.22 51.530Classi�er 40.36 44.87 37.060LwF 42.17 45.13 39.770Piggyback 46.32 50.71 46.380MEAT 48.15 52.98 47.250表2.在Places365数据集上的分类结果（%），该数据集是添加到ImageNet预训练的transformer中的。0在平均结果之后，我们的方法在从初始任务中转移知识、避免灾难性遗忘和节省参数方面取得了良好的平衡。0另一个大规模数据集Places365[53]也作为一个具有显著领域转移的新任务引入，如表2所示。实验结果与小数据集上的结果几乎相同。我们提出的MEAT大幅提升了性能，同时避免了增加过多的模型参数。04.3. 消融研究04.3.1 组件的有效性0在图3中，我们展示了我们的方法如何从每个设计的组件中受益。每个子图中列出了五个模型变体，表示配备了不同的提出的模块或基线的三个视觉transformer。M1M2M3M4M5102030405060708090 DeiT-Ti DeiT-S T2TM1M2M3M4M51020304050607080 DeiT-Ti DeiT-S T2TM1M2M3M4M510203040506070 DeiT-Ti DeiT-S T2TM1M2M3M4M5102030405060708090 DeiT-Ti DeiT-S T2TM1M2M3M4M52030405060708090 DeiT-Ti DeiT-S T2TM1M2M3M4M5102030405060708090 DeiT-Ti DeiT-S T2TLwFPiggybackMEAT60657075808590 Vgg16-BN ResNet 50 Efficient Net T2T DeiT-Ti DeiT-S Vgg16-BNResNet50EfficientNet DeiT-TiT2TDeiT-S8163264128256512 Mo del Size1560(a) CUB0(b) Cars0(c) FGVC0(d) CIFAR-1000(e) WikiArt0(f) Sketches0图3.我们方法在六个新任务上各个组件的有效性。在每个子图中，绘制了在相同数据集上使用三个ViTs的固定模型变体的准确率（%）。0比较。具体而言，（M1）Classi�er基线，与表1相同；（M2）在MHSA上使用MEAT掩码的transformer，没有Eqn.9中的drop-control lossLdc；（M3）在MHSA上使用MEAT掩码的transformer，带有drop-control lossLdc；（M4）在FFN块的神经元上使用MEAT掩码的transformer；（M5）提出的MEAT。在三个视觉transformer中，MEAT掩码在标记和神经元上以及损失函数有效地提高了添加新任务时的分类准确率，相比于Classi�er基线（M1）。使用提出的损失函数的图像标记上的MEAT掩码（M3）在不修改训练权重的情况下实现了2.67%�7.02%的性能提升，证明了关注自注意策略的有效性。神经元上的注意力掩码（M4）通过动态激活和停用预训练权重，为每个新任务定制了完整transformer的子网络，大大提升了结果。总之，我们方法的每个采用的组件都能够持续提升学习性能。04.3.2 与CNN的比较0作为计算机视觉中的新兴模型，ViTs与CNN有着截然不同的架构。鉴于大多数现有的增量学习工作都是基于CNN的，我们在CIFAR-100数据集上进行了实验，比较了使用LwF、Piggyback和我们提出的MEAT的CNN（即VGG16-BN[42]、ResNet50 [13]和Ef�cientNet-B4[44]）和视觉变换器的性能，如图4a所示。由于MHSA块只存在于ViTs中，在CNN上的MEAT实验中，我们只将MEAT注意力掩码应用于在ImageNet上预训练的所有参数。可以观察到，基于CNN的模型和基于变换器的模型在使用这三种方法时表现更好。然而，由于缺乏自注意力的注意力掩码，CNN在MEAT下的结果仅略优于Piggyback下的CNN。值得注意的是，Ef�cientNet是一种具有相对较小模型大小和更好性能的优秀网络架构，优于DeiT-Ti和T2T在LwF和Piggyback实验中。然而，仅使用MEAT掩码与Piggyback实现了类似的结果。相比之下，三个ViTs在使用MEAT时表现更好，因为MEAT不仅在部分参数上引入了注意力掩码，还为自注意力分配了特殊的注意力掩码，并为新任务生成了独特的标记交互模式。我们将这种现象归因于我们工作的基本思想：关注自注意力。ViTs中的自注意力机制建立了所有图像块之间的密集和长距离依赖关系。应用MEAT掩码为图像标记分配不同的注意力值，每个新任务都可以构建具有很小开销的独特标记交互模式。然而，CNN的掩码仅修改了训练神经元的激活状态，缺乏对长距离关系的建模，带来的性能提升也比ViTs中的MEAT少。更多消融实验结果和分析请参考补充材料。0(a) 准确率0(b) 模型大小0图4. (a) 在CIFAR-100上比较视觉变换器和CNN的结果（%）。 (b)模型大小（MB）比较。0自注意力方面，CNN在MEAT下的结果仅略优于Piggyback。值得注意的是，Ef�cientNet是一种具有相对较小模型大小和更好性能的优秀网络架构，优于DeiT-Ti和T2T在LwF和Piggyback实验中。然而，仅使用MEAT掩码与Piggyback实现了类似的结果。相比之下，三个ViTs在使用MEAT时表现更好，因为MEAT不仅在部分参数上引入了注意力掩码，还为自注意力分配了特殊的注意力掩码，并为新任务生成了独特的标记交互模式。我们将这种现象归因于我们工作的基本思想：关注自注意力。ViTs中的自注意力机制建立了所有图像块之间的密集和长距离依赖关系。应用MEAT掩码为图像标记分配不同的注意力值，每个新任务都可以构建具有很小开销的独特标记交互模式。然而，CNN的掩码仅修改了训练神经元的激活状态，缺乏对长距离关系的建模，带来的性能提升也比ViTs中的MEAT少。更多消融实验结果和分析请参考补充材料。04.4. 分析与讨论0我们在所涉及的六个数据集上使用三个采用的ViTs可视化了第2层和第11层的训练二进制掩码，结果如图5所示。可以观察到，相