内存高效的迁移学习：Rep-Net特征重编程

12277Rep-Net：通过特征重编程实现李阳、阿德南·西拉吉·拉金、范德良电气，计算机和能源工程学院，亚利桑那州立大学，坦佩，AZ 85287网址：lyang166@asu.edu，asrakin@asu.edu，网址：www.example.com，dfan@asu.edu摘要迁移学习的目标是将经过良好训练的深度学习模型从主要源任务迁移到新任务，这是设备上机器学习的关键学习方案，因为物联网/边缘设备收集并处理我们日常生活中的大量数据。然而，由于物联网/边缘设备的内存限制很小，这种设备上的学习需要超小的训练内存占用，这给内存高效学习带来了新的挑战。许多现有的工作解决了这个问题，通过减少可训练参数的数量。然而，这并不能直接转化为内存节省，因为主要的瓶颈是激活，而不是参数。为了开发内存高效的设备上迁移学习，在此高级代表params输入池化输入可学习固定（一）（b）第（1）款分类器激活连接器分类器工作，我们是第一个从预训练模型的中间特征重新编程的新视角来骨架）。为了执行这种轻量级和内存高效的重编程，我们建议直接从新任务输入数据训练一个小型重编程网络（Rep-Net），同时冻结骨干模型。所提出的Rep-Net模型使用激活连接器以规则的间隔将特征与骨干模型进行交换，以使骨干模型和Rep-Net模型特征都相互受益。通过大量的实验，我们验证了所提出的Rep-Net模型在实现高内存效率的设备上重新编程的每个设计规格。我们的实验确立了优越的性能（即，低训练记忆和高准确性）的Rep-Net相比，SOTA设备上的迁移学习方案跨多个基准。代码可在https://github.com/ASU-ESIC- FAN-Lab/RepNet上获得。1. 介绍Nowadays, the utilization of IoT devices is significantlyincreased (e.g.,当今世界上有2500亿个微控制器1），它们收集并处理大量新数据1https://venturebeat.com/2020/01/11/why-tinyml-is-a-giant-机会/图1.对抗性重编程的工作流程（a）和Rep-Net（b）。对抗性重编程通过引入一个可学习的附加参数来重编程输入因此，Rep-Net直接获取输入数据，并学习重新编程中间激活功能。在我们的日常生活中跨越各种领域/任务。这一事实引起了研究人员对设备上AI的极大兴趣，不仅期望推理，而且还期望将预训练模型训练或转移到设备上的新数据。这种学习方案与迁移学习的概念密切相关[5]，其目标是将经过良好训练的深度学习模型从主要源任务转移到新任务，从而导致最近兴起的关于设备上迁移学习的研究方向。与传统的在云上学习深度学习模型然后在设备上执行推理的方案虽然在设备上学习的好处是显而易见的，但对于内存受限的物联网/边缘设备来说，内存消耗巨大的训练过程是一个极大的挑战。最近，关于记忆有效学习的研究[3，6，37]揭示了训练记忆消耗的瓶颈是中间激活的存储，而不是参数。因此，重新-预训练骨干模型预训练骨干模型Rep-Net12278××× ×∼引入训练存储器足迹，特别是预训练模型的激活存储，是实现设备上迁移学习的关键问题。然而，现有的迁移学习方法要么训练内存消耗巨大，要么迁移容量有限。通常，微调在大规模数据集上预训练的模型是一种常见的做法，如ImageNet [8]，以执行迁移学习[5，7，12，15，20，29，38]。与从头开始训练相结合，在目标数据集上微调预训练的卷积神经网络可以显著提高性能。一般来说，微调的方式主要有两种：1）将预训练模型视为固定的特征提取器，然后仅微调最后一个分类层[5，38]。该方法对于训练是记忆高效的，因为它消除了预训练模型的中间激活然而，这种方法的低转移能力已经在以前的工作中被广泛证明[7，20，29]。2)微调全部或部分预训练模型。这种方法可以达到更好的准确度[7，15，20，20，29]。然而，它更新了预先训练的模型，导致了巨大的激活内存占用。因此，它对于设备上的学习并不友好。此外，基于掩码的方法[28，36]通过学习预训练模型的所有权重的二进制掩码来但它只减少了可训练参数的大小，而不是激活记忆，仍然导致高记忆足迹。或者，对抗性输入重编程[10]通过重编程输入来执行迁移学习。如图在图1（a）中，输入重编程基本上是一种加法运算，以使用每个输入像素的可训练元素偏置来改变现有的输入特征（参见等式1（a））。（三））。与需要更新模型参数的微调方法不同，对抗性重编程保持模型架构不变。相反，它为输入数据引入了一个可学习的附加对抗参数，并在目标域数据样本上设计了一个输出标签映射来执行传输，如图所示。第1（a）段。这种方法在训练期间是存储器高效的，因为它仅学习附加参数以重新编程输入，而不需要对预训练模型进行任何更新，并且消除了存储器主导的激活存储。然而，它有几个缺点：1) 仅将可学习参数添加到输入的传递能力是有限的;2）这种设计仅在目标数据的输入大小比源数据小得多时才起作用（例如，ImageNet（224 224）到MNIST（28 28）），本质上限制了该方法在更复杂数据集上的通用性; 3）附加的参数大小和训练存储器成本仍然很高。例如，考虑到ImageNet预训练模型，它需要224224 3150K额外的可训练参数开销。尽管这些缺点，重新编程的概念是简单的，并且具有解决现有设备上学习挑战的潜力。为了解决现有工作的挑战和缺点，我们提出了重编程网络（Reprogramming Network，Rep-Net），它首次从中间特征重编程的新视角来处理设备上的迁移学习问题。如图在图1（b）中，Rep-Net用作与预先训练的骨干模型并行执行的轻量级侧网络。该设计的原理工作机制是通过所提出的激活连接器从输入数据重新编程固定的骨干模型，该激活连接器使得能够以规则的间隔在骨干和Rep-Net之间进行特征交换这种特征交换使用加法运算，不仅有助于骨干模型和Rep-Net模型更新和改进它们的特征，而且还从对抗输入重编程中继承了内存效率的属性为了执行设备上的迁移学习，我们只为新任务训练Rep-Net模型和特定于任务的最后一个分类层，同时冻结骨干模型。总的来说，我们的技术贡献包括：• 在这项工作中，我们第一次从一个新的角度来处理设备上的迁移学习，即针对给定的预训练骨干模型的中间特征重编程问题。 为了开发这种轻量级的重编程方案，我们提出了一种新的内存高效重编程网络（Rep-Net），该网络直接从新任务输入数据中训练，以重新编程骨干模型。它是一个小的卷积网络，内存开销很小。事实上，与对抗性输入重编程相比，我们提出的Rep-Net提高了内存效率，但提供了更大的传输容量。• 我们设计了专用的激活连接器，以使骨干和Rep-Net模型之间的功能交换定期。这两个模型从特征交换操作中相互受益。我们对连接器的设计规格进行了广泛的分析，调查并回答了以下设计空间挑战：也就是说，在训练过程中，考虑到有限的内存预算，如何交换特征？为什么两者都要交换（即，主干和Rep- Net模型）特征？需要多少个激活连接器Rep-Net需要多少层.• 我们进行了广泛的实验，以证实Rep-Net在多个基准测试中优于当前最先进的（SOTA）迁移学习方法。12279× ×∈L.ΣL××× × ∼2. 相关作品2.1. 记忆高效学习在最近的层中，已经提出了几项工作来减少训练记忆消耗，主要可以归类为激活重新计算[6，14]和压缩[11，23]。对于激活重新计算，想法是在反向传递期间需要时通过重新计算来消除部分或全部激活存储。因此，它涉及额外的计算成本。对于激活压缩方法，[23]提出通过修剪来减少激活。此外，[11]通过调整图像压缩算法来压缩激活，然后在训练期间使用它时解压缩注意，我们的方法与激活压缩方法正交最近，[2，37]进一步分析了记忆利用，并强调训练记忆由激活而不是参数大小主导。为了理解训练内存消耗，让我们假设一个线性层，其前向过程被建模为：a i+1=aiW+ b，则其反向传播过程是一个新的任务然而，所有的方法都更新了预先训练的模型，导致了巨大的激活记忆足迹。因此，它对于在设备上学习是不友好的。通过输入重编程的转移学习重编程的概念首先由对抗输入重编程引入[10]，其中输入的添加特征被训练以将模型的知识转移这个想法受到对抗性示例攻击的启发[26]，这是第一个证明输入的小（小于6%）加性扰动可以完全将目标模型的性能转变为新行为的方法。让现在，我们想对这个新的域数据x采用一个具有前向函数hθ的预训练网络，而不改变推理函数h（.）或参数θ。一种可能的解决方案是向输入p引入一组新的可学习的附加参数：x=x+p（2）L=a（一）重新编程的目的是将损失中国ai+1 b中国+1通过更新输入参数p，函数R得到正确的标签y其中a是激活特征，W和b是可学习的权重和偏差。当量（1）揭示了需要存储器的激活需要被存储用于在训练期间的反向传播，如果它与学习参数具有乘法关系（即，重量），而相加关系（例如，[37]不受任何限制。在这项工作中，Rep-Net也与固定的预训练模型具有完全的加性关系2.2. 迁移学习目前，随着深度神经网络的成功，将在大规模数据集（如ImageNet [8]）上预训练的网络微调到新数据集是知识转移的标准方法[5，7，12，13，15，20，29，38]。一般来说，微调的方式主要有两种：1）将预训练模型视为固定的特征提取器，然后仅微调最后一个分类层[5，38]。这种方法对于训练是记忆有效的，因为它消除了预训练模型的中间然而，这种方法的低传输能力已经在以前的工作中被广泛证明[20]; 2）微调全部或部分预训练模型这种方法可以实现更好的准确性[7，15，20，20，29]。具体来说，[13]根据特定领域的数据对整个模型进行微调，以提高对象检测的准确性。[7]提出只更新batchnorm层。此外，[15]自动决定在预训练模型minEXR（hθ（xθ），y）（3）{p}通过训练单个偏置p，可以对新域的整个数据集（X，Y）重复上述过程。这种输入重编程的概念很简单，不需要对主干模型架构或参数进行任何修改基于相同的思想，[19]提出通过重新编程输入并重新训练最后一个分类层来提高传输能力此外，[33]扩展到黑盒迁移学习，其中只有输入输出模型响应是可观察的。然而，这些输入重编程方法有几个缺点。首先，即使在添加非线性之后，仅添加输入偏置的学习能力也是最小的（例如，[10]在加入之前，Hard Tanh）。其次，它将添加额外的k k c可学习参数，考虑到大规模数据集，这是相当大的（例如， Imagenet模型2242243150k参数）。第三，输入重编程的性能较差，在简单任务上失败[9]第九节。为了克服这些挑战，我们建议从新的任务输入数据训练一个轻量级的侧网络，并重新编程中间激活功能。3. 该方法3.1. 概述在本节中，我们提出了一个轻量级的重编程网络（Rep-Net），它可以学习对12280H输入池化H/2W/23模块1W/4Rep-Net模块2H/8C1W/8C2模块QW座1座2座5座3H/4W/4C1小时/8C2W/8块N分类器固定预训练模型已保存激活可学习模块 固定块激活连接器图2.重编程网络（Reprogramming Network，Rep-Net）所提出的Rep-Net模型直接从输入中学习输入图像直接输入到Rep-Net和骨干模型中。此外，Rep-Net由位于骨干模型观察到特征分辨率降低的特定位置的少量层组成。骨干模型激活功能直接从输入数据（图。1）。该重编程网络的原理工作机制是定期与骨干模型交换特征特征交换操作帮助主干模型和Rep- Net通过使用交换的特征的加法操作在重编程期间（即，学习新任务），我们只为新任务训练Rep-Net和特定于任务的最后一个分类层。我们提出的Rep-Net具有以下特点，使其成为设备上学习的理想候选者。i）在训练期间，由于骨干模型被冻结，因此来自Rep-Net模型的特征有助于使骨干模型特征适应新任务。ii）同样，由于主干已经在主域上进行了预训练，因此从该模型转移到Rep-Net的特征有助于其在新任务上的学习过程。iii）我们使用来自先前修剪工作的观察来优化特征交换操作的特定定位[24，35]。iv）这样的优化确保Rep-Net模型只需要几个块/层来学习新任务，这使得Rep-Net成为一个几乎可以忽略不计的内存开销的轻量级网络。v）最后，我们确保特征交换操作遵循加法规则，以实现存储器高效的设备上学习。正如我们在SEC中讨论的。2.1中，由于可学习参数的加性性质，在反向传播期间不需要将中间激活存储在存储器中。我们在以下章节中介绍了Rep-Net设计细节，并通过相关消融研究确认了每个3.2. 重编程网络（Rep-Net）我们设计了一个新的重编程网络（Rep-Net），它将直接从输入数据中学习新的任务。Rep-Net体系结构的总体框架如图所示。二、在本节中，我们将介绍所提出的Rep-Net架构和重新编程过程的重要设计规范。体系结构概述。在我们的框架（图）。2），我们将输入数据并行地馈送到主干和Rep-Net模型。Rep-Net的工作原理是使用激活连接器定期将其中间特征与主干模型进行互换。以这种方式，两个模型（即，骨干Rep-Net）可以共同受益并改进它们的特征。 我们的目标是在一个新的知识领域重新编程的骨干模型的中间激活。结果，主干模型保持固定（即，重量和体系结构），如在图1中以灰色突出显示的。二、我们只在新任务上训练Rep-Net共享的最后一个分类层所提出的Rep-Net是一个轻量级神经网络，只有几个卷积模块，具有非常小的内存开销（即，激活存储、附加参数）。遵循[2，16，32]中的轻量级卷积块设计，我们的卷积模块由两个堆叠的卷积层组成激活连接器。在我们的设计中，Rep-Net模型使用激活连接器将其中间激活特征与骨干模型交换。考虑具有N层的深度神经网络作为骨干模型，H/412281≤--L我们提出的Rep-Net模型具有Q层（QN）。 在这种情况下，Rep-Net将在激活连接器处与主干模型交换其特征Q次。在我们的设计中，激活连接器的数量等于Rep-Net中的层数（即，（原因：参考设计直觉3）。 如果主干模型将特征xi发送到第i层的激活连接器，并且Rep-Net模型将特征pi发送到同一连接器，其中（i = 1，2，3，.，Q）;则激活连接器内的正向路径操作执行特征重新编程为：xi=pi=xi+pi（4）激活连接器然后将重新编程的特征&发 送到主干和Rep-Net模型恢复器。 该操作在训练期间增强了主干和Rep-Net模型的特征质量（Ev-idence：参考设计直觉2）。重新编程步骤。为了重新编程具有由θ参数化的推理函数hθ的主干模型，我们从优化步骤中省略θ相反，我们只训练由β和共享的最后一个分类层参数α参数化的Rep-Net模型函数gβ。我们将主干和Rep-Net模型的组合函数表示为fθ，β，α。对于给定的输入和目标对（x，y），重新编程优化步骤可以总结如下：接下来，我们提出了三个设计直觉与相关的消融研究，以验证我们的设计选择，通过讨论这三个问题。设计直觉1. 通常，激活连接器的特征交换操作主要有两种选择：乘法或加法。然而，由于在第二节中提到的训练期间的反向中断的属性。2.1，如果预训练模型的完全激活与学习参数具有乘法关系（即，权重，掩码），而加法关系（例如，偏置）是无激活因此，我们将添加调整为重新编程操作，以使用激活连接器交换功能特征之间的相加关系提供了训练记忆效率的显著增益。设计直觉2. 在设计直觉1之后，图中突出显示了特征交换操作的另一个重要设计参数。3.第三章。在这里，我们提出了四个可选的功能交换操作的设计。首先，Fig. 3（a）显示Rep-Net和back-bone模型之间没有连接在这种情况下，Rep-Net模型仅在最后一个分类层之前使用加法操作与骨干模型交互。对于图1中的下连接情况，3（b），我们只修改主干模型特征-min{β，α}EX.L（fθ，β，α（x），y）<$（5）将Rep-Net特征（即，x+p），但保留来自Rep-Net的特征（即，p）不变。这一案例凸显了其中（.）是交叉熵损失函数通过更新参数集β，α来最小化。总结了Rep-Net的设计和训练步骤。接下来，我们将介绍优化Rep- Net模型的设计直觉，以实现高效的设备上学习方案，同时提高性能。3.3. 设计直觉我们提出的Rep-Net架构有许多设计选择，这可能会影响重新编程方案的最终性能和效率。为了验证我们采用的设计规范，我们讨论三个关键问题：1. 如何设计激活连接器？（参见设计直觉-1）2. 是 否 有 必 要 同 时 考 虑 两 个 特 征 （ 即 ： 例 如 ，xipi）？如果我们只记rogr am或者x或者p呢？（参考设计直觉-2）3. Rep-Net中有多少激活连接器是足够的？或者Rep-Net模型应该有多少层？（参见Design Intuition-3）建议的Rep-Net模型特征在主干模型重编程中的重要性。对于图中的向上连接情况，3（c），我们只修改Rep-Net特征，但保持中间骨干特征不变。本案例将评估主干模型特征在训练Rep-Net模型执行此新任务时的重要性。最后，我们在图2中给出了双连接的情况。第3段（d）分段。我们的设计直觉是，这两个模型应该通过互换它们之间的功能来互惠互利。为了验证这一点，我们在表1中提供了我们的消融研究总结。1.一、研究表明，在五个数据集上，我们的双重连接优于所有其他情况。Tab中的另一个重要观察结果1.向上连接优于向下连接。原因是Rep-Net是一个微小的神经网络，它需要来自骨干模型的预训练特征来提高其学习能力。图4进一步验证了特征交换操作使两个模型都受益，以适应新任务，因为模型使用双连接更快地收敛。设计直觉3. 我们采用以下策略来确定Rep-Net中激活连接器的数量和层数：12282pRes-Net模块xx+p主要支传导阻主支阻滞p X+pRes-Net模块主分支x嵌段主支阻滞pXRes-Net模块X+p主支阻滞主支阻滞表1. 消融研究旨在验证图1所示的四种设计选择。3.第三章。“Adv Rep + Last”是对抗性重编程与重新训练last分类器相结合。第6行显示了建议的Rep-Net的结果。最后一行（第7行）示出了在骨干模型的所有卷积层处使用双连接器的结果。我们使用ImageNet预训练的proxylessNAS-Mobile [4]作为骨干模型。方法火车mem花汽车幼崽宠物飞机高级代表+最后36MB91.156.066.188.244.4无连接（a）34MB93.351.165.588.036.9向下连接（b）34MB91.873.467.889.656.3向上连接（c）34MB95.276.871.490.759.3双重连接（d）（拟议的Rep-Net）34MB（↑2-3MB）96.185.877.191.877.4双连接-所有层37MB96.085.876.891.278.7Res-Net p模块Res-Net模块Res-Net模块Rep-Net模块功能可以通过激活连接器与骨干模型的下采样层/块的输出激活功能连接。原因：这种设计策略的灵感来自于模型修剪工作[24，35]的最新观察结果，(a) 无连接Res-Net模块(c)向上连接（b）向下连接Res-Net模块(d)双连接下采样降低了激活特征的分辨率。因此，为了补偿，需要增加更多的信道来承载相同量的信息。在我们的例子中，我们通过与Rep-Net模型交换和更新特征来补偿激活特征分辨率下降。为了验证设计策略，我们将其与Rep-Net模型的复杂版本进行了比较，该模型具有用于所有卷积块的连接器模块。如Tab.所示。1、只有连接器模块在下面-图3. 激活连接器中特征交换操作的设计选择。我们在Tab中总结了使用每个选项的影响。1.一、757065605550450 10 20 30 40 50学习时代图4. 图中突出显示了四种不同设计选择下的测试准确度与学习时期。CUB数据集上的3个。策略：激活连接器的数量由下采样的数量确定（例如，池化层，具有步幅2的卷积块）。对于骨干模型中的活动特征映射中的每个下采样，我们应用一个Rep-Net模块。然后采样层（第6行）可以优于具有所有层连接（第7行/最后一行）的Rep-Net模型。其次，由于这种下采样层远小于现代模型架构中的层/块的总数，因此每个下采样层的一个Rep-Net层例如，Rep-Net在ResNet-50架构上仅包含6个模块。再次，如Tab中突出显示的。1，通过在Rep-Net中仅使用6个模块，节省了约3 MB的内存，并具有相同的精度。4. 实验4.1. 实验装置数据集和网络。遵循先前迁移学习方法[2，7，20，29]的一般设置，我们将ImageNet [8]作为所有预训练模型的数据集，然后将模型转移到8个下游对象分类任务，包括汽车[21]，花卉[30]，飞机[27]，CUB [34]，宠物[31]，食物[1]，CIFAR10 [2 2]，CIFAR100 [22]。我们采用了四种不同的模型架构来证明所提出的Rep-Net的有效性，包括ResNet 50 [16]，MobileNetv2[32] 和 MobileNetv3[17] 以 及proxylessNAS-Mobile [4]。注意x主分支阻滞主支阻滞没有起来向下双测试准确度（%）12283∼∼∼表2. 与输入重编程工作的比较。'Adv. Rep'是最初的对抗性重编程工作;“AdvRep+Last”是改进的对抗性重编程工作，进一步重新训练最后一个分类器。方法净火车记忆MNISTCIFAR10花幼崽飞机高级代表[10]ResNet50MobileNetV2MobileNetV398MB94.362.8---53MB93.158.3---42MB93.559.4---ResNet50[19]第19话MobileNetV399MB54MB46MB---92.885.192.091.191.892.666.966.862.355.852.254.2我们ResNet50MobileNetV2MobileNetV3119MB51MB43MB---96.4（↑3.6%）95.0（↑9.9%）95.3（↑3.3%）96.795.095.180.376.977.585.981.678.9Rep-Net由6个模块组成。详细的体系结构描述归入附录。培训详情。根据[2]中的设置，使用Adam优化器[18]在单个GPU上使用批量大小为8的模型进行了50个epoch的微调初始学习率针对每个数据集进行调整，而余弦时间表[25]用于学习率衰减。评估指标。对 于 所有实验，我们报告每个数据集的传输精度。此外，为了衡量训练效率，我们还报告了训练内存消耗，包括参数大小和训练过程中的激活存储4.2. 主要结果与 输 入 重 编 程 方 法 的 比 较 2 ， 我 们 使 用 ResNet 50[16]，MobileNetv 2 [32]和MobileNetv 3 [17]模型作为骨干预训练模型，将提出的Rep-Net与以前的对抗性重编程作品[10，19]进行比较。首先，由于对抗性重编程方法只能在图像分辨率较低的数据集上工作，因此我们将其与CIFAR10数据集进行比较。结果表明，Rep-Net可以显着提高准确率超过30%的百分比。此外，与进一步重新训练最终分类器的改进的对抗性重新编程工作相比，我们的Rep-Net在ResNet 50，MobileNetv 2和Mo上的准确率也分别提高了3.6%，9.9%和3.3%bileNetv3 ， 分 别 。 此 外 ， 建 议 的 Rep-Net 在 CUB 和Aircraft数据集上的对抗性重新编程[19百分之十。在内存方面，我们的Rep-Net需要减少MobileNet架构的训练内存开销;但ResNet- 50主干模型需要稍高的训练内存。与最先进方法的比较我们进一步将我们的方法与SOTA迁移学习技术进行比较，如表1所示。3，特别是最新的技术TinyTL [2]。然而，我们必须强调TinyTL的一个默认情况下，TinyTL [2]使用预训练数据集上的预训练权重来初始化它们的附加残差模块。相比之下，我们只在迁移学习/重编程阶段应用Rep-Net，通过随机初始化从头开始训练它，这给了TinyTL方法一个不公平的优势。然而，与TinyTL相比，我们提出的Rep-Net仍然可以在所有七个传输数据集上实现更好/同等精度最重要的是，我们提出的Rep-Net可以节省与TinyTL相比，3-4 MB的训练内存。为了进行公平的比较，我们还报告了TinyTL随机搜索结果，该结果显示出明显低于Rep-Net的性能。5. 讨论5.1. Rep-Net是否通过使用更好的ImageNet模型来更好地传输？在[20]中，一项令人兴奋的研究表明，预训练的ImageNet准确性与其相应的迁移学习域准确性之间存在很强的相关性。这样的研究引起了我们的兴趣，看看所提出的Rep-Net是否也遵循同样的现象，这在图中总结。五、我们发现Rep-Net也有类似的趋势。预训练的ImageNet模型准确度的顺序预测了Flowers，CUB，CIFAR10 数 据 集 上 的 微 调 性 能 顺 序 相 比 之 下 ，ImageNet预训练不一定会提高Aircraft数据集的准确性。[20]得出的原因是其数据分布与ImageNet数据集相距甚远。有趣的是，我们提出的Rep-Net比TinyTL [3]的性能高出最显著的2飞机数据集上的%精度增量余量（请参见选项卡（3）第三章。12284∼表3. 与使用不同骨干神经网络的先前最先进（SOTA）迁移学习方法的比较，其中'I-V3'是Inception-V3; 'N-A'是NASNet-AMobile; 'M2-1.4'是MobileNetV 2 -1.4;'R-50'是ResNet-50;'PM'是ProxylessNAS-Mobile。在这个表中，我们展示了与现有最佳迁移学习方案TinyTL [3]相比的改进。方法净火车mem减少比花汽车幼崽食品宠物飞机CIFAR10CIFAR100第一至第三节[29]850MB1.0×96.391.382.888.7-85.5--FT-FullR-50 [20]M2-1.4 [20]802MB644MB1.1×1.3×97.597.591.791.8--87.887.792.591.086.686.896.896.184.582.5N-A [20]566MB1.5倍96.888.5-85.589.472.896.883.9FT-Last第一至第三节[29]94MB9.0×84.555.0---45.9--TinyTL-随机[3]下午37MB22.9×88.082.472.979.384.373.695.781.4[3]第三章下午37MB22.9×95.585.077.179.791.875.495.981.4我们[3]第三章下午PM@32034MB（↓3）65MB25×13.1×96.196.885.888.877.881.080.582.991.892.977.4（↑2%）82.395.996.181.981.5我们PM@32061MB（↓4）13.9×97.189.082.3（↑1.3%）83.392.582.496.682.3表4. 将Rep-Net与基于可学习二进制掩码的方法相结合，以实现高效推理。“TinyTL-Last”意味着仅在TinyTL ImageNet预训练模型上重新训练最后一个分类器。在Flowers数据集上报告了推理触发器。方法推理失误Flowers汽车幼崽食品宠物飞机CIFAR10CIFAR100ACC稀疏性ACC稀疏性ACC稀疏性ACC稀疏性ACC稀疏性ACC稀疏性ACC稀疏性ACC稀疏性[2]第二章394.690.1-50.9-73.3-68.7-91.3-44.9-85.9-68.8-我们346.896.1-85.8-77.8-80.5-91.8-77.4-95.9-81.9-我们的+Bin。掩模280.996.319.38530.379.219.483.733.892.25.982.521.496.230.382.731.8ResNet50MobileNetV370ImageNet75幼崽ProxylessNASMobileNetV295CIFAR1080飞机5.2. Rep-Net能否与其他迁移学习方法结合以实现高效推理？Rep-Net的主要目标是通过减少训练内存来实现在本小节中，我们进一步探索Rep-Net是否可以与推理有效的方法相结合。为了实现这一点，我们将可学习的二进制掩码[28，36]应用于固定的主分支模型，并结合Rep-Net以降低推理的计算成本。如Tab.所示。4，'Ours+Bin.“面具总之，我们设计的Rep-Net可以并入现有的迁移学习方案中，这些方案希望改变/训练（例如，屏蔽）的骨干模型。6. 结论在这项工作中，我们首次从预训练模型的特征重编程的新角度来考虑迁移为了实现设备上的迁移学习，我们提出了Rep-Net，这是一种新颖的架构设计，它直接获取输入数据并学习重新编程预训练模型的中间特征而且我们图5.预训练的imagenet与CIFAR10、CUB、Aircraft和Flowers之间在四个不同模型上的准确性比较。设计专用的激活连接器来执行主干和Rep-Net模型之间的功能交换。大量的迁移学习实验证明了Rep Net的有效性和存储效率。本工作部分由国家科学基金会资助，资助号为1931871和2144751。96花测试准确度（%）测试准确度（%）测试准确度（%）测试准确度（%）测试准确度（%）12285引用[1] Lukas Bossard、Matthieu Guillaumin和Luc Van Gool。Food-101-用随机森林挖掘判别成分。欧洲计算机视觉会议，第446-461页。Springer，2014. 6[2] 韩才，庄干，朱力耕，宋涵。 Tiny Transfer Learning：Towards Memory-Efficient On-Device Learning（微型迁移 学 习 ： 实 现 内 存 高 效 的 arXiv 预 印 本 arXiv ：2007.11622，2020。三、四、六、七、八[3] 韩才，庄干，朱力耕，宋涵。Tinytl：减少内存，而不是 有 效 的 设 备 学 习 参 数 。 arXiv 预 印 本 arXiv ：2007.11622，2020。一、七、八[4] 韩才、朱立庚、宋涵。Proxylessnas：在目标任务和硬件上直接进行神经结构搜索。arXiv预印本arXiv：1812.00332，2018。6[5] 肯·查特菲尔德，凯伦·西蒙尼扬，安德里亚·维达尔迪，和安德鲁·齐瑟曼.魔鬼的回归细节：深入研究卷积网络。arXiv预印本arXiv：1405.3531，2014。一、二、三[6] Tianqi Chen ， Bing Xu ， Chiyuan Zhang ， and CarlosGuestrin.训练具有次线性内存开销的深度网络。arXiv预印本arXiv：1604.06174，2016。第1、3条[7] Yin Cui，Yang Song，Chen Sun，Andrew Howard，andSerge Belongie.大规模细粒度分类和特定领域迁移学习。在IEEE计算机视觉和模式识别会议论文集，第4109-4118页，2018年。二、三、六[8] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。二、三、六[9] 李登。用于机器学习研究的手写数字图像数据库IEEE信号处理杂志，29（6）：141-142，2012. 3[10] 作者声明：by Jascha Sohl-Dickstein，Ian Goodfellow.神经 网 络 的 对 抗 性 重 编 程 。 arXiv 预 印 本 arXiv ：1806.11146，2018。二、三、七[11] R David Evans，Lufei Liu，Tor M Aamodt.Jpeg-act：通过 基 于 变 换 的 有 损 压 缩 加 速 深 度 学 习 。 2020 年ACM/IEEE 第 47 届 国 际 计 算 机 体 系 结 构 研 讨 会（ISCA），第860IEEE，2020年。3[12] Jonathan Frankle，David J Schwab，and Ari S Morcos.训练batchnorm和only batchnorm：论cnn中随机特征的表达能力。arXiv预印本arXiv：2003.00152，2020。二、三[13] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语 义 分 割 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 5803[14] Aidan N Gomez ， Mengye Ren ， Raquel Urtasun ， andRoger B Grosse.可逆剩余网络：不存储激活的反向传播。神经信息处理系统的进展，第2214-2224页，2017年。3[15] Yunhui Guo，Honghui Shi，Abhishek Kumar，KristenGrau-man ， TajanaRosing ， andRogerioFeris.Spottune：转移通过自适应微调进行学习。在IEEE计算机视觉和模式识别会议论文集，第4805-4814页，2019年。二、三[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。四、六、七[17] Andrew Howard ， Mark Sandler ， Grace Chu ， Liang-Chieh Chen，Bo Chen，Mingxing Tan，Weijun Wang，Yukun Zhu，Ruoming Pang，Vijay Vasudevan，et al.搜索mobilenetv 3.在IEEE/CVF计算机视觉集，第1314六、七[18] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。7[19] 艾莉丝卡·克洛贝丹兹，金田，魏乐。神经网络的一种改进的（对抗性）重编程技术。在人工神经网络国际会议上，第3-15页。斯普林格，2021年。三、七[20] Simon Kornblith，Jonathon Shlens，and Quoc V Le.更好的imagenet模型传输更好吗？在IEEE/CVF计算机视觉和模式识别会议论文集，第2661-2671页，2019年。二三六七八[21] Jonathan Krause，Michael Stark，Jia Deng，and Li Fei-Fei.用于细粒度分类的3d对象表示。在Proceedings of theIEEEinternationalconferenceoncomputervisionworkshops，第554-561页，2013年。6[22] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特