基于批归一化的深度卷积神经网络在视觉概念感知和学习方面的应用

基于批归一化的Gratianus Wesley PutraData[0000−0002−2748−7360]、KirjonNgu[0000−0002−9499−3597]、David WilliamMurray[0000−0001−5309−5080]，以及维克托·阿德里安·普里萨卡留[0000−0002−0630−6129]英国牛津大学工程科学系主动视觉实验室http://www.robots.ox.ac.uk/ActiveVision/抽象。将视觉概念感知为习得概念的混合物对人类来说是很自然的，这有助于他们掌握新概念并加强旧概念。尽管深度卷积网络具有强大的功能和最近的成功，但它们并不具备这种能力。受神经网络通用表示最近工作的启发，我们提出了一个简单的模拟这种机制的目的批归一化层区分视觉类，并制定了一种方法来结合它们来解决新的任务。我们表明，这可以应用于双向少拍学习，与直接全微调相比，我们获得了4%至17%的更高准确度，并证明它也可以扩展到风格转移的正交应用。关键词：神经网络插值·批量归一化·少样本学习·风格迁移1介绍人类的视觉认知能力是非凡的。人类自然会做的许多事情之一是将视觉概念与其他概念的组合例如，在看到狗、猫和狐狸的图像后，孩子可能会说狐狸看起来像猫和狗的杂交种。①的人。此外，如果孩子事先知道猫和狗的样子，他会对狐狸的概念有很多了解一个松散的数学类比可以表示如下：如果猫和狗的视觉表示可以以函数sφcat和φdog的形式封装，则特别地，它可以从函数foxsφfox=f（φcat，φdog，α）的形式表示，其中函数应该如何组合，如由α参数化的。此外，直接推导α值比直接推导φ值在本文中，我们询问是否可以将相同的想法适用于深度卷积神经网络，以实现更有效的学习。这是可取的，因为尽管通常是强大的最先进的模型[16，22，11]，但深度网络需要大量的数据来调整数百万个参数，使其能够很好地工作，将其应用限制在数据充足或廉价的任务2G. W. P. Data etal.图1：狐狸可以被看作是这只猫和这只狗的混合体。最近的工作[3，20]已经报道，可以准备能够在多个域中执行视觉识别的单个这是通过训练网络以产生通用图像表示来实现的，依赖于（i）卷积核来提取关于世界的域不可知信息，以及（ii）批归一化（BN）层来将内部表示转换为相关目标域。类似地，在样式传输的应用领域内，[6]示出了单个网络可以通过将样式信息编码在网络规范（IN）层中来配备有多个不同的样式，之后可以将该样式有效地应用于目标图像。这些发现似乎为规范化层编码可用于表达视觉概念的变换的能力提供了证据。根据我们的开场白，我们提出并希望在本文中测试以下直觉：假定归一化层（例如，BN）可以被训练来区分特定的视觉类，应该可以组合这些归一化层并在其中插值，以有效地学习新的、看不见的类。特别是，由于我们将只操作网络中的归一化层，因此我们需要调整的参数数量将远远低于完全微调。更少的参数也意味着更少的过拟合倾向，从而可以使用更少量的数据进行训练专注于二进制分类任务，我们在本文中总结了我们的贡献如下：1. 定义一个过程，指定如何生成和插值的组件网络，区分特定的类，以区分新的，看不见的类。2. 演示如何插值的BN层组件可以应用于少镜头视觉识别的问题。3. 示出了相同的插值过程（使用IN）可以适应于风格转移的正交任务。论文的其余部分如下：我们首先在第2节中提到与我们的方法有关的几个工作。之后，我们在第3节中描述并详细说明用于在分量BN之间创建和插值的过程。我们验证了在CIFAR10 [15]上插值BN的关键思想，使用CIFAR10训练的方法使用BN插值CNN3内核，并且还将其应用于第4节中的样式转换的正交任务（通过用IN替换BN）。最后，我们在第5节结束了我们的论文。2相关工作据我们所知，我们是第一个解决神经网络插值问题的。我们尝试这样做的主要原因是减少训练神经网络所需的参数数量，并以更少的图像实现更快的收敛。因此，我们认为我们的方法与其他工作最相关，这些工作（i）试图减少训练/测试参数的数量，（ii）字典学习，以及（iii）少量学习/元学习方法。参数约简在参数约简的领域内，已经尝试压缩和提取神经网络中的知识[12]，以及用于减少推理期间参数数量的有效架构的新颖设计[4，9]。这些假设神经网络是以传统方式训练的，并且提供了可以减少后训练参数的方法例如通过某种形式的稀疏性然而，对训练参数的减少的研究要少得多，传统的方法只考虑训练完整网络的子集，例如最后几层。然而，最近的工作已经显示了训练神经网络的替代策略（而不仅仅是重新调整lastlayers）：以适应k的最佳神经网络参数。当训练和适应[3，20]中的领域不可知神经网络时，以及相关地，当旨在使现有神经网络适应[6]中的新类型的风格转移时，这是有效的。字典学习字典学习[21]的目的是从可以线性组合以构建数据的稀疏编码的数据中学习基本表示。这些基本表示（原子）的集合形成字典。执行字典学习的一些众所周知的算法包括最佳方向方法[7]和K-SVD[1]。深度卷积网络在少次学习中的应用最近出现了复苏。仅举几个例子，Koch et al. [14]使用Siamese网络来量化样本之间的距离，然后使用非参数分类器（如k-最近邻）来执行一次性学习。Bertinetto等人。 [2]修改了Siamese架构，使第一个网络能够在一次机制中为另一个网络预测合适的权重。Hariharan和Girschick [10]提出了SGM损失和幻觉作为数据增强，以执行n路少次学习，其中n很大。Luo等人。 [18]提出了一种网络框架，能够以标签有效的方式学习可转移的表示。在元学习的框架内，Vinyals等人。 [25]引入了情景训练的概念，以确保少量训练和测试条件4G. W. P. Data etal.^ii联系我们Mi=1BMi=1匹配，并在网络嵌入上使用余弦相似性度量来进行分类。Ravi和Larochelle [19]使用LSTM元学习器直接在少量学习器网络上执行情节权重更新，这是由于LSTM和梯度下降更新公式之间的相似性Snell等人。 [23]利用一个网络来学习嵌入，该嵌入将类聚集在原型周围，然后通过与学习到的原型类型的接近度对新示例进行分类。Finn等人。[8]提出了一种简单的元学习训练算法，旨在为分类器网络生成良好的初始化参数，然后在单个参数更新步骤后能够实现良好的性能3方法首先，我们简要回顾一下批量归一化（BN）变换[13]。设xi是大小为m的小批量内的单个示例i的激活。BN变换被定义为BN（x）≡γx +β，⑴假定平均值µB=1Σmxi，方差σ2B=1Σm（xi−µB）2，以及归一化输入xi=（xi−µB）/σ2+。尺度γ和位移β参数是可学习的，而是一个小的正常数，以防止被零除接下来，我们将展示如何构造组件BN，并详细介绍两种组合它们以插值新类的方法。本节主要关注二进制分类场景，但所介绍的原则可以转换到其他应用领域，如我们稍后在第4节中所示。3.1组件生成考虑到分量BN旨在对特定对象类具有区分性，为该对象类生成它们的直接方式将是从在对应的二进制分类任务上训练的网络中提取BN。更具体地说，我们从一个基本的预训练网络开始，我们称之为模板网络。为了创建检测例如以下的概念的BN层：cat，我们通过仅调整BN和最后一个分类层参数来微调包含猫和非猫示例的数据集上的网络。这个经过微调的网络现在是一个检测猫的组件网络我们对其他对象类重复此过程，始终从相同的模板网络开始，直到获得所需数量的组件网络。组件网络的数量是手头的任务和可用数据和类的数量例如，在我们的实验中，我们为CIFAR10创建了9个组件网络，为ImageNet创建了200个组件网络。使用BN插值CNN5.3.2二进制数据集创建生成多个分量BN使得可实现目标任务的良好覆盖是有益的。大型多类数据集自然是合适的来源。但是，在用于组件生成之前，需要对它们进行二进制化。我们将其形式化如下。 假设我们有一组N个标记图像D ={（x1，y1），. . . ，（xN，yN）}，其中yn∈ {1，. . . ，K}是标签。针对类k对D进行二值化意味着随机复制D的S/2个元素，其中yn= k，以及另一 个 S/2 个 元 素 ， 其 中 yn = k ， 以 形 成 新 的 集 合 Dk={ （ x1 ，y1），. . . ，（xS，yS）}，其中在应用二进制标记变换之后ys∈ {0，1}φ（yn）=ys=1如果yn=k，0如果yn= k，（二）3.3组件选择一旦已经生成了多个组件BN，重要的是选择将与手头的任务相关的组件（例如当试图检测狐狸时，飞机可能不是包括的好部件虽然可能存在复杂的选择方法，我们提出了两个简单的标准，我们在4.2节中更详细地说明第一个标准涉及选择在目标二进制任务上具有最低交叉熵损失的m个组件网络第二个标准做同样的事情，除了它基于目标二进制任务的最高准确度当然，第一个标准更适合于没有多少例子可供评估的任务3.4插值分量网络在已经针对特定的新目标类别计算并选择BN分量之后，我们提出两种插值方法：1. 复合批次归一化（ComBN），提供BN分量的线性组合。2. 主成分批量归一化（PCBN），提供基于PCA的潜在空间插值。两种方法的插值权重都是通过标准的神经网络优化技术来学习的，即：反向传播和随机梯度下降（SGD）。可以使用其他方法来插值BN分量，例如更复杂的非线性降维技术，如高斯过程潜变量模型[17]，但是，正如我们在结果部分所示，更简单的线性模型已经实现了非常好的结果。6G. W. P. Data etal.ΣBγγ复合批量归一化（ComBN）使用与上述符号类似的符号，我们提出ComBN变换作为所生成的BN分量的线性组合。JComBNα（xi）<$αjBNj（xi），（3）j=1其中，J是构成ComBN的BN分量的数量，并且αj是表示插值权重的可学习标量系数，全部初始化为1/J。在实践中，在已经生成分量网络之后，原始模板网络中的每个BN层被替换为ComBN，该ComBN由源自相同深度方向层位置的所选分量网络的BN层构成然后，我们通过使用标准技术（即，优化α j和最后一层）将ComBN网络训练到目标任务。反向传播和SGD）。注意，ComBN网络中的分量BN总是在推理模式中使用;即，它们的γ、β、运行平均值和运行方差被冻结，并且在计算等式2时，使用运行平均值和方差代替小批量平均值μB和方差σ21.一、此外，该公式通常能够大幅减少参数的数量，这有助于在训练数据稀缺时减少过拟合利用BN分量中包含的信息的替代方式是首先使用它们来学习其参数的潜在空间映射，然后在潜在空间中执行优化为了使用PCA实现这一点，我们首先堆叠源自每个BN分量j的γ和β参数的行向量，以分别形成JXC矩阵Γ和B，其中J是分量的数量，C是每个分量BN层中的通道的数量。然后，我们通过从Γ和B中减去它们的列平均向量μγ和μβ来平均中心Γ和B，得到X γ= Γ − μγ和X β= B −μβ。然后，我们应用奇异值分解得到主轴矩阵V和VγβUγSγ UV← XV← X、（四）.（五）β βββ我们的潜在空间的维数被设置为最大可能，即min（J，C）。然后，我们训练潜在空间参数向量g和b（通过将模板网络的现有BN权重转换到潜在空间来初始化），并使用主轴矩阵将这些转换回参数空间，γ=g V +µβ=b V +µ、（6）.（七）ββγγ使用BN插值CNN7然后，这最终以类似的方式应用于ComBN，通过用PCBN替换原始模板网络中的BN层（即，在模板网络中的BN层）。 代入方程6和7到Eq。①的人。本质上，这类似于使用标准BN，除了潜在空间中的参数的优化。与其中在原始组件类的参数空间中直接执行插值的ComBN（以冻结BN组件的形式）相反，这里我们尝试在优化它们之前首先将类的概念提取到潜在空间中的主4实验在本节中，我们将展示两个应用领域的结果：视觉分类和样式转换。我们选择将我们的实验限制为二进制分类，以便相同的协议可以用于组件生成和评估。为了突出BN层的贡献，我们利用在与我们正在测试的数据集不同的数据集上训练的模板网络;首先使用ImageNet作为模板，CIFAR 10用于测试我们的方法，其次使用CIFAR 10训练模板网络，ImageNet 32用于测试。我们选择风格转移是因为（i）我们将其视为正交（即，相关但高度不同的）任务进行二进制分类，因为它需要利用完整的编码器-解码器网络，并用实例归一化代替批量归一化，以及（ii）它允许我们产生定性结果。4.1从ImageNet模板在这里，我们验证了使用BN组件在新的、看不见的任务上训练网络的想法 最后，对于 本节中的实 验，我们 将我们的模 板网络基于ILSVRC 2012预训练的ResNet 34 [11]，并使用二进制化的CI-FAR 10数据集来生成我们的BN组件并评估ComBN和PCBN网络的性能。我们首先创建主培训/验证/测试拆分。这些主训练/验证划分是通过将原始CIFAR 10训练集划分为40，000/10，000来创建的，而主测试划分与原始CI-FAR 10测试集相同。然后，我们通过将第3.2节中的方法应用于每个主拆分来生成二进制化的拆分具体地，对于每个目标类别，通过从主分割中顺序地采样1000个正样本和1000个负样本来形成二进制训练分割，而通过从它们各自的主分割中顺序地和穷尽地采样所有可用的样本来形成二进制验证/测试分割，使得获得平衡的数据集。与特定目标类有关的所有实验使用相同的二进制训练/验证/测试分割。所有网络（除了模板，它自然遵循[11]）都使用SGD在大小为8的随机批次上进行训练，动量为0.9，持续30个epoch。8G. W. P. Data etal.表1：二进制CIFAR10数据集上的百分比测试准确度。星号（*）表示基于随机模板网络的结果。最佳结果以粗体显示。正类最后充分BNComBNPCBNBN* ComBN*PCBN*飞机90.1 96.195.881.993.876.877.295.4车92.0 98.097.397.797.477.779.897.1鸟87.5 95.594.593.891.466.768.393.5猫84.391.789.691.990.370.669.888.9鹿86.0 96.694.894.394.071.773.193.5狗89.193.193.393.993.771.470.993.1青蛙92.397.395.997.496.077.677.897.0马91.2 96.896.096.295.367.468.595.1船91.2 97.396.997.095.877.878.796.0卡车92.9 97.396.590.196.276.473.795.9学习率最初设置为10−3，在epoch 20之后衰减0.1。输入到网络中的图像使用双线性插值放大到224乘224我们没有执行超参数调整，虽然超参数的选择是任意的，但我们相信它足以完成手头的任务，因为所有网络都能够收敛。为了生成和评估与目标类有关的组件网络，我们在其二进制训练集上微调模板网络的BN和最后一层（BN）。然后我们选择具有最佳验证精度的网络，并最终报告测试集精度。在CIFAR10中对每个目标类重复这一过程，得到10个分量网络。为了生成和评估ComBN/PCBN网络，我们将模板网络中的BN层替换为ComBN/PCBN层，该层是从未在目标类上训练的9个组件网络的BN构建的，然后应用相同的评估过程。人们可能会反对这样一个事实，即9个组件网络在最初的训练过程中可能会看到目标类的一些示例作为负面示例，但我们发现即使在仔细忽略它们之后，这种差异也可以忽略不计。最后，为了完整性，我们还报告了对相同任务执行完整（Full）和最后一层（Last）微调的结果结果总结于表1中。对于这组初始实验，我们发现，与其他方法相比，微调只是最后一层的结果在最低的准确性。我们还发现，通过ComBN和PCBN获得的结果与BN和完全微调相当，如果不是稍微差一点的话，这表明ComBN和PCBN是训练网络的潜在有效方法。为了更好地理解BN分量的作用，我们还使用具有随机化（根据[11]）卷积层权重的模板网络执行了Comp、ComBN和PCBN实验。令人惊讶的是，这种配置仍然能够达到相当高的精度，这表明随机使用BN插值CNN9权重仍然可以设法将输入映射到可以由BN变换区分的表示，同时还证明BN层的表示能力。更令人惊讶的是随机PCBN获得的性能，我们将其留给未来的研究。4.2从CIFAR10模板受4.1节结果的启发，我们现在尝试使用CIFAR10预训练模板网络在ImageNet上评估ComBN和PCBN的由于计算资源的限制，我们切换到ImageNet 32 [5]（ImageNet下采样到32×32图像）上进行测试，并使用ResNet32 [11]作为模板网络。此外，为了使我们自己与最初的目标保持一致，我们将根据双向少数任务进行评估与之前的实验不同，我们放弃了创建测试分割，而是报告验证准确性。我们使用原始的ImageNet训练/验证集作为我们的主训练/验证分裂，然后使用第3.2节中概述的相同过程从主分裂创建二进制化分裂。为了确保对看不见的类进行评估，我们首先随机抽取200个目标类来构建我们的组件网络，并保留剩余的800个用于少量调整和评估。这200个二进制数据集的训练/验证分割耗尽了来自主分割的所有可用的正面和负面示例，这些示例导致平衡的数据集（即，在训练分割中大约2000个示例，在验证分割中正好100个剩余的800个二进制数据集将具有训练/验证分割，每个分割分别拥有2n/100个示例，其中n是指特定的n次任务。除非另有说明，否则所有结果都是使用SGD在大小为128的随机批次上进行训练的（在少数拍摄期间为2n），动量为0.9，持续60个epoch，权重衰减为10−4。学习率初始设置为0.01，并衰减0.1 在时期30和45之后。选择在训练过程中具有最佳验证精度的模型。不执行数据增强，并且超参数的这种选择也没有被优化。模板网络按照[11]进行训练。下面的讨论参考表2，其中我们报告了在800个二进制数据集上以少量训练方案训练的各种网络的平均验证准确度（除了Max，其使用所有训练数据并且因此不是少量的;我们包括这一点以说明性能上限）。与第4.1节一样，我们还报告了微调模板网络的最后一层（Last）、所有层（Full）以及仅BN +最后一层（BN）作为基线的结果。之后，我们继续通过使用上述200个二进制数据集微调模板网络的BN和最后一层来生成200个然而，正如我们从结果中可以看到的，这种构造在1次拍摄和5次拍摄任务中的表现都比基线这种性能下降可能是10G. W. P. Data etal.表2：800个二进制ImageNet32d上的平均百分比验证准确度μ，以及最终最终确定的误差率=μ−μFμl。x（*）指示对满足75%阈值标准的800个二进制数据集的子集（约400个）的评估单次拍摄5次射击设置组件选择组件数量µ∆µ∆Max--87.625.187.617.6最后--63.00.569.3-0.7充分--62.5-70.1-BN--62.90.469.6-0.5PCBN-20058.2-4.365.3-4.8ComBN少射损失366.33.873.63.5ComBN少射损失565.83.373.33.2ComBN少射损失1065.73.271.51.4ComBN最大射击精度377.214.778.38.3ComBN最大射击精度576.313.878.07.9ComBN最大射击精度1072.29.775.04.9ComBN最大射击精度75%阈值 *80.017.581.611.5PCBN少射损失364.52.071.31.3PCBN少射损失563.30.770.60.5PCBN少射损失1062.82.668.4-1.7PCBN最大射击精度371.28.774.44.4PCBN最大射击精度570.88.374.54.4PCBN最大射击精度1067.55.071.41.3PCBN最大射击精度75%阈值 *73.010.577.57.4SGM--64.82.370.60.5L2--57.0-5.559.7−10.4这归因于与目标任务无关的组件的存在此外，由于内存限制，使用200个组件创建ComBN网络是不可行的，这使得我们显然需要选择性地减少ComBN/PCBN中使用的组件数量。为了做到这一点，正如前面在3.3节中所暗示的那样，我们建议在与未知目标类相对应的800个数据集之一的训练分割上评估每个组件网络的交叉熵损失然后，我们对具有最低损耗的m个分量网络进行排名和选择，并使用这m个网络来构建我们的ComBN/PCBN网络（即，少数发射损耗分量选择）。来自表2的结果似乎表明该策略起作用，其中ComBN和PCBN均超过基线约4%，并且m= 3导致总体上最好的结果。此外，我们还通过假设我们能够将来自主分割的所有可用训练数据二进制化以用于组件选择（即，最大射击精度分量使用BN插值CNN117674727068660 20 40 60 80 100正面例子图2：3分量ComBN的平均1次验证准确度作为在1次损失分量选择中使用的训练分割中的肯定示例的数量的函数。选择）。从这里，我们（i）选择了在目标任务上具有最高验证准确度的m个组件网络，以及（ii）选择了在目标任务上的验证准确度方面表现超过75%的3-10个组件与基线相比，这导致约14-17%的显著性能增加，表明组件选择是值得进一步研究的重要程序同样，m= 3似乎导致总体上最好的结果在图1中绘制了对于其他的1-激发方案中的3-组分ComBN的（i）作为数据集大小的函数的图示二、此外，如果我们绘制75%阈值分量的验证准确度和由它们构建的ComBN/PCBN网络（图12）。3），我们注意到，对于某些类，ComBN/PCBN比任何组件都差。 这看起来很奇怪，因为我们知道对于ComBN，如果j=1，则由αj= 1组成的解决方案，如果j =1，则αj= 0应该导致75%以上的准确度。这种异常可能是由SGD避免这种特定解决方案的趋势引起的，尽管需要进一步的工作来更好地理解这一点。作为一个额外的基准，我们还试图将我们的结果与[10]进行比较，[10]是少数几个试图在不诉诸元学习的情况下解决少量任务的作品之一。我们通过使用SGM和L2损失函数训练两个额外的模板网络来做到这一点，如该工作中所描述的，这些损失函数被理论化以创建更适合少数学习的特征如前所述，我们然后在少数情况下对两个模板网络进行微调，并报告其平均验证精度。通过这种方式设置，我们的性能最佳的方法（3分量ComBN）在少数镜头损失选择的情况下比他们的方法（SGM）的性能高出2- 3%，假设理想的组件选择，其可能高达8-13%平均准确度（%）12G. W. P. Data etal.组件ComBNPCBN准确度（%）100 10090 9080 8070 7060 60500 100 200 300400类500 100 200 300 400类(a) 1次（b）5次图3：75%阈值组件、ComBN和PCBN网络验证精度。填充图表示每组分量网络的最小、平均和最大精度每个图已通过平均准确度独立分类以帮助可视化。4.3风格转换为了展示我们的框架的完全正交应用并生成定性结果，我们采用[6]提出的网络并将其用作模板。由于网络使用实例归一化（IN）层[24]，因此我们需要用IN替换我们的方法公式中的BN，从而产生复合实例归一化（ComIN）和主成分实例归一化（PCIN）。基础由32个IN参数组成，这些参数已经存在于原始网络中，并用于学习新的风格，其中一些4.第一章5结论基于最近的一个想法，批量归一化模块可以转换输入来编码特定于类的表示，我们提出了一种学习BN层内的插值我们表明，这适用于少量学习，通过将其实现为BN（ComBN）或BN参数（PCBN）上的PCA的线性组合，获得了4%至17%的准确度超过标准的全微调。我们还表明，良好的性能取决于仔细选择的BN模块，并提出了一个简单的标准 来 实 现 这 一 点 。 实 验 的 源 代 码 可 以 从 www.example.com 下 载http://www.robots.ox.ac.uk/OxVisionLib/。准确度（%）使用BN插值CNN13图4：关于风格转移的结果顶行上的图像是应用于最左侧内容图像的样式下面每一连续行上的图像分别是通过使用Dumoulin等人的原始训练过程获得的风格化图像。[6]，PCIN和ComIN14G. W. P. Data etal.引用1. Aharon，M.，Elad，M.，Bruckstein，A.：K-SVD：一种设计稀疏表示过完备 字 典 的 算 法 。 IEEE Transactions on Signal Pro-c_ssing54（ 11） ，4311-4322（2006年9月）。 http：//doi. org/10。1109/TSP. 2006年8811992. 贝尔蒂内托湖Henriques，J.F.，Valmadre，J.，Torr，P.，Vedaldi，A.：学习前馈一次性学习器。在：Lee，D.D.，Sugiyama，M.，Luxburg，U.V.，盖永一、加内特河（编辑）神经信息处理系统进展29，pp. 523--531.柯 兰 联 营 公 司 （ 2016 ） ， http://papers.nips.cc/paper/6068-learning-feed-forward-one-shot-learners.pdf3. Bilen，H.，Vedaldi，A.：通用表示法：面孔、文字、浮游生物和猫的品 种 之 间 缺 少 的 一 环 。 CoRRabs/1701.0 （ 2017 ） ，http://arxiv.org/abs/1701.072754. 陈伟，Wilson，J. Tyree，S.，Weinberger，K.，陈Y：压迫神经使用散列技巧的Ral网络。在：Bach，F.，Blei，D.（编辑）诉讼第32届机器学习国际会议Proceedings of Ma-chineLearningingResear ch，vol. 第37页。2285-2294PMLR，Lille，France（2015），http://proceedings.mlr.press/v37/chenc15.html5. Chrabaszcz，P.，洛希洛夫岛Hutter，F.：作为CIFAR数据集替代方案的Ima-geNet 的 下 采 样 变 体 。 CoRRabs/1707.0 （ 2017 ） ，http://arxiv.org/abs/1707.088196. Dumoulin，V.，Shlens，J.，Kudlur，M.：艺术风格的一种习得的表现CoRR abs/1610.0（2016），http://arxiv.org/abs/1610.076297. Engan，K.，Aase，S.O.，Husoy，J.H.：框架设计的最佳方向法。1999年IEEE声学、语音和信号处理国际会议。发布日期。 ICASSP99（Cat. 不。99CH36258 ） 。vol.第5 页 。2443-2446 （ 1999 ） 。https://doi.org/10.1109/ICASSP.1999.7606248. Finn，C.，Abbeel，P.，Levine，S.：用于深度网络快速适应的模型无关元学习。In：Preup，D.，Teh，Y.W.（编辑）第34届机器学习国际会议论文集。Proceedings of Machine Learning Resear ch，vol. 第70页。 1126- 1135。PMLR ， InternationalConventionCentre ， Sydney ， Australia （ 2017 ） ，http://proceedings.mlr.press/v70/finn17a.html9. 高，Y.，她Q妈，杰，赵，M.，刘伟，Yuille，A.L.：NDDR-CNN：通过神经 判 别 性 简 化 在 多 任 务 CNN 中 进 行 逐 层 特 征 融 合 。 CoRR abs/1801.0（2018），http://arxiv.org/abs/1801.0829710. Hariharan，B.，Girshick，R.：低镜头视觉识别的收缩和hal-lucinating功能。IEEE International Conference on Computer Vision（ICCV）pp. 301811. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习。IEEE计算机视觉与模式识别会议（CVPR）pp. 77012. Hinton，G.Vinyals，O.，Dean，J.：在神经网络中提取知识在：NIPS深度学习和表示学习研讨会（2015）13. Ioffe，S.，Szegedy，C.：批次归一化：通过减少内部协变量偏移来加速深度网络训练。在：Bach，F.，Blei，D.（编辑）第32届机器学习国际会议论文集Proceedings ofMachineLearningingResear ch，vol. 第37页。 448-456PMLR ， Lille ， Frannce （ 2015 ） ， http ： //proceedings. 马 勒 河press/v37/ioffe15. html14. Koch，G.，泽梅尔河Salakhutdinov，R.：用于单次图像识别的Siamese神经网络。在：ICML深度学习研讨会（2015）使用BN插值CNN1515. Krizhevsky，A.：从微小图像中学习多层特征。Tech. （2009年）16. Krizhevsky ， A.， 萨茨 克 弗岛 Hinton， G.： 使用 深 度卷 积神 经 网络 的ImageNet分类。在：Pereira，F.，Burges，C.J.C.博图湖温伯格K. Q. （eds. AdvancesinNeuralIinformmationPr oces25，pp. 1097-1105柯兰联营公司（2012），http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf17. 劳伦斯，N.：概率非线性主成分分析与高斯概率线性模型J. Mach。我是一个人。Res. 6，1783 - 1816（d e c 2005），http://dl.acm.org/citation.cfm?1046920.119490418. Luo，Z.，Zou，Y.，中国科学院，Hoffman，J.，李菲菲：跨领域和任务的可迁移表示的标签有效学习。In：Guyon，I.，Luxburg，U.V.，Bengio，S.，Wallach，H.，费格斯河Vishwanathan，S.，加内特河（编辑）广告在NeurralIinrmationPr ocessingSystems30，pp. 165-177 CurranAs-sociates，Inc.（ 2017 ） ， http ： //papers.nips. cc/paper/6621-label-efficient-learning-of-transferable-representations-crosss-domains-and-tasks.pdf19. Ravi，S.，Larochelle，H.：优化作为少镜头学习的模型在：国际学习代表会议（2017）20. Rebuffi，S.A.，Bilen，H.，Vedaldi，A.： 使用残余适配器学习多个视觉域。In：Guyon，I.，Luxburg，U.V.，Bengio，S.，Wallach，H.，费格斯 河 Vishwanathan ， S. ， 加 内 特 河 （ 编 辑 ） Advances in Neu-raINFORMATIONPR OCESSINSYSTES30，pp. 506-516 CurrranAssociates，Inc. （ 2017 ） ， http://papers.nips.cc/paper/6654-learning-multiple-visual-domains-with-residual-adapters.pdf21. 鲁宾斯坦河Bruckstein，A. M. Elad，M.：用于稀疏表示的词典。参见专利文献98（6），1045-1057（2010年6月）。https://doi.org/10.1109/JPROC.2010.204055122. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的深度卷积网络2015 年 国 际 学 习 表 征 会 议 （ International Conference on LearningRepresentations）23. Snell ， J. ， Swersky ， K. ， Zemel ， R.S. ： 原 型 网 络 for Few-shotLearningCoRR abs/1703.0（2017），http://arxiv.org/abs/1703.0517524. Ulyanov，D.， Vedaldi，A.， Lempitsky，V.S.：例如标准化：快 速 风 格 化 所 缺 少 的 成 分 。 CoRR abs/1607.0 （ 2016 ） ，http://arxiv.org/abs/1607.0802225. Vinyals，O.，布伦德尔角Lillicrap，T. Kavukcuoglu，K.，Wierstra，D.：匹配网络用于一次学习。在：Lee，D.D.，Sugiyama，M.，Luxburg，U.V. ， 居 永 岛 加 内 特 河 （ 编 辑 ） Advances in Neural Informa-tionProcessingSystems29 ， pp.3630-3638CurrranAssociates ， Inc.（ 2016 ） ， http://papers.nips.cc/paper/6385-matching-networks-for-one-shot-learning.pdf