基于混合特征空间学习的少镜头图像分类

9041基于混合特征空间学习的少镜头图像分类Arman Afrasiyabi·，Jean-Francois Lalonde，Christian Gagne´†·Uni versite´ Lav al，†Canada CIF AR AI Chair，·Milahttps://lvsn.github.io/MixtFSL/摘要我们引入了基于混合的特征空间学习（MixtFSL），以获得丰富和强大的特征表示的背景下，少拍图像分类。以前的工作已经提出了模型的每个基类，无论是一个单一的点或混合模型依赖于离线聚类算法。相比之下，我们建议通过同时训练特征提取器并以在线方式学习混合模型参数来用混合模型对基类进行建模。这导致更丰富和更具鉴别力的特征空间，其可以用于从非常少的样本中分类新的示例。提出了两个主要阶段来训练MixtFSL模型。首先，使用两个损失函数的组合来学习每个基础类和特征提取器参数的多模态混合物。其次，通过领导者-跟随者学习过程逐步细化所得到的网络和混合模型，该过程使用当前估计作为该目标网络用于将实例一致地分配给混合组分，从而提高性能并稳定训练。我们的端到端的特征空间学习方法的有效性证明了广泛的实验上的四个标准数据集和四个骨干。值得注意的是，我们证明，当我们将我们的鲁棒表示与最近的基于对齐的方法相结合时，我们在归纳设置中获得了新的最先进的结果，在miniImageNet上的5次分类的绝对准确率为82.45%，在tieredImageNet中 为 88.20% ， 在 使 用 ResNet-12 主 干 的 FC 100 中 为60.70%。1. 介绍少镜头图像分类的目标是将在包含大量训练示例的一组“基本”类别上获得的成功方法[18，64，73]的一个标志是它们能够从基础训练图像中学习丰富和强大的特征表示，这可以推广到新的样本。少数学习中的一个常见假设是类可以用单峰模型表示例 如，Prototypical Networks [64]（以 下称为 其他人，支持标准的迁移学习[1，8，24]，使用分类层，将每个训练样本推向单个向量。虽然该策略已成功地用于ImageNet挑战[58]），它在某种程度上是平衡的，因为学习者通过使用与相同训练类相同的验证示例来正则化。唉，这个解决方案并没有转移到少数分类，因为基本类、验证类和 新类是不相交的。事实上，Allenet al.[2]表明，依赖于单峰假设限制了少数拍摄图像分类的适应性，并且从数据表示的角度来看，易于为了减轻这种限制，无限混合原型[2]（IMP）通过用多个质心表示每个类来扩展ProtoNet这是通过采用离线聚类（DP均值的扩展[36]）来实现的，其中在每次迭代时重新计算不可学习的然而，这种方法有两个主要缺点。首先，它不允许捕获基类的全局分布，因为在任何一个时间对基本样本的小子集进行聚类-在每个训练迭代对所有基本样本进行聚类将是非常昂贵的。其次，以离线、事后方式依赖DP均值意味着特征学习和聚类是独立完成的。在本文中，我们提出关键思想是以在线方式联合学习表示（特征空间）和混合模型，这通过允许梯度在它们之间流动来有效地联合这两个任务这导致了一种区别性的表示，这反过来又在从几个例子中训练新类时产生了优异的性能。我 们 提 出 了 一 个 两 阶 段 的 方 法 来 训 练 我 们 的MixtFSL。在第一阶段中，通过两个损失的组合来初始化混合物组分，这两个损失确保：1）样品9042(a) 无MixtFSL（b）我们的MixtFSL图1.t-SNE [44]单个基类嵌入（圆圈）的可视化（a）没有，（b）使用我们的MixtFSL方法。MixtFSL学习基础样本（圆圈）和相关混合学习组件（菱形）的表示，将类聚类为几种模式（不同颜色）。与（a）的整体表示相比，这种更灵活的表示有助于从新领域中的少数样本训练鲁棒分类器嵌入是使用ResNet-18从miniImageNet类中提取的。分配给它们最近的混合组分;同时2）强制相同类别混合物的组分彼此足够远，以防止它们塌缩到单个点。在第二阶段中，可学习的混合物模型通过领导者-跟随者方案逐步细化，该方案使用学习者的当前估计作为固定的“目标”网络，在该阶段期间仅在少数情况下我们的实验表明，这提高了性能和稳定的训练。在训练期间，学习的混合模型中的组分的数量根据数据自动调整。所得到的表示是灵活的，并且更好地适应图像的多模态性质（图1）。1），这导致新类上的改进的性能我们的贡献如下。我们引入了MixtFSL的思想，用于少量图像分类，它通过将基类建模为可学习组件的混合物来学习灵活的表示我们提出了一个强大的两阶段的计划来训练这样的模型。训练以完全可区分的方式端到端地完成，而不需要离线聚类方法。我们证明，通过四个标准数据集上的广泛实验，并使用四个骨干，我们的MixtFSL在大多数测试的情况下优于最先进的。我们证明了我们的方法是灵活的，并且可以利用文献中的其他改进（我们使用关联对齐[1]和ODE [82]进行实验最后，我们表明，我们的方法不会遭受遗忘（基类）。2. 相关工作少镜头学习现在应用于图像到图像转换[76]，对象检测[14，50]，视频分类[6]和3D形状分割[75]。本文的重点是图像分类问题[18，64，73]，因此讨论的其余部分将集中在该领域的相关工作上。此外，与使用整个小说集的结构信息的转导推理方法[4，12，30，32，33，43，90，52]不同，我们的研究集中在归纳推理研究领域。Meta learning在Meta学习[12，18，55，59，63，64，65，72，79，83]，方法通过在预训练阶段期间从基本类重复地采样类似场景（情节）来模仿少量场景这里，基于距离的方法[3，21，34，39，40，49，64，67，70，73，80，84，87]旨在将减少的类内变化从基础类转移到新类，而基于初始化的方法[18，19，35]被设计为携带用于新类训练的最佳起始模型配置。我们的MixtFSL受益于两全其美，通过使用可学习的混合成分减少类内距离，并通过使用混合成分表示每个类来增加初始训练后获得的网络的自适应性标准迁移学习批量形式训练使用标准迁移学习操作方式而不是情景训练。虽然使用朴素优化标准的批处理学习容易过拟合，但最近的几项研究[1，8，24，51，69]表明度量学习（基于边缘）标准可以提供良好的性能。例如，Bin et al.[41]提出了一种基于负裕度的特征空间学习。我们提出的MixtFSL也使用迁移学习，但通过同时将基类特征以在线方式聚类到多模态混合物中来进行创新。数据扩充数据扩充[9，10，20，23，25，27，42，45，57，60，77，78，85，86，88]用于少量拍摄图像分类的目的是训练良好的通用算法。这里，可以使用生成器函数来增强数据例如，[27]提出了使用辅助发生器的特征幻觉（FH）。后来，[77]扩展了FH以使用生成模型生成新数据相比之下，我们的MixtFSL不生成任何数据，并达到了最先进的水平。[1]结合对齐技术使用我们演示（秒）。6）我们可以在我们的框架中利用这种方法，因为我们的贡献是正交的。混合建模类似于经典的基于混合的作品[17，22]，在少数学习之外，无限混合模型[29]探索贝叶斯方法[54，81]来推断混合成分的数量。最近，IMP [2]依赖于DP-means [36]算法，该算法在少量学习环境中的情景训练循环内计算。与[29]一样，我们的MixtFSL自动学习混合成分的数量，但与[2]不同的是，通过在线方式学习混合模型与表示学习同时进行，而不需要单独的帖子9043←P ←P ←←·|P··|L←∈·|≡·|i=1XXX∈|·|∈YLLΣ我我我KKk=1KJBj=1VV算法一：初步培训。数据：特征提取器f（·|θ），混合物P，基础数据集X，验证数据集Xv，最大历元α0，结果：模型f（θbest）和混合最优学习θbestθ;bestt0;s0而s α0和t α1对（xi，yi）∈Xbdo计算z ← f（x）|，则为“”，为“”。二个图2.初始训练阶段。 网络f（θ）将一批（左）从基类嵌入到特征空间。属于第k个类的特征向量zi（中）被分配给类混合Pk∈P中最相似的分量u*i。矢量是彩色编码的end更新权重θ和混合物P，其中L是（等式1）。5）;计算f（·|θ）在X v上进行情景训练如果E（θ，P| Xv）

下载后可阅读完整内容，剩余1页未读，立即下载