基于学习语义自编码器的零样本学习

������������131740零样本学习的语义自编码器0Elyor Kodirov Tao Xiang Shaogang Gong伦敦玛丽女王大学，英国0{e.kodirov, t.xiang, s.gong}@qmul.ac.uk0摘要0现有的零样本学习（ZSL）模型通常从特征空间学习到语义嵌入空间（例如属性空间）的投影函数。然而，这样的投影函数只关注预测训练集中已见类别的语义表示（例如属性预测）或分类。当应用于测试数据时，ZSL模型通常会遇到项目领域偏移问题，即在ZSL的上下文中，测试数据包含没有训练数据的不同（未见）类别。在这项工作中，我们提出了一种基于学习语义自编码器（SAE）的ZSL的新解决方案。采用编码器-解码器范式，编码器旨在将视觉特征向量投影到语义空间中，就像现有的ZSL模型一样。然而，解码器施加了一个额外的约束，即投影/编码必须能够重构原始的视觉特征。我们展示了通过这个额外的重构约束，从已见类别学习到的投影函数能够更好地推广到新的未见类别。重要的是，编码器和解码器是线性和对称的，这使我们能够开发出一种极其高效的学习算法。在六个基准数据集上进行的大量实验证明了所提出的SAE在计算成本更低的情况下显著优于现有的ZSL模型。此外，当将SAE应用于监督聚类问题时，它也击败了最先进的方法。01. 引言0计算机视觉研究的最新努力是将视觉识别问题扩展到大规模。这得益于大规模数据集（如ImageNet[52]）的出现以及深度学习技术的进步[31, 53, 57,55]。然而，可扩展性仍然是一个问题，因为除了日常物体之外，即使使用现代图像搜索引擎，收集稀有和细粒度对象类别的图像样本仍然很困难。以ImageNet数据集为例，流行的大规模视觉识别挑战（ILSVRC）[52]主要关注的是0�0word2vec0属性0图1.提出的语义自编码器利用属性和词向量等语义信息，同时学习编码器和解码器。0识别1K类的任务是识别全面的ImageNet数据集的一个相对较小的子集，该数据集由21,814个类别和14M张图像组成。这是因为21K个对象类别中有许多只包含少数图像，包括296个只有一张图像的类别。人类可以识别大约30,000个基本物体类别[9]以及更多的子类别，例如狗的品种和属性和物体的组合。重要的是，人类在没有看到任何视觉样本的情况下识别对象时非常擅长。在机器学习中，这被认为是零样本学习（ZSL）的问题。例如，如果一个孩子之前见过马并学会了“斑马”是一种有黑白条纹的马，那么他/她识别“斑马”将没有问题。受到人类的ZSL能力的启发，最近对基于机器学习的ZSL的兴趣激增，以便在不需要额外数据收集的情况下扩展视觉识别到未见的对象类别[66, 48, 19, 49, 2, 13, 58,1, 54, 22, 23, 40,11]。零样本识别依赖于已见类别的标记训练集以及关于每个未见类别与已见类别的语义关系的知识。已见和未见类别通常在一个高维向量空间中相关联，这被称为语义嵌入Semantic spaceA variety of zero-shot learning modelshave been proposed recently [66, 48, 19, 49, 2, 13, 58, 1,54, 22, 23, 40, 11]. They use various semantic spaces. At-tribute space is the most widely used. However, for large-scale problems, annotating attributes for each class becomesdifficult. Recently, semantic word vector space has startedto gain popularity especially in large-scale zero-shot learn-ing [19, 56]. Better scalability is typically the motivationas no manually defined ontology is required and any classname can be represented as a word vector for free. Beyondsemantic attribute or word vector, direct learning from tex-tual descriptions of categories has also been attempted, e.g.Wikipedia articles [18, 35], sentence descriptions [44].Visual → Semantic projectionExisting ZSL models dif-fer in how the visual space → semantic space projectionfunction is established.They can be divided into threegroups:(1) Methods in the first group learn a projec-tion function from a visual feature space to a semantic31750定位空间。这样的空间可以是语义属性空间[25]或语义词向量空间[19,56]。在语义嵌入空间中，已知和未知类别的名称都被嵌入为称为类别原型的向量[20]。类别之间的语义关系可以通过距离来衡量，例如斑马和马的原型应该彼此靠近。重要的是，同样的空间可以用于将对象图像的特征表示投影到其中，从而实现视觉识别。具体而言，大多数现有的零样本学习方法使用仅包含已知类别的标记训练视觉数据来学习从视觉特征空间到语义嵌入空间的投影（映射）函数。在识别未知对象的测试时，然后使用该映射函数将未知类别图像的视觉表示投影到已知和未知类别所在的相同语义空间中。然后，通过简单的最近邻（NN）搜索来实现对未知类别的识别任务-测试图像的类别标签被分配给在投影的语义空间中最近的未知类别原型。训练的已知类别和测试的未知类别是不同的。尽管它们可以被视为具有一定程度的共享语义的两个重叠的域，但存在着显著的域差异，例如在未知类别中，相同属性的视觉外观可能会有很大的不同。现有的零样本学习模型主要受到投影域偏移问题的困扰[21]。这是因为如果仅从已知类别中学习视觉特征嵌入的投影，由于训练的已知类别的偏差，未知类别图像的投影很可能会被错误地放置（偏移）。有时，这种偏移可能远离正确对应的未知类别原型，从而使后续的NN搜索不准确。在这项工作中，我们提出了一种基于编码器-解码器范式[43]的零样本学习新方法。具体而言，编码器将图像的视觉特征表示投影到语义表示空间（例如属性空间），类似于传统的ZSL模型。然而，我们还将视觉特征投影视为解码器的输入，解码器旨在重构原始的视觉特征表示。这个额外的重构任务对于学习视觉 →语义投影函数施加了新的约束，使得投影必须同时保留原始视觉特征中包含的所有信息，即它们可以通过解码器恢复[10]。我们表明，这个额外的约束在缓解域偏移问题方面非常有效。这是因为尽管属性的视觉外观可能会从已知类别到未知类别发生变化，但对于更真实地重建视觉特征的需求在已知和未知领域中是可推广的，从而使得学习的投影函数对于域偏移不太敏感。更准确地说，我们制定了一个语义自编码器0使用最简单的编码器和解码器模型架构（图1）：两者都有一个线性投影到或从共享的潜在嵌入/编码层，并且编码器和解码器是对称的，因此可以用相同的参数集表示。这样的设计选择是出于计算效率的考虑-当应用于大规模视觉识别任务时，ZSL模型的真正潜力在于计算速度至关重要。即使使用这种简单的形式，高效地解决由此产生的优化问题也并不容易。在这项工作中，开发了一种这样的求解器，其复杂度与训练数据大小无关，因此适用于大规模问题。我们的语义自编码器与传统的自编码器[50]不同之处在于潜在层具有明确的语义含义：它对应于语义空间，并受到强烈的监督。因此，我们的模型不是无监督的。除了ZSL学习，它还可以方便地用于解决其他需要对视觉上相似的数据点进行聚类的问题。为了证明其普适性，我们的SAE模型被制定为监督聚类问题[41,33]。我们的贡献是：（1）提出了一种新颖的用于零样本学习的语义编码器-解码器模型。（2）我们制定了一个语义自编码器，它学习了输入数据的低维语义表示，可以用于数据重构。还引入了一种高效的学习算法。（3）我们展示了所提出的语义自编码器可以应用于其他问题，如监督聚类。我们在六个ZSL基准测试上进行了大量实验，结果显示所提出的SAE模型在所有基准测试上都达到了最先进的性能。02. 相关工作31760无论是使用传统的回归或排序模型[25,2]，还是通过深度神经网络回归或排序[56, 19, 44,35]，都可以在特征空间和语义空间之间进行投影。第二组选择反向投影方向，即语义→视觉[54,28]。其动机是减轻在高维空间中最近邻搜索中常见的中心问题[42]。第三组方法学习一个中间空间，其中特征空间和语义空间都被投影到[36, 67,13]。我们模型中的编码器类似于第一组模型，而解码器与第二组模型执行相同的工作。因此，所提出的语义自编码器可以被认为是两组ZSL模型的组合，但增加了视觉特征重建约束。投影域偏移ZSL中的投影域偏移问题首先由Fu等人[21]确定。为了克服这个问题，提出了一个传导多视图嵌入框架，以及在图上的标签传播，这需要一次性访问所有测试数据。类似的传导方法在[47,28]中提出。在ZSL的背景下，这个假设通常是无效的，因为新的类别通常是动态出现的，在模型学习之前是不可用的。我们的模型不是基于传导学习假设可以访问所有测试的未见类数据，而是基于归纳学习，并且仅依靠对训练数据施加重建约束来对抗域偏移。自编码器文献中有许多变种的自编码器[5, 27, 34, 59, 46,51]。它们可以大致分为两组，即(1)欠完备自编码器和(2)过完备自编码器。一般来说，欠完备自编码器用于学习数据的潜在结构，并用于可视化/聚类[62]，如PCA。相反，过完备自编码器用于基于高维特征进行分类，因为高维特征对于分类更好[15, 8,7]。我们的模型是一个欠完备自编码器，因为语义空间通常比视觉特征空间具有较低的维度。上述所有自编码器都侧重于以无监督的方式学习特征。相反，我们的方法是有监督的，同时保持无监督自编码器的主要特点，即能够重建输入信号。语义编码器-解码器自编码器只是编码器-解码器范式的一个实现。最近，深度编码器-解码器在各种视觉问题中变得流行，从图像分割[4]到图像合成[64,45]。其中，一些最近的工作也利用了将语义规范应用于编码器和解码器之间共享的潜在嵌入空间的想法[64,45]。我们的语义自编码器可以通过将编码器构建为卷积神经网络和解码器构建为全连接神经网络来轻松扩展为端到端的深度学习模型。0作为具有重构损失的反卷积神经网络。监督聚类方法利用带标签的聚类训练数据集来学习一个与测试数据集共享的投影矩阵，与传统的聚类方法（如[60，29]）不同。学习投影矩阵的方法有不同的方法：1）基于度量学习的方法，使用相似性和不相似性约束[32，30，63，16]；2）基于回归的方法，使用“标签”[41，33]。我们的方法与基于回归的方法更相关，因为我们的语义自编码器中使用训练类别标签来约束潜在嵌入空间。我们在第5.2节中证明，类似于零样本学习问题，通过添加重构约束，我们的模型在监督聚类上可以取得显著的改进。03. 语义自编码器03.1. 线性自编码器0首先介绍线性自编码器的构建，然后将其扩展为语义自编码器。在其最简单的形式中，自编码器是线性的，只有一个隐藏层，编码器和解码器共享该隐藏层。编码器将输入数据投影到具有较低维度的隐藏层，解码器将其投影回原始特征空间，并旨在忠实地重构输入数据。形式上，给定一个由N个d维特征向量组成的输入数据矩阵X ∈Rd×N，将其投影到具有k维的潜在空间，投影矩阵W ∈Rk×d，得到潜在表示S ∈Rk×N。然后将得到的潜在表示投影回特征空间，投影矩阵W� ∈ Rd×k，得到ˆX ∈ Rd×N。我们有k 

下载后可阅读完整内容，剩余1页未读，立即下载