斜坡上滑雪的人的视觉字幕生成模型及其评估

25 浏览量更新于2023-10-16 收藏 816KB PDF 举报

身份认证购VIP最低享 7 折!

30元优惠券

一斜率生成的说明：一名男子骑着滑雪板滑下积雪覆盖的斜坡1视觉字幕Zhe Gan<$，Chuang Gan<$，Xiaodong He<$，YunchenPu<$ Kenneth Tran<$，Jianfeng Gao<$，LawrenceCarin<$，Li Deng<$†杜克大学，清华大学，微软研究院，雷德蒙德，华盛顿98052，美国{zhe.gan，yunchen.pu，lcarin}@duke.edu，ganchuang1990@gmail.com{xiaohe，ktran，jfgao，deng}@microsoft.com摘要提出了一种用于图像字幕识别的语义合成网络（SCN），该网络中的语义概念（即：标签），并且每个标签的概率用于组成长短期分类（LSTM）网络中的参数SCN将LSTM的每个权重矩阵扩展为标签相关权重矩阵的集合集合中的每个成员用于生成图像标题的程度与对应标签的图像相关概率有关除了字幕- ING图像，我们还扩展了SCN生成字幕的视频剪辑。我们定性分析了SCN中的语义组成，并在三个基准数据集上定量评估了该算法：COCO、Flickr 30k和Youtube2Text。实验结果表明，该方法显着优于现有的国家的最先进的方法，在多个评价指标。雪1.000滑雪0.993人0.917斜率0.898人0.889希尔0.808覆盖0.750骑0.627(a) 建议模型概述。一人1. 介绍最近，人们对开发可以为图像或视频生成字幕的模型（称为视觉字幕）的兴趣激增。这些方法中的大多数都是以图像或视频为条件来学习字幕的概率模型[29，47，13，20，48，52，10，46，32，56]。受机器翻译中使用的编码器-解码器框架的成功使用的启发[2，8，40]，最近关于视觉字幕的工作采用卷积神经网络（CNN）作为编码器，获得给定图像或视频的固定长度矢量表示。然后，通常使用长短期记忆（LSTM）单元[17]实现的递归神经网络（RNN）被用作解码器来生成字幕。最近的工作表明，添加明确的高级语义概念（即，标签）可以进一步改善视觉字幕。如[49，54]所示，检测图像中编码的显式语义概念，并添加(b) 基于SCN的图像字幕示例。图1：模型架构和语义组合的说明。每个三角形符号表示标签相关权重矩阵的集合语义概念旁边的数字（即标签）是在输入图像中呈现相应语义概念的概率。将这种高级语义信息引入到CNN-LSTM框架中，已经显著提高了性能具体来说，[49]将语义概念作为初始化步骤输入LSTM解码器。在[54]中，提出了一种语义注意模型，该模型通过软注意机制选择性地注意语义概念[2]。另一方面，虽然实现了显著的性能改进，但是在这些方法中，将语义概念集成到基于LSTM的字幕生成过程中受到限制;例如，，只有通过软关注或初始化-5630LSTMLSTMLSTMCNN检测到的语义概念：人（0.998），婴儿（0.983），抱着（0.952），小（0.697）、坐（0.638）、牙刷（0.538）、儿童（0.502）、口腔（0.438）语义构成：1. 只使用2. 只用3. 只用4. 只用5. 使用SCN生成的总体标题嘴里叼着牙刷的婴儿通过更改标记来影响标题6. 用“女孩”代替7. 用“棒球”代替8. 用“披萨”代替5631LSTM的第一步在本文中，我们提出了语义组合网络（SCN），以更有效地组装单个标签的含义，以生成描述图像整体含义的标题，如图1a所示。与传统的基于CNN-LSTM的图像字幕框架类似，CNN用于提取视觉特征向量，然后将其馈送到LSTM中以生成图像字幕（为了简单起见，在本讨论中，我们指的是图像，但该方法也适用于视频）。然而，与传统LSTM不同，SCN将传统LSTM的每个权重矩阵扩展为标签相关权重矩阵的集合，取决于标签存在于图像中的概率这些标签相关的权重矩阵形成具有大量参数的权重张量。为了使学习可行，我们将张量分解为三向矩阵乘积，这大大减少了要学习的自由参数的数量，同时也产生了出色的性能。本文的主要贡献如下：（一）我们提出了SCN有效地组成个人的语义概念的图像字幕。（ii）我们对两个图像字幕基准进行了综合评估，证明了所提出的方法在很大程度上优于传统的最先进的方法。例如，根据COCO官方测试服务器的报告，我们实现了33.1的BLEU-4，比当前发布的最新技术水平提高了1.5分[54]。（iii）我们将所提出的框架从图像字幕扩展到视频字幕，证明了所提出的模型的通用性。（iv）我们还对SCN进行了详细的分析，表明该模型可以通过修改标签来平滑地调整2. 相关工作我们专注于最近的基于神经网络的字幕生成文献，因为这些文献与我们的工作最相关。这种模型通常通过CNN提取视觉特征向量，然后将该向量发送到语言模型以生成字幕。代表作品有[7，9，10，20、23、24、29、48]用于图像字幕， [10，46，47，56，3，35，11]用于视频字幕。各种方法的差异主要在于CNN架构和语言模型的类型例如，在[29，20]中使用了vanilla RNN [12]，而在[48，46，47]中使用了LSTM [17视觉特征向量仅在[48，20]中的第一个时间步被送入RNN一次，而在 [29]中，它在RNN的每个时间步都被使用。最近，[52]利用基于注意力的机制来学习在字幕生成期间在图像中聚焦的位置。这项工作之后[53]引入了一个复习模块来改善注意力机制，[28]提出了一种方法来改善正确的注意力。视觉上的注意力此外，在[34]中开发了用于图像字幕的变分其他相关的工作包括[32]视频字幕和[1]描述新颖物体的句子。另一类模型使用语义信息来生成字幕。具体来说，[18]将检索到的句子作为额外的语义信息来指导LSTM生成字幕，而[13，49，54]在生成句子之前应用了语义概念检测过程[15]此外，[13]还提出了一种深度多模态相似性模型，将视觉特征和字幕投影到联合嵌入空间中。这一系列方法代表了图像字幕的当前技术水平。我们提出的模型也属于这一类;然而，与上述方法不同的是，我们的模型在LSTM单元中使用权重张量。这允许学习用于生成字幕的语义概念相关权重矩阵的集合与递归神经网络中的层次组合相关但不同[37]，我们的模型执行概念的隐式组合，并且这些概念之间没有层次关系。图1b展示了SCN模型中表现出来的语义组合具体地，以高概率检测一组语义概念，诸如如果仅打开一个语义概念，则模型将生成仅覆盖输入图像的一部分的描述，如图1b的句子1-5所示;然而，通过将所有这些语义概念集合，SCN能够生成综合描述更有趣的是，如图1b的句子6-8所示，SCN还具有很大的灵活性，可以通过改变某些语义概念来调整字幕的生成。采用张量分解方法使SCN变得紧凑，简化学习。类似的想法已经在[25，30，38，39，41，50，14]中被利用。在[10，19，23]作者还简要讨论了使用张量因子化方法进行图像字幕。具体来说，从CNN中提取的视觉特征在[10，23]中被利用，并且在[19]中使用推断的场景向量进行张量因子化。与这些工作相比，我们使用由所有标签的概率形成的语义概念向量来对ensem中的基础LSTM权重矩阵进行我们的语义概念向量在提供图像的明确语义信息方面比视觉特征向量[10，23]和场景向量[19此外，语义概念的使用也使得所提出的SCN比[10，19，23]更可解释，如我们的定性分析所示，因为语义概念向量中的每个单元对应于显式标签。56323. 语义合成网络（&掌声）T3.1. 用于图像字幕考虑一幅图像I，带有相关的说明X。我们首先提取特征向量v（I），它通常是顶层&）预训练CNN的特征然而，为了简单起见，我们省略了对I的显式依赖，并将视觉特征向量表示为v。长度为T的标题表示为X =（x1，. . . .. 长度T通常在不同字幕之间变化字幕中的第t个单词xt被线性嵌入到n x维实值向量wt=Wext中，其中We∈ Rnx×V是单词嵌入矩阵（学习），即，wt是由one-hotxt选择的We的列。的概率（&(a) 基本RNN10%&��简体中文10%&在给定图像特征向量v的情况下，p（X|I）= QTp（x|x，. . . 得双曲余切值.（1）(b) SCN-RNNt =1t0t−1图2：我们提出的模型与传统模型的比较其中x0被定义为- ken的特殊句首。标题中的所有单词都是使用RNN顺序生成的，直到生成句子结束符号。具体地，每个条件p（xt|x

下载后可阅读完整内容，剩余1页未读，立即下载