没有合适的资源?快使用搜索试试~ 我知道了~
8307显示、控制和告诉:一个生成可控和接地字幕的框架Marcella Cornia Lorenzo Baraldi Rita Cucchiara摩德纳和雷焦艾米利亚{name.surname}@ unimore.it摘要当前的字幕方法可以使用黑盒架构来描述图像,其行为很难从外部控制和解释由于图像可以根据目标和上下文以无限方式描述,因此需要更高程度的可控性在本文中,我们介绍了一种新的框架,可以产生不同的描述,允许接地和可控性的图像captioning。给定图像区域序列或集合形式的控制信号,我们通过递归架构生成相应的标题,该架构根据给定控制的约束条件预测明确基于区域的文本块实验是在Flickr30k实体和COCO实体上进行的,COCO实体是COCO的扩展版本,我们在其中添加了以半自动方式收集的接地注释。结果表明,我们的方法实现可控图像字幕的最先进的性能,在字幕质量和多样性。代码和注释可在以下网址公开获得:https://github.com/aimagelab/show-control-and-tell.1. 介绍图像字幕以生成的方式将视觉和语言结合在一起。作为实现机器智能的基本步骤,由于深度学习架构的传播,这项任务最近受到了广泛关注,这些架构可以有效地图像字幕方法通常能够学习输入图像与随时间推移的概率分布之间的对应关系,从中可以使用贪婪解码策略[43]或更复杂的技术(如波束搜索及其变体[1])对字幕进行采样。由于字幕体系结构的两个主要组成部分是图像编码阶段和语言模型,因此,a)、b)、c)、图1:(a)具有全局视觉特征的字幕模型[43],(b)整合图像区域特征的注意力模型[3]和(c)我们的显示,控制和讲述之间的比较。我们的方法可以产生多个帽,一个给定的图像,取决于控制信号,可以是一个序列或一组图像区域。此外,生成的句子块是明确地基于区域。搜索者集中于改进这两个阶段,一方面导致注意力模型的出现[46],另一方面导致与语言模型的更复杂的交互[25,5]。最近,注意力模型已经通过将对特征网格的注意力替换为对图像区域的注意力而得到改进[3,44,50]。在这些模型中,生成过程参加了一组区域,这些区域在生成字幕时被软选择。尽管有这些进步,字幕模型仍然缺乏可控性和可解释性-即。,他们的行为很难被影响和解释。例如,在注意力驱动模型的情况下,架构隐式地选择在每个时间步关注哪些区域,但不能从外部监督。虽然可以以多种方式描述图像,但是这样的架构没有提供控制描述哪些区域以及给予每个区域什么重要性的方式这种可控性的缺乏造成了人与机器一个女孩在飞田野里的风筝一个女孩正在田野里放检测序列一个女孩站在山上放风筝。探测集合一个女孩在飞一群人一起放风筝。可控字幕模型可控字幕模型上下字幕模式标准字幕模型…8308智能,因为人类可以管理描述图像的各种方式,并根据手头的任务和上下文选择最合适的最重要的是,这也限制了上限算法的适用性,复杂的情况下,在生成过程中需要一些例如,基于字幕的驾驶员辅助系统需要关注道路上的危险物体以提醒驾驶员,而不是在检测到危险情况时描述树木和汽车的存在最终,这样的系统也需要是可解释的,以便在发生故障时可以很容易地解释它们的行为。在本文中,我们介绍了显示,控制和告诉,明确解决这些缺点(图。①的人。它可以生成erate不同的自然语言字幕取决于一个控制信号,可以作为一个序列或作为一组需要描述的图像区域。因此,我们的方法是能够描述相同的图像,通过集中在不同的区域,并在不同的顺序,以下给定的条件。我们的模型是建立在一个经常性的architecture,考虑到一个句子到名词块的分解据我们所知,这是第一个可从图像区域控制的字幕捐款. 我们的贡献如下:• 我们提出了一个新的框架,图像字幕,这是可控的,从外部,它可以产生明确地基于图像区域序列或集合的自然语言字幕。• 该模型通过预测一个名词序列来显式地考虑句子大块的此外,它还考虑到视觉和文本单词之间的区别,从而提供了一个在单词层面的广告基础。• 我们根据一组精心设计的基线、Flickr30k实体和COCO,我们半自动地用接地图像区域进行增强,用于训练和评估目的。• 我们提出的方法实现了Flick30k上可控图像字幕的和COCO,即使与关注多样性的方法相比,在多样性和字幕质量方面2. 相关工作已经为图像字幕提出了大量模型[37,47,24,23,17,25]。一般来说,所有集成递归神经网络作为语言模型,以及图像的表示,其可能由CNN的一个或多个层的输出给出[43,10,37,24],或通过使用注意力机制[46,48,24,7,3]提取的时变向量,该注意力机制[46,48,24,7,3]从CNN特征上的网格中选择,或者整合最终从检测器[32,3]中提取的图像区域。注意力模型提供了第一种将单词与图像的部分联系起来的方法,尽管有一个模糊的指示,这在语义上很少有意义。关于训练策略,通过使用强化学习来训练不可区分的字幕度量已经取得了在这项工作中,我们提出了一个扩展版本的这种ap-proach处理多个输出分布和奖励的标题对齐控制信号。最近,已经提出了更有原则的方法来为图像[34,38,15,16]提供字幕:DenseCap[17]为特定的图像区域生成描述此外,神经婴儿谈话方法[25]在两步设计中扩展了注意力模型,其中首先生成单词级句子模板,然后由对象检测器用图像中发现的概念填充。相反,我们在名词块的级别上分解标题,并显式地将它们中的每一个接地到一个区域。这种方法还有一个额外的好处,即在块级别提供了一种另一个相关的工作是生成不同的描述。一些工作已经扩展了波束搜索算法,以从同一分布中采样多个字幕[41,1],而不同的基于GAN的方法也出现了[8,39,45]。这些方法中的大多数在多样性方面有所改进,但在准确性方面受到影响,并且在生成过程中不提供可控性。其他人则用特定的风格或情感来制约这一代人[27,28,11]。我们的工作主要与[9]有关,它使用一个控制输入作为词性标记的序列。这种方法虽然产生多样性,但很难有效地控制句子的生成;相反,我们使用图像区域作为可控性方法。3. 方法句子是自然语言结构,本质上是层次性的[26]。在最低层次上,一个句子可以被认为是一个单词序列:的情况下描述图像的句子,我们可以进一步区分视觉词和文本词,视觉词描述图像中视觉上存在的东西,文本词指的是图像中不存在的实体[25]。进一步分析单词之间的句法依赖关系,我们可以恢复一个更高的抽象层次,其中单词可以被组织成树状结构:在依存关系树[12,14,6]中,每个单词都与其修饰语链接在一起(图11)。2)的情况。给定依存关系树,名词可以与它们的修饰语分组,从而构建名词块。例如,图中描绘的标题。2可以分解为一系列不同的名词组块:“一个小男孩”,“一顶帽子”,8309不不H不th条纹衬衫,以及amod cc当前字wt,使得h t=RNN(wt,r t,h t−1)。在训练时,rt和wt是与时间步长t对应的地面实况区域集和字;在测试时,wt是从模型预测的第一个分布中采样的,而下一个图像区域的选择由从第二分布采样的块移位门的值驱动图2:标题的依赖关系树示例名词组块用圆框标记;组块对应-rt+1←R[i],其中i=min.Σtk=1Σgk,N ,gk∈{0,1}(一)使用相同的颜色描绘图像区域“他的头”,“条纹衬衫”,和“灰色和运动夹克”。因为名词块,就像单词一样,可以在视觉上被固定到图像区域中,所以标题也可以被映射到一系列区域,每个区域对应于一个名词块。如果存在多于一个可能的映射,则块还可以与同一类的多个图像区域相关联描述一幅图像的方式多种多样,导致不同的组块序列,连接在一起形成一个流畅的因此,字幕在所考虑的区域的集合、它们被描述的顺序以及它们到块的映射方面也是不同的,其中{gk}k是采样门值的序列,并且N是R中区域集合的数量。大块移动门我们计算p(gt|R)通过自适应机制,其中LSTM计算兼容性在其内部状态和一个潜在的表征之间起作用,该表征在一个组块的末尾模拟记忆的状态。将兼容性得分与在rt中的一个区域处的兼容性得分进行比较,并且将结果用作切换到R中的下一个区域集合的指示符。首先扩展LSTM以获得块哨兵sc,其对从存储器中提取的组件进行建模,该组件在块的末尾对LSTM的状态进行编码。Sentinel计算为:注释者的语言能力在这些前提下,我们定义了一个模型,lc=σ(Wigxt+Whg ht−1)(2)恢复图像的各种方法可以被去-sc=lctanh(mt)(3)t t在给定表示为图像区域序列或集合的控制输入的情况下我们首先介绍前一种情况,然后展示我们的模型如何处理后一种情况。3.1. 生成可控字幕给定图像I和区域集合R =(r0,r1,..., r N)1,我们的字幕模型的目标是生成句子y =(y0,y1,., yT),它又描述了R中的所有区域,同时保持语言的流畅性其中Wig∈Rd×k,Whg∈Rd×d是可学习的权重,mt∈Rd是LSTM单元记忆,xt∈Rk是LSTM在时间t的输入;表示Hadamard元素乘积,σ表示sigmoid逻辑函数。然后,我们通过单层神经网络计算内部状态h t和哨兵向量之间的兼容性得分;类似地,我们计算h t和r t中的区域之间的相容性函数。zc=wTtanh(Wsg sc+Wg ht)(4)t h t我们的模型以输入图像I以及区域集合序列R,其充当控制信号,并且联合预测对应于词级和块级表示的两个输出分布。判决的执行情况:在给定时间生成单词的概率,即p(yt|R,I;θ),以及从一个组块切换到另一个组块,即p(gt|R,I;θ),其中gt是布尔块移位门。在这一代人中,model维护一个指向当前区域集ri的指针,并且可以通过gategt移动到R中的下一个元素。为了生成输出标题,我们使用一个神经网络自适应注意力在每个时间步,zr=wTtanh(Wsr rt+(Wg ht)T)(5)其中n是rt中的区域数,n∈Rn是所有元素都设置为1的向量,wT是行向量,并且所有Wn,wn都是可学习的参数。请注意,从内部状态中提取的区域集合在所有兼容性分数之间共享,就好像区域集合和哨兵向量是相同的注意力分布的一部分然而,与专注机制不同的是,没有价值提取。从一个块转移到下一个块的概率 一个被定义为参加哨兵的概率在sc上的分布中的向量sc和在rt中的区域:我们根据前面的公式计算隐藏状态ht隐藏状态ht-1、当前图像区域集rt和不p(gt=1|R)=不表达式zcnt(六人民报预备位置一年轻男孩与一帽对他的头,灰色运动夹克复合模8310ti)1一般来说,我们总是考虑区域集合的序列,以rexpzc+i=1Rexpzr处理目标句子中的块可以与训练和评估数据中的多个区域相关联的情况其中,zti表示zt中的第i个元素,n和t之间的相关性。在测试时,83111:T1:T1:T不:1:t ht图3:方法概述。给定图像和控制信号,该图显示了生成受控字幕的过程和语言模型的架构。然后从p(g t)中采样门gt∈ {0,1}的值|R)并驱动移位到R中设置的下一个区域。适应性注意与视觉哨兵。虽然组块移位门预测组块的结束,从而将生成过程与由R给出的控制信号联系起来,但是一旦选择了rt,为此,我们建立了一个具有视觉哨兵的自适应注意机制[24]。视觉哨兵向量对记忆的一个组成部分进行建模,当模型选择不参与rt中的一个区域时,它可以退回到该组成部分。类似于Eq。2、是3.2. 目的字幕模型使用考虑模型的两个输出分布的损失函数进行训练。给定目标地面实况字幕y*,地面实况区域集合r*和对应于每个时间步g* 的块移位门值,我们通过交叉熵损失来训练两个分布。目标区域集合和门值之间的关系将在实现细节中进一步扩展。样本的损失函数定义为:词级概率ΣT联系我们定义为:L(θ)=−logp(y*|r*,y)+lv=σ(Wx+W h(七)t=1不1:t1:t−1t就是thst−1)+glog p(gt=1|r*,y) +sv=lv tanh(m)(8)t1:t1:t−1t tt其中W∈Rd×k和Whs∈Rd×d是+(1−g)(1−logp(gtt`=1|r1<$t,y<$t−1)联系我们(十一)可学习权重。然后在rt和视觉哨兵向量sv中的区域上生成注意分布:αt=softmax([zr;wTtanh(Wss sv+Wg ht)])(9)其中[·]指示级联。基于注意力分布,我们获得了一个上下文向量,它可以被馈送到LSTM,作为网络所关注的内容的表示ing:n+1组块级概率继以前的工作[35,37,3]之后,在使用交叉熵的预训练步骤之后,我们使用强化学习进一步优化序列生成。具体来说,我们使用自我批判序列训练方法[37],该方法将REINFORCE算法与测试时在推理模型下获得的奖励进行基线。鉴于我们模型的性质,我们将该方法扩展到多个输出分布。在每个时间步,我们从两个p(y)中采样|R)和p(g |D.获得下一个ct=αti[rt;sv](10)t t不i=1请注意,上下文向量将主要是rt中的一个区域或视觉哨兵的近似值。然而,根据块移位机制,rt将在不同的时间步长处变化,从而跟随控制输入。该模型可以通过视觉哨兵交替生成视觉和字wt+1和区域集合rt+1。一旦到达EOS标签,我们计算采样句子的奖励ws,并相对于采样单词se-序列Ws和块移位门序列Gs。因此,最终的梯度表达式为<$θL(θ)=−(r(ws)−b)(<$θlogp(ws)+关注LSTM自适应关注大块-换挡槽语言LSTM控制信号检测序列探测集合1 2 3分选网络一只狗坐在自行 车旁边的人行道语言模型输入图像8312<$θlogp(gs))(十二)8313不∗其中,b=r(w)是使用推理过程(即,通过以最大概率对单词和门值进行采样)获得的句子的reward然后,我们构建一个奖励函数,该函数联合考虑字幕的质量及其与控制信号R的对齐。字幕质量不错。为了奖励生成的字幕的整体质量,我们使用图像字幕度量作为奖励。根据以前的工作[3],我 们 采 用 了 CIDER 指 标 ( 具 体 来 说 , CIDER-D 评分),该指标已被证明与人类判断更好地相关[40]。奖励结盟。虽然字幕度量可以奖励句子的语义质量,但是它们中没有一个可以评估关于控制输入2的对齐。因此,我们引入了基于Needleman-Wunsch算法的比对评分[30]。给定一个预测的标题y和它的目标对应物y,我们从两个句子中提取所有名词,并评估它们之间的对齐,回顾名词组块和区域集之间的关系。我们使用以下评分系统:匹配两个名词的奖励等于它们的词嵌入之间的余弦相似度;差距得到的负奖励等于最小相似度值即 -1。一旦计算出最佳比对,我们就将其得分al(y,y)相对于序列的长度进行归一化。因此,对准分数被定义为:al(y,y)NW(y,y)=(13)max(#y,#y)其中#y和#y表示y和y中包含的名词的数量,关于iv ely。注意NW(·,·)∈[−1,1]。我们采用的最终奖励是CIDEr-D和比对分数的加权3.3. 通过一组检测的可控性到目前为止,所提出的架构可以生成由区域集合R的序列控制的字幕。为了处理控制信号未排序的情况,即一组区域集合,我们建立了一个排序网络,该网络可以排列突变矩阵,即接近置换矩阵的实值矩阵。给定一组区域集合R ={r1,r2,.,r N},我们学习从R到其排序版本R的映射。首先,我们将R中的每个元素通过一个全连接网络,该网络独立地处理区域集合的每个项目,并产生一个长度为N的单个输出特征向量。通过将获得的特征向量连接在一起,所有区域集,从而得到一个N×N矩阵,然后将其传递给Sinkhorn算子,得到软置换矩阵P。 然后,通过最小化- 加扰输入与通过将软置换矩阵应用于排序的地面实况而获得的其重构版本之间的均方误差,即PT RR。在测试时,我们采用软置换矩阵并应用匈牙利算法[20]来获得最终置换矩阵,然后使用该置换矩阵来获得字幕网络的R的排序版本3.4. 实现细节语言模型和图像特征。我们使用具有两个LSTM层的语言模型(图1)。3):底层的输入是当前词的嵌入、图像描述符以及第二层的隐藏状态的级联。该层通过视觉哨兵和组块门预测上下文向量。相反,第二层将上下文向量和底层的隐藏状态作为输入,并预测下一个单词。为了表示图像区域,我们使用Faster R-CNN [36]和ResNet-101 [13]。特别是,我们采用了[3]提供的VisualGenome数据集[19]上微调的模型。作为图像描述符,遵循相同的工作[3],我们对所有检测的特征向量进行平均。LSTM层的隐藏大小设置为1000,注意力层的隐藏大小设置为512,而输入单词嵌入大小设置为1000。地面实况组块移位门序列。给定一个句子,其中名词组块的每个单词都与一个区域集合,我们构建块移位门序列{g <$}t从数据中学习候选顺序中的控制信号t然后,可以将得到的序列提供给字幕网络以产生输出字幕(图1)。(3)第三章。为此,我们训练了一个可以学习置换的网络,从Sinkhorn网络中获得灵感[29]。如[29]所示,置换的不可微参数化可以近似为可微松弛,即所谓的Sinkhorn算子。虽然置换矩阵在每行和每列中恰好有一个1的条目,但Sinkhorn算子迭代地规范化任何矩阵的行和列以获得2虽然METEOR创建了相对于参考的对齐通过在每个名词块的最后一个词上将gt设置为1,0否则。通过复制相同的区域集直到名词组块,然后使用下一个组块的区域集为了计算比对得分和提取依赖性,我们使用spaCy NLP工具包3。我们使用GloVe [33]作为词向量。分类网络。为了表示区域,我们使用更快的R-CNN向量,归一化的位置和大小以及区域类的GloVe嵌入。有关体系结构和培训的其他详细信息,请参阅Supple材料。标题,这是为每个unigram,从而混合语义和对齐错误.3https://spacy.io/8314∗一个小女孩和她的狗坐在一起。一个女人和一只狗坐在一起吃蛋糕。一个女人和一只狗正在吃盘子里的东西。一个年轻人走过一个红色的消防栓。一个男人走过人行道上的一个红色消防栓。一个穿白T恤的男人走过消防栓。图4:来自COCO Entities数据集的示例标题和相应的视觉背景。不同的颜色显示视觉块和图像区域之间的COCO Entities(我们的)列车验证测试NB. 字幕545,2027,8187,797NB.名词组块1,518,66720,78720,596NB.每个标题2.792.662.64NB.独特的类1,330725730Flickr30k实体火车验证测试NB. 字幕144,2565,0534,982NB.名词组块416,01814,62614,556NB.每个标题2.882.892.92NB.独特的类1,026465458表 1 : 我 们 的 COCO 实 体 数 据 集 的 统 计 数 据 , 与Flick30k实体的统计数据一致。4. 实验4.1. 数据集我们使用两个数据集进行实验:Flickr30k实体,它已经包含了块和图像区域之间的关联,以及COCO,我们半自动地注释它。表1总结了我们使用的数据集。[34]第三十四话基于Flickr30k [49],它包含31,000张图片,每张图片有5个句子。标题中提到的实体与图像中的一个或多个相应的边界框相链接。总共有276,000个手动注释的边界框可用。在我们的实验中,我们自动将每个绑定框与对象检测器检测到的图像区域中具有最大IoU的图像区域相 我们使用Karpathy et al. [18]第10段。COCO实体。Microsoft COCO [22]包含超过120,000张图片,每张图片都有大约五个群众来源的标题。在这里,我们再次遵循[18]定义的分割,并自动将名词块与从检测器[36]中提取的图像区域相关联。我们首先使用词向量建立一个索引,将数据集的每个名词与五个最相似的类名关联起来。然后,标题中的每个名词块通过使用其名称或其名称的基本形式与在图像中可用的索引中找到的第一类这一关联过程得到了广泛的证实,人工验证步骤通常是可靠的,并且产生很少的假阳性关联。自然地,它可以导致具有多个元素的区域集(如在Flickr30k中),以及具有空区域集的名词块。在这种情况下,我们用图像的最可能检测填充空的训练区域集,并让自适应注意机制学习相应的关联;在验证和测试中,我们去掉了这些标题。从COCO中提取的附加注释的一些示例如图所示。4.第一章4.2. 实验环境我们采用的实验设置是不同于标准的图像字幕。实际上,在我们的场景中,区域集合的序列是模型的第二个输入此外,我们采用了标准度量之外的其他度量,如BLEU-4 [31],ME-TEOR [4],ROUGE [21],CIDER [40]和SPICE [2]。当相对于序列评估可控性时,对于每个地面实况区域图像输入(R,I),我们针对数据集中共享相同对的所有字幕进行评估。此外,我们采用对齐分数(NW)来评估模型如何遵循控制输入。类似地,当评估相对于一组区域的可控性时,给定一组图像对(R,I),我们针对具有相同输入的所有地面实况字幕进行评估。要评估预测标题如何覆盖控制信号,我们还定义了一个软交集的联盟(IoU)之间的地面真理集的名词和它的预测对应措施,回顾之间的关系-区域集和名词块。首先,我们计算两组名词之间的最优分配,使用词向量之间的距离和匈牙利al-出租m [20],并将两组之间的交集得分定义为分配利润之和。然后,回想一下集合并可以用交集的函数表示,我们定义IoU测度如下:I(y,y)IoU(y,y)=(14)#y+#y−I(y,y)其中I(·,·)是交集得分,#运算符表示两组名词的基数。8315交叉熵损失CIDEr优化CIDEr + NW优化方法B-4 M R C S NWB-4 M R C S NWB-4MRCSNW[37]第三十七话10.4 17.3 36.8 98.3 25.2 0.25712.3 117.5 26.9 0.273------[3]第三次世界大战12.9 19.3 40.0 29.3 0.29614.2 20.0 42.1 133.9 30.0 0.310------[25]第二十五话12.9 19.2 40.4 120.2 29.5- -- -- --可控LSTM11.4 106.8 27.6 0.27512.8 18.9 40.9123.0 28.5 0.29012.9 19.3 41.3 124.00.341可控升降17.3 23.0 46.7 161.0 39.117.4 22.9 47.1168.5 39.017.9 23.6 48.2 171.30.443Oursw/ single sentinel20.0 23.9 51.1 183.321.7 25.3 54.5202.6 47.6 0.60621.3 201.1 48.10.648我们的无视觉哨兵20.8191.2 45.10.50822.2 25.4 55.0206.2 47.6 0.60721.5 202.2 48.10.639我们20.9 193.0 45.3 0.50822.5 25.6 55.1210.1 48.1 0.61522.3 25.6 55.3 209.70.649表2:在COCO实体的测试部分上经由区域序列的可控性NW指的是在Sec.3.2. †标记表示不可控的方法。23141225131221213433墙上的涂鸦和人行道上的女人。一个女人走在人行道上的涂鸦前。一只狗和一个男人坐在长椅上。几个人和一只狗坐在长椅上。几匹马站在一个领域的顶部。两匹马在草地吃草,有草有树还有篱笆图5:通过一系列区域的可控性的示例结果不同的颜色和数字显示控制序列以及块和区域之间的关联。方法B-4 M R C S NW Neural BabyTalk [25]8.5 13.531.7 53.9 17.9可控LSTM 6.5 12.6 15.8 0.124可控升降10.4 15.2 35.2 69.5 21.7我们通过移除视觉哨兵来消除我们的模型。因此,所得到的基线缺乏区分视觉和文本单词的机制。我们只有一个哨兵。同样,我们通过合并视觉和块哨兵来消除我们的模型:一个哨兵C vOursw/ single sentinel10.7 16.1 38.1 76.5 22.8我们的无视觉哨兵我们的12.5 16.8 38.9 84.0 23.5 0.263表3:在Flickr30K实体的测试部分上,通过一系列区域的可控性。4.3. 基线可控LSTM 我们从一个没有注意力的模型开始:一个具有单一视觉特征向量的LSTM 语言模型。然后,我们通过将R的扁平化版本馈送到第二个LSTM并获取最后一个隐藏状态来生成顺序控制输入,该状态被连接到视觉特征向量。语言模型的结构类似于[3],没有注意。可控制上下。在这种情况下,我们采用了[3]中的完整Up-Down模型,该模型在图像区域上创建了一个有注意力的分布,并通过仅馈送R中选择的区域而忽略其余区域来使其可控该基线不是顺序可控的。我们的没有可视哨兵。为了研究视觉哨兵的作用及其与门哨兵的相互作用,用于两个角色,代替st和st。作为进一步的基线,我们还比较了不可控的字幕方法,如FC-2K [37],上下[3]和神经婴儿谈话[25]。4.4. 定量结果通过一系列检测的可控性。 首先,我们展示了我们的模型的性能时,提供了完整的控制信号作为一个序列的区域集。表2显示了COCO实体的结果,并与上述方法进行了比较。我们可以看到,我们的方法在所有自动评估指标上实现了最先进的结果,在总体字幕质量和与控制信号的对齐方面都优于所有基线。使用交叉熵预训练,我们在CIDEr上比可控LSTM和可控Up-Down高出32.0,在NW上高出0.112使用CIDEr和NW优化模型进一步提高了对齐质量,同时在所有指标上保持优于结果,导致NW上的最终0.649,优于Con。可滚动的上下基线增加了0.25回想一下NW的范围是从-1到1,这个改进等于12。全公制范围的5%8316一个男孩在球场上打网球。一个穿着红色衬衫的男孩在球场上拿着网球拍。一女孩穿着戴着太阳镜在草地上拿着飞盘一个女孩站在草地上拿着一个飞盘。一个男人和一个女人背着行李走在有门的街道上。人行道上一个红色消防栓旁边有一个带着行李的女人。图6:通过一组区域的可控性的示例结果。不同的颜色显示控件集以及区块和区域之间的关联。方法B-4 MR C S IoUFC-2K<$ [37] 12.5 18.5 39.6 116.5 26.6 61.0[3]第三次世界大战14.4 20.0 42.2 132.8 29.7[25]第二十五话13.1 119.1 29.2 62.6可控LSTM12.9 19.3 41.3 123.4 28.7可控升降18.123.6 48.4 170.5 40.4Oursw/ single sentinel17.4 23.6 48.4 43.7 75.4我们的无视觉哨兵我们的18.023.8 48.9 173.3 44.1 75.5方法B-4 M R C S IoU神经婴儿谈话†[25] 8.6 13.531.9 53.8 17.8 49.9我们的无可视哨兵9.8 14.8 35.0 64.2 20.9 54.3我们的10.9 15.8 36.2 70.4 21.8 55.0表5:在Flickr30K实体的测试部分上,通过一组区域的可控性表4:在测试端口上通过一组区域的可控性COCO实体。方法样品B-4 M R C S在表3中,我们显示了相同实验的结果AG-CVAE[45]2047.130.9 63.8 130.8 24.4Flickr 30 k实体上的iments,使用CIDER+NW优化-销售点[9]2044.9 36.5 67.8 146.8所有可控方法。同样在这个手动-注释数据集,我们的方法优于所有比较我们2044.836.6 68.9 156.5在盖质量和与控制信号的对准方面都以显著的裕度接近。通过一系列检测的可控性。 然后,我们评估了模型在以下条件下的性能一组检测。表4和表5分别显示了我们的方法在COCO实体和Flickr 30k实体上的性能。我们注意到,所提出的方法优于所有基线和比较方法的IoU,从而证明我们能够更有效地考虑控制信号。这也与更好的字幕指标相结合,这表明更高的语义质量。多样性评价。最后,我们还评估了生成的字幕的多样性,与最新的方法,侧重于多样性进行比较。特别是,[45]中提出的变分自动编码器和[9]的方法,其通过馈送PoS序列来允许多样性和可控性为了在大量不同的字幕上测试我们的方法,给定一个图像,我们采取在控制区域集中找到的所有区域,并采取导致具有更高对数概率的字幕的排列这种方法与[9]中使用的采样策略非常相似然后,我们遵循[45,9]中定义的实验方法:每一地─表6:COCO测试部分的分集性能。针对每个度量的最大分数,对照所生成的字幕来评估真实语句。因此,较高的分数表明该方法能够对高准确度字幕进行采样。结果报告在表6中,其中为了保证比较的公平性,我们在完整的COCO测试分割上运行该可以看出,我们的方法可以生成显著不同的字幕。5. 结论我们提出了显示,控制和告诉,一个框架,通过区域生成可控和接地字幕。我们的工作是出于将字幕系统带到更复杂场景的需要。该方法考虑了将句子分解为名词块,并将名词块置于控制信号之后的图像区域。在Flickr30k和COCO实体上进行的实验结果验证了我们的方法在可控性和多样性方面的有效性。可控LSTM6.412.5 30.2 42.9 15.6可控升降10.515.2 35.5 69.5 21.6 54.8Oursw/ single sentinel9.515.2 35.8 65.6 21.255.08317引用[1] Peter Anderson,Basura Fernando,Mark Johnson,andStephen Gould.带约束波束搜索的引导开放词汇图像字幕 。 在 Proceedings of the Conference on EmpiricalMethods in Natural Language Processing,2016年。[2] Peter Anderson,Basura Fernando,Mark Johnson,andStephen Gould. SPICE:语义命题图像帽评价.2016年欧洲计算机视觉会议论文集[3] Peter Anderson,Xiaodong He,Chris Buehler,DamienTeney,Mark Johnson,Stephen Gould,and Lei Zhang.自下而上和自上而下关注图像字幕和视觉问答。在IEEE计算机视觉和模式识别会议集,2018年。[4] Satanjeev Banerjee和Alon Lavie。Meteor:一个自动的评 估 指 标 , 与 人 类 的 判 断 有 更 好 的 相 关 性 .ACLWorkshoponIntrinsicandExtrinsicEvaluationMeasuresforMachineTranslationand/orSummarization,2005。[5] Lorenzo Baraldi Costantino Grana和Rita Cucchiara 用于视频字幕的高性能边界感知神经编码器在IEEE计算机视觉和模式识别会议论文集,2017年。[6] Danqi Chen和Christopher Manning。使用神经网络的快速准确的依赖分析器在自然语言处理经验方法会议论文集,2014年。[7] Marcella Cornia,Lorenzo Baraldi,Giuseppe Serra,andRita Cucchiara.更加注重突出性:具有显著性和上下文注 意 的 图 像 加 帽 。 ACM Transactions on MultimediaComputing , Communications , and Applications , 14(2):48,2018.[8] Bo Dai,Sanja Fidler,Raquel Urtasun,and Dahua Lin.通过条件GAN实现多样自然的图像描述.2017年计算机视觉国际会议论文集[9] Aditya Deshpande , Jyoti Aneja , Liwei Wang ,Alexander Schwing,and David A Forsyth.多样化和可控的 图 像 字 幕 与 词 性 指 导 。 arXiv 预 印 本 arXiv :1805.12589,2018。[10] JeffreyDonahue 、 LisaAnneHendricks 、 SergioGuadarrama、MarcusRohrbach、SubhashiniVenugopalan、Kate Saenko和Trevor Darrell。用于视觉识别和描述的长期递归卷积网络。IEEE计算机视觉与模式识别会议论文集,2015年。[11] Chuang Gan,Zhe Gan,Xiaodong He,Jianfeng Gao,and Li Deng. Stylenet:使用样式生成有吸引力的视觉标题。在IEEE计算机视觉和模式识别集,2017年。[12] 约阿夫·戈德堡和乔金·尼夫尔。用非确定性预言机训练确 定 性 解 析 器 。 Transactions of the Association ofComputational Linguistics,1:403[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。进行中-IEEE计算机视觉与模式识别会议,2016年。[14] Matthew Honnibal,Yoav Goldberg,and Mark Johnson.一个用于依存分析的非单调弧-渴望转换系统。在2013年第十七届计算自然语言学习会议上[15] Ronghang Hu , Marcus Rohrbach , Jacob Andreas ,Trevor Darrell,and Kate Saenko.使用组合模块网络对引用表达式中的关系进行建模。在IEEE计算机视觉和模式识别会议论文集,2017年。[16] Ronghang Hu , Huazhe Xu , Marcus Rohrbach , JiashiFeng,Kate Saenko,and Trevor Darrell.自然语言对象检索。IEEE计算机视觉与模式识别会议论文集,2016年。[17] 贾斯汀·约翰逊安德烈·卡帕西和李飞飞。Densecap:用于密集字幕的全卷积定位网络。在IEEE计算机视觉和模式识别会议论文集,2016。[18] Andrej Karpathy和李飞飞。用于生成图像描述的深度视觉语义 IEEE计算机视觉与模式识别会议论文集,2015年。[19] Ranjay Krishna 、 Yuke Zhu 、 Oliver Groth 、 JustinJohnson、Kenji Hata、Joshua Kravitz、Stephanie Chen、Yannis Kalantidis 、 Li-Jia Li 、 David A Shamma 、Michael Bernstein和Li Fei-Fei。视觉基因组:使用众包密集图像注释连接语言和视觉。国际计算机视觉杂志,123(1):32[20] 哈罗德·库恩。指派问题的匈牙利方法。海军研究后勤季刊,2(1-2):83-97,1955年。[21] 林金耀。Rouge:一个用于自动评估摘要的软件包。在文本中,摘要分支如下:ACL研讨会论文集,第8卷,2004年。[22] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。Microsoft COCO:上下文中的常见对象。在2014年欧洲计算机视觉会议上[23] Siqi Liu,Z
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决Eclipse配置与导入Java工程常见问题
- 真空发生器:工作原理与抽吸性能分析
- 爱立信RBS6201开站流程详解
- 电脑开机声音解析:故障诊断指南
- JAVA实现贪吃蛇游戏
- 模糊神经网络实现与自学习能力探索
- PID型模糊神经网络控制器设计与学习算法
- 模糊神经网络在自适应PID控制器中的应用
- C++实现的学生成绩管理系统设计
- 802.1D STP 实现与优化:二层交换机中的生成树协议
- 解决Windows无法完成SD卡格式化的九种方法
- 软件测试方法:Beta与Alpha测试详解
- 软件测试周期详解:从需求分析到维护测试
- CMMI模型详解:软件企业能力提升的关键
- 移动Web开发框架选择:jQueryMobile、jQTouch、SenchaTouch对比
- Java程序设计试题与复习指南
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)