快速、多样、准确的图像字幕生成

1词性引导的快速、多样、准确的图像字幕Aditya Deshpande1分，Jyoti Aneja1分，Liwei Wang2分，Alexander Schwing1分，David Forsyth1分ardeshp2，janeja2，aschwing，daf@illinois.eduliweiwang@tencent.com1伊利诺伊大学香槟分校2腾讯人工智能实验室，西雅图摘要图像字幕是一个模糊的问题，一幅图像有许多合适的字幕为了解决模糊性，波束搜索是用于对多个帽采样的事实上的方法。然而，波束搜索在计算上是昂贵的，并且已知产生通用字幕[8，10]。为了解决这个问题，已经提出了一些基于变分自动编码器（VAE）[32]和生成对抗网络（GAN）[5，25]的方法虽然不同，GAN和VAE不太准确。在本文中，我们首先预测图像的有意义的摘要，然后基于该摘要生成字幕。我们使用词性作为摘要，因为我们的摘要应该驱动标题生成。我们实现了三连胜：（1）如通过标准字幕度量和用户研究所评估的，对于不同字幕的高准确性;（2）与波束搜索和多样波束搜索[28]相比，多样字幕的计算更快;以及（3）通过对新句子、不同的n元语法和相互重叠进行计数来评估的高多样性（即，mBleu-4）分数。1. 介绍在本文中，我们将展示如何强制图像字幕系统，以产生不同的字幕条件下，对不同的高层次摘要的图像。我们的总结是量化的部分语音（POS）标签序列。我们的系统通过（a）从图像中预测不同的摘要，然后（b）预测每个摘要上的字幕来这种方法导致字幕准确，快速获得和多样化。我们的系统是准确的，因为它能够引导一些窄波束搜索，以更有效地探索字幕序列的空间。它之所以快，是因为每一个光束都很窄。并且标题是多种多样的，因为取决于总结（即，词性），系统被迫产生包含（例如）更多或更少形容词的字幕。这意味着我们可以避免产生最小或通用标题的趋势，这在试图*表示平等贡献。表1：我们表明，我们的词性（POS）为基础的方法实现了高精度，快速计算和更多的多样性的三重。波束搜索和不同波束搜索都很慢。它们还产生具有高相互重叠和比POS低的不同n元语法的标题（五）。POS和AG-CVAE是快速的，但是POS在图中的字幕度量上做得更好。3、更准确。优化可能性，而无需意识到语言先验（如词性）。大量文献集中于开发预测图像字幕技术，通常使用递归神经网络（RNN）[20，29，34，12，2]。最近[3，33]，在使用卷积网络时，演示了预测字幕的准确性与RNN相似。字幕的一个基本特征是它是模糊的这就产生了一个问题，因为经过训练以最大化某些分数的图像字幕程序可能会通过产生强烈的非承诺性字幕来做到这一点这也为研究创造了机会-我们的方法提供了这样做的程序。易处理的图像字幕涉及到分解字幕的序列模型。然后，推理需要波束搜索，波束搜索调查由局部标准确定的一组字幕，以找到具有最高后验概率的字幕找到非常好的字幕需要一个宽的光束，这是缓慢的。此外，还已知波束搜索生成缺乏多样性的通用字幕[8，10]。可 变自动 编码器（VAE） [32]和生 成对抗 网（GAN）[5，25，14]公式在多样性度量上优于波束搜索。基于VAE和GAN的方法从一些分布中采样潜在向量，然后根据这些样本生成字幕。潜在变量没有公开的语义，并且标题往往不如beam10695方法快速多样化准确波束搜索××C[28]第二十八话××CAG-CVAE[32]CC×我们的（POS）CCC10696搜索（例如，选项卡. [25]第1页本文提供了一种替代方案。首先预测图像的有意义的摘要，然后基于该摘要生成标题。要做到这一点，摘要需要能够驱动语言生成（对于标题生成器），并且必须是可预测的。我们发现量化的部分语音标签序列是非常有效的摘要。这些序列可以清楚地驱动语言生成（例如，迫使字幕者在特定位置产生形容词）。更令人惊讶的是，人们可以相当好地从图像中预测量化的标签序列，这可能是因为这样的序列确实概括了图像的主要动作。例如，比较限定词-名词-动词和限定词-形容词-名词-动词-形容词-名词。在第一种情况下，一些-事物出现在图像中，在第二种情况下，具有值得注意的属性的主体正在对具有值得注意的属性的对象做某事。因此，这两个图像看起来完全不同。贡献：我们表明，图像字幕与POS标签序列是快速，多样和准确（标签。①的人。我们的POS方法比基于波束搜索及其变化多样性波束搜索的技术更快地对字幕进行采样，并且具有更多的多样性[28]（表1）。（五）。我们的各种帽子比GAN产生的对应物更 准 确 [25] （ 表 1 ） 。 [32][33][34][35][36][37]3 的 图（3）第三章。2. 相关工作在下文中，我们首先回顾生成单个（或最佳1）字幕的作品，然后讨论生成k个不同（或一组最佳k）字幕的各种图像字幕方法。2.1. 图像字幕大多数图像字幕方法[12，29，34]使用在分类[26]上预先训练的卷积神经网络来表示图像特征。图像特征被输入到一个递归网络（通常基于长短期记忆（LSTM）单元）来逐词建模语言这些网络是用最大似然法训练的。为了在标准图像字幕度量上获得高性能，Yaoet al. [35]除了图像特征外，还使用COCO属性训练的网络。Anderson等人[2]开发基于注意力的网络架构。Aneja等人[3]将语言解码器从LSTM网络改为卷积网络，并表明它们获得了更多的多样性。类似地，Wanget al. [33]也使用卷积语言解码器。由于多样性是我们感兴趣的，我们使用类似于[3，33]的卷积语言解码器。我们将诸如特定于COCO数据集的属性向量等技术的结合以及[35，2]中的复杂注意力机制用于进一步的性能增益，以供将来的工作。除了探索不同的网络架构外，一些先前的工作还专注于使用不同的训练损失。强化学习已在[19，24，17]中使用，以直接训练不可微的评估指标，如BLEU，CIDER和SPICE。在本文中，我们使用最大似然训练我们的方法和基线，以确保公平的比较。在强化学习设置中训练我们的POS字幕网络可以作为未来工作的一部分进行研究通过使用对象检测器[18，30]，在根据对象的语义先验调节图像字幕方面取得了显著进展这种条件反射仅限于标题中的对象（或名词），而忽略了剩余的-der，而我们的POS方法实现了整个句子的协调。2.2. 多样化的图像字幕已经提出了四种主要技术来生成多个字幕并对它们进行排名以获得一组最佳k字幕。光束搜索。Beam搜索是神经网络机器翻译和图像字幕中对给定序列模型的多个解进行抽样的经典方法。 我们在与POS相同的基础字幕网络上比较了波束搜索，但没有词性调节。我们发现，虽然波束搜索是准确的，它是缓慢的（表。3）缺乏多样性（Tab.（五）。我们的基本字幕网络使用卷积神经网络（CNN）[3]，相当于Karpathy等人基于标准LSTM的字幕网络。[12]准确性。多光束搜索。Vijayakumar等人[28]用附加分集功能来增强波束搜索以产生分集输出。他们提出了一个汉明多样性函数，该函数可以惩罚与早期波束中使用的相同字的波束扩展。在我们的结果中，我们比较了这种不同的波束搜索（Div-BS）。注意，波束搜索和多样波束搜索是逐词探索输出字幕空间的局部搜索过程。而POS标签序列作为全局探针，允许在字幕空间的许多不同部分中对字幕进行乾最近关于不同图像字幕的工作集中在使用GAN上。对抗训练已经被[5，14，25]用来生成不同的字幕。[5，14]训练条件GAN以生成不同的字幕。[5]使用可训练的损失，将人类注释与生成的标题区分开来。在[14]中展示了基于排名的技术，该技术试图对人类注释的字幕进行评分，高于Shetty等人[25]使用对抗训练结合近似Gumbel采样器来将生成的字幕与人类注释相匹配。通常，基于GAN的方法在多样性上有所改善，但在准确性上有所下降例如，在Tab.[25 ]第25话，我10697<（i+1）<（i+1）θ（i+1）展开Top-1与LSTM基线相比，TEOR和SPICE得分大幅下降。在选项卡中。4、我们比较了GAN [25]和我们基于POS的方法，后者更准确。VAE。 Wang等人[32]建议使用具有加法高斯潜在空间（AG-CVAE）的条件变分自动编码器而不是GAN来生成不同的用他们的方法获得的多样性是由于从学习的潜在空间中采样。他们证明了在传统的LSTM基线的准确性的改进。由于波束搜索的计算复杂性，与从VAE采样的字幕数量相比，他们为LSTM基线使用了更少的波束，即它们保证了计算时间相等。与AG相比波束搜索我们的POS......CVAE [32]并表明我们获得了更高的best-1标题日图1：波束搜索和POS采样示意图，扩展最佳k个字幕（y1，y2，. . .（k）从单词posi-准确度（Tab.3）和我们最好的-k字幕精度（k=1我我我至10）优于AG-CVAE（图（3）第三章。注意，Tab中的最佳-k得分。图3和图3表示给定相同数量的采样字幕（20或100）的第k个排名字幕i+1。参见第3、注意事项及其他细节。最大化训练集D上的可能性，即，对于所有方法。为了公平起见，我们使用相同的排名程序（即，由[7]提出并使用的共识重新排序公司简介最大logp θ（y|其中p θ（y|I）=p（yi|y500K字幕。 去主要的-在保证效率的前提下，我们因此减少了POS标签如随后讨论的，序列到1024个范例量化POS标签序列。我们执行基于汉明距离的k-中心点聚类，以获得1024个聚类中心。我们使用级联的1-hot编码（POS标签）来编码POS标签序列。我们观察到我们的星系团是紧密的，超过75%的簇具有小于3的平均汉明距离。我们使用聚类中心点作为我们的分类器的量化POS标签序列。给定一个输入标签序列t，我们使用它在量化空间中的最近邻居来表示它，我们将其表示为q=Q（t）。注意，在我们的符号中，Q（t），将t简化为其量化的标签序列q。我们的图像到词性分类器（如图所示）。2）通过以下步骤学习在量化的POS序列空间上 进 行 预 测 ：φ107024.2. 单独与联合训练训练涉及学习限制网络的参数θ（等式10）。（3））和POS分类网络的参数φ（等式（3））。（四））。我们可以分别训练这两个网络，我们称这种方法为POS。我们还通过抽样进行联合训练，预测POS后验p φ（t|I）使用Gumbel soft-max [11]，然后在上限中使用其输出，定位网络。采样的POS序列和对应的字幕y之间的不一致将引入噪声，因为地面实况字幕y可能与采样的序列q不兼容。因此，在每次训练过程中，我们从Gumbel soft-max中采样50个POS标签序列，并仅挑选与标题y的POS标签最佳对齐的一个q。我们指的是通过POS+Joint进行的这种形式的联合培训。节中5.1和第二节5.2，我们表明，POS+关节（即，联合学习θ和φ）是有用的，并且产生更准确的字幕。5. 结果在下文中，我们将我们开发的用于具有POS标签的多样化字幕的方法与用于多样化字幕的竞争我们首先提供有关数据集，基线和评估指标的信息，然后再展示我们的结果。数据集。我们使用MS COCO数据集[16]进行实验。对于train/val/test拆分，我们遵循：（1）M-RNN[20]使用118，287张图像进行训练，4，000张图像10703方法光束尺寸或样本数量最佳1共识重新排序准确性B4 B3 B2 B1 C R M S速度（s/img）速度精度Beam search（w. 利库德集团）0.3050.402×0.538×0.709×0.947×0.5230.2480.1753.19××[28]第二十八话200.3190.320焦耳0.4230.424焦耳0.5640.5620.7330.7291.0181.032J0.537焦耳0.5360.2550.255焦耳0.1850.1847.417.60×××CCAG-CVAE[32]0.299×0.402×0.5440.7160.9630.518×0.237×0.173×--×POS0.3060.4190.570焦耳0.744焦耳1.0140.5310.2520.188焦耳1.13JCCPOS+联合0.3050.4150.5630.7371.0200.5310.2510.1851.13JCCBeam search（w. 利库德集团）0.300×0.397×0.532×0.703×0.937×0.519×0.2460.174×18.24××波束搜索[28]第二十八话1000.3170.325焦耳0.4190.430焦耳0.5580.569焦耳0.7290.7341.0201.0340.5320.538焦耳0.2530.255焦耳0.1860.18740.39×39.71××CCAG-CVAE[32]0.3110.4170.5590.7321.0010.5280.245×0.179--×POS0.3110.4210.5670.7371.0360.5300.2530.188焦耳7.54CCPOS+联合0.3160.4250.569焦耳0.739焦耳1.045焦耳0.5320.255焦耳0.188焦耳7.32CC表3：通过共识重新排序的最佳-1准确度。我们的POS方法在字幕指标上获得的分数高于AG-CVAE [32]。这表明我们的POS自然语言先验比基于VAE的方法使用的抽象潜在向量更有用。POS方法获得了与波束搜索和Div-BS [28]相当的精度，并且它们在采样时更有计算效率（即，高速）。请注意，我们也优于使用基于可能性的排名的标准波束搜索。对于这些结果，共识重新排名[7]用于从所有采样字幕中挑选最佳字幕（除非“可能”被指定）。为了公平比较，每种方法都使用来自更快的rccn [23]的相同80维对象向量和相同的图像特征/参数进行共识重新排序。标题度量与Tab中的相同二、请注意，C表示相应列的指标性能良好，×表示性能较差使用生成单个标题的标准图像标题任务来提高准确性。随后，在SEC。5.2（最佳-第k次准确度），我们评估不同图像字幕度量上的k个表4：与基于GAN的方法的比较。 为了-向GAN报告，我们在另一个分裂由Karpathy等人的MSCOCO。[12 ]第10段。我们的POS+Joint方法比GAN方法采样更准确的best-1字幕。与波束搜索相比，POS+Joint在该分割上也获得了更好的SPICE评分。使用Resnet-152功能可以提高我们的准确性。为了公平的计算，我们使用来自更快的rcnn [23]的相同的80维对象向量，并对所有方法的可能性对生成的字幕进行排名。用于验证，以及1，000张用于测试的图像;（2）Karpathy et al. [12]使用113，287张图像进行训练，5，000张图像用于验证，5，000张图像用于测试。后一个分割用于与Tab中基于GAN的结果进行比较。4.第一章方法. 在结果中，我们用POS来表示我们的方法，用POS+Joint来表示我们的联合训练方法（见第二节）。4.2差异）。 我们比较添加高斯条件VAE为基础的不同字幕方法的王等。[32]，以AG-CVAE表示。我们的字幕网络基于[3]。为了与波束搜索进行公平比较，我们还将卷积帽[3]与波束搜索进行了比较。这被称为波束搜索。我们与由Div-BS表示的多样波束搜索进行比较。缩写GAN用于表示[25]中基于GAN的方法。评价标准。我们使用四个标准比较所有方法• 精度 节中 5.1（最佳-1精度）我们来-• 多样性我们评估了每种方法在不同的多样性指标的性能。五点三。• 速度除了准确性，在SEC。5.4，我们还测量了每种方法用于对多个字幕进行采样。• 人类的感知。我们在SEC做了一个用户研究。五点五5.1. 最佳-1精度我们使用两种排序方法--我们的结果为甲骨文重新排名在Tab。2和表中的共识重新排序。3表明，波束搜索和分集波束搜索是准确的，但速度较慢。POS既快速又准确。POS优于AG-CVAE的准确性。甲骨文重新排名。 使用测试集的参考字幕，并将每个指标的最大得分的生成字幕选为最佳-1（也如[32]中所用该度量允许评估每个度量的最佳标题，并且分数提供了可实现的最佳-1准确度的上限较高的预言得分也表明该方法是帽空间中的良好搜索方法 选项卡中的结果。2示出了波束搜索获得最佳甲骨文成绩。然而，它是痛苦的缓慢（100秒每图像采样标题）。POS、POS+联合获得比AG-CVAE更高的精度，与波束搜索相当的精度，运行时间更快。方法样本数量流星香料波束搜索（使用VGG-16）5.247.175GAN（使用Resnet-152）5.236.166POS+关节（带VGG-16）[25]5.247.18010704共识重新排序分数。 在实际测试设置中，107051.00.90.80.70.6共识的CIDER评分重新排名最佳-10个标题POSPOS+关节AG-CVAE波束搜索分部-BS0.190.180.170.160.150.140.13共识的SPICE评分重新排名最佳-10个字幕POSPOS+关节AG-CVAE波束搜索分部-BS1.051.000.950.900.850.80共识的CIDER评分重新排名最佳-10个标题POSPOS+关节AG-CVAE波束搜索分部-BS0.1900.1850.1800.1750.1700.1650.1600.155共识的SPICE评分重新排名最佳-10个字幕POSPOS+关节AG-CVAE波束搜索分部-BS123456789第k级字幕123456789第k级字幕123456789第k级字幕123456789第k级字幕(a) 最佳-来自20份样本的10个CIDEr (b)最佳-来自20个样品的10个SPICE（c）最佳-来自100个样品的10个CIDER（d）最佳-来自100个样品图3：Best-10 CIDEr和SPICE精度。我们的POS和POS+Joint实现了与Beam Search和Div-BS [28]相当的最佳-k精度，计算时间更快。我们优于AG-CVAE的最佳-k得分[32]，证明词性条件反射优于VAE的抽象潜变量请注意，此图以高分辨率查看效果最佳方法光束尺寸或样本数量不同字幕#小说句子（最佳-5）mBleu-4（最佳-5）n-gram多样性（最佳-5）第一区第二区总体多样性波束搜索百分百23170.7770.210.29×[28]第二十八话百分百31060.8130.200.26×AG-CVAE[32]2069.8%31890.6660.240.34CPOS百分之九十六点三33940.6390.240.35CPOS+联合百分之七十七点九34090.6620.230.33C波束搜索百分百22990.7810.210.28×[28]第二十八话百分百34210.8240.200.25×AG-CVAE[32]10047.4%30690.7060.230.32CPOS91.5%34460.6730.230.33CPOS+联合58.1%34270.7030.220.31C人类5百分之九十九点八-0.5100.340.48表5：多样性统计。对于每种方法，我们报告了新句子的数量（即，在训练集中看不到的句子），在共识重新排序之后，最多5个句子。虽然Beam Search在Tab中显示了较高的准确性。从图2，3和图3中，我们看到它产生的新句子数量比我们的POS方法少。因此，波束搜索更容易破坏训练数据。低mBleu-4表示生成的字幕之间的4-gram重叠较POS具有最低的mBleu-4，因此生成的字幕具有高多样性。有关其他指标的详细信息，请参见第五点三。测试集的参考字幕因此，在一致性重新排序中，检索与测试图像相似的训练图像的参考字幕通过相对于检索到的参考集计算的CIDEr得分对生成的帽子进行排名[7]。我们使用与[32]相同的图像特征[31]和参数进行共识重新排序。选项卡. 3表明我们的方法POS和POS+Joint在所有指标上都优于AG-CVAE基线。此外，我们的方法比波束搜索和多样波束搜索更快。它们产生较高的CIDER、Bleu-1，2、METEOR和SPICE评分。其他分数具有可比性，小数点后3位存在差异。请注意，我们的POS+关节获得了比POS更好的分数，特别是对于100个样本。这表明联合训练是有益的。我们还在Karpathy等人的训练/测试分割上训练我们的POS+Joint方法。[25]《易经》中的“道”字。在选项卡中。4，我们表明我们获得了比[25]中报道的更高的METEOR和SPICE评分。CIDEr评分SPICE评分CIDEr评分SPICE评分10706基线法POS赢基线方法获胜波束搜索57.7%42.2%[28]第二十八话百分之四十五点三百分之五十四点六AG-CVAE[32]百分之六十四点八百分之三十五点一表6：我们示出了针对基线方法和我们的POS从最佳k（相同的第k排名，k=1允许用户挑选最好地描述图像的标题。注意，用户不知道生成标题的方法。在这里，我们观察到我们的POS方法在我们的用户研究中优于Beam搜索和AG-CVAE。我们的用户研究有123名参与者，平均23岁。每个用户注释的3个5.2. 最佳kth精度我们的字幕方法可以根据不同的词性标签来生成不同的字幕。对于不同的图像字幕，除了最佳-1精度之外，还应该测量最佳-kth最佳-第k准确度是第k排名的字幕的分数，因此它低于最佳-1分数。所有k个生成的字幕应该是准确的，因此期望具有高的最佳第k个分数。这个指标以前没有报道[25，32]。10707POS：- 两个人站在大象背上。- 一个男人和一个女人在大象的背上。- 两个人站在大象的背上- 在公园骑大象的一群人。- 两个人骑着大象走在一条土路上。光束搜索：- 几个人站在大象身上- 有几个人站在大象身上。- 一个男人和一个女人站在大象旁边。- 一对男女站在大象旁边。- 站在大象旁边的一群人。多样化波束搜索：两个人站在大象旁边。- 几个人站在大象旁边- 几个人站在一条土路- 几个站在大象旁边的人- 几个人站在大象旁边，大象站在一个。AG-CVAE：-一群人骑在大象身上。- 一个男人和一个男人骑在大象的背上。- 骑在大象背上的一大群人。- 骑在大象背上的人。- 一群人站在大象身上。POS：-车窗侧面的后视镜。- 车窗上有只鸟的汽车侧视镜- 挂在汽车侧面的后视镜- 一辆汽车的侧视图，侧镜。- 一辆汽车在镜子的景象。光束搜索：一只鸟在卡车后面的倒影。- 一只鸟在汽车后面的特写。- 一只鸟栖息在汽车的后部。- 一只鸟坐在汽车的座位上。- 坐在汽车后座上的鸟。多样化波束搜索：-一只鸟在汽车镜子上的特写镜头。- 一只鸟正把头伸出车窗外。- 一只鸟在汽车上的特写。- 一只鸟在汽车后面- 一只坐在汽车后面的鸟。AG-CVAE：一只狗正从车窗往外看。- 一只狗坐在汽车的窗户上。- 一只小鸟坐在汽车的一侧。- 一只狗坐在汽车的一侧。- 一只鸟坐在汽车后面。(a) （b）多样性（或重叠）比较图4：在左图中，注意POS标题包含后视镜/侧视镜，土路，量词“两个不准确的部分用红色突出显示，新的部分用绿色突出显示。在右图中，我们比较了字幕的多样性（或重叠）。mBleu-4分数测量一个生成的字幕和其余字幕之间的4克重叠。越低越好，例如，0表示标题与其他句子没有4-gram重叠。在上述图中，POS优于BS和Div-BS（mBleu-4评分较低）。注意，在这个例子中，地面实况5个字幕彼此都有0个重叠。在我们的1000张图像测试集上，每张图像生成10个标题，POS生成10个。94%的句子与0重叠;相比之下，Div-BS生成1。02%和光束搜索2。百分之四图以高分辨率查看效果最佳。在图3中，我们比较了所有方法的最佳第k个（k=1到10）得分。请注意，AG-CVAE的准确性在CIDER和Spice上都急剧下降，而我们的POS方法保持与波束搜索相当的准确性。这证明了我们的POS图像摘要比VAE的抽象潜变量更好地采样准确率字幕5.3. 多样性评价在选项卡中。5.对多样性度量方法进行了比较(1) 唯一性采样后生成的唯一句子的数量。波束搜索和不同波束搜索总是采样唯一的句子。请注意，我们的POS也采样了大量的独特句子19.26（96.3%）出20，91.55出100。联合训练的唯一性降低。这是因为，在训练POS+Joint时生成字幕是基于从Gumbel softmax采样的噪声POS标签序列。因此，字幕可能与该噪声POS标签序列不兼容，这导致POS标签的过度平滑的潜在表示。因此，不同的POS标签可以产生相同的潜码，从而产生相同的字幕。(2) 新颖的句子。我们测量了新句子的数量（在火车上看不到），发现我们基于POS的方法-ods比其他所有方法产生更多的新句子。波束搜索产生的新句子数量最少(3) 相互重叠。我们还测量生成的字幕之间的相互重叠。这是通过从k个生成的字幕中取出一个字幕并计算平均值来完成的Bleu-4相对于所有其他k-1字幕。较低的值表示较高的多样性。POS是最多样化的。注意，平均得分是通过选择每个标题与剩下的K-1字幕。(4) n-gram多样性（div-n）。我们测量每个标题的不同n-grams与生成的单词总数按图片排序。POS优于其他方法。5.4. 速度在图1中，我们表明我们的基于POS的方法具有比