16846基于动词语义角色的类人可控图像字幕陈龙2，3蒋志宏1肖军1 <$刘伟41浙江大学2腾讯AI实验室3哥伦比亚大学4腾讯数据平台zjuchenlong@gmail.com，{zju jiangzhihong，junx}@ zju.edu.cn，wl2223@columbia.eduCS：一个人在冲浪板上冲浪。✓CS：英文名：A Man Riding a Wave on a冲浪板在他的手在天空中。 ✗(a) 内容控制信号CS：3级（15-19岁）一群人坐在旁边在一棵树前互相交谈。✓CS：4级（20-25）一群男人和两个男孩站在冰箱在房子前面。✗(b) 结构控制信号CS：read;
，Arg1Cap：一个人在操场上看书。✓CS ： read; Arg 0 ， Arg 1 ， Cap：一个男人在公园的长椅上看书。✓CS：sit;Arg1，Arg2一个男人坐在长凳上。✓CS：sit;Arg1，Arg2，Arg3帽子：一个人坐在操场旁边的长凳上。✓(c) 动词专用语义角色图1：每个样本中的CS和Cap分别表示控制信号和生成的字幕。（a）：字幕由模型SCT [16]生成，该模型使用一组视觉区域作为控制信号。当控制信号对象手和天空），SCT生成较低质量的字幕（红十字）。（b）：字幕由LaBERT模型[19]生成，该模型使用不同的长度级别作为控制信号。当控制信号级别4），LaBERT生成较低质量的字幕。（c）：字幕是由我们的框架生成的，VSR作为控制信号。为了简洁起见，我们在所有示例中将role，1>替换为role，...， }，（1）其中V是捕捉图像中显著活动的范围的动词（例如， ride），si是动词v的语义角色（例如， n i是角色s i中感 兴 趣 的实 体 的 数 量 。 例如 ， 对 于 VSR={ride ， ， ，}，我们希望生成一个标题，它不仅关注于描述骑行活动，也包含一个实体，分别扮演Arg0骑手和Arg1战马的角色，以及两个实体，扮演骑手的角色。因此，VSR可以有效地控制整个句子和每个角色所携带的信息量，即，细节的层次它便于自动或人工构造VSR对于动词，它们可以通过具有预定义动词词汇的现成动作识别网络来准确预测。对于动词特有的语义角色，16849SJ我我图3：我们提出的VSR引导的CIC模型的整个架构。该框架由三个部分组成：1）一个GSRL模型为每个角色的实体接地;2）一个SSP学习语义结构; 3）一个角色转换字幕模型生成的字幕。可以很容易地从动词词典中检索到，如Prop- Bank或FrameNet。然后，用户可以容易地选择角色的子集或自动采样以生成角色的子集给定图像I和控制信号VSR，标签图像字幕模型旨在通过一个文本来描述I实际句子y ={y1，...， y T}，即， 对概率p（y）进行建模|I，VSR）。受人类描述图像的习惯的启发，我们将此任务分解为两个步骤：绘制描述性图案并填写详细标题：p（y|I，VSR）= p（y|模式）p（模式|I，VSR）。（2）此外，我们利用两个序列S =（s b，...，b）和3.1. 基于VSR的可控字幕生成3.1.1扎根语义角色标注（GSRL）给定图像I，我们首先利用对象检测器[48]来提取一组对象建议B。 每个建议b i∈ B与视觉特征fi和类别标签c i∈ C相关联。然后，我们把所有这些建议分成N个不相交的集合，即，B={B1，...，Bn}3，并且每个提议集合Bi由一个更多的建议。在这个GSRL步骤中，我们需要将VSR中的每个子角色引用到B中的建议集。具体来说，我们通过以下公式计算语义角色si和提议集Bj之间的相似性得分aijΣg g¯ Σ¯1Kqi=ev;esi;f，aij=Fa（qi，fj）， ⑷R=（r1，...，r K）对描述性模式进行建模。具体-S是句子的一个语义结构，其中eg和eg是动词v的词嵌入特征vsib∈ S是一个子角色。所谓因此，图3中的VSR可以重写为Arg 0、Arg 1、Arg2 -1和Arg 2 -2。R是S中的每个子角色的对应接地实体的视觉特征序列（例如，Ri是参照Sb）的可视区域的特征。特别地，为了表达简洁，我们将VSR中的动词视为一种特殊类型的子角色，并且由于没有基础视觉区域，对于动词，我们使用全局图像特征作为R中的接地区域特征。同时，我们用R来表示序列R中所有元素的集合。因此，我们进一步将此任务分解为三个部分：p（y|I，VSR）=p（y|S，R）p（S，R|R，VSR）p（R|I，VSR）。`˛¸x `x`x语义角色si、f<$和f<$表示建议集B和Bj的平均池化视觉特征，[;]是连接操作，并且F a是可学习的相似度函数4。在获得语义角色s i和所有提议集{Bj}之间的基础相似性得分{ a ij }之后，我们然后选择具有最高得分的前n i个提议集作为si的所有子角色的基础结果。 R=Eq. （3）是所有接地建议集的视觉特征集3.1.2语义结构规划器语义结构规划器（SSP）是一个层次化的语义结构学习模型，旨在学习一个合理的子角色序列S。如图3所示，它由两个ASIC组成：S级SSP和R级SSP。S级SSP。（ 1 ） 高层 次 的 （S-level）SSP是一个粗糙的，字幕SSPGSRL（三）粒度结构学习模型，它只学习一个se-在本节中，我们首先在第3.1节中顺序地介绍了VSR引导的可控图像字幕模型的整个框架的每个组件（参见第3.1节）。图3），包括一个接地语义角色标记（GSRL）模型，一个语义结构规划器（SSP），和一个角色转换字幕模型。然后，我们在第3.2节中展示了所有训练目标和推理阶段的细节，包括从单个VSR扩展到多个VSR。一男子骑 一 马 对靠近水边的海滩角色转换VSR骑，1>，<,1>,<，2>骑你好，你好，第一章：-2：R级SSP（Arg0-S级SSP（Arg0GSRL16850所有涉及的一般语义角色（包括动词）（例如，骑，Arg0 骑 手，Arg1 骏 马和图3中的马）。为此，我们将这种层次结构学习公式化为角色序列生成任务，只要当我们约束每个输出角色令牌属于3由于具体CIC数据集的注释性质不同，我们按照不同的原则对提案进行分组。详情见第4.2节。4为简明起见，我们将细节留在补充材料中。16851不不St不g，K∗∗vSIt t−1t给定角色集，每个角色只能出现一次。具体来说，我们利用三层Transformer [57] 5来计算角色p（s t ） 的 概 率|VSR）在每个时间步长t4处：CIC方法[16，10]，并同时预测两个分布：p（g t| S，R），用于控制子角色的转移，以及p（y，t| S，R）来预测单词的分布。H=Transformerenc.Σ{FCa（ei+ei）}，至于角色转换，我们使用自适应注意力机制anism [37]来预测移位4的概率：p（s t| VSR）=Transformer dec. H，E，O你好，（五）grgSt其中，Transformer是编码器（enc）和解码器（dec）标准多头Transformer。ei和ei是αt，αt，srt=AdaptiveAttna（xt，rt），（7）其中AdaptiveAttna是自适应注意力网络，xt是注意力的输入查询，srg是基本向量，αg和vsit t动词v的词嵌入特征和语义角色sj、ar是语义向量和区域的注意权重分别FCa是一个可学习的fc层，以获得em-特征，分别。 我们直接使用注意力权重αg每个输入令牌的铺垫。eo是嵌入序列因为改变子角色的概率，即，p（g t| S，R）=αg。 基于概率p（g |S，R），我们可以采样一个门以前的角色。基于p（s t VSR），我们可以预测|在时间步t定义一个角色，得到一个初始角色序列，值gj∈ {0，1}，在时间步t关注的子角色为：例如，Arg 0骑手R级SSP。角色级（R级）SSP是一个细粒度的.sb← S[i]，其中i=min 1+t−1j=1jΣ.（八）结构模型，旨在对相同语义角色（例如，1、2、3、4是两个子系统。由于子角色“动词”的特殊性，当sb是动词时，我们将g t+1=1。图3中角色Loc的角色）。因为唯一的区别tb在这些子角色中，有接地视觉区域，我们从Sinkhorn网络[42，16]中借用了想法，它使用可微的Sinkhorn操作来学习一个软的Per。对于每个子角色st，我们使用相应的提议设置特征rt和两层LSTM来生成单词yt：.<$h1=LSTMh1，{y，f，h2，t1.t −1t−1 t −1突变矩阵P.具体来说，对于每个角色si，三个子角色（即，n>1），我们首先选择所有相应的-h2=LSTM2h2，{h1，ct}，（九）iyp（y |S，R）= FC（h2），为这些子角色提供响应接地建议集，记为B={B1，...，Bni}.对于每个提议b∈B∈，t tbt其中h1和h2是第一和第二隐藏状态，我们编码一个特征向量z=[zv;zsi;zl]，其中zvt t∗ ∗ ∗多层LSTM（即，LSTM1和LSTM2），FCb是一个可学习的是其视觉特征f的变换，zsi是w阶语义角色S1和Z1的嵌入特征是建议B的空间位置的4-D编码。然后，我们将每个特征z变换为ni-d，并平均合并所有fc-层，并且ct是上下文向量。为了进一步区分文本和视觉单词，我们使用另一个自适应注意力网络来获得上下文向量ct4：αv，αr，srv=AdaptiveAttn（xt，rt），在相同的建议集合中的特征，即，我们可以得到一个ni-d特征。我们将所有这些功能t t tbct=αv·srv+αr·rt，i，（十）tt tt，i得到一个ni×ni矩阵Z。 最后，我们用辛克霍恩其中x是对自适应注意力的查询（即，的输入操作以获得软置换矩阵P4：tv v rP= Sinkhorn（Z）。（六）在两次SSP测试之后（即，S-level和R-level），我们可以得到语义结构S（cf. 当量（3））。 基于S的序列和建议特征集R，在GSRL模型中，我们基于S对R进行重新排序，得到R。3.1.3角色转换字幕生成}16852IJ IJ不不在LSTM1）中，srt是一个基本向量，αt和αt是sential向量和区域特征的注意力权重。3.2. 训练和推理训练阶段。在训练阶段，我们分别训练了三个组件（GSRL，SSP和字幕模型）：GSRL的训练目标。 对于GSRL模型，我们使用预测的相似性得分aij和its地面真实值aij之间的二进制交叉熵（BCE）损失作为训练损失：给定语义结构序列S =（s b，.，b）和LGSRLΣ=ijBCE（英语：BCE），a）。（十一）1K对应的建议特征序列R =（r1，...，r K），我们利用两层LSTM来生成最终的字幕y.在每一时间步，该模型聚焦于一个特定的子角色sb及其接地区域集rt，然后生成SSP的培训目标。对于S级SSP，我们使用交叉-预测值与其真实值之间的条目（XE）损失作为培训目标。对于R级SSP，我们使用平均值预测P波与其地面之间的平方（MSE）损失不YT这个词。 因此，我们从以前的经验中汲取灵感，不以真理为训练目标：SR5Transformer和Sinkhorn网络[42，16]之间的更多比较结果留在补充材料中。LSSP=tXE（st，st），LSSP=t1（nt>1）MSE（Pt，Pt），（十二）16853电话+12 13（一）（b）第（1）款图4：将两个不同的语义结构Sa和Sb合并成单个子角色序列的玩具示例。其中1（nt>1）是指示函数，如果nt>1，则为1否则为0字幕模型的训练目标 我们遵循以往字幕工作的惯例，并使用两个阶段的训练计划：XE和RL阶段。在XE阶段，我们使用预测词和地面实况词之间的XE损失训练的损失。在RL阶段，我们使用自我批评基线[49]。 在每一步中，我们从p（y t）采样|S，R）和p（gt| S，R），以获得下一个单词y t+1和子角色s b。然后我们计算样本句子ys的奖励r（ys）。B.B. A. B. A.B. C. D. D. C. D. D. E. E.tence.因此，训练损失的梯度表达式为：<$θL=−（r（ys）−b）（<$θlogp（ys）+<$θlogp（gs）），（13）其中gs是角色转换门的序列推理。在测试阶段，给定一幅图像和一个VSR，我们依次使用GSRL，SSP和字幕模型来生成最终的字幕。同时，我们的框架可以很容易地从一个VSR扩展到多个VSR作为控制信号。 以两个VSR为例，我们首先使用GSRL和SSP获得语义结构和接地区域特征：（Sa，Ra）和（Sb，Rb）。 然后，如图4所示，我们通过两个步骤4合并它们：（a）在Sa和Sb中找到引用相同的可视区域（例如，A和B是同一个字母。COCO实体中的注释会自动检测。特别是，它们将每个实体与具有相同对象类的所有检测到的虽然我们只假设至少存在一个动词（即，活动）;不幸 的 是 ， 仍 然 有 一 些 样 本 （ 即 ， COCO 实 体 中 有3.26%，Flickr 30K实体中有0.04%）的标题中没有动词我们使用与[16]相同的分割，并在训练和测试阶段4中进一步删除那些没有动词的样本。我们将尝试涵盖这些极端情况，并将其留给未来的工作。4.2. 实现细节建 议 书 生 成 和 提 交 我 们 利 用 更 快 的 R-CNN [48]和ResNet-101 [24]来获得每个图像的所有建议。特别是，我们使用[3]发布的模型，该模型在VG数据集[28]上进行了微调。对于COCO Entities，由于每个名词短语的但是对于Flickr30K实体，我们直接将每个建议视为一个建议集。VSR注释。由于CIC数据集没有地面实况语义角色注释，因此我们使用预训练的SRL工具[51]来注释每个标题的动词和语义角色对于每个检测到的动词，我们将其转换为基本形式，并为每个数据集构建动词字典COCO和Flickr 30K的字典大小分别为2，662和2，926所有动词共有24种语义角色。实验设置。对 于 S 级 SSP ， 多 头 关 注 的 头 数 设 置 为 8 ， 并 且Transformer的隐藏大小Transformer的长度设置为10。对于R级SSP，我们将每个角色的实体的最大对于字幕模型的RL训练，我们使用CIDEr-D [59]分数作为训练奖励。由于篇幅有限，我们将更详细的参数设置留在补充资料中。1 1子集）;（b）在最近的两个所选子角色之间插入所有其它子角色（例如，s仍然在s和s之间）。关于不同动词的子角色的顺序，遵循两个动词的等级（例如，sa在sb的前面）。4.3. 可控性评价设置. 为了评估所提出的框架的可控性，我们遵循先前CIC作品的惯例[16，24. 实验4.1. 数据集和数据库210，76]，并利用VSR与地面实况帽，tions作为控制信号对齐具体来说，我们将所提出的框架与几个精心设计的基线进行了比较6：1）C-LSTM：它是一个可控的LSTM模型[61]。[45]第四十五话它建立在Flickr30K [72]数据集的基础上，通过手动将每个名词短语与一个或多个视觉区域结合在一起。它由31，000个图像组成，每个图像与五个标题相关联。我们在实验中使用与[26]相同的分裂。COCO实体[16]。它建立在COCO [12]数据集之上，该数据集由120，000张图像组成，每张图像都用五个标题进行注释。与Flickr30K实体不同的是，所有基础实体都由人类注释，考虑到所有接地视觉区域的特征，平均所有区域特征，然后使用LSTM生成字幕。2)C-UpDn：这是一个可控的UpDn模型[3]，它使用自适应注意力来生成字幕。3)SCT[16]：它将视觉区域集视为控制信号，并利用组块移位字幕模型来生成字幕。4)我们的w/o动词：我们通过删除SSP和6所有基线使用与具有VSR的模型相同的视觉区域。aaaa1234布1布2布34a/b11拉22a/b33拉瓜4布4aaaa1234布1布2布34布a/b11a/b3316854方法建议COCO实体Flickr30K实体B4MRCSRVRSR1RSR2B4MRCSRVRSR1RSR2C-LSTM [61]GSRL12.519.141.4126.531.529.620.714.37.413.131.058.718.916.914.59.1C-UpDn [3]GSRL13.419.942.3135.732.930.421.113.57.513.031.458.718.916.213.99.0SCT [16]GSRL12.419.042.1127.634.628.719.514.86.912.729.750.617.716.113.79.1我们的无动词GSRL13.419.242.8129.534.730.421.015.97.012.729.750.817.616.814.59.5我们GSRL16.023.247.1162.835.781.354.336.37.914.732.671.618.249.838.024.7Ours（oracleverb）GSRL17.524.049.0184.335.796.864.543.69.016.035.496.518.673.355.536.1C-LSTM [61]GT14.621.144.3148.236.329.720.714.29.314.734.375.722.417.014.89.6C-UpDn [3]GT16.522.946.7170.040.430.521.313.69.414.734.574.822.516.214.09.2SCT [16]GT18.124.450.3191.347.429.420.115.310.115.936.382.024.317.214.89.7我们的无动词GT20.124.352.8199.547.330.621.016.210.315.836.882.224.017.815.310.4我们GT23.128.055.6235.148.971.247.834.210.718.037.197.521.957.944.728.6Ours（oracleverb）GT25.428.857.8265.049.888.059.242.512.319.840.9131.422.486.266.242.5表1：与用于可控图像字幕的SOTA方法相比的性能（%）。上半部分表示所有接地建议集来自GSRL模型，下半部分表示所有接地建议集来自地面实况注释。图5：使用与地面实况字幕对应的VSR生成的图像字幕的示例。SS表示学习的语义结构。图6：学习的动词特定语义结构的示例。每个样本的第一行是动词和所有合理的语义角色。第二行或第三行是一个具有两个顶级结构的抽样角色集。绿色（蓝色）标记表示此结构在数据集中（不在）。和字幕模式。5)Ours（oracle verb）：这是一种理想的情况，当参与角色是动词时，字幕模型直接输出动词的oracle格式评价为了评估生成的字幕的质量，我们使用了五个基于准确性的指标，包括BLEU-4（B4）[43]，METEOR（M）[5]，ROUGE（R）[33]，CIDEr-D（C）[59]和SPICE（S）[2]。特别是，我们评估- uate生成的字幕对单一的地面实况字幕。我们还提出了一个新的基于召回的度量来评估生成的句子的角色是否与地面真实标题一致（即，VSR）。它测量动词、语义角色和有序角色对的召回率，分别表示为RV、RSR1和RSR2定量结果。 报告了定量结果表1中 从表1中，我们可以看到，我们的框架-工作可以在几乎所有的标准和基准上实现最佳性能通过比较两个不同的亲设置（即，GSRL和GT），可以发现GSRL的精度是整个框架的一个主要瓶颈。同时，烧蚀模型（我们的w/o动词）只能实现比基线SCT略好的性能，比我们的完整模型差得多，这意味着反映了动词在语义结构学习和字幕生成中的重要性视觉化。在图5中，我们展示了生成的标题的一些示例。我们可以观察到，我们的框架总是基于VSR和接地视觉区域（例如，第1章– 根据语义结构，字幕模型可以产生接近完美的描述。作为一个副产品，经过良好训练的SSP可以自动为一组用户感兴趣的角色生成几个特定于动词的语义结构，我们在图6中显示了一些示例。对于每个动词和角色集，我们通过使用束搜索来说明特别是，我们惊讶地发现，我们甚至可以学习一些在原始数据集中从未出现过的结构（蓝色勾选）。4.4.多样性评价可控图像字幕的一个众所周知的优点因此，我们还评估了我们的框架生成的标题的多样性。设置. 我们评估了不同字幕的质量，VSR：stand;站立，站立，SS：Arg 1-我们的：一只狗站在雪地里，嘴里叼着一根棍子。GT：一只狗站在雪地里，嘴里叼着一根棍子VSR：sit;坐着，1>，坐着，1>，，MNR，1>SS：Arg1我们的：一个男人坐在厨房的桌子旁，手里拿着一台笔记本电脑。GT：一个男人坐在厨房的桌子旁，手里拿VSR：pull;拉拽，1>，拉拽，拉拽，1><���������������������������������������������1><，1>SS：Arg0我们的：一个人拉着一个手提箱走在人行道上，旁边是一个消防栓。GT：一个人拉着一个手提箱沿着消防栓旁边的砖砌人行道走下去骑自行车，骑自行车，骑自行车别担一个人在夕阳下的田野里骑马LO���，2：������（）NNR一个人在夕阳下在田野里骑马别担心，罗永1：���一个人在波浪上骑着冲浪板。2：LO-������������一个人骑着冲浪板的波浪。（）（走罗永浩，D R,,D R, LO , NR1：������2：L-���（）你好，罗 先一个公园，两个女人在街上散步。1：������2：-������（）一个人撑着伞在海滩上散步坐别担心，你好，,,D R, LO , NR1：������（）一只猫坐在椅子上，旁边的桌子上放着一本书。2：������（）一只猫坐在椅子上，桌子上有一本书别担心，阿尔1：���一条长凳坐落在河边的水中。2：���������������一条长凳坐在河里的水里。（）（fly飞的，飞的罗永浩1：--���一只风筝在天空中飞翔。2：--���（）（罗永浩，D R1：-������（）一群鸟在水上的天空中飞翔。2：������16855VSR：sit;<坐下，1>，<坐下，1>一个男人坐在一个女人旁边。VSR：look;<查看0，1>，<查看错误，1>一个男人在看手机。Arg1 Arg2 Arg0 Arg1VSR：sit;<，1>，<，1><，，1>VSR：look;<，1>，<，1><，，1>Caps：一个男人坐在长椅上，旁边坐着一个女人。帽子：一个男人在长椅上看手机。Arg1 Arg2 Arg0 Arg1 Arg2VSR：sit;，VSR：look;，两个人坐在长椅上看手机。Arg 1（坐）/Arg 0（看）Arg2（坐）Arg1（看）VSR：talk;<，1>，< NR，1>Caps：一个男人在打手机.Arg0 MNRVSR：talk;<，1>，，MNR<，1> Caps：一个男人在街上打手机。Arg0 MNRVSR：walk;<步行，2>，<步行，1>一个拿着手机走在街上的男人。Arg0VSR：walk;<，1>，，Caps：一个人骑着自行车走在大街上.Arg0MNRVSR：talk;对话<对话，1>，VSR：walk;<行走，1>，<行走，1>一个男人走在大街上打手机。Arg0（talk/walk）MNR（talk）MNR（walk）图7：以不同VSR为条件的不同图像字幕生成示例。最好用彩色观看。由我们的框架在两种设置中生成的字幕具有高得多的准确性（例如，CIDER 267.3对SCT中的222.5），并且分集稍微落后于SCT（例如，自我CIDER 67.0 vs. SCT中69.1）。这是因为SCT通过随机重排区域来生成字幕。相反，我们倾向于学习更合理的结构。因此，我们可以在精度上获得更高的结果，即，我们的方法表2：与数据集COCO实体上的不同图像字幕的两个强基线相比的性能。两种设置：1）给定一个VSR和每个角色的接地视觉区域与地面真实字幕对齐，我们首先使用SSP选择两个语义结构，然后重新生成两个不同的字幕。为了公平比较，我们在两个强基线上利用相同的视觉区域集合：a）BS：UpDn模型使用波束搜索来产生两个字幕，以及b）SCT：SCT模型对所有区域集合进行置换以产生两个字幕。2)对于每个动词，我们可以随机抽取所有语义角色的子集来构建新的VSR。具体来说，我们采样两组语义角色，并生成两个不同的标题为每个角色集以下相同的方式。评价我们使用两种类型的指标来评估不同的字幕：1）基于准确性：我们遵循以前作品的惯例[16，20，63]并报告最佳准确性，即，生成的标题，选择每个度量的最大分数类似地，我们评估生成的字幕对单一的地面实况字幕。2)基于多样性：我们遵循[10]并使用两个仅关注语言相似性的度量：Div-n（D-n）[4，20]和self-CIDEr（s-C）[64]。定量结果。定量结果见表2。从表2中可以看出，可以在不同图像字幕的质量和多样性之间实现比两个强基线更好的权衡。视觉化。 我们进一步说明了生成的字幕图7中的两个图像具有不同的VSR。字幕根据给定的VSR有效地生成，VSR的多样性导致显著的多样化字幕。5. 今后的工作本文认为，现有的CIC目标为此，我们提出了一种新的控制信号称为VSR。VSR由一个动词和多个语义角色组成，保证所有组件都是事件兼容的。同时，VSR只对所涉及的语义角色进行了限定，也适用于所有包含活动的图像。通过大量的实验验证了振动时效的有效性展望未来，我们将计划1）设计一个更有效的字幕模型，以更多地从VSR信号中受益; 2）将VSR扩展到其他可控文本生成任务，例如，视频字幕[67];3）设计
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
