分析和预测社交媒体中的Emoji用法

跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂327分析和预测社交媒体中的Emoji用法清华大学计算机科学与技术系eijun0328@163.com洁良liang-j17@tsinghua.edu.cn清华大学美术学院大学佳佳*jjia@tsinghua.edu.cn计算机科学系技术、清华大学普适计算教育部重点实验室清华信息科学与技术国家实验室（TNList）谢乐星anu.edu.au澳大利亚国立大学计算机科学系安永胜316991611@qq.com清华大学艺术设计学院大学罗杰波luo@gmail.com计算机科学罗切斯特大学摘要表情符号可以被视为一种图形化表达情感的语言它们可以表达文本信息之外的更微妙的情感，并提高以计算机为媒介的沟通的有效性。机器学习的最新进展使得使用表情符号自动撰写文本消息成为可能然而，表情符号的使用可能是复杂和微妙的，使得分析和预测表情符号是一个具有挑战性的问题。在本文中，我们首先构建了一个基准数据集的表情符号与推文和系统地调查表情符号的使用方面的推文内容，推文结构和用户人口统计。受调查结果的启发，我们进一步提出了一个多任务多模态门控递归单元（mmGRU）模型来预测表情符号的类别和位置 该模型不仅利用了文本、图像和用户人口统计等多模态信息，还利用了表情符号类别与其位置之间的强相关性。我们的实验结果表明，所提出的方法可以显着提高预测的准确性表情的推文（+9.0%的F1值的类别和+4.6%（F1-位置值）。 基于实验结果，我们进一步进行了一系列案例研究，以揭示表情符号在社交媒体中的使用情况。关键词Emoji; GRU;多模态;多任务ACM参考格式：Peijun Zhao，Jia Jia，Yongsheng An，Jie Liang，Lexing Xie，andJiebo Luo. 2018.分析和预测社交媒体中的Emoji用法。在WWW'18伴侣：2018年网络会议伴侣，2018年4月23日至27日，法国里昂。ACM，New York ，NY ， USA ，8 页。https://doi.org/10.1145/3184558 的网站 。3186344本文在知识共享署名4.0国际（CC BY 4.0）许可下发布作者保留在其个人和公司网站上以适当的归属方式传播作品的权利。WWW©2018 IW3C2（国际万维网会议委员会），在知识共享CC BY 4.0许可下发布。ACM ISBN 978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31863441介绍表情符号已被广泛应用于社交网络，以表达文本信息之外更微妙的情感，并使计算机介导的沟通更有效。Vulture的林赛·韦伯（Lindsey Weber）是“表情符号”艺术展1的联合策划人，她说她一直在个人电子邮件中使用表情符号，因为她觉得自己在软化电子邮件。根据Instagram的研究[4]，在许多国家，表情符号存在于多达40%的在线消息例如，由于大多数人都有使用表情符号发布推文的经验，因此自动生成表情符号的问题对于在线用户来说变得有趣和有用。现有的作品通常基于文本信息来研究表情符号的使用。[8]使用情感轨迹模型进行基于文本信息的表情符号类别推荐。[16]分析了用户发布的文本信息的情感，并提出了一种基于用户情感陈述和他们过去对表情符号的选择的表情符号推荐方法。然而，表情符号的选择是否存在规律或规范，以及与之相关的信息是什么，仍然是开放的问题，这使得生成表情符号的问题具有挑战性。表情符号的使用取决于许多复杂的因素。由于表情符号是推文的组成部分，在表达情感方面发挥着重要作用，因此表情符号的选择主要受以下因素影响：1）推文内容。不仅文本信息，视觉信息也能丰富推文的情感表达。多模态信息如何影响表情符号的选择2）推文结构。 不同的表情符号可能出现在推文中的不同位置。表情符号的类别和位置之间是否存在相关性尚未得到证实。3）用户人口统计。不同的用户可能有不同的使用表情符号的习惯用户人口统计信息（如地理区域信息）如何影响分配表情符号？通讯作者1http://www.emojishow.com/跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂328图1：所提出的表情符号预测方法的概述最左边：来自Twitter的示例推文中左：文本、视觉和用户统计特征。中右：mmGRU模型。极右翼：预测结果。在本文中，我们首先构建了一个来自Twitter的表情符号的基准数据集。它包含了35个最常用的表情符号中的164，880条推文。使用该数据集，我们系统地研究了表情符号使用与推文内容，推文结构和用户人口统计数据，并获得了一系列数据驱动的观察结果。受观察结果的启发，我们提出了一个多任务多模态门控递归单元（mmGRU）模型（图1），以定量研究表情符号与上述三个方面之间多模态功能用于合并多模态信息，诸如文本、图像和用户人口统计，而多任务框架有助于利用表情符号类别与它们的位置之间的强相关性，以改善两个任务的 我们应用所提出的模型来预测我们的数据集中的在线推文的表情符号类别和位置。 我们的实验结果表明，我们的模型可以显着提高表情符号类别的预测性能+9.0%的F1值和表情符号的位置+4.6%的F1值，平均，与几个替代的基线相比。 基于实验结果，我们进一步进行了一系列的案例研究，以揭示表情符号是如何在社交媒体中使用的。我们的主要贡献如下：我们构建了一个大规模的基准数据集的表情符号预测的表情符号类别和位置。我们数据集中的每条推文都包含文本、视觉和用户人口统计信息。我们发布的数据集和相关信息的出版后，这项工作2。我们研究了表情符号的使用与三个关键方面之间的相关性然后，我们提出了一个mmGRU模型来预测表情符号的类别和位置实验结果验证了mmGRU模型的合理性和有效性基于我们的数据、方法和实验，我们发现了一些有趣的发现2）不同地区的用户对同一表情符号的情感理解不同; 心形或脸型）倾向于出现在不同位置。本文的其余部分组织如下。首先，我们在第2节介绍了相关的工作。然后我们定义几个2http://emoticonprediction.droppages.com/在第3节中，我们将使用符号并制定学习任务，并在第4节中讨论数据观察接下来，我们在第5节中描述所提出的表情符号预测方法第六节给出了实验结果，第七节对本文进行了总结。2相关工作社会情绪分析。人们经常使用表情符号来表达情感。关于情绪分析或预测的研究已经在许多著作中进行了讨论。 [1，20]描述了使用文本和视觉内容的情感分析方法。[21]提出了一种新的邻域分类器，其基于由文本和视觉特征的融合所描述的两个实例的相似性近年来，研究发现，用户人口统计数据也可以帮助在线用户的情感分析。[18]研究了用户演示图形对图像情感分析的影响 [19]结合用户的文本、视觉和社会信息，提出了一种用户级情感预测方法。上述工作表明，采用多模态信息和用户人口统计数据可以提高个性化的情感预测。Emoji的用法和推荐传统作品通常从两个方面来研究表情符号的使用：将表情符号作为情感标签，以及将表情符号作为文本信息进行推荐。对于情感分析，[22]将表情符号分为四种情绪，然后使用它们来研究在线用户的情绪变化[15]研究了使用表情符号和关键字的多语言情感分析[11]标记表情符号的情感得分[6]构建了一个用于情感分析的表情符号空间模型[10]研究了表情符号在不同平台上的发送和语义误解[5]研究了在通信过程中使用表情符号的意图和情感影响。 而对于emoji推荐，[8]使用情感轨迹模型进行基于文本信息的emoji类别推荐。[16]分析了文本信息的情感，并提出了一种基于用户的情感陈述和他们过去对表情符号的选择的表情符号推荐方法。 上述工作主要使用文本信息来构建推荐方法，而忽略了表情符号使用的复杂性，例如tweet结构和用户的个性化信息。3问题公式化为了公式化我们的问题，我们首先定义一些符号。···跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂329×个×个∈[）∈[）∈[）（）×(a) 区域和Emoji类别(b) Emoji类别和位置（c）区域和Emoji位置图2：对以下方面的观察：（a）地区和表情符号类别之间的相关性X轴代表七个典型区域和平均值。Y轴表示表情符号的比率。图例代表了最常用的10个表情符号。（b）表情符号类别和位置之间的相关性（c）区域和表情符号位置之间的相关性定义1.Emoji的分类和位置推文的表情符号类别被表示为Ci，i 〇，C，其中C是表情符号类别的数量。至于emoji位置，我们定义了两种表示：细粒度位置和粗粒度位置。推文的细粒度位置被表示为FPi，i〇，P，其中P是推文的最大长度。推文的粗粒度位置被表示为CPi，i〇， 3，其中CP〇，CP1，CP2表示开始、中间和结束位置。定义2. mmGRU网络。 mmGRU网络被表示为G =X，V，U，其中X是Id属性矩阵，每行对应于一条推文，并且每列表示文本特征的一个维度。V是属性矩阵，每行对应于一条推文，每列表示视觉特征的一个维度。U是If属性矩阵，每行对应于一条推文，每列表示用户人口统计特征的一个维度。l表示推文的数量，d、e、f分别表示每个特征的维度。问题1.学习任务。我们关注的问题是预-为一条推文定制一个表情符号，并将其放置在合适的位置。我们使用多任务多模态门控递归单元（mmGRU）模型G1来学习预测函数f1，以预测每个推文的表情符号类别和粗粒度位置，并使用多模态门控递归单元模型G2来学习预测函数f2，以预测每个推文的细粒度位置，定义为：表1：选定区域的用户数量区域美国英格兰中国荷兰用户号码三十，三百六十一四千七百六十三三千三百四十八二千九百七十八区域巴西泰国法国用户号码两千四百一十一千四百二十三7604基于数据的观察表情符号类别和位置的选择取决于许多复杂因素，例如推文内容、推文结构和用户人口统计。由于人们使用表情符号是对推文内容的直接反映，因此我们主要关注获得一系列观察结果，以进一步揭示推文结构和用户人口统计特征是否为了获得观察结果，我们首先从Twitter构建了一个基准emoji数据集，其中包含35个最常用（0.62%-15.7%）emoji中的164，880条推文每条推文都包含文本、视觉、用户人口统计信息和一个表情符号。对于每个选定的表情符号，都有超过1,000条推文。4.1关于Emoji分类和位置的评论图2（b）显示了前10个常用表情符号与它们出现在不同位置的概率平均位置的范围从0（f1：G1=（X，V，U）→C和CPf2：G2=（X，V，U，CP）→FP（一）tweets）到1（tweets的结束三行表示在推文的开始、中间和结束处出现的表情符号的百分比跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂330·~~~~~这表明人口统计学，如区域信息-∈[]不不何t−1平均而言，70%的表情符号在推文的结尾使用，只有2.6%在推文的开头使用“Heart与其他表情符号相比，“4.2对用户人口统计数据和表情符号选择的观察文化背景会影响使用表情符号的习惯地理区域信息对用户的文化背景有很大的影响因此，我们以区域信息为例来表示人口统计。类别. 我们选择了七个地区，其中最大的数字的用户，如表1所示。选定的地区是美国、中国、英国、法国、荷兰、巴西和泰国。图2（a）显示了区域与前10个常用表情符号之间的相关性。我们发现，不同地区的人都有自己喜欢的表情符号。例如，在纸牌游戏中用于红心套装的“红心套装”更有可能被法国、巴西和泰国的用户使用，但很少被美国的用户使用。“根据Emojipedia3的解释。这个emoji是在巴西更受欢迎，在中国不太受欢迎美国、中国和荷兰的用户更有可能使用“大声哭泣的脸”，而法国的用户几乎从不使用那个表情符号，这意味着法国的用户很少在网上分享他们的悲观情绪。最接近平均值的地区（所有用户的表情符号分布是荷兰。位置图2（c）显示了各区域之间的相关性和表情符号的位置我们统计了出现在推文开头、中间和结尾的表情符号的百分比，以及每个地区的平均表情符号位置巴西和泰国的用户更有可能在推文的前部使用表情符号美国和中国的用户更有可能在推文的结尾使用表情符号，而中国用户在推文的开头几乎不使用表情符号总结。观察结果可总结如下：表情符号类别和位置之间存在相关性。特别是，大多数表情符号主要用于推文的结尾，而一些表情符号更有可能用于推文的前部和中部，例如“Heart图3：用于位置预测的所提出的mmGRU模型的一个切片用户人口统计数据，而多任务框架有助于利用表情符号类别及其位置之间的强相关性来提高这两个任务的性能。图1中示出了所提出的用于表情符号预测的方法的概述。在第一步中，我们提取的文本，视觉和用户的人口统计特征，从鸣叫。然后，将这三种特征发送到所提出的mmGRU模型中以学习输出表示。接下来，我们使用softmax分类器，根据第4节中提到的相关性，将emoji类别和粗粒度位置的预测结果一起对于细粒度的位置，我们使用另一个softmax分类器和粗粒度位置的结果来得到预测结果。最后，我们可以根据经过良好训练的模型获得目标表情符号及其在原始推文中的位置5.1模型结构我们在图3中解释了我们的模型。矩形框表示GRU的单元。与LSTM单元相比，它只包含两个门：重置门和更新门。重置门决定如何将新输入与先前的存储器组合，并且更新门定义要保留多少先前的存储器GRU单元的方程如下：rt=σ（Wxrxt+Whrht−1）zt=σ（Wxzxt+Whzht−1）• 地域文化会影响用户h~=tanh（Wx+W h）（二）因此，应该考虑使用表情符号来改进表情符号预测。5建议的方法受观察结果的启发，我们提出了一个多任务多模态门控递归单元（mmGRU）模型来定量描述表情符号与推文内容、推文结构、用户人口统计之间的相关性。 我们使用GRU[3]作为框架，因为它可以克服与回流神经网络（RNN）相比梯度消失的问题。多模态函数用于合并多模态信息，诸如文本、图像和3https://emojipedia.org/网站ht=（1−zt）⊙ht−1+zt⊙ht其中，rt是重置向量，zt是更新向量，ht是候选输出向量，ht是输出向量，Wxr、Whr、Wxz、Whz是权重矩阵参数，σ是S形函数，并且tanh是双曲正切。对于文本特征X=xi，i1，t，我们使用词嵌入方法4将独热特征转换为低维向量。然后我们得到输入向量X=xi，i∈ [1，t]。4Tensorflow中的 embedding_lookup函数XR跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂331~~最终参数{}，参数δbcp------δWfp.CnCPIcpnCCnf pif pn~~~从嵌入层获取。3：Wcp=Wcp−α1δδbc收敛Cfpfpδbf pfpfpexp（o~sθ2CCPCfpCPfp对于视觉特征和用户人口统计特征，我们使用[17]中提出的联合学习方法我们使用Wv和bv将视觉特征V和用户人口统计特征U转换到文本特征空间中。在学习了新的向量之后，我们将其视为模型的初始状态，然后在每条推文中输入每个单词，这意味着我们在时间0将图像发送到模型中我们将向量x~0与实际特征x~i，i∈[1，t]we相算法1用于类别和粗粒度位置输入的mmGRU模型：I={X，V，U}，预处理的特征矩阵。输出：θ1=Wcp，bcp，Wc，bc在训练过程之后。1：初始化模型参数θ1、α12：重复δWcp J1（Wcp，bcp）x~0=Wv（V+U）+bv（3）4： bcp=bcp−α1 δ值 J1（Wcp，bcp）δ值其中Wv是权重矩阵，并且bv是偏置向量。隐藏层由双向GRU（BI-GRU）组成5：W~c=W~c−α1δW~cJ1（W~c，b~c）6：b~c=b~c−α1δ~J1（W~c，b~c）7：直到第八章： 返回θ1y0，y1，···，yt=BI−GRU（x0，x1，···，xt） （4）我们使用最大池操作来转换输出向量yi，i∈ [0，t]转换为最终输出向量o。〇=MaxPoolin（y〇，y1，···，yt）（5）我们使用线性平移和softmax回归来获得类别和粗粒度位置的概率分布。然后，我们使用粗粒度位置的结果来计算细粒度位置的概率分布。os=Wc×o+bc算法2用于细粒度位置的mmGRU模型输入：I = X，V，U，CP，预处理的特征矩阵。输出：最终参数θ2 = Wfp，bfp，训练过程之后的参数。1：初始化模型参数θ2、α22：重复3：Wfp=Wfp−α2δJ2（Wfp，bfp）4： b=b−α2 δ值J2（W，b）exp（os）（六）5：直到收敛pci=Cn=1Ciexp（os），i∈ [0，C）6：返回s=Wcp×（o+pc）+bcppcpi=.exp（os）的情况下）exp（os，i∈[0， 3）（七）分类器到神经网络的反馈，并反馈到输入o~s=W~c×（o+pcp）+b~cCiθ1*=argminJ1（W~c，b~c，Wcp，bcp）（十）p~ci=.Oexp（o~s），i∈[0，C）（八）θ2* =argminJ2（Wfp ，bf p）s=Wf p×（o+pcp）+bf p6个实验p f pi =.exp（os）的情况下）exp（os，i∈[0，P）（九）6.1实验装置数据集。我们使用第4节中收集的数据集它包含其中pci/pcpi/pfpi是第i个类别/粗粒度位置/细粒度位置的概率pci是中间结果区域信息和表情符号属于最常见的35个用了表情符号该数据集是从对于catego ry. C是类别数。os，os，o~s，os阿雷线性平移后的输出向量。在[13]中提到，它是从Twitter API使用一个集合Wc，bc，Wcp，bcp，Wfp，bf p，Wc和bc是softmax回归需要学习的参数5.2模型学习. 对于类别和粗粒度位置，我们通过合并两个预测任务∈[]θ2Oθ1隐藏层，其用于构建输入特征的输出向量yi，i0，tCn=1）词向量层。Cn=1）Cn=1）164，880条推特。每条推文都包含了文字，图像，与YouTube及其视频相关的关键字为实验跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂332的损失值来计算损失函数，并训练以最小化损失函数J1的值。对于细粒度的位置，我们单独计算损失函数J2训练过程使用Adam优化[7]来执行设置，我们设计了一个预测任务，选择35个表情符号和他们的在Twitter比较方法。我们进行性能比较实验，以证明我们的模型的有效性。 我们选择了以下五种方法：随机选择，逻辑回归（LR），支持向量机（SVM），深度神经网络（DNN），门控递归单元（GRU）和所提出的模型。随机我们采用随机选择方法作为第一基线方法。该方法的结果等于所有预测选择的最大比例·跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂333(a) Top-5准确度：C（b）Top-5准确度：FP（c）特征贡献：C（d）特征贡献：FP(e)c（细胞层）的影响（f）d（脱落率）的影响（g）h（隐藏大小）的影响（h）b（批量大小）的影响图4：实验结果：（a）类别的前5个准确度;（b）细粒度位置的前5个准确度;（c）类别的特征贡献分析;（d）细粒度位置的特征贡献分析;（e）单元层数的影响;（f）丢失率的影响;（g）隐藏状态的数量的影响;（h）批次大小的影响LR. 逻辑回归通常用于分类问题。在这里，我们使用scikit-learn [12]实现来构建我们的基线方法。SVM。支持向量机是一种常用的解决分类问题的方法这里我们使用LIBSVM5来构建它。DNN 已经证明DNN在多模态分类中可以实现良好的性能[9]。在我们的实验中，我们使用它提到的DNN模型作为基线方法GRU基本GRU模型[2]，分别训练表情符号类别和位置。建议的方法。本文提出的mmGRU方法指标. 为了定量地评估类别和位置预测性能，我们使用微精度，召回率和F1值6作为度量，其通过加权平均法计算。因为我们的目标是一个多分类问题。 我们还提供Top-k准确度作为类别预测性能的另一个度量。我们在Tensorflow7上实现、训练和评估我们的方法。我们进行五重交叉验证，以获得平均预测性能。6.2特征提取文本特征。首先，我们加载Twitter语料库中的单词，并将每个单词翻译成一个独热向量。然后，我们用一个名为“rare >”的符号替换出现少于5次的单词接下来，我们通过在tweet的末尾添加一个名为“blank >”的符号来将所有tweet公式化为相同的长度视觉特征。 我们使用VGG-19 [14]来帮助构建我们的视觉特征表达。VGG-19是一个深度卷积网络图5Chang和Lin设计的SVM库6https://en.wikipedia.org/wiki/F1_score7www.tensorflow.org具有19层，其被设计用于图像的特征提取任务我们选择倒数第二层作为特征表示，因为它可以表示图像的全局信息。然后，我们从每个图片中获得具有4，096个维度的向量作为视觉特征。用户人口统计特征。考虑到用户的隐私，在我们的实验中，我们仅选择区域信息作为用户演示特征的示例我们从每条推文中收集用户的国家信息等区域特征，然后将其转换为one-hot向量。6.3结果和分析性能分析。首先，我们的目标是验证我们的模型是否对预测任务有效。 我们比较了所提出的模型与几个基线方法。表2列出了上述模型的平均预测结果。所提出的mmGRU模型清楚地显示了最佳性能。性能优于其他型号。在类别的F1值方面，我们的模型达到14。4%的改善，与LR相比，13. 3%，与支持向量机相比提高了7. 与DNN和0. 与GRU相比提高了8% 对于粗粒度（细粒度）位置，我们的模型达到了6。6%（7. 9%）改善，与LR、5. 0%（6.7%），与SVM相比提高了3. 2%（5. 9%）的改善，与DNN和0.8%（0. 9%）的改善。 我们使用T检验8来确认是否存在显著差异我们的方法和基线方法。结果表明，P值9小于0.05，这意味着我们的方法比基线方法有显著的改进具体来说，我们在表3中列出了前10个最常用的表情符号的F1值。 结果表明我们的模型可以实现大多数表情符号的最佳性能。所有上述实验都证实了多峰8https://en.wikipedia.org/wiki/Statistical_significance9https://en.wikipedia.org/wiki/P-value·····跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂334表2：使用不同模型的结果比较类别c位F位置度量精度召回F1得分F1得分F1得分随机0的情况。1570的情况。1570的情况。1570的情况。7000的情况。700LR0的情况。3210的情况。3160的情况。2350的情况。7850的情况。742SVM0的情况。3250的情况。3260的情况。2460的情况。8010的情况。754DNN0的情况。3540的情况。3790的情况。3040的情况。8190的情况。762GRU0的情况。3750的情况。3900的情况。3710的情况。8430的情况。812mmGRU0.3800.4020.3790.8510.821表3：十大常用表情符号的类别表现（F1值）Emoji随机LRSVMDNNGRUmmGRU0的情况。1570的情况。6990的情况。6970的情况。7020的情况。7240.7300的情况。1410的情况。4120的情况。4270的情况。4480的情况。5240.5300的情况。1140的情况。2680的情况。2960的情况。3480.4790的情况。4650的情况。0600的情况。3490的情况。3610的情况。4150的情况。4570.4870的情况。0490的情况。2100的情况。2550的情况。2650.3600的情况。3280的情况。0400的情况。0780的情况。0860的情况。1890.2850的情况。2820的情况。0380的情况。0300的情况。0340的情况。0770的情况。1950.2020的情况。0340的情况。0740的情况。0750的情况。2430的情况。3600.3680的情况。0330的情况。0220的情况。0560的情况。2380的情况。3080.3420的情况。0310的情况。0220的情况。0390的情况。1480的情况。2450.255多任务框架和GRU网络在建模表情符号使用方面是有效的。我们还注意到，对于这可能是因为这些表情符号的类别和位置之间的相关性并不显著。同时，考虑到表情符号推荐，前k个最可能的表情符号是非常有用的结果。我们还设计了一个实验的top-k的准确性指标。在我们的任务中，通过预测结果中表情符号的概率分布来选择前k个表情符号。我们将k设置为1，3，5，并将我们的方法与DNN和GRU进行比较，其性能优于其他三种基线方法。如图4（a）所示，与DNN相比，我们的方法实现了11.7%的改进，与GRU相比提高了2.1%，并且对于前5个表情符号类别推荐达到了66.1%的准确率 如图4（b）所示，我们的方法与DNN相比实现了2.7%的改进，与GRU相比实现了0.6%的改进，并且对于前5个表情符号位置推荐达到了95.4%的准确率。特征贡献分析。在我们的工作中，我们利用文本、视觉和用户人口统计特征，并将它们发送到mmGRU模型中用于表情符号预测任务。为了研究这些特征是否有利于预测任务，我们研究了每种特征的贡献。每次，我们都从原始模型中取出每个特征，同时保留其他特征，然后检查性能。图4（c）和4（d）示出了不同特征组合的类别和细粒度该模型涉及所有的因素，实现了最好的性能，无论是在类别和细粒度的位置。文本特征的贡献最大（类别的F1值为+23.5%，类别的F1值为+20.3%）。跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂335人口统计学特征（F1值+0.4%）用于类别预测。相反，用户人口统计特征（F1值+1.5%）比视觉特征（F1值+0.9%）对位置预测的贡献更大。上述结果验证了我们的mmGRU模型的多峰特征和多峰函数的有效性参数敏感性分析。我们在训练过程中进行参数调整实验我们通过比较五重交叉验证中的平均性能，展示了mmGRU中参数的变化如何细胞层数，细胞层数。如图4（e）所示，随着mmGRU中层数的增加，性能首先变得更好，然后下降。当层数为2时，性能达到最高值。Dropout rate，输入的丢弃概率图4（f）显示了辍学率的表现。随着辍学率的增加，性能也开始变好，然后下降。当丢包率为0.5时，性能达到最高隐藏大小，隐藏状态的数量 图4（g）显示了它的性能。当隐藏大小为100时，性能达到最高值。批量大小。 图4（h）中所示的性能说明当批大小为64时，性能达到最高值。在参数敏感性分析的基础上，我们选择了最终的参数如下：在GRU的单元，我们采用了两个单元层。批量大小为64，丢弃率为0.5，隐藏大小为100。我们的实验是在一个X64的机器上进行的，配备了K80 GPU和128G RAM。6.4为例在这一部分中，我们将在图5中给出我们的数据，方法和实验的三个有趣的案例研究。不同地区的人在表情符号选择上有不同的多样性我们发现不同地区的预测准确率不同，说明不同地区的人有表情符号选择的多样性巴西用户使用表情符号的一致性最高，而中国用户使用表情符号的多样性最高。不同地区的用户对同一表情符号的情感理解不同“喜极而泣”既有积极意义，也有消极意义。我们分析这些表达通过计算推文中的文本信息的这表明巴西人更喜欢用它来表达自己的积极情绪，而法国人更喜欢用它来表达自己的消极情绪。不同形状的Emoji（即心形或脸型）倾向于出现在不同位置。心形表情符号更容易出现在句子中间，而脸部表情符号更有可能出现在句子的末尾它显示位置）。对于最后两种特性，视觉功能（F1值+0.7%）的贡献大于用户10http://www.nltk.org/api/nltk.sentiment.html····跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂336图5：我们的数据，方法和实验的三个有趣的案例研究上图：不同区域的预测精度。中：不同地区对《喜极而泣》的情感理解底部：面部表情符号和心脏表情符号上的位置分布。心形表情符号通常用于在句子中局部地表达情感，而脸部表情符号通常用于全局地增强句子的情感7结论在本文中，我们研究表情符号的使用和推文内容，推文结构，用户人口统计之间的相关性然后，我们提出了一个mmGRU模型，用于预测表情符号类别和位置的观察动机。多模态功能用于合并多模态信息，例如文本，图像和用户人口统计信息，而多任务框架有助于利用表情符号类别及其位置之间的强相关性，以提高两个任务的性能大量的实验表明了该方法的有效性。我们工作的目标是生成合理的表情符号，以供在线用户输入，这可以使语义的传递更准确，使计算机介导的通信更有效。我们的工作有许多具体的应用，包括通过构建表情符号推荐系统或为在线用户设计表情符号输入方法来改善社交网络中的用户对用户以及用户对聊天机器人的交互。我们计划发布基准表情符号标记数据集，以促进这一领域的更多研究8致谢本工作得到了国家重点研究发展计划（2016YFB1001200）、中国科学院创新方法基金等项目的支持中国（2016IM010200）、中国国家自然科学基金（61521002）和（美国）国家科学基金（1704309）。 我们还要感谢清华大学天工智能计算研究院的支持。引用[1] Donglin Cao，Rongrong Ji，Dazhen Lin，and Shaozi Li. 2014.一个面向微博的跨媒体舆情分析系统。多媒体系统（2014），1[2] Kyunghyun Cho ， Bart Van Merrienboer ， Caglar Gulcehre ， DzmitryBahdanau，Fethi Bougares，Holger Schwenk，and Yoshua Bengio.2014年使 用 RNN 编 码 器 -解 码 器 学习短语表示用 于 统 计 机 器 翻 译 。 计算机科学（2014）.[3] 放大图片作者：William W.Cohen和Ruslan Salakhutdinov。2016.阅读者对文本理解的注意力。（2016年）。[4] 托马斯·迪姆森2015年。Emojineering Part 1：Machine Learning for EmojiTrendshttp://instagram-engineering.tumblr.com/post/117889701472/emojineering-part-1-machine-learning-for-emoji. （2015年）。[5] Tianran Hu ， Han Guo ， Hao Sun ， Thuyvy Thi Nguyen ， and JieboLuo.2017年。为你的聊天增添情趣：使用表情符号的意图和情绪效果国际AAAI网络和社交媒体会议。102-111.[6] Fei Jiang，Yiqun Liu，Huanbo Luan，Min Zhang和Shaoping Ma.2014年基于表情符号空间模型的微博情感分析。施普林格柏林海德堡。 76-87页。[7] 迪德里克·金马和吉米·巴。2014. Adam：A Method for Stochastic Optimization.计算机科学（2014）.[8] Wei-Bin Liang ， Hsien-Chang Wang ， Yi-An Chu ， and Chung-Hsien Wu.2014.基于情感轨迹模型的微博表情推荐。在亚太信号与信息处理协会2014年年会（APSIPA）IEEE，1[9] HuijieLin ， Jia Jia ， Quan Guo ， Yuanyuan Xue ， Qi Li ， Jie Huang ，Lianhong Cai，and Ling Feng. 2014年使用深度神经网络从社交媒体进行用户级心理压力检测ACM国际多媒体会议507-516[10] Hannah Miller 、Jacob Thebault-Spieker 、Shuo Chang、Isaac Johnson 、Loren Ter- veen和Brent Hecht。2016.“幸福快乐”或“准备战斗”：对Emoji的不同解释国际AAAI网络和社交媒体会议。[11] Petra Kralj Novak，Jasmina Smailovi，Borut Sluban，and Igor Mozeti.2015年。Emoji的情绪Plos One10，12（2015）.[12] Fabian Pedregosa 、 Ga Varoquaux、 Alexandre Gramfort、 Vincent Michel、BertrandThirion、Olivier Grisel、Mathieu Blondel、Peter Prettenhofer、Ron Weiss和Vincent Dubourg。2013. Scikit-learn：Python中的机器学习Journal of Machine Learning Research12，10（2013），2825[13] Marian Andrei Rizoiu，Lexing Xie，Scott Sanner，Manuel Cebrian，Honglin Yu，and帕斯卡·范·亨滕里克。2017年。期望成为HIP：霍克斯社会媒体流行的强度在万维网国际会议上。735-744.[14] Karen Simonyan和Andrew Zisserman2014年用于大规模图像识别的非常深的卷积网络计算机科学（2014）.[15] 乔治斯·S康斯坦丁诺斯？索拉基迪斯Vavliakis和Pericles A.米特卡斯2014年使用表情符号和关键词的多语言情感分析。IEEE/WIC/ACMWeb Intelligence国际联合会议。102-109.[16] Yuki Urabe，Rafal Rzepka，and Kenji Araki.2014年表情符号推荐系统，丰富您的在线交流。国际多媒体数据工程管理杂志5，1（2014），20。[17] Oriol Vinyals，Alexander Toshev，Samy Bengio，and Dumitru Erhan. 2015.Show and tell：A neural image caption generator. IEEE计算机视觉与模式识别会议论文集。3156-3164[18] Boya Wu，Jia Jia，Yang Yang，Peijun Zhao，and Jie Tang. 2015.理解社交图像背后的情感：推断用户人口统计数据。IEEEInternational Conferenceon Multimedia and Expo。1-6[19] 云扬，崔鹏，朱文武，杨世强2013年。基于用户兴趣和社会影响的个体情感预测。ACM国际多媒体会议785-788[20] Quanzeng You，Jiebo Luo，Hailin Jin，and Jianchao Yang.2016年。跨模态 一 致 性 回 归 用 于 社 交 多 媒 体 的 联 合 视 觉 - 文 本 情 感 分 析 。ACMInternational Conference on Web Search and Data Mining（ACM Web搜索和数据挖掘）[21] Yaowen Zhang，Lin Shang，and Xiuyi Jia. 2015.基于文本和图像特征的微博情感分析太平洋亚洲知识发现和数据挖掘会议。52比63[22] Jichang Zhao，Li Dong，Junjie Wu，and Ke Xu.2012年。Moodlens：一个基于表情符号的中文推文情感分析系统。第18届