双重情感虚假新闻检测技术揭示情感特征，提升检测性能

3465基于双重情感的虚假新闻检测张雪瑶中国科学院计算技术研究所中国科学院大学张雪yao19s@ict.ac.cn盛强中国科学院计算技术研究所中国科学院大学shengqiang18z@ict.ac.cn曹娟中国科学院计算技术研究所中国科学院大学caojuan@ict.ac.cn雷忠中国科学院计算技术研究所中国科学院大学zhonglei18s@ict.ac.cnXirong李荣中国人民大学数据工程与知识工程重点实验室中国北京xirong@ruc.edu.cn凯叔伊利诺伊理工学院美国伊利诺伊州芝加哥kshu@iit.edu摘要情绪在检测网上假新闻方面起着重要作用。当利用情感信号时，现有方法集中于利用由发布者传达的新闻内容的情感（即，出版商情绪）。然而，假新闻往往会引起人们的高度觉醒或激活情绪，因此新闻评论在人群中引起的情绪（即，社会情绪）不应被忽视。此外，出版者情感和社会情感之间是否存在关系（即，双重情绪），以及双重情绪如何出现在假新闻中。 本文验证了虚假新闻与真实新闻的双重情感特征，并提出了双重情感特征来表征虚假新闻的双重情感特征及其相互关系。此外，我们还展示了我们提出的功能可以很容易地插入到现有的假新闻检测器中作为增强。在三个真实世界数据集（一个英文数据集，另一个中文数据集）上的大量实验表明，本文提出的特征集：1）优于现有的任务相关情感特征; 2）与现有的假新闻检测器兼容，有效地提高了假新闻检测的性能。1 2ACM参考格式：Xueyao Zhang，Juan Cao，Xirong Li，Qiang Sheng，Lei Zhong，andKai Shu.2021. 挖掘双重情感用于虚假新闻检测。 在网络会议2021（WWW '21）的会议记录，2021年4月19日至23日，斯洛文尼亚卢布尔雅那。ACM，纽约州纽约市，美国，12页。https://doi.org/10.1145/3442381.3450004特别作者中国科学院智能信息处理重点实验室以理工科为重也是在人民网传播内容认知国家重点实验室。1请注意，本文中的示例包含冒犯性和脏话。2代码和数据集发布于https://github.com/RMSnow/WWW2021。本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2021 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-8312-7/21/04。https://doi.org/10.1145/3442381.34500041引言近年来，社交媒体上的假新闻不仅威胁到网络空间安全，也威胁到政治[14]、经济[12]、社会[2]等现实世界秩序。数以千计的误导性新闻通过社交媒体传播[44]，导致社会经济混乱[6]，削弱了大流行预防的效果[4]。为了解决这个问题，研究人员一直致力于开发自动检测假新闻的方法（即，设计分类器以通过利用来自文本[5，32，34]、图像[20，35]或社会背景[17，24，26 - 27]的信号来判断给定的新闻片段是真实的还是虚假的）28、39、40]。 3在现有的基于文本的作品中[1，5，15]，情感或情感信号的作用已被考虑用于假新闻检测。Ajao等人[1]指出，新闻真实性与发布文本的情感之间存在关系，并附加了情感特征（消极和积极词的数量比例）来帮助纯文本的假新闻检测器。而不是附加一个单一的功能，Giachanou等人。[15]基于情感词典从新闻内容中提取更丰富的情感 据我们所知，大多数现有的作品杠杆化的假新闻内容所传达的情感信号的发布者，但很少关注的情绪假新闻评论引起的人群。然而，为了在人群中病毒式传播，假新闻往往会引起高度觉醒或激活人群的情绪[37]。因此，除了新闻内容的情感因素外，还需要探讨新闻评论的情感因素以及二者之间的关系是否有助于虚假新闻的检测。为了更清楚地描述这两种情绪，我们分别将其为：1）发布者情绪：新闻发布者所传达的情绪; 2）社会情绪：面对新闻的人群所产生的情绪我们采用双重情绪作为这两种情绪的总称。对于一个新闻片，双3在本文中，我们使用新闻片段来指代社交媒体上的新闻帖子。一条新闻通常包含内容及其附加评论。WWWXueyao Zhang，Juan Cao，Xirong Li，Qiang Sheng，Lei Zhong，andKai Shu3466内容标签：Angry双重情感中的关系可以反映新闻的真实性，在建模时应予以考虑。为了对虚假新闻检测中的双重情感和情感共振与不共振进行建模，本文提出了双重情感特征来联合表示发布者情感、社会情感以及双重情感的相似性和差异性。此外，它可以方便地实现和插入到现有的假新闻检测器作为增强功能。在本文中，我们的贡献总结如下：我们提出并验证了双重情感（即，发布者情感和社会情感）信号在假新闻和真(a) 假新闻中的情感共鸣：发布者的情感和社会情感都很愤怒我们首先提出了双情感特征集，以全面地表示情感的双重性和情感之间的关系，内容出版社：Happy在两种情绪之间穿梭，并展示如何将其插入假新闻探测器，作为补充和增强。我们在真实世界的数据集上进行了实验，包括一个新构建的中国数据集。实验结果表明：1）双情感特征在虚假新闻检测中的性能优于现有的情感特征2）可以与现有的假新闻检测器兼容，有效提高检测器的性能。2相关工作假新闻检测也被称为假新闻检测，如-(b) 假新闻中的情绪失调：发布者情绪是快乐的，而社会情绪是愤怒的。图1：中国微博平台上的两条假新闻，具有不同的双重情感.文本由中文人工翻译成英文。情绪具有两种表现形式：情绪共鸣（即，发布者情感与社会情感相同或相似）和情感不和谐（即，发布者情感不同于社会情感）。 我们分析了数据，发现这两种外观在假新闻和真新闻之间有统计学上的显著区别（详见4.2节）。比如，在情感共鸣方面，双重情感都是愤怒的假新闻比真实新闻多;在情感不和谐方面，发布者情感是快乐的假新闻比社会情感是愤怒的假新闻多。图1显示了从微博4上的假新闻片段中选择的两个代表性示例。在图1a中，假新闻发布者用“mas-sacre”，“killing”，“disgusting”等表达来表达其愤怒结果，引起了群众的极大愤慨在图1b中，假新闻发布者用“令人兴奋“庆祝”。而观众则认为这是一则荒谬的新闻，并用数据观察统计结果强调，4https：//www.weibo.comMOR检测、错误信息检测等。[33]与信息可信度评估领域密切相关在最早的信息可信度评价研究中，Castillo et al.[5] 手动地从新闻片段中提取内容特征、发布者特征、主题特征和传播特征研究发现，基于情感的特征，如情感词和感叹号的分数是有效的评估信息的可信度。近年来，研究人员开始利用深度学习模型，如基于GRU和基于CNN的模型来检测假新闻[26，47]。 除了新闻内容之外，还强调了评论和转发文本等社会背景[17，26-28，38]，人群的观点和立场[ 19，22 ]以及用户可信度[ 24，40 ]。也有现有的作品专注于发现假新闻和真新闻之间的区别性情绪信号Ajao等人[1]验证新闻真实性（真实或虚假）与情感词的使用之间存在关系，并设计情感特征（消极和积极词的计数比率）来帮助检测假新闻。此外，Giachanou et al.[15]从新闻内容中提取基于情感词典的情感特征用于假新闻检测。然而，这些研究只利用了假新闻内容的情感信号，而忽略了假新闻评论的情感以及两者之间的关系。最近，Wu和Rao[45]提出了一种用于假新闻检测的自适应融合网络，从内容和评论中建模情感嵌入。然而，这项工作的重点是通过先进的深度学习模型自适应地融合各种特征，而不是探索假新闻和真新闻之间双重情感信号的具体区别。 到目前为止，关注从出版商和人群中挖掘双重情感信号的工作仍然空缺。一场大屠杀发生在一次暴力的房屋拆迁中，一家七口！ 但令人厌恶的当地政府仍在封锁消息。 等待彻底调查！评论社会情绪：愤怒又他妈拆房子！...凶手是不会轻易认罪的！...恶心的政府！太刺激了！ 纪念抗日战争胜利70周年抗日战争时期，日本首相正式辞职 值得每一个中国人庆祝！评论社会情绪：愤怒不要轻信谣言！...你真蠢。别再散播了！...太天真了... 说话前三思···基于双重情感的虚假新闻检测WWW3467不不{}e（）下一页{}∈e（）T（） −（/）−/不内容一场大屠杀，暴力拆迁，一家七口死亡！但令人厌恶的当地政府仍在封锁消息。等待彻底调查！评论又他妈拆房子！......平均池a) 出版社Emotionb) 社会情感双重情感特征凶手是不会轻易认罪的！...恶心的政府！...最大池化孔卡特孔卡特减法减法c) 情感鸿沟A. . . . . . . . .大屠杀...调查............BiGRU.. . . ..d) 假新闻检测器ConcatMLPSoftmax假房图2：使用双重情感特征进行假新闻检测的总体框架双重情感特征由三个部分组成：a）从内容中提取的发布者情感; b）从评论中提取的社会情感; c）表示发布者情感和社会情感之间的相似性和差异的情感差距双重情感特征与来自d）假新闻检测器（这里，BiGRU作为示例）的特征相连接，以最终预测真实性。3模拟双重情感的虚假f（T）。因此，我们可以获得情感类别特征emocate=新闻检测为了对虚假新闻检测中的双重情感信号进行建模，我们提出了双重情感特征，它可以利用发布者情感、社会情感以及双重情感的相似性和差异性。图2展示了获得双重情感特征并将其集成到现有假新闻检测器中作为对给定新闻进行分类的增强的过程。在这一部分，我们详细介绍了出版商情感和社会情感的特征提取，以及情感鸿沟的建模然后，我们描述了将双重情感特征插入现有假新闻检测器的过程3.1出版社Emotion为了更全面地表征新闻发布者的情感，本文从新闻内容中提取了情感类别、情感词汇、情感强度、情感得分等多种特征并结合其他辅助特征，对新闻发布者的情感进行表征。在这五类特征中，情感类别、情感强度和情感分数提供了总体信息，另外两类特征提供了词和符号层面的信息。给定长度为L的文本内容的输入序列，T =[t1，t2，. . . ，ti，. . . ，tL]，其中ti是文本中的第i个词，目标是从文本T中提取情感特征emo T。3.1.1情感类别。我们使用公共情感分类器（将在4.2节中介绍）来获得情感类别特征。通常，情感分类器的输出是给定文本包含某些情感的概率。f（T），其中emocate ∈Rdf.不3.1.2情感词典通常，一篇文章通过使用几个特定的词（通常包含在情感词典中）来传达特定的情感。因此，我们接下来基于情感词典提取该方法依赖于现有的专家注释的情感词典。在情感字典中，我们假设有de种情感，记为E = e1，e2，. . . ，ed. 对于情感e E，词典提供情感词Ee = we，1，we，2，.的列表。. . ，we，L，其中Le是词典中e的情感词典的长度。给定文本，我们逐步汇总每个词和整个文本在所有情感上的得分，以丰富表征。对于其中一个情绪e，我们首先计算词级得分sti，e，其中ti是文本中的第i个词。如果词ti在词典Ee中，我们不仅考虑它的出现频率，而且考虑它的上下文词（具体地，程度词和否定词）。例如，在句子“我今天不太高兴”（句子长度为6）中假设我们只考虑左上下文并且窗口大小为2（即，的上下文词语是“不”和“非常”）。当我们把“不”的否定值设在实践中，我们使用现有的情感词典来匹配和计算否定词和程度词的值如上所述，在等式1中定义sti，i，e给定情感分类器f和文本，我们假设输出的维度为df，因此文本的预测为s（ti，e）=1Ee（ti）ne<$（ti，w）de<$（ti，w）L（一）平均池WWWXueyao Zhang，Juan Cao，Xirong Li，Qiang Sheng，Lei Zhong，andKai Shu3468（）下一页（）下一页.∈（T）.不不（T）不..不（）int不∈CIMM∈M1M2MLMEe我0，否则1（t）=。1，i fti∈ Ee（二更）3.1.5其他辅助功能。考虑到上述特征没有明确地利用情感其中w是左上下文的窗口大小。其中ne <$tj（公式3）和de<$tj（公式4）分别是tj的否定值和程度值，可以根据情感字典进行查找.i−1非单词元素背后的情感信号，包括情感符号、标点符号和标点符号（仅适用于英语）。此外，我们增加了情感词和人称代词的频率，以提高用户的词汇使用的意识以情绪控制为例。表情符号是世界各地通用的情感表达，如“：）”表示高兴，“：（“表示悲伤。是-ne<$（ti，w）=de<$（ti，w）=j=i−wi−1j=i−wn（tj）（3）（4）numericalparameters边，标点符号像和也能传达人们的心情和情感。表1总结了双重情感特征假设有da个特征，我们可以提取其他辅助特征emoauxRda。不然后，我们通过对文本中每个单词的得分求和来计算特定情绪e的文本级得分，表示为s，e，如公式5所示：s（T，e）=Li=1s（ti，e），∈E（5）最后，通过连接所有的de情感T的分值来获得情感词典特征emolex（等式6），其中，是连接运算符，并且emolex∈Rde。emolex=s（T，e1）s（T，e2）···s（T，ede）（6）3.1.3情感强度。 对于情感词汇，我们还考虑了词汇的情感强度。例如，在表达快乐的情绪时，“欣喜若狂”一词提取过程类似于情感词典特征的提取过程，不同之处在于我们在这里包括强度分数。 给定情绪E、每个情绪e的情绪单词列表Ee和文本，我们首先通过对强度加权的单词级分数求和来计算强度感知的文本级分数s '，e，如等式7所示：表1：辅助功能列表为了从内容中获得文本T的发布者情感，我们s′（T，e）=Li=1s′（ti，e）=Li=1int（ti）s（ti，e），e∈E（7）连接上述所有五种特征并获得emoT，如等式9所示其中int（ti）表示单词ti的强度分数。如果ti在emoT=emocatelemolexlemointlemosentilemoaux（九）字典int（ti）可以根据情感计算T T T T字典，否则int ti =0。情绪强度特征emo可以通过以下方式获得：连接de种情绪的所有强度分数，如等式8所示：其中emo T ∈ Rd（即，d = df +2 de + ds + da）。3.2社会情感我们首先从新闻评论中提取社会情感emoint=s′（T，e1）s′（T，e2）···s′（T，ede其中emointRde。不）（8）然后将它们聚合为整个表示。 一条新闻的评论被表示为M=[M1，M2，. . . ，Mi，. . . ，MLM]，其中Mi是新闻片的第i条评论，LM是评论列表的长度至于Mi，我们可以计算它的情绪3.1.4情绪评分。 除了情感层面的特点，向量emoM，其中emoM∈ Rd。然后我们堆叠我我如上所述，我们还考虑了粗粒度的情感得分的文本。通常，情感得分是正值或负值，其代表了整个文本的它可以通过情感来计算每个评论的转置情感向量（行向量），获取评论emo的整体情感向量，如公式10所示字典或公共工具包。假设情感得分的维度为ds（通常ds = 1），我们可以得到情感得分特征emosentiRds。不emoM=emoT当remoM∈RLM×d.卡莫·T···（十）字典，我们引入了一组辅助功能来捕捉类型特征表情符号开心表情的频率愤怒表情符号的频率惊讶表情符号的频率悲伤表情符号中性表情符号标点感叹号问号的出现频率省略号感伤的话语积极情感词消极情感词的使用频率否定词人称代词代词先行第二代代词的出现频率第三代别人(For英语语料库）字母的频率基于双重情感的虚假新闻检测WWW3469CIMMemo=max（emo）Memo=mean（emo）M∈∈[文本]不在获得情绪之后，我们考虑两个聚合器来生成整个评论列表的社交情绪：1）用于表示平均情绪信号的平均池化（等式11）;以及2）用于捕获极端情绪信号的最大池化（等式12）。平均值（11）M中文（简体）M其中emo表示emomaxRd。最后，我们把它们看作是社会情感：EQ3：假新闻检测模型的鲁棒性如何在现实世界的场景中的双重情感功能？EQ4：双重情感特征的组成部分（包括发布者情感、社交情感和情感差距）的有效性如何？4.1数据集虽然情绪被认为是普遍的，尽管受到文化的影响[11]，但情绪的表达和感知方式在不同的社会文化背景中有所不同[36]。因此，我们在两种语言的三个真实世界数据集上进行了实验（同时，两个具有不同文化的国家），一个是英语（RumourEval），emoM=emo平均值emomax（十三）19）和两个中文（微博-16和微博-20）。统计哪里M MemoM∈R2d.这些数据集如表2所示。4.1.119号谣言构建数据集RumourEval-193.3情感鸿沟为了模拟双重情感的共振和不和谐，我们提出了情感间隙（表示为emoдap）。 它是作为出版者情感和社会情感的减法而设计的。如等式14所示，emo_ap由emo_T的差和emomean以及emoT和emomax的差值：以确定Twitter和Reddit上谣言的真实性它在学术评估中发布5[16]。每一条新闻都被标记为假的，真实的或未经证实的。 我们保持与组织者提供的相同的数据集分割和评估标准。4.1.2微博-16。 数据集Weibo-16在[26]中首次提出，并且已经成为中文假新闻检测的基准数据集M M[17，38，47]。每一条新闻都被贴上了假的或真的标签。它需要emoдap=（emoT−emomean）（emoT−emomax）（14）澄清一下，在原始数据集中，假新闻M M其中emoдapR2d.通过这种方式，它可以测量差异（即，不和谐）之间的双重情感。对于情感共鸣，情感差距向量中的值很小（几乎为零）。3.4双重情感特征最后，双重情感特征由出版者情感、社会情感和情感鸿沟串联而成。在等式15中，我们获得了对偶情感特征，其中emodual∈R5d。emodual = emo T emoM emoдap（15）在获得双重情感特征之后，我们可以将其与假新闻检测器提取的表示相连接，如图2所示。假设假新闻检测器是BiGRU，输出特征向量表示为BiGRU，则级联向量BiGRU，emodual被馈送到多层感知器（MLP）层和softmax层，用于最终预测的新闻真实性y，如等式16所示有很多重复。考虑到重复信息对学习和评价的影响，本文采用基于文本相似度的聚类算法对假新闻子集进行去重。因此，集群的数量仅为原始假件数量我们假设，在分割训练集和测试集时，重复可能会增加数据泄漏的风险，并使模型倾向于学习一些特定于事件的特征[42]（因为它们可能在训练过程中重复多次），这限制了模型的可推广性因此，我们过滤掉了高度相似的假新闻，并制作了去重版本的微博-16（表2）。我们也对真实新闻进行了聚类，但在微博16中没有发现重复。 作为我们分析的实证补充，我们对原始版本和去重版本的微博-16进行了对比实验，验证了去重的必要性（详见附录A）。在我们的实验中，在正文中，去重复的微博-16分为火车/val。/测试集的比例为3：1：1。4.1.3微博-20。 作为假新闻的基准中国数据集y= Softmax。MLP（[BiGRUT，emodual]）MLP（16）经检测，微博16号包含的假新闻从2010年12月到2014年4月，并没有延长到现在。此外，规模4实验与评价在本节中，我们进行实验，比较我们提出的双重情感特征和其他基线特征，并探索它们在提高假新闻检测性能方面的作用具体而言，我们主要回答以下评价问题：EQ1：当单独用于假新闻检测时，双重情感特征是否比基线特征更有效？双重情感特征中不同类型的特征有多有效？EQ 2：双重情感功能可以帮助提高性能-基于文本的假新闻检测器的作用？在重复数据删除后，微博-16的大小更小（第4.1.2节）。因此，我们在Weibo-16的基础上构建了数据集Weibo-20。我们保持两类设置（即，每一条新闻都是假的或真的对于假新闻，我们保留了1，355条假新闻，微博-16并进一步收集微博社区管理中心官方判定为误传的新闻6条（同2014年4月至2018年11月期间，微博-16 [ 26 ]的假新闻来源）。我们过滤掉高度相似的假新闻，并保证没有重复。对于真实新闻，我们保留了微博-16的5SemEval-2019任务7：http://alt.qcri.org/semeval2019/index.php? id=任务6https://service.account.weibo.com/····WWWXueyao Zhang，Juan Cao，Xirong Li，Qiang Sheng，Lei Zhong，andKai Shu3470准确性RumourEval-19微博-16微博-20数量#com数量#com数量#com假791,135801649,6731,896749,141培训真实未经验证1441041,9051,8381,410-482,226-1,920-516,795-总3274,8782,2111,131,8993,8161,265,936假19824268222,149632137,941验证真实未经验证109404212470-146,948-640-185,087-总381,440738369,0971,272323,028假40689286193,740633245,216测试真实未经验证3110805181471-179,942-641-149,260-总811,675757373,6821,274394,476假1382,6481,3551,065,5623,1611,132,298总真实未经验证1851233,1142,2312,351-809,116-3,201-851,142-总4467,9933,7061,874,6786,3621,983,440表2：三个数据集的统计数据#pcs：新闻数量;#com：评论数量与假新闻同期的报道新收集的真实新闻是经过NewsVerify 7验证的真实新闻，NewsVerify 7专注于发现和验证微博上的可疑新闻。微博20总共包含3,161条假新闻和3,201条真实新闻。至于数据集拆分，我们拆分了train/val。/测试集的比例为3：1：1。4.2双重情绪信号的初步分析为了检验双重情绪信号与新闻报道的真实性之间是否存在统计依赖关系，我们构造了两个分类变量进行卡方统计显著性检验。一是新闻真实性，其价值是假还是真。二是双重情感范畴，其价值是出版者情感范畴和社会情感范畴的结合，如出版者情感是无，社会情感是愤怒。 为了计算双重情感类别的值，我们使用NVIDIA 8 [21]为RumourEval-19发布的开源情感分类模型，并使用百度AI平台9上的情感检测服务为两个中文数据集。在卡方统计显著性检验中，我们首先发现双重情感信号与新闻的真实性无关（即，零假设（nullhypothesis） 然后我们检查卡方统计量是否超过临界值。具体来说，在数据集RumourEval-19上，卡方统计量为50.570，超过了95%概率的临界值48.602，这意味着我们可以拒绝零假设。同样，在数据集Weibo-16上，卡方统计量为209.14，远远超过99%概率的临界值50.892在数据集微博20上，卡方统计量为239.963，远远超过99%概率的临界值46.963总之，我们可以拒绝所有三个数据集的零假设，这表明双重情绪信号在统计上依赖于新闻的真实性。7https：//wwww.newsverify.com/8 https://github.com/NVIDIA/sentiment-discovery9https://ai.baidu.com/tech/nlp/emotion_detection我们进一步可视化变量双重情感类别 在Ru-mourEval 19上，我们选择了三种情绪类别来可视化，快乐，悲伤和没有（超过98%的新闻报道）。 在中文数据集上，我们选择了四种情绪类别，愤怒，恶心，快乐和无（超过97%的新闻报道）。我们利用热图来展示图3中的双重情感类别的分布。在热图中，每个单元格表示其双重情感类别是特定值的新闻片段的百分比我们将每一行的百分比归一化（即，每个出版商的情绪）。例如，在图3a的顶部子图中，左上角单元格指示在发布者情绪是快乐的假新闻片段中，社交情绪也是快乐的片段的百分比为85.5%。在图3中，我们可以看到假新闻与真实新闻中存在不同的情感共鸣和情感失调例如，在图3a中，假新闻中的双重情感类别都是快乐的百分比比真实新闻高8.2%假新闻中悲伤的发布者情感和快乐的社会情感的情感失调比例比真实新闻高1.9%两个中国数据集的证据更强具体而言，在情感共鸣方面，假新闻中既愤怒又厌恶的双重情感类别新闻比真新闻更多在情感不和谐方面，假新闻中出现的情感不和谐现象主要是高兴/无发布者情感，而愤怒/厌恶社会情感需要认识到的是，或者不和谐可能从英语数据集到中文数据集而变化，因为使用不同语言的人的表达风格也可能不同。然而，我们的分析表明，在每个数据集本身，无论其主导语言是什么，假新闻都具有与真实新闻不同的情感共鸣和不和谐这有助于区分假新闻和真实新闻。4.3实验装置4.3.1情感资源。 对于情感分类器，如第4.2节所述，我们采用NVIDIA for English的预训练模型基于双重情感的虚假新闻检测WWW3471不不(a) 关于谣言Eval-19（b）关于微博-16（c）关于微博-20图3：双重情绪类别在三个数据集上的分布在假新闻中，存在着与真实新闻截然不同的情感百度AI中文版 为了保证两个模型的鲁棒性，我们在每种语言中随机抽取了100个实例，并由三个标注器分别对它们的情感类别进行人工标注，结果NVIDIA模型的准确率为87%，百度模型的准确率为83%。因此，这两个分类器被认为是可靠的提取情感的假新闻检测。对于其他情感资源，对于英语语料，我们采用NRCEmo-tion lexicon[30]和NRC Emotion Intensity lexicon[29]分别提取情感词汇和情感强度特征。我们使用NLTK[3]的Vader包来计算情感得分。对于中文语料，我们采用情感词汇本体[46]来提取情感词汇和情感强度特征。我们利用字典知网[10]来计算情感得分。对于表1中的辅助特征，对于表情符号，我们利用Wikipedia的表情符号列表[43]并将表情符号分为五种情绪：高兴，愤怒，惊讶，悲伤和中性。对于情感词和程度词，我们使用知网中的双语情感词典[10]。 对于否定词，我们从维基百科、牛津词典和剑桥词典中编译了单词列表。104.3.2假新闻检测器和基线。 在实验中，我们选择了两个基线情感特征来评估我们的双重情感特征的有效性。 这些功能与双重情感功能使用相同的情感词典实现：• Emoratio：Ajao et al.[1]提出一种情感特征，Emoratio。它是由消极情绪词和积极情绪词的数量之比计算出来的。作者：Giachanou et al.[15]第15话感情用事内容文本的对比度和强度特征这些特征是基于词典的出现频率计算的为了测试情感特征帮助基于文本的假新闻检测器（特别是那些没有明确建模情感信号的检测器）的能力，我们选择了BiGRU（如图2所示），BERT和其他最先进的假新闻检测器如下：BiGRU：基于文本的模型，如GRU[8]和LSTM[18]，在[7，26]中被证明对假新闻检测有效在这里，我们使用BiGRU来检查双重情感特征是否可以改善它。在实践中，至于词嵌入，我们使用GloVe [31]用于英语和中文词向量[25]。BiGRU的最大序列长度为100，BiGRU的隐藏状态的维数为32。BERT[9]：作为一种强大的文本分类模型，BERT在[45]中被用来表示检测假新闻时的在实验中，我们将序列截短到最大长度512，并为我们的任务微调预训练模型11NileTMRG[13]：对于RumourEval-19数据集，我们使用竞赛组织者12 [16] NileTMRG实现的模型。该模型是有效的，优于其他可以从新闻的内容文本中提取，命名为11预训练模型可从https://huggingface.co/models下载。我们使用对于英语，使用bert-based-uncased;对于中文，使用bert-based-chinese10否定词列表与我们的代码和数据集一起发布12https://github.com/kochkinaelena/RumourEval2019····WWWXueyao Zhang，Juan Cao，Xirong Li，Qiang Sheng，Lei Zhong，andKai Shu3472M参赛者 该模型是一个线性支持向量机，并使用文本特征，社会特征，并使用评论立场特征。实际上，我们保留了原始模型的所有超参数HSA-BLSTM[17]：对于两个中国数据集，我们实现了HSA-BLSTM，它被广泛用作微博-16数据集的基线。作者提出了一种层次注意力神经网络，不仅利用了新闻报道，还有评论。在实验中，我们将所有超参数保持为原始模型中的超参数。4.3.3模型参数双重情感特征中的子特征的维度，即， df、de、ds和da由语言特定情感资源确定。 作为预先训练的情感分类器的输出的df的值对于英语是16，对于中文是8。de的值是英汉情感词典中情感种类的大小，分别为8和21。对于ds，英语文本的情感得分由NLTK的Vader软件包生成，对应于四个维度（积极、消极、中性和复合），而中文文本的情感得分由知网计算，只有一个维度。da的值是表1中的启发式特征的数量，其对于英语为16，对于中文为15。全维度d如等式9所计算，其对于英语为52，对于中文为66 窗口大小为2，这是由网格搜索确定的，可以最大化验证集的性能。 至于评论数量，我们设置L = 100，这意味着只考虑每条新闻的最早100条评论（或更少）。在等式16中，MLP的输出维数为32。4.3.4评价在RumourEval-19上，我们采用官方评估指标，宏F1得分和RMSE（均方根误差）[16]。考虑到数据集的不平衡性，我们还考虑了虚假，真实和未经验证的新闻的F1得分在两个微博数据集上，我们使用准确性和宏观F1得分作为评估指标，与[17]相同我们也有F1分数的假新闻和真新闻。其他实验使用宏F1评分。4.4结果4.4.1双重情感特征的有效性 为了在排除假新闻检测器的混杂因素的情况下回答EQ1，我们单独利用情感特征来检测假新闻。我们采用了一个简单的五层MLP和饲料只有情感特征。表3显示了三个数据集的结果删除类型R-19W-16W-20情感类别0.1930.6790.686情感词典0.2390.7150.745情感强度0.2160.7250.750情感得分0.2450.7230.743其他辅助功能0.3070.6530.722表4：当在MLP模型上重新移动一种特定类型的情感特征时，双重情感特征的宏F1分数R-19：RumourEval-19，W-16：微博-16，W-20：微博- 20。在表3中，在来源于内容的三个情感特征中，发布者情感比谣言信用和Emoratio更有效，特别是在谣言评估上。它揭示了双重情感特征在建模情感信号中的有效性此外，本文首次提出了社会情绪和情绪鸿沟的概念，并将其应用于具体来说，在RumourEval-19上，使用Emotion Gap比Publisher Emotion拥有4.2%的增长。在两个中国数据集上，使用社会情绪或情绪差距都可以提高10%以上的宏观F1得分。此外，使用双重情感特征可以进一步增强三个数据集。特别是在RumourEval-19上，仅使用双重情感特征进行假新闻检测就拥有0.337的高宏观F1分数 而仅使用情绪差距也是有效的，这是0.332的宏观F1得分。值得一提的是，这两个情感特征甚至优于最先进的模型NileTMRG（宏F1得分为0.309，如表5所示）。 这表明了双重情感信号的必要性以及挖掘双重情感信号及其相互关系对于虚假新闻检测的重要性。此外，需要澄清的是，将三个数据集相互比较，RumourEval-19的性能比两个中国数据集差得多。 在[16，23]中讨论了原因，即新闻片段的数量很少，并且数据集的注释者之间的一致性相对较低。在第3.1节中，我们在对情绪信号建模时采用了五种类型的情绪特征（情绪类别、情绪词汇、情绪强度、情绪评分和其他辅助特征）。为了验证每种情感特征的效果，我们每次从双重情感特征去除一种特定的情感特征，观察其性能变化。如表4所示，双重情感特征的宏F1分数都降低，而不管情感特征的移除类型如何。从而揭示了五种情感特征联合使用的必要性。表3：在MLP模型上仅使用情感特征时的宏F1分数R-19：RumourEval-19，W-16：微博-16，W-20：微博-20。4.4.2假新闻检测器的性能评估 为了验证EQ2，我们展示了在三个数据集上将双重情感特征添加到现有假新闻检测器中的结果。表5显示了RumourEval-19数据集的结果。总的来说，使用双重情感功能后，三个假新闻检测器都有很大的改进具体而言，在基于文本的检测器BiGRU和BERT上，双重情感特征的使用都比双重信用和Emoratio提高了性能。特别是将双重情感特征引入BERT中，其宏观F1得分为0.346，远高于其他两种情感特征。对·源情感特征R-19W-16W-20内容埃莫雷肖0.1850.5530.524联系我们0.2530.5640.5420.2900.5710.573出版社Emotion评论社会情感0.2960.6920.754内容、情感鸿沟0.3320.7160.746评论双重情感特征0.3370.7280.759基于双重情感的虚假新闻检测WWW3473模型宏观F1评分RMSEF1分数假新闻 真正的新闻未经核实的新闻BiGRU0.2690.8040.5000.4630.4560.5800.2220.1600.2950.3370.0830.2000.1820.104+ Emoratio0.2750.823公司简介0.3110.797+ 双重情感特征0.3400.752伯特0.2720.8080.5330.4060.3670.5570.1050.2400.3670.2440.1760.1670.1890.238+ Emoratio0.2710.857公司简介0.3080.833+ 双重情感特征0.3460.778NileTMRG0.3090.7700.5570.5710.2960.5650.2450.2800.5000.5650.1250.1430.1250.100+ Emoratio0.3310.754公司简介0.3070.786+ 双重情感特征0.3420.754表5：RumourEval-19的结果。模型微博-16微博-20宏观F1评分精度F1分数宏观F1评分精度F1分数假的真假房BiGRU0.8070.8220.7540.8600.8390.8390.8390.839+ Emoratio0.7940.8100.7380.8510.8500.8500.8540.846公司简介0.7660.7780.7110.8200.8290.8290.8360.821+ 双重情感特征0.8260.8380.7810.8710.8550.8550.8570.852伯特0.8240.8450.7620.7800.7970.8370.8860.8940.9010.8960.9000.9000.9000.900+ Emoratio0.8370.8570.9010.9010.9000.902公司简介0.8490.8670.9020.9020.9010.903+ 双重情感特征0.8670.8730.9150.9150.9130.918HSA-BLSTM0.8490.8550.8190.8790.9130.9130.9120.914+ Emoratio0.8630.8720.8290.8980.9200.9200.9200.920公司简介0.8540.861