没有合适的资源?快使用搜索试试~ 我知道了~
神经多任务学习联合检测谣言和立场
1http://money.cnn.com/2016/11/17/technology/facebook-election-influence/5850通过神经多任务学习检测谣言和立场0Jing Ma 香港中文大学香港特别行政区majing@se.cuhk.edu.hk0Wei Gao 新西兰维多利亚大学wei.gao@vuw.ac.nz0Kam-Fai Wong 香港中文大学高可信软件技术教育部重点实验室,中国0摘要0近年来,一种不健康的现象,即虚假新闻或未经证实的信息(即谣言)的大规模传播,已成为人类社会中日益严峻的问题。这些谣言通常源自社交媒体平台,主要是微博平台,然后通过大量参与者的疯狂、故意传播而变得病毒式传播。观察到,谣言帖子往往在参与用户中引发多样化、大多数有争议的立场。因此,确定问题帖子上的立场可能与成功检测谣言以及反之亦然相关。然而,现有的研究主要将谣言检测和立场分类视为独立的任务。在本文中,我们认为它们应该作为一项联合的、协作的工作来处理,考虑到索赔的真实性与响应帖子中表达的立场之间的强烈联系。受到多任务学习方案的启发,我们提出了一个联合框架,将两个高度相关的任务,即谣言检测和立场分类,统一起来。基于深度神经网络,我们使用权重共享来共同训练这两个任务,以提取共同的和任务无关的特征,同时每个任务仍然可以学习其特定的任务特征。对从Twitter和新闻门户网站收集的真实世界数据集进行的大量实验证明,我们提出的框架通过强大的任务间连接有助于改进谣言检测和立场分类任务,与现有技术方法相比,取得了更好的性能。0CCS概念0• 计算方法学 → 人工智能;自然语言处理;多任务学习;• 应用计算→ 文档分析;0关键词0谣言检测;立场分类;多任务学习;权重共享;社交媒体;微博0ACM参考格式:Jing Ma,Wei Gao和Kam-FaiWong。2018年。通过神经多任务学习检测谣言和立场。在WWW '18Companion:2018年Web会议伴侣,2018年4月23日至27日,法国里昂。ACM,纽约,美国,9页。https://doi.org/10.1145/3184558.31887290本文发表在Creative Commons Attribution 4.0 International (CC BY4.0)许可下。作者保留在个人和公司网站上传播作品的权利,并附有适当的归属。WWW'18 Companion,2018年4月23日至27日,法国里昂。© 2018IW3C2(国际万维网会议委员会),根据Creative Commons CC BY 4.0许可发布。ACMISBN 978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.318872901 引言0微博网站的普及使其对信息传播和共享至关重要。数亿用户每天都可以在微博上自发发布消息,发布最新消息或分享对各种信息的意见。如果没有准确的系统性努力来管理帖子,大量的虚假或未经证实的信息可能会出现并传播,出于各种动机,如进行社交广告,政治草根运动等。例如,在2016年美国选举期间,大量虚假新闻在Facebook和Twitter等社交媒体上传播,这导致了现实世界的政治影响1。谣言的大规模传播可能严重损害用户体验,并阻碍微博系统的健康发展。然而,观察到对谣言的怀疑和反对声音总是伴随其传播而出现,作为有助于信号信息真实性的有用指标。因此,识别谣言以及分析有关信息的各种立场对于在谣言扩散之前提供早期预防措施以最小化其负面影响是有意义和有益的。然而,由于微博数据的不断增加和争议的复杂性,谣言检测和立场分类都是具有挑战性的任务。谣言检测旨在确定有关某个主题的某个主张的真实性。传统方法要么使用包括从帖子内容、用户资料和帖子扩散模式中手工制作的各种特征的监督机器学习算法[6,24,28,33,45],要么利用规则或正则表达式从推文中发现异常模式[47]。为了减轻这些方法中的繁重手工工作,最近提出了无需特征工程的模型,并为该任务取得了有希望的结果,例如使用递归神经网络的纯数据驱动模型[32,40]和捕获高阶传播结构的基于树核的模型[34]。立场检测旨在确定文本对特定目标的不同态度。为该任务开发了几种基于特征工程方法的监督模型[1,38,41,46]。Lukasik等人通过使用Hawkes过程进行连续时间序列分类来考虑谣言立场分类中的时间和文本信号[29,30]。最近,Zubiaga等人利用微博文本之间的对话结构来分类推文立场[48]。另一方面的工作主要集中在使用深度学习模型,如递归或卷积神经网络[3,43]进行立场特征学习和分类。以前的分析还表明,虚假谣言往往比正常新闻报道引发更大的争议[35,49],其中否认和质疑立场被发现起着关键作用0主题:新闻报道,错误信息,事实核查 主题 WWW 2018,2018年4月23日至27日,法国里昂5860(a)在50个虚假谣言中0(b)在50个真实谣言中0图1:关于谣言性主张的比例随时间变化(以小时为单位,自初始推文以来),这表明了后来被证明为虚假或真实的谣言的主张分布的变化。0在标记声称为谣言的信息方面,态度发挥着重要的作用。值得注意的是,一些关于谣言检测的研究已经在其模型中考虑了这种态度信号[28,38,47]。在本文中,我们认为利用态度信息来帮助谣言检测的方法是狭隘和次优的,可以通过一种联合强化方法从根本上改变,以提高谣言检测和态度分类任务的性能。我们的想法是受到这样一个观察的启发,即人们的立场与相关信息的真实性密切相关。我们假设两个任务之间可以建立一些正面的相互反馈:对于一个声称,指示性的立场有助于揭穿谣言,而验证声称的真实性则有助于推断涉及帖子的立场。图1使用从我们的数据集中随机抽样的100个真实世界谣言事件的统计数据说明了这一直观(见第6.1节)。可以看出,在虚假谣言中,用户更倾向于表达否认立场而不是支持立场,这可以用来指示谣言类型以进行谣言检测;另一方面,给定谣言的类型,关于虚假谣言的推文更有可能持有否认立场而不是支持立场,而关于真实谣言的推文则相反,这表明相关推文中的立场可以根据谣言类型进行推断。受到多任务学习的成功启发[5,26],我们尝试通过统一的架构来加强谣言检测和态度分类的联合学习。与将两个任务视为独立的现有模型不同,本文提出了统一的多任务模型,学习一组与两个任务都相关的共同的、双向友好的特征,以促进它们的相互作用,同时每个任务也可以通过相互学习过程来加强它们的任务特定特征。这是通过使用多层递归神经网络(RNN)实现的,其中我们使用一个共享层和一个任务特定层来适应任务的不同类型的表示和相应的参数。由于训练时有更多的数据(即来自相关任务的额外数据),多任务学习的使用还可以减少对每个单独任务的过拟合。因此,学习到的表示可以比仅基于单个任务的表面形式特征构建的模型更紧凑。实验结果表明,对这两个任务进行联合学习0通过将与谣言相关的任务放在一起,相对于分开学习,每个任务的性能都可以显著提高。我们的贡献有三个方面:0•据我们所知,这是第一项旨在通过多任务学习以统一的方法来处理谣言检测和态度分类的工作,成功地学习了共同的特征并对两个核心任务的数据进行分类。 •我们提出了两种基于RNN的多任务架构,用于捕捉来自两个任务的共享公共特征,并且还表明我们的模型不仅紧凑而且能够对新的信息来源平台(如新闻报道)进行敏捷开发,而不仅限于微博。 •我们通过对Twitter和新闻报道的真实数据集进行广泛实验,对我们提出的方法进行了实证评估,证明了我们的多任务方法同时显著提高了两个任务的性能。02 相关工作0在本节中,我们对与我们的研究相关的三个主要领域进行了简要回顾:谣言检测,立场分类和多任务学习。02.1 谣言检测0检测谣言是一个重要的研究课题,在各个学科中都进行了研究[12,37,42]。社会心理学文献通常将谣言定义为“流传中的未经证实且具有工具性的信息陈述”[14]。这些未经证实的信息最终可能被证明是真实的、部分或完全错误的,或者无法解决[49]。监督分类广泛用于识别社交媒体帖子中的谣言。这种方法的主要问题是为训练谣言分类器定义有效的特征。Castillo等人[6]提供了从帖子内容、用户资料和传播模式中提取的广泛特征。随后,进一步的研究[17, 19, 24, 33,44]通过引入几个新的时间特征来检测谣言的传播。赵等人[47]不是定义复杂的特征集,而是通过使用正则表达式(如“不真实”,“未经证实”或“真的吗?”等)来寻找质疑和否认的推文,作为揭穿谣言的关键。最近,Ma等人[32]和Rath等人[40]分别使用RNN从帖子内容和用户互动中自动学习谣言和谣言传播者的表示。Ma等人[34]还提出了一种基于树核的方法,用于捕捉推特上不同类型谣言的高阶传播模式。在这项工作中,我们将通过利用两个相关任务的特征学习能力来学习更好的谣言表示,这可以被认为是先前基于RNN的谣言检测方法[32]的两个任务扩展。02.2 立场检测0追踪: 新闻学,错误信息,事实核查 追踪WWW 2018年4月23日至27日,法国里昂rumors hold supporting stance, whereas half of the tweets on falserumors are denied or questioned.In automated methods, existing studies can be divided into twocategories: The first category is to extract indicative features andthen apply supervised learning techniques to classify the stances.Following Qazvinian et al. [38] who aimed to classify rumor-relatedtweets into supportive or not, a wide range of features were pro-posed in follow-up studies to improve the performance of stanceclassification [28, 46]. But these stance classifiers ignored the rumoridentities and temporal dependencies. More recently, Lukasik et al.[29, 30] exploited the temporal sequence to classify tweet stances ina sequence regarding a rumor using Gaussian Process and HawkesProcess. Zubiaga et al. [48] built a tree-CRF classifier that learnsthe dynamics of stance in tree-structured conversations such asTwitter replies, instead of classifying tweets in isolation. Unlike thetraditional binary classification (i.e., support or denial), these recentresearch performed a finer-grained classification to encompass alldifferent kinds of reactions to rumors which include supporting,denying, questioning and commenting (SDQC).The second category is the models based on deep neural net-works. Kochkina et al. [22] employed LSTM for sequential clas-sification of tweet stances, where a bidirectional LSTM encodingapproach was used to represent tweets relevant to the target [3].Chen et al. [7] used convolutional neural networks (CNN) for obtain-ing the representation of each tweet, then assigned probabilities todifferent classes that the tweet may belong to by a softmax classifier.One drawback of the existing methods is that they only consid-ered that a tweet is conditioned on the target, but ignored that thestances are also conditioned on the truthfulness of the target. Thisobservation, as mentioned in [47], could potentially be leveragedto improve the model for stance classification.2ww58702.3 多任务学习0多任务学习的一般思想可以追溯到[5],其目的是通过其他相关任务来提高一个任务的性能。大多数多任务学习或联合学习模型可以看作是参数共享方法,其中模型被联合训练,参数或特征在多个任务之间共享。在流水线自然语言处理(NLP)任务中,如分词、词性标注和依存句法分析等,已经进行了大量的多任务学习研究[4,20,25],最近在文本分类方面也有了更多的研究[26]。在神经模型的NLP上下文中,多任务学习在许多相关问题上已被证明是有效的。例如,Collobert和Weston[10]提出了一个统一的框架,该框架使用共享的查找表来处理输入单词,然后使用卷积神经网络联合训练了几个NLP任务,如词性标注、语义角色标注和命名实体识别。Liu等人[27]开发了一个多任务深度神经网络,用于学习跨多个任务的任意文本的共享表示,该网络结合了网络搜索的查询分类和排序。最近,神经多任务学习被应用于使用循环神经网络的序列到序列问题。提出了几种多任务编码器-解码器网络用于神经机器翻译[13,16],允许将一个语言翻译成多个目标语言:0通过利用跨语言信息,将源语言翻译为多种目标语言。Luong等人[31]利用多任务序列到序列模型研究了广泛的任务集合,例如句法分析、机器翻译、图像字幕等。Liu等人[26]引入了三种基于RNN的架构来建模文本序列,为多个文本分类任务提供了不同的信息共享机制。在大多数这些模型中,多任务架构基本上共享一些低层次的任务,以确定共同的特征,而其余的层次是任务特定的。我们的模型受到了基于RNN的多任务学习的一般共享结构的启发[26]。我们的主要挑战在于设计一种有效的共享权重方法,通过增强与谣言相关的任务之间的交互来获得更好的任务特定表示:03 问题形式化0我们的目标是制定一个多任务模型,共同学习谣言检测和立场分类模型,其中一个任务可以或不可以使用与另一个任务相同的数据源。例如,我们通常可以在谣言检测中使用推文,但在立场分类中使用新闻报道,考虑到训练数据的可用性和特定设置。由于推文的长度较短,包含的上下文非常有限,一个主张通常与一系列与之相关的帖子相关联。因此,我们将Twitter数据建模为一组主张{C1,C2,...,C|C|},其中每个主张Ci ={(xij,tij)}由一组相关推文组成,xij是在时间tij发布的帖子。谣言检测:我们将这个任务形式化为一个监督的序列分类问题,该问题从标记的主张中学习一个分类器f,其中每个主张Ci对应于其相关帖子的输入序列xi1xi2...xiTi,即f:xi1xi2...xiTi→Yi,其中Yi取四个可能的类标签之一:非谣言,真谣言,假谣言和未验证的谣言(NTFU)。如果关注个别帖子的真实性,该任务可以转化为序列到序列问题。但由于这种设置在谣言检测中不常见,我们在这里不考虑它。立场分类:这个任务是确定每个个别帖子或文档对于一个主张的真实性表达的类型。我们将其形式化为一个序列标注或序列分类问题,具体取决于输入的特定类型:0• 当输入的主张 C i 由一系列帖子 x i 1 x i 2 . . . x iT i组成时,它被建模为序列标记,即 д : x i 1 x i 2 . . . x iT i → y i 1 y i 2 . . . y iT i ,其中每个 y ij是支持、否定、质疑或评论 (SDQC)中的一个标签。特别地,评论被分配给那些对主张真实性没有任何贡献的推文。• 当立场检测应用于诸如假新闻检测 2之类的应用时,一个输入主张(或标题)可以与一篇新闻文章相关联。因此,它被视为将新闻文章正文分类为上述四个类别之一。设 x i 1 x i 2 . . . x iT i 为与主张或标题 C i对应的文章的句子序列,问题变为序列分类,即 д ′ : x i 1 x i 2 . . . x iT i → y i ,其中 y i 取 SDQC 中的一个值。0Track: 新闻学、错误信息、事实核查 Track WWW 2018,2018 年 4 月 23-27 日,法国里昂˜xmt= Emxmtrmt= σ �Wsr ˜xmt + Usrhmt−1�zmt = σ �Wsz ˜xmt + Uszhmt−1�˜hmt = tanh�Wsh ˜xmt + Ush(hmt−1 ⊙ rt )�hmt = 1zmthmt 1 + zmt˜hmt(1)(2)58804 谣言和立场检测0与独立学习模型相比,多任务学习方法可以利用相关任务来学习复杂的指示虚假信息的信号。通过考虑任务间的相关性,可以共享和利用在一个任务中学到的表示来增强另一个任务的特征学习,从而通过统一框架内的相互反馈提高两个任务的整体性能。例如,一个强假谣特征很可能被投影到表示否定或质疑的特征附近的共享表示空间中,而表示评论或时间的特征则主要被投影到它们自己任务的特定特征空间中。受基于 RNN 的神经多任务模型 [ 26 ]的启发,我们提出了两个基于 RNN的深度架构,其中包含一个共享隐藏层的第一个模型,以及除了共享层之外还考虑了额外的任务特定隐藏层的第二个模型。我们的模型与[ 26 ]不同之处在于:1)我们的目标是处理输入和输出结构在任务之间差异很大的异构谣言相关任务,而他们的模型专注于同质的传统文本分类任务;2)我们的方法学习优化不同任务的单独目标,而不仅仅是相同的目标;3)我们使用门控循环单元 (GRU) [ 8 ]代表隐藏单元,而不是为了效率而使用长短期记忆 (LSTM) [ 21]。我们模型的架构如图 2 所示。04.1 统一共享层架构0在该模型中,不同的任务共享相同的隐藏层,每个任务都有自己的任务特定输入和嵌入,如图 2(a) 中的统一共享层架构所示。对于任务m ,给定一个输入主张的帖子或句子序列 { x m t },一种直接的策略是使用一个 RNN 将每个时间步 t 的输入单元 x mt 映射到一个固定大小的向量,我们采用 GRU [ 8 ]作为隐藏表示。对于每个 t ,GRU 的转换方程如下:0其中 x m t 是第 t 个帖子,E m 表示任务特定的嵌入矩阵,[ W s � ,U s � ] 是 GRU内部的权重连接,这些连接在不同任务之间共享。如标准 GRU中所定义的,h m t 和 h m t − 1分别表示当前状态和上一个状态;⊙ 表示逐元素相乘;重置门 r m t决定如何将当前输入 x m t 与先前的记忆相结合,更新门 z m t定义了多少先前帖子的记忆级联到当前时间步;˜ h m t表示隐藏状态 h m t的候选激活。对于谣言检测任务中的序列分类,最后一个时间步的输出 h T可以直接与整个帖子序列的表示关联起来。然而,对于特定的立场分类任务,大多数先前的研究0对于新闻数据,我们没有将其视为一个序列问题。相反,通常将其建模为对给定的标题-文章(或声明-帖子)对进行分类,从而忽略了句子(或帖子)之间的有价值的上下文信息[3, 38,46]。在这里,我们的目标是解决一个序列问题(即,根据输入数据的形式是序列标记还是序列分类(详见第3节)),并在RNN中的第一个时间步输入标题(或声明)以及其相应的句子(或帖子)序列,其相邻单元之间的配对相似性可以用来提高序列标记或分类性能(详见第5节)。04.2增强的共享层架构0统一共享层架构完全共享从两个任务中提取的隐藏特征的GRU参数。因此,两个任务可以捕捉和共享高权重的共同模式。然而,它忽略了某些模式在一个任务中应该比另一个任务更重要的事实。例如,由于谣言检测任务需要更多关注与真实性相关的信息,传达语义的模式如“true”和“false”比表示“believe”和“don’tthink”的模式更重要,后者对于立场分类任务更有用。为了解决这个问题,我们通过为每个任务在架构中添加一个额外的任务特定层来扩展模型。如图2(b)所示,增强的共享层架构为每个任务采用两个隐藏层:一个用于通过共享参数提取共同模式,另一个用于通过单独的参数集捕捉任务特定特征。因此,每个任务被分配一个共享GRU层和一个任务特定的GRU层,希望能够用于捕捉不同任务的共享和本地表示。具体而言,对于任务m,时间步t的共享层输出计算为hst =GRU(hst-1,xmt),其中函数GRU(∙)是方程式1的简写。为了增强任务特定层和共享层之间的交互作用,我们重新定义方程式1,使得t时刻的隐藏输出取决于来自共享层的隐藏状态hst、来自任务特定层的上一个隐藏状态hmt-1和当前输入xmt。因此,任务m的任务特定层的隐藏状态可以计算为:0˜xmt = Emxmt rmt = σ(Wmr˜xmt +0zmt = σ(Wmz˜xmt + Umzhmt-1 +0˜hmt = tanh(Wmh˜xmt + Umh(hmt-1 ⊙ rmt) +Us→mhhst0hmt = (1 - zmt) ⊙ hmt-1 + zmt ⊙ ˜hmt0其中xmt是任务m的第t个输入,Us→m�表示连接共享层和任务特定层的权重矩阵。其他设置与标准GRU相同。我们还尝试使用一个门来决定共享层ht应该接受多少信息,就像对hm(t-1)的门控机制一样,但是实验结果表明方程式2的效果要好得多。原因可能是门控机制可能无法很好地控制不同层之间的信号流动。0追踪:新闻报道,虚假信息,事实核查追踪WWW 2018,2018年4月23日至27日,法国里昂5890(a)统一共享层架构0(b)增强的共享层架构0图2:两种多任务架构。嵌入向量˜xmt是从原始输入xmt计算得到的,在t时刻表示为词汇单词的tf*idf值的向量(为了简化起见,我们隐藏了原始输入,并根据奥卡姆剃刀原则选择了tf*idf),然后使用共享或任务特定参数映射为低维向量,然后根据具体任务进行序列标记或序列分类的操作。05 训练过程0对于一个任务的输入序列,通过增强的架构发射的任务特定表示最终可以输入到不同的输出层进行预测。相比之下,统一架构中由于缺乏任务特定层,共享层的隐藏状态可以直接输入到输出层。在谣言检测任务中,我们标记其任务索引m =1,并使用最后一个时间步的隐藏向量hm=1T来表示一个声明的整个帖子序列。因此,声明的最终分类决策被概率地制定为softmax:0y = softmax(Vm=1hm=1T + bm=1)0其中yt是时间t≥2时不同立场类别的预测概率,Vm=11和Vm=1分别表示声明(或标题)和推文(或句子)的输出层的权重,bm=2是一个偏置项。它们都是立场检测的任务特定参数。每个任务的提出的多任务模型的参数被训练以最小化预测和真实分布的交叉熵:0其中yt是时间t≥2时不同立场类别的预测概率,Vm=11和Vm=1分别表示声明(或标题)和推文(或句子)的输出层的权重,bm=2是一个偏置项。它们都是立场检测的任务特定参数。每个任务的提出的多任务模型的参数被训练以最小化预测和真实分布的交叉熵:0其中yt是时间t≥2时不同立场类别的预测概率,Vm=11和Vm=1分别表示声明(或标题)和推文(或句子)的输出层的权重,bm=2是一个偏置项。它们都是立场检测的任务特定参数。每个任务的提出的多任务模型的参数被训练以最小化预测和真实分布的交叉熵:0L = - �0t0�0cдct logyct + λ||Θ||220其中дct和yct分别是第c类别的真实值和预测概率,对应于时间步t。这里的L2正则化器权衡了模型的误差和尺度,Θ是03 对于输入是新闻文章的情况,使用与最后一个句子对应的输出作为文章的密集向量表示。4对于一篇文章,只使用最后一个时间步的激活函数进行预测。0追踪:新闻报道,虚假信息,事实核查追踪WWW 2018,2018年4月23日至27日,法国里昂For rumor detection task, we made expansion based on a publicTwitter dataset described in Liu et al. [28]. The original dataset wereused for binary classification of claims into rumor and non-rumorgiven the relevant tweets of each claim. We finer granularized theground-truth label set by using the four NTFU tags according to theveracity tagging adopted by the popular rumor debunking websites(e.g., Snopes.com, Emergent.info, etc)5. In addition, the fraction ofdifferent types of rumors are imbalanced in real world. As per ourstatistics based on Snopes.com since January 2015, the proportionsof articles under the NTFU categories are as the following: 76.0%non-rumors, 16.5% false rumors, 3.4% true rumors and 4.1% un-verified rumors. Accordingly, we enriched the dataset to conformto such class distribution by implementing the tweets gatheringmethod described by Liu et al. [28]. Table 1(a) gives the statistics ofthis expanded dataset which is named as LIU+.For stance classification task, we used the PHEME dataset [49]which contains 297 claims corresponding to eight breaking events,LIU+NTFUDTR [47]0.7340.3380.8560.3490.0710.076SVM-RBF [45]0.7600.2160.8640.0000.0000.000DTC [6]0.7930.3570.8830.5280.0180.000SVM-TS [33]0.7860.3610.8790.5060.0370.014RFC [23]0.7990.3890.8890.5410.0310.091MT-single [32]0.7620.4260.8750.4870.050.292MT-US0.7610.4310.8720.5130.0890.292MT-ES0.7830.4640.8760.1140.333MT-US0.7520.4390.8580.5450.1050.323MT-ES0.7780.4430.8720.5030.0740.3245900输入:一组声明{C1, C2, ..., C|C|},ϵ01 初始化模型参数Θ = {Ws, Us, Em, Wm, Um, Us→m,Vm1, Vm, bm};02 对于迭代从0到maxIter的情况,执行以下操作:03 1. 随机选择一个任务m;04 2. 从任务m中随机选择训练样本;05 3. 使用公式5计算损失L(Θ);06 4. 计算梯度�(Θ);07 5. 更新模型:Θ ← Θ - ϵ�(Θ);08 结束0算法1:我们多任务模型的训练过程。注意,在统一共享层架构中,Θ = {Ws, Us, Em, Vm1, Vm, bm}。0所有模型参数,λ是权衡系数。注意,在不同情况下,对t的求和形式不同:对于序列分类(即谣言检测或基于文章的立场分类),t取最后一个时间步T,因为只有在T时才有输出;对于序列标记(即推文立场检测),2≤t≤T,因为从第2步到T的每一步都有输出。我们使用随机梯度下降算法通过循环遍历任务来训练我们的模型,类似于[10,27]。算法1显示了训练过程,在每次迭代中,随机选择一个任务,并根据任务特定的目标更新模型。具体来说,1)模型参数通过均匀分布进行经验初始化,并通过反向传播[11]使用损失的导数进行更新;2)我们使用AdaGrad算法[15]加速收敛;3)我们将词汇表大小固定为5,000,嵌入和隐藏单元的大小为100;4)我们运行算法1,直到每个任务的损失值收敛或达到最大迭代次数。06 实验和结果 6.1 数据集和评估指标05 这些原始推文是根据这些网站上的文章线索收集的。因此,NTFU标签很容易恢复。0表1:数据集统计0(a) 谣言检测数据集0主张 # 2,280 99 498 123 比例 76.0% 3.3% 16.6%4.1% 帖子 # / 主张 757 1,029 587 686 用户 #61,7374 6,5475 18,2459 5,52980(b) 立场分类数据集0PHEME 支持 否认 问题 评论0推文 # 891 335 353 2,855 比例 20.09% 7.56% 7.96%64.39% 用户 # 732 295 318 2,0360FNC 同意 不同意 讨论 无关0文章 # 5,581 1,537 13,373 54,894 比例 7.40% 2.03%17.74% 72.81% 句子 # 62,593 18,090 146,872582,2060表2:谣言检测结果0方法 N F T U0LIU+和PHEME数据集0LIU+和FNC数据集0提供推文级别的立场注释。我们遵循之前的研究[30,48]的常见做法,使用该数据集将原始标签转换为基于一组规则的SDQC集。在这个任务中,我们还使用了基于2017年虚假新闻挑战(FNC,www.fakenewschallenge.org)发布的新闻文章的附加数据集,该挑战旨在将新闻文章正文中的文本与标题中的内容进行分类。有四个类别,必须对立场进行分类:同意,不同意,讨论和无关。我们在表1(b)中总结了这两个立场数据集的统计数据。由于类别的不平衡,仅基于准确性进行评估可能无法捕捉到超过多数类别的竞争性性能[48]。因此,我们对两个任务都使用了微平均和宏平均的F1分数作为评估指标。我们保留每个数据集中10%的实例进行模型调整,对于其余的实例,我们在所有实验中执行5折交叉验证。0跟踪:新闻学,错误信息,事实核查 跟踪WWW 2018年4月23日至27日,法国里昂6http://www.cs.waikato.ac.nz/ml/weka/7https://www.csie.ntu.edu.tw/~cjlin/libsvm/8http://deeplearning.net/software/theano/CNN [7]0.6420.3240.3010.080.1780.739BiGRU [3]0.6050.3730.2990.1580.2860.751MT-single0.5830.3440.2120.1540.2720.737MT-US0.6350.4000.3550.1160.3370.776MT-ES0.6220.4300.3140.1580.5310.73959106.2 谣言检测0表2比较了以下系统的谣言检测结果:DTR:一种基于决策树的排名方法,用于识别流行谣言[47],通过搜索询问短语。DTC和SVM-RBF:使用决策树分类器[6]和基于RBF核的SVM模型[45]的Twitter信息可信度模型,都使用基于帖子整体统计的各种手工特征。RFC:使用三个参数来适应时间属性和一组关于用户、语言和结构特征的手工特征的随机森林分类器[23]。SVM-TS:使用时间序列来模拟一组手工特征的变化的线性SVM分类模型[33]。MT-US:我们的多任务模型,采用统一共享层架构。MT-ES:我们的多任务模型,采用增强共享层架构。MT-single:我们的MT-US模型,去除立场分类组件。这将转化为基于RNN的现有单任务谣言检测模型,该模型在[32]中提出。我们使用Weka 6实现DTC和RFC,使用LibSVM7实现基于SVM的模型,使用Theano8实现基于神经网络的模型。我们强调,上述一些基线模型已经利用立场作为谣言检测的特征:DTR依赖于质疑或否认立场来揭穿谣言;其他模型如RFC和SVM-TS则针对个体意见制定了一些特征。因此,它们与我们在这里提出的方法进行合理比较。使用多任务学习的好处在于在大多数类别上提高了宏F1和F1分数。此外,我们有以下观察结果:乍一看,我们的方法似乎没有优势,因为微F1分数较低,比许多基线模型低。但是当我们查看特定类别时,发现在微F1上表现更好的基线模型(如DTC、SVM-TS、RFC)只在大多数类别(即非谣言)上表现更好,但在所有少数类别上表现更差。这也是为什么我们的方法在宏F1性能上明显优于所有基线模型的原因。这验证了所提出的方法在整体上具有优势,特别是对于更难分类的三种少数谣言类型,并且可以更好地处理谣言检测中不平衡的类别普遍性。SVM-TS和RFC似乎比其他基于特征的基线模型更好,因为它们都利用了一组广泛的特征,特别关注时间特征。但它们比所有基于RNN的模型都要差得多,后者可以通过捕捉隐藏的非线性相关性来学习对响应性推文的高级表示。这表明了在基线模型中通常利用的表面信号或浅层模式之外,复杂信号对于指示谣言的有效性。MT-US优于所有基线模型,包括已将立场信息作为特征的模型。这是因为所提出的多任务框架不仅可以通过神经模型有效地学习谣言检测任务本身的表示,0表3:与基线的立场检测比较0(a)PHEME数据集(S:支持;D:否认;Q:问题;C:评论)0方法 S D Q C0大多数投票 0.641 0.195 0.000 0.000 0.000 0.781 NB [38] 0.2770.244 0.395 0.038 0.182 0.362 DT [18] 0.552 0.374 0.421 0.1120.27
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Hadoop生态系统与MapReduce详解
- MDS系列三相整流桥模块技术规格与特性
- MFC编程:指针与句柄获取全面解析
- LM06:多模4G高速数据模块,支持GSM至TD-LTE
- 使用Gradle与Nexus构建私有仓库
- JAVA编程规范指南:命名规则与文件样式
- EMC VNX5500 存储系统日常维护指南
- 大数据驱动的互联网用户体验深度管理策略
- 改进型Booth算法:32位浮点阵列乘法器的高速设计与算法比较
- H3CNE网络认证重点知识整理
- Linux环境下MongoDB的详细安装教程
- 压缩文法的等价变换与多余规则删除
- BRMS入门指南:JBOSS安装与基础操作详解
- Win7环境下Android开发环境配置全攻略
- SHT10 C语言程序与LCD1602显示实例及精度校准
- 反垃圾邮件技术:现状与前景
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)