BiCHAT：基于深度学习的仇恨言论检测方法

制作和主办：Elsevier沙特国王大学学报BiCHAT：BiLSTM与深度CNN和分层注意力用于仇恨言论检测Shakir Khana，1，Mohd Fazilb，2，Vineet Kumar Sejwalc，3，Mohammed Ali Alsharaa，4，Reemiah Muneer Alotaibia，5，Ashraf Kamald，6，Abdul Rauf Baiga，7沙特阿拉伯利雅得伊玛目穆罕默德伊本沙特伊斯兰大学计算机和信息科学学院b爱尔兰利默里克大学变革学习中心c印度新德里教育局dACL Digital，Bengalu，印度阿提奇莱因福奥文章历史记录：接收日期：2022年2022年4月18日修订2022年5月10日接受2022年5月21日在线提供保留字：仇恨语音检测深度学习社交网络安全Twitter数据分析BiCHATA B S T R A C T在线社交网络（OSNs）面临着仇恨言论的挑战性问题，这应该是适度的OSNs的增长。机器学习方法在现有的仇恨言论检测方法中占主导地位。在这项研究中，我们介绍了BiCHAT：一种新型的BiLSTM，具有深度CNN和基于层次注意力的深度学习模型，用于针对仇恨言论检测的推文表示学习。该模型将推文作为输入，并通过BERT层，然后是注意力感知的深度卷积层。卷积编码表示进一步通过注意力感知双向LSTM网络。最后，模型通过softmax层将推文标记为仇恨或正常。所提出的模型在从Twitter提取的三个基准数据集上进行训练和评估，并且优于最先进的（SOTA）（Khan等人，2022;罗伊例如，2020; Ding等人，2019）和基线方法，在精确度、召回率和f分数方面分别提高了8%、7%和8%BiCHAT在训练和验证准确性方面也表现出良好的性能，分别提高了5%和9%。我们还研究了不同构成神经网络组件对模型的影响。在分析中，我们观察到深度卷积层的排除对所提出的模型的性能影响最大。我们还研究了不同嵌入技术、激活函数、批量大小和优化算法对BiCHAT模型性能©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。*通讯作者。电子邮件地址：Sgkhan@imamu.edu.sa（S. Khan），mamalsharaa@imamu.edu.sa（M.A. Alshara），RMALotaibi@imamu.edu.sa（R.M. Alotaibi），abbaig@imamu.edu.sa（A.R. Baig）。1Shakir Khan目前是利雅得（沙特阿拉伯）伊玛目穆罕默德·伊本·沙特伊斯兰大学计算机和信息科学学院副教授。2目前，Mohd Fazil在爱尔兰利默里克大学转型学习中心担任博士后研究员。3目前，Vineet Kumar Sejwal在印度新德里NCT德里政府担任研究生教师。4目前，Mohammed Ali Alshara在利雅得（沙特阿拉伯）伊玛目穆罕默德·伊本·沙特伊斯兰大学计算机和信息科学学院担任助理教授兼质量副院长。5目前，Reemiah Muneer Alotaibi在利雅得（沙特阿拉伯）伊玛目穆罕默德·伊本·沙特伊斯兰大学计算机和信息科学学院担任助理教授。6目前，Ashraf Kamal在印度班加罗尔的ACL Digital担任数据科学家7 Abdulrauf Baig目前在利雅得（沙特阿拉伯）伊玛目穆罕默德·伊本·沙特伊斯兰大学计算机和信息科学学院担任教授。沙特国王大学负责同行审查。https://doi.org/10.1016/j.jksuci.2022.05.0061319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comS. 汗，M。Fazil，Vineet Kumar Sejwal等.沙特国王大学学报43361. 介绍Twitter、Facebook、Instagram和其他OSN是现代通信媒体。这些OSN是用户日常生活的一部分，他们在这些平台上花费大量时间讨论当前趋势并讨论不同的话题。世界人口中有相当多的人（超过一半）使用其中一种OSN。大型OSN用户的活动会产生大量数据，通过分析这些数据可以发现隐藏的知识并深入了解用户的行为。在现有文献中，研究人员已经调查并建模了用户生成的内容以解决情感分析的问题（Jain等人，2021）、事件求和、讽刺检测（Abulaish等人，2018; Kamal和Abulaish，2019），关键字提取（Abulaish等人，2020;Abulaish等人，OSN上的用户话语不仅限于个人新闻，还分享有关国家和国际政治，时事和金融更新的观点。Web有数百个OSN，但很少有在用户中非常受欢迎的，并 且拥有庞大的用户群，如Face-book，Twitter ，Instagram，WhatsApp和Reddit。这些OSN拥有数亿用户，大多数互联网用户都使用它们。庞大的用户群、易于使用的功能和匿名性吸引了反社会元素和对手来执行恶意活动，例如虚假配置文件创建、拖钓、滥用和谣言传播。与此同时，研究人员正在通过提出社交机器人检测的新方法来解决这些与OSN相关的安全挑战（Fazil和Abulaish，2018; Fazil等人， 2021; Davis 等人 ， 2016 ） 、谣 言预 测（ Abulaish 等人 ，2019）、点击诱饵检测（Potthast等人， 2016），股票市场预测（Akhtar等人， 2022年）。在与OSN相关的安全挑战中，攻击性语言的问题是显著普遍和威胁的。根据目标群体和意图，攻击性语言可以是仇恨言论，网络欺凌，成人内容，拖钓，虐待，种族主义或亵渎。仇恨言论是一种威胁性的攻击性语言，目标群体/个人被恐吓 ， 意 图 造 成 伤 害 、 暴 力 或 社 会 混 乱 （ Husain 和 Uzuner ，2021）。不同类型的冒犯性语言之间有着微妙的区别现有文献对仇恨言论的普遍接受的定义没有共识。有些人将其定义为暴力宣传内容，有些人将其定义为攻击性内容。OSN上的仇恨言论是针对特定群体的攻击性帖子，基于某些识别特征，如宗教，性取向，性别和种族。现有的研究表明，仇恨言论问题呈上升趋势，特别是随着右翼极端主义的兴起。8在大流行期间，网上仇恨言论和贬损内容的发生率急剧上升。有时，社交媒体上的仇恨言论会在现实生活中引发骚乱和社会动荡。[9]用Davidson等人（2017年）的话来说，仇恨言论表达了就Twitter而言，“基于种族、民族、国籍、性取向、性别、宗教信仰、年龄、残疾或严重疾病，促进暴力侵害或直接攻击或威胁他人”的推文是仇恨的自2019冠状病毒病从武汉爆发以来，中国人在网络媒体空间面临着咄咄逼人的仇恨传播。与此同时，政府和OSN服务提供商正在制定政策来缓解这种威胁，但没有可用和有效的解决方案。8https://www.justice.gov/hatecrimes/hate-crime-statistics。9https://www.dw.com/en/capitol-hill-riots-prompt-germany-to-revisit-online-hate-speech-law/a-56171516。1.1. 我们的贡献现有文献有几种用于仇恨言论检测的深度学习模型在这个方向上，研究人员已经提出了使用不同神经网络组件（如LSTM ，CNN）的深度学习模型（Vigna等人，2017; Badjatiya等人，2017;Park和Fung，2017; Zhang等人， 2018年）。现有的深度模型通常使用一个神经网络组件，以及一些用户定义的特征作为额外的特征。不同的深度学习组件对不同类型的数据集都有效。例如，递归神经网络对序列数据集很有帮助，而CNN对以网格格式组织的数据集很有用在相同的研究方向上，Roy等人（2020）引入了一个使用深度CNN进行仇恨言论分类的深度学习框架，并在Twitter数据集上进行了评估，准确率为92%。 现有文献研究了BiLSTM和CNN与注意力机制的集成以及用于仇恨言论检测的上下文嵌入。 为此，本研究引入了一种深度神经网络模型BiCHAT，这是一种采用深度CNN，BiLSTM和分层注意力机制进行仇恨语音检测的BERT。所提出的模型首先应用CNN层的堆栈来提取更复杂的空间和位置不变特征（Roy等人，2020年）。深层CNN层识别推文间和推文内依赖性。我们使用最先进的基于迁移的语言模型，BERT，提取上下文单词表示。此外，我们将BiLSTM与深度CNN集成，以纳入语义相似单词之间的长程依赖关系。BiCHAT还对来自深度CNN的编码表示应用高级注意力，并对BiLSTM输出应用低级注意力机制。我们使用两级注意力机制为深度CNN和BiLSTM的特征分配可变权重。注意力系数表示编码特征的辨别能力。在BiCHAT中使用的高级别和低级别的注意力类似于一个层次结构，因此，被称为层次注意力。因此，所提出的模型集成了上下文单词表示、深度CNN、BiLSTM和分层注意力的强度。本研究的主要贡献如下：引入一种新的深度模型BiCHAT，它集成了上下文单词表示、深度CNN、BiLSTM和语义注意力的强度，以学习有效的内容表示，从而有效地检测仇恨内容。对BiCHAT在三个Twitter数据集上与几种SOTA和基线方法进行详细的比较性能评估，以确定其有效性。执行消融分析，以分析所提出的BiCHAT模型中使用的不同构成神经网络组件的影响。分析了各种神经网络参数对BiCHAT模型的影响剩余纸张的流程如下。它首先回顾了现有的文献仇恨言论检测。此外，第3节介绍了拟议的模型，并详细描述了其每个组件。第四节讨论了实验设置和所提出的模型的基本性能评价结果。本节还对BiCHAT与三个SOTA和五个基线模型进行了比较评估。本节还研究了各种神经网络组件的影响。第5节研究了神经网络超参数对所提出的BiCHAT模型的有效性。最后，第6节总结了本文，并提出了未来的研究方向。●●●●S. 汗，M。Fazil，Vineet Kumar Sejwal等.沙特国王大学学报4337-2. 相关作品现有的文献有不同的方法来研究OSN上仇恨言论的不同方面仇恨言论检测方法基于：（i）文本内容的统计分析(ii)模式挖掘，以及（iii）机器学习。此外，基于机器学习的方法可以分为两类：（i）基于特征工程的经典机器学习方法和（ii）当前基于深度学习的方法。在经典的基于特征工程的方法中，研究者首先基于文本内容、用户简档、基于模板的模式和用户推文网络来设计特征。此外，他们训练和评 估 机 器 学 习 分 类 模 型 ， 如 朴 素 贝 叶 斯 ， 决 策 树 ， 随 机 森 林，XGBoost。Warner和Hirschberg（2012）的作者设计了模板，单词语法，基于语音的特征的部分，以采用线性核函数来训练SVM轻分类模型。作者在两个数据集上评估了该方法，发现二元组和三元组模式降低了模型性能。Kwok和Wang（2013）还使用基于unigram的特征对文本进行编码。作者进一步训练了一个朴素贝叶斯分类模型来对种族主义内容进行分类。他们还使用二元组、三元组和情感相关的特征来训练机器学习模型，并报告了改进的分类性能。Burnap和Williams（2015）使用各种n-gram（1-Waseem and Hovy（2016）注释了16k tweet的集合，以构建仇恨和真实tweet的基准数据集并发表。作者使用14-gram特征训练了逻辑回归分类器他们通过添加性别和位置功能进行了实验 在Davidson et al. （2017），作者讨论了不同类别的冒犯性语言之间的微妙差异。他们进一步设计了unigram，bigram，基于POStag的n-gram，情感得分和其他语言特征，并使用基于逻辑回归的分类模型评估了所提出的方法用于仇恨语音检测。在另一种多类分类方法中，Malmasi和Zampieri（2017）的作者采用基于字符和单词n-gram的特征训练支持向量机，并对仇恨，攻击和中性文本进行分类。作者得出结论，基于字符4克的模型表现最好。经典的机器学习模型并不像传统的机器学习模型那样鲁棒通过按照所设计的特征操纵行为，Saries规避了手动设计的特征最近，深度学习技术已经在各种应用中取代了经典的机器学习模型（Haq等人，2021; Qaisar等人，2021年）。研究人员提出了不同的深度学习架构，用于自动仇恨言论检测（Djuric等人，2015;Vigna 等人， 2017; Badjatiya 等人， 2017; Park 和Fung ， 2017;Zhang等人， 2018年）。Djuric等人（2015）使用paragraph2vec（Le和Mikolov，2014）语言模型进行评论表征学习，并使用逻辑回归对仇恨评论进行进一步分类。 Badjatiya等人（2017）使用不同的词嵌入技术（GloVe，word2vec和fastText）表示内容，并使用CNN，LSTM和DNN对仇恨言论检测进行建模。Vigna et al.（2017）抓取了意大利Facebook数据，提取了基于形态句法、情感极性和词嵌入的特征，并通过SVM和LSTM分类模型进行了训练，以对仇恨言论进行分类他们还介绍了一个不同的仇恨类别分类考虑到仇恨的主题。在Park和Fung（2017）中，作者提出了一种基于卷积神经网络的深度学习模型，并使用逻辑回归来对滥用内容进行分类。作者得出结论，具有逻辑回归的卷积网络优于SOTA和基线模型。在Zhang et al.（2018）中，Zhang et al.使用CNN和基于GRU的深度神经网络模型对仇恨言论进行分类，考虑到f分数，其最佳性能为0： 94。Roy等人（2020）提出了一种基于CNN的深度框架，并报告了Twitter数据集上92%的最佳性能准确度。最近，研究人员还研究了印度式英语等代码混合语言中的仇恨内容问题。Kamble和Joshi（2018）评估了基于基本深度学习架构的模型（CNN，LSTM和BiLSTM）对采用特定领域单词嵌入的代码混合仇恨内容分类的有效性。通过调查，作者得出结论，特定领域的嵌入是有效的，并且优于预先训练的嵌入。现有文献缺乏区域语言的基准数据集，从而阻碍了低资源语言的仇恨言论检测研究。研究人员在建模低资源语言方面取得了一定的进展，它仍处于初期阶段。在Pamungkas et al.（2021）中，Pamungkas et al.引入了一种基于零镜头学习的模型来检测跨语言内容中的仇恨。研究人员还从仇恨言论的不同方面探索仇恨言论问题，包括对仇恨接收端的社会群体的分析（Mossie和Wang，2020），对不同数据集和仇恨类别的仇恨言论检测模型的泛化分析（Alfrea等人， 2021年）。3. 深度学习模型在本节中，我们将描述所提出的BiCHAT模型的每一层它首先描述了用于评估所提出的模型的数据集，包括数据抓取和预处理过程。3.1. 数据收集和预处理本研究使用三个公开的基准Twitter数据集来评估所提出的模型。Founta等人（2018）提供了第一个数据集，而我们从Kaggle收到了第二个数据集。我们收到了Davidson等人的第三个数据集。（2017年）。我们以原始格式接收三个数据集，然后应用预处理步骤来过滤噪声和不相关的内容。所有重复的tweet都被首先过滤掉，因为它们没有向模型提供任何信息在预处理步骤中，首先过滤各种特定于Twitter的噪声和符号，例如转发（RT）、提及（@）、主题标签（#）和URL我们还从推文中过滤用户名此外，过滤字母数字符号，如&、点、逗号、非ASCII字符和停止字，以避免噪声内容。最后，将预处理后的推文转换为小写以避免歧义。3.2. BiCHAT模型图 1给出了BiCHAT模型的示意图。它包括BERT层，注意力感知深度卷积网络和具有注意力机制的双向LSTM。密集层和输出层是所提出的BiCHAT模型的最后两层。下面的小节描述了这些层中的每一层。3.2.1. BERT层BidirectionalEncoderRepresentationsfromTransformers（BERT）是一种基于变换器的多层双向语言模型。它是一个预先训练的语言模型，使用transformer的双向训练进行语言建模。在这S. 汗，M。Fazil，Vineet Kumar Sejwal等.沙特国王大学学报4338fXex p.f0vFig. 1. 用于仇恨语音检测的拟议BiCHAT论文中，我们使用BERT基础（Devlin等人，2019）模型，该模型具有12 个自我注意头，以将推文转换为矢量表示格式。BERT 在BookCorpus上进行预训练（Zhu等人，2015）和英语维基百科使用了一个掩码语言建模目标。我们使用BERT的768维词向量表示。BERT模型的输入是一个最大序列长度为50的tweet语料库来自BERT层的编码表示被传递到深度卷积层。3.2.2. 深度卷积层在现有的文献中，研究人员已经使用不同的建模技术（Le和Mikolov，2014）使用内容来寻找仇恨言论信号。拟议模型处理输入tweets，使用基于BERT的上下文嵌入进行编码，使用f n传递到前馈神经网络，以使用等式（1）学习f 0n（编码表示）。 二、此外，在f0n和高级上下文张量vh之间应用点积来com。把相似性。最后，计算f的注意力分数af使用如等式中给出的softmax函数，3.第三章。顶点张量v h为随机初始化并在训练过程中联合学习（Yang等人，2016年）。最后，使用Eq. 4的特征向量f n是hid的加权和，den表示。f0ntanhwfnb2a¼exp.f0nvh3n H深度卷积神经网络（CNN）提取有用的局部函数空间特征。CNN是一类特殊的神经网络，处理网格数据集，如表示为矩阵的图像和文本（Yin等人，2017年）。该方法在提取局部特征和位置不变特征方面有一定的应用价值.最初，CNN用于处理图像，但现在它被积极用于与文本相关的问题。在CNN中，分别执行卷积和池化两个操作 对输入数据的卷积运算通过应用滤波器来提取高级特征图的不同大小，并进一步池化操作的特征地图，以提取重要的功能。在深度卷积网络中，较高层通过在较低层上应用卷积运算来捕获丰富且复杂的特征（Roy等人，2020年）。该研究应用了1D卷积运算，因为单词表示是一个行向量。我们使用由6层组成的深度CNN来提取更有效和复杂的特征。六个卷积层中的每一个都使用256个大小为3的滤波器来提取空间和位置不变的特征。我们还在第三和第六个CNN层之后执行池大小为3的最大池化操作。在CNN层中，所有256个过滤器从上到下对输入文本执行卷积运算，并提取特征序列为fn=[f1;f2，. . 、f256]。由词窗生成的第n个特征序列fnFn¼X。affnF3.2.4. BiLSTM层来自高级注意力层的输出被传递到BiLSTM层，以学习长期上下文依赖关系。BiLSTM是一种递归神经网络，是对LSTM网络的改进。它包含存储块来处理时序行为建模的序列信息（Hochreiter和Schmidhuber，1997）。BiLSTM不存在梯度消失问题。它包含记忆细胞来决定记住什么和忘记什么，这种功能使它能够学习长距离的上下文信息。一个LSTM单元由输入门it、遗忘门ft、输出门ot以及存储单元状态CT。在时间戳t;it，con.控制单元中的信息流，并使用Eq.将其状态更新为新值。5，而遗忘门决定在时间t要擦除的信息量，使用等式 六、 的EQ。 7计算候选单元值C~t。类似地，当前单元格状态值C、输出O 从输出门和最终输出h LSTM cell的x t在Eq中给出。1 .一、最后，模型将过滤器连接起来-t t t放置以生成结果特征表示，该结果特征表示被注入到高级注意力层中，以根据输入文本中的重要性为不同特征分配可变权重。fn<$fwt·xtb13.2.3.高层注意层该模型将编码表示从深层CNN层传递到高级注意力层，以分配基于重要性的比例分数。隐藏的代表，时间t是使用方程计算的。(8)（10）分别。在这些等式中，Ft表示从高级注意力获得的时间戳t处的BiLSTM的输入，而W;b;r和tanh分别表示权重向量、偏置向量、sigma函数和双曲正切函数。此外，执行逐元素乘法。itrWi·½ht-1;Ft]bi5ft¼r.Wf·½ht-1;Ft]bf6C~t¼tanhWC·½ht-1;Ft]bC7伯特层深度CNN层Bi-CHAT模型高级BiLSTM注意层低级注意层ha1la1ATTH1attl1哈2la2ATTH2attl2哈3la3ATTH3attl3密集层和输出层哈4第四章ATTH4attl4HSNHS哈塔拉特阿特attlt原始数据集预处理数据集删除主题标签、URL等。REST APIht-1ht-1hththt+1ht+1BERT令牌化器和模型数据集数据抓取和预处理S. 汗，M。Fazil，Vineet Kumar Sejwal等.沙特国王大学学报4339不nLnLCt¼FtCt-1itC~t8otrWo·½ht-1;Ft]bo9ht¼ottanh Ct10我们使用BiLSTM而不是LSTM来捕获两个方向的上下文信息BiLSTM有一对LSTM，其中前向LSTM从左到右执行序列以捕获未来/即将到来的上下文，后向LSTM从右到左执行序列信息以捕获历史上下文。 这个过程产生了两个隐藏的表示！如在Eqs中给出的ht和h←。分别为11和12。此外，BiLSTM将来自两个LSTM网络的信息结合起来，以计算最终的表示，如等式2所示。13岁所提出的模型使用单个BiLSTM层来检索向后（即，F1到F256）和前向特征序列（即，F256到F1）。BiLSTM的编码表示包含了来自两个方向的仇恨相关上下文。所提出的模型将此编码信息传递到注意层以进行可变权重分配。←hi¼L-S-T！MFn11！hi¼LS←TMFn12h n¼←hi;！hi133.2.5.低层次关注密集层来自BiLSTM层的输出向量hn被给予注意力层以向每个特征分量分配权重。低水平的注意力是使用方程。 14和15，其中h0n表示-发送BiLSTM层输出hn的编码表示如下：从前馈神经网络传递，vl表示低级上下文向量，并且ac表示低级属性。得分。低级注意力机制生成输出向量Fn，其以0.3的dropout通过密集层。最后，密集层输出通过一个sig-moid非激活函数，将输入的tweet分类为仇恨和h0ntanhwhnb14exp.h0Tvac¼Xex p.h0TvB标签由于隐私问题，此数据集仅发布tweet-id从标记的数据集中，我们选择了给定的3635个仇恨和52835个正常标记的tweet-id，并使用开发的爬虫程序来抓取底层爬虫只抓取了2615条仇恨和35900条正常的推文，因为其余的最后，选择15%的正常tweet最终的HD1数据集，有2615和5385仇恨和正常tweets，分别。第二个数据集HD2是由Kaggle竞争数据集构建的，该数据集预处理过滤少于5个单词的推文结果，我们有1421个讨厌的内容和19150个正常的内容。最后，我们从正常类别中随机选择50%第 三 个 数 据 集 由 Davidson 等 人 提 供 。 （ 2017 ） ， 他 使 用CrowdFlower工作人员将24802条推文的样本注释为三类-仇恨言论，攻击性言论和两者都不是。注释数据集包含1430条仇恨言论，19190条攻击性推文和4163条正常推文。最后，我们选择仇恨言论和正常推文来构建第三个数据集HD3。表1显示了HD1、HD2和HD3的简要统计数据我们可以从表中观察到，HD1和HD3相对平衡，而HD2不平衡。4.2. 实验和超参数设置我们使用Python3.7.12在Google Colab上使用Keras 2.7.0。我们使用内置库Twestern抓取推文。我们使用5折交叉验证来评估所提出的模型，其中数据集被分为5个相等的部分。此外，模型使用四个部分进行训练，其余部分评估模型。 整个过程重复五次，以便使用数据的每个实例在训练和验证中。我们使用20个时期通过计算所有时期的评估指标的平均值来训练和验证模型。在实验期间，分别在32和Adam处调整批量大小和优化算法。在所提出的模型中，深度卷积网络具有六层，其中每一层具有256个大小为3的滤波器，在第三层和最后一层CNN层之后跟随最大池化操作3。所提出的模型还使用具有256个分类单元的BiLSTM层具有2个神经元的S形层从密集层获取输出用于分类。该模型使用cate-交叉熵作为损失函数。表2列出了实验评估中使用的所有超参数的值。Fn¼Xachn16C4. 实验装置和结果本节在三个基准数据集上评估所提出的模型，包括其描述、实验参数设置、评估指标和基础结果。我们还将该模型与现有的几种SOTA和基线方法进行了比较。4.1. 数据集我们在三个Twitter相关的基准数据集上评估了BiCHAT模型。第一个数据集HD1由Founta等人（2018）提供，他们使用CrowdFlower平台将总共80 k条推文注释为辱骂，仇恨，垃圾邮件或正常4.3. 业绩评价指标机器学习模型的性能通常使用精确度（Pr）、召回率（Rc）、f分数（Fs）和准确度（AC）来评估。在这项研究中，我们还使用这四个评估指标来评估BiCHAT模型的有效性。在本文的上下文中，精确度是指正确分类的仇恨推文占总仇恨分类推文的百分比，如等式10所示。 十七岁对表1数据集的统计。数据集#仇恨推特#正常鸣叫总HD1（相对平衡）261553858000HD2（不平衡）14211057912000HD3（不平衡）14304162559215ÞS. 汗，M。Fazil，Vineet Kumar Sejwal等.沙特国王大学学报4340¼¼¼表2BiCHAT模型中使用的超参数。超参数值的嵌入维数768最大序列长度50CNN过滤器大小3#CNN过滤器256BiLSTM 256中的神经元数量优化算法Adam辍学率0：3批量16另一方面，召回率表示正确分类的仇恨推文占全部标记的仇恨推文的百分比。其数学公式定义在Eq.十八岁F-score是精确度和召回率的调和平均值，如使用等式十九岁最后，准确度表示正确分类的推文在所有标记的推文中的百分比，如等式中所定义。20岁。我们使用ACT和ACV4.4.1. 与最新技术和基线方法的我们还评估了所提出的模型，现有的三个SOTA和六个基线方法的仇恨言论检测。在检查比较结果之前，我们可以在以下段落中找到SOTA和基线模型的简要描述。HCovBi-Caps（Khan等人，2022年）：在本文中，作者提出了一种基于BiGRU、CNN和胶囊网络的深度学习方法来检测仇恨言论，并在平衡和非平衡数据集上进行了评估。Ding等人（2019）：作者将BiGRU的堆栈与胶囊网络集成在一起，击败了SOTA结果，用于日期语音检测。Roy等人（2020）：在这篇论文中，作者使用了一种深度卷积神经网络来检测仇恨言论。ANN：我们还比较了BiCHAT与一个简单的人工前馈神经网络有两个隐藏层.两个隐藏层中的每一个都有128个神经元。最后，sigmoid函数将tweet分类为hate和normal类。CNN：我们还使用一个简单的卷积神经网络作为基线方法，与所提出的模型进行比较的PrTrue PositiveTruePositiveFalsePositiveTruePositiveð17Þ基线CNN有128个过滤器，每个过滤器的大小为3。LSTM：这是与BiCHAT比较的第三个基线，使用128个神经元进行tweet表示学习。● BiLSTM：它是一个递归神经网络，正确的位置和错误的否定学习在先前和后续方向上结合上下文信息。在这个基线BiLSTM中，我们使用128个神经元进行实验评估。Fs2×Pr×RcPr=RcACTruePositiveTrueNegative#tweets4.4. 实验结果ð19Þð20ÞGRU：这是最后一个基线，有128个神经元用于tweet表示学习。表3和表4显示了BiCHAT与SOTA和基线模型的比较性能评估结果。在所有考虑度量的模型中，最好的我们可以从表3中的结果分析中观察到，BiCHAT显示出相对于SOTA和基线方法的显著性能改进然而，性能上的差异在HD3上很低。从表4中可以看出，考虑到本节介绍了所提出的模型在三个基准数据集上的性能评估结果本节还讨论了BiCHAT与三种SOTA和五种基线方法的比较评价表3的第一行显示了BiCHAT在考虑Pr、Rc和Fs的三个数据集上的性能，而考虑训练和验证准确性的结果在表4的第一行中。这些实验结果表明，BiCHAT模型在非平衡数据集上的性能优于我们还可以观察到，BiCHAT在训练和验证数据集上始终显示出比较性能，这在现实生活中非常重要AC T和AC V，BiCHAT在所有三个数据集上也优于SOTA和基线，除了一个HD 1，其中它与比较方法HCovBi-Caps表现相同（Khan等人，2022年，在训练精度方面。结果表明，HCovBi-Caps报告了比较方法中的最佳性能，而其他比较方法显示出显着较差的性能。建议的BiCHAT模型优于最好比较模型HCovBi-Caps在考虑Pr、Rc和Fs的情况下分别比HD 1高8%、7%和8%BiCHAT在ACV方面的表现也优于HCovBi-Caps9%，但同样考虑到ACT。类似地，BiCHAT在HD 2上分别以6%、7%、7%、5%、7%击败HCovBi-Caps，其中考虑到Pr、Rc和Fs、ACT和ACV类似的表3考虑Pr、Rc和Fs的HD1和HD2上的BiCHAT的实验结果数据集！HD1（平衡）HD2（不平衡）HD3（平衡）方法#PrRcFsPrRcFsPrRcFsBiCHAT0.88 0.80 0.84 0.96 0.87 0.91 0.74 0.75 0.75HCovBi-Caps（Khan等人， 2022年）0.800.730.760.900.800.840.710.730.72Roy等人（2020年）0.600.400.480.610.580.590.640.680.66Ding等人（2019年）0.640.600.610.650.610.620.560.600.58电话：+86-510 - 8888888传真：+86-510 - 8888888美国有线电视新闻网0.55 0.32 0.40 0.65 0.35 0.45 0.50 0.40 0.45LSTM0.37 0.34 0.35 0.72 0.45 0.55 0.62 0.71 0.66BiLSTM0.64 0.38 0.47 0.83 0.67 0.74 0.60 0.72 0.66GRU 0.41 0.44 0.75 0.53 0.62 0.50 0.58 0.55●●●●●●●S. 汗，M。Fazil，Vineet Kumar Sejwal等.沙特国王大学学报表44341数据集上ACT和ACV方面的实验结果。数据集！HD 1（平衡）HD 2（不平衡）HD 3（平衡）方法#ACTAC V AC T AC VAC TACVBiCHAT0.87 0.89 0.98 0.97 0.76 0.73HCovBi-Caps（Khan等人， 2022年）0.870.800.930.900.740.70Roy等人（2020年）0.730.670.870.870.700.69Ding等人（2019）0.670.650.880.880.630.65人工神经网络0.67 0.65 0.90 0.88 0.68 0.68美国有线电视新闻网0.67 0.66 0.89 0.86 0.58 0.52LSTM0.66 0.65 0.91 0.87 0.65 0.66BiLSTM0.80 0.70 0.92 0.89 0.66 0.65GRU 0.64 0.90 0.86 0.63 0.66表5考虑三个数据集的ACT和ACV的数据集！HD 1（平衡）HD 2（不平衡）HD 3（平衡）方法# ACTAC V AC T AC VAC TACVBiCHAT0.83 0.89 0.98 0.97 0.76 0.73BiCHAT（无深度CNN）0.80 0.78 0.91 0.90 0.73 0.71BiCHAT（无BiLSTM）0.81 0.83 0.93 0.93 0.71 0.67BiCHAT（无注意）0.83 0.84 0.93 0.96 0.74 0.76从两个表来看，结果的改善超过HD3。对基线方法的结果分析表明，BiLSTM表现出最佳性能，而ANN和LSTM在HD1和HD2上表现不佳。然而，在HD3上，ANN和CNN表现不佳。基线方法中的另一个观察结果是，BiLSTM在三个数据集上的表现始终优于其他数据集。这是由于双向RNN模型在从两个方向检索有效的序列特征方面的潜力。基线方法的结果证明了在所提出的模型中使用BiLSTM的合理性。所提出的模型的改进性能表明，应用的深层CNN层提取有效的复杂的空间和位置不变的特征，在仇恨语音内容分类有用。下一节将评估每个深度学习组件的相对重要性。4.4.2. 消融分析提出的深度学习模型集成了三个神经网络组件-本节通过排除神经网络组件来执行消融分析，以分析三个神经网络组件中的每一个对所提出的模型的影响。在消除分析中，我们通过将特定深度学习组件从BiCHAT中排除来检查其有效性，并分析评估结果的变化例如，为了评估CNN组件的效果，排除了由六层组成的深度CNN，从而产生了一个更新的模型，该模型具有BERT层，然后是高级注意力层、BiLSTM层和低级注意力层。表5的第二行显示了更新模型的评估结果。我们遵循相同的过程，通过移除BiLSTM和注意力组件来构建另外两个深度学习模型。BiLSTM层的移除构建了一个深度学习模型，该模型具有BERT层，随后是六个CNN层和一个注意力层。类似地，排除高级和低级注意力层创建了一个模型，该模型具有BERT层，后面是六个CNN层和BiLSTM层。表5列出了在三个数据集上构建的深度学习模型的评估结果。我们可以从表中观察到，排除六个CNN层对HD1和HD2的模型性能影响最大。然而，排除BiLSTM对HD3的影响最大此外，去除注意力机制对所有数据集的影响最小，甚至提高了HD3的验证准确性根据消融术分析结果，我们得出结论，每个神经网络组件是至关重要的，在建议的集成BiCHAT模型。5. 超参数的影响分析深度学习模型具有各种超参数-批量大小，嵌入方法，激活函数，优化算法，这些都会影响模型的性能。在这一节中，我们给出了实验分析的评估结果，以观察嵌入方法，激活函数，批量大小和优化算法对三个数据集上BiCHAT模型性能的影响。考虑ACT和ACV进行该评估。5.1. 嵌入方法在深度学习模型中，单词/短语/文档被表示为密集向量，称为嵌入，其采用不同的语言模型，如BERT（Devlin等人，2019），GloVe（Pennington等人，2014年，word2vec Mikolov等人，2013年）。单词的嵌入或分布表示是一个密集的向量，包含单词的上下文语义。在嵌入向量中，每个值表示基于上下文中的词共现在这项研究中，我们使用BERT对输入文本的每个单词进行编码，并进一步评估BiCHAT在GloVe和word2vec上的性能。表6给出了使用三种语言模型-通过分析，我们得出结论：在所有三个数据集上，BERT在同时考虑ACT和ACV的三种表示方法中表现出最好的性能，除了HD3上的ACT我们还可以观察到BERT表现出最好的性能，而word2vec表现最差。使用BERT嵌入的最佳性能证明了BERT的上下文合并表示的有效性和优于上下文无关