基于Transformer的深度学习模型用于社交媒体情感分析的研究最新进展

0Array 14 (2022) 1001570/creativecommons.org/licenses/by/4.0/)。0ScienceDirect提供的内容列表0数组0期刊主页:www.elsevier.com/locate/array0基于Transformer的深度学习模型用于社交媒体数据的情感分析0Sayyida Tabinda Kokab�，Sohail Asghar，Shehneela Naz0巴基斯坦伊斯兰堡科马茨大学计算机科学系0文章信息0关键词:情感分析社交媒体 深度学习BERT CNN LSTM0摘要0情感分析（SA）是一种广泛使用的上下文挖掘技术，用于从基于文本的数据中提取有用的主观信息。它应用于自然语言处理（NLP）、文本分析、生物识别和计算语言学，以识别、分析和提取数据中的响应、状态或情绪。特征分析技术在SA模型的开发和改进中起着重要作用。最近，GloVe和Word2vec嵌入模型已被广泛用于特征提取。然而，它们忽略了文本的情感和上下文信息，并且需要大量的文本数据进行训练和生成精确的向量。这些技术仅为其词汇表中包含的单词生成向量，并忽略了词汇表外的单词（OOV），这可能导致信息丢失。情感分类的另一个挑战是缺乏即时可用的注释数据。有时，评论与其标签之间存在矛盾，可能导致错误分类。本文旨在提出一个通用的SA模型，可以处理嘈杂的数据、OOV词、评论数据的情感和上下文丢失。在这项研究中，提出了一种有效的基于双向编码器表示的变压器（BERT）的卷积双向递归神经网络（CBRNN）模型，用于探索数据的句法和语义信息以及情感和上下文分析。最初，使用零-shot分类来通过计算其极性分数对评论进行标记。之后，采用预训练的BERT模型从数据中获取句子级语义和上下文特征，并生成嵌入。然后将获得的上下文嵌入向量传递给由扩张卷积和双向LSTM组成的神经网络。所提出的模型使用扩张卷积而不是传统卷积来从嵌入数据中提取局部和全局上下文语义特征。双向长短期记忆（Bi-LSTM）用于对句子的整个序列进行建模。CBRNN模型根据准确性、精确度、召回率、F1分数和AUC值在四个不同领域的文本数据集上进行评估。因此，CBRNN可以有效地用于在社交媒体评论上执行SA任务，而不会丢失任何信息。01.介绍0随着数字化和在线技术的出现，通过互联网分享和表达情感、反馈或观点的发展变得令人难以置信[1]。Facebook、Twitter、Instagram、YouTube等社交媒体平台在人们中间变得越来越受欢迎。企业、消费者和政府利用这些平台进行交易、广告产品和服务、讨论重要话题、发起活动并传播意识[2]。社交媒体技术的可访问性和进步为公司开辟了新的途径。他们使用不同的模型来了解人们的反馈和态度[3]。已经使用了几种技术来检查社交媒体材料以供公司0� 通讯作者。电子邮件地址：tabi.syed19@gmail.com（S.T. Kokab），sohail.asg@gmail.com（S. Asghar），shahneela.cs@gmail.com（S.Naz）。0分析，情报，监视不道德活动，以及客户意见的情感分析[4]。情感分析，通常被称为情感挖掘，是自然语言处理的关键组成部分，旨在帮助用户分析和识别主观文本中包含的情感[5]。它被广泛用于分析在线社区（博客、Twitter评论和评论等）中的社交媒体数据，并用于识别文本数据的情感极性[6]。给定项目的情感极性陈述了用户与文本相关的情感，即文本是否代表用户对指定项目的积极、消极或中立态度。消费者可以通过检测广泛的在线产品评论的情感取向来做出适当的购买决策[7]。0https://doi.org/10.1016/j.array.2022.1001572021年10月29日收到；2022年2月7日修订稿收到；2022年4月1日接受20Array 14 (2022) 1001570S.T. Kokab等人0SA是一种特殊类型的文本分类，根据需求，可以被分类为句子级[8]，文档级和词或方面级SA[9]。对于文档级分类，整个文档被视为单个实体，而对于句子级分类，句子也可以被视为一个小型文档[10]。基于方面的SA直接集中在一个方面或单词及其相关的极性[11]。句子级SA是文本挖掘中的一个新兴领域，因为它包含了句子的主观性和客观性。同样，SA的任务主要包括四个步骤：预处理，特征提取，分类和结果解释，在电影评论[12]、选举意见预测[13]、航空公司评论[14]、亚马逊评论[15]等各个领域。在上述所有步骤中，特征提取对于提高分类效率起着重要作用[16]。有两种特征提取方法，即基于词典的方法和基于机器学习或深度学习的方法[17]。在基于机器学习的方法中，模型试图从提供的数据中找到模式，而在基于词典的方法中，提供了正面和负面词汇的列表。这些词汇对每个句子进行计数[18]。情感是由正向和负向词汇的频率决定的。因此，在这些基于词典的方法中[19]，领域依赖性使它们不太适用于没有专门词典的领域。然而，由于缺乏强大的语言资源，这些技术通常具有较低的精度率[3]。0机器学习技术在两个部分上进一步扩展，0例如，监督技术和无监督技术[20]。监督技术要求模型在评估之前经过标记数据的训练。无监督技术则使用未经标记或分类的数据来训练模型，使模型能够在无需监督的情况下运行[21]。用于特征提取的最常用的机器学习技术是词袋（BoW）、N-gram[22,23]。在这些特征提取技术中，特征是使用计数向量化器（CV）[24]或词频-逆文档频率（TF-IDF）[25]来检索的。这些技术使用一种独热词表示方法，其中词汇量取决于文档中显示的单词总数[26]。这使得特征空间具有高维度，也提出了可扩展性挑战[27]。由于TF-IDF是基于词袋模型的，它无法捕捉单词序列、句子的句法和语义细节[28]。然而，选择相关特征和方法对于提取特征表示至关重要。0为了解决上述特征提取的限制0技术，提出了词嵌入模型。词嵌入模型通过从单词表示中提取语义和句法细节来解决问题[29]。词嵌入的广泛使用重新引起了许多研究项目对神经网络的关注[30]。大量研究集中在句子级分类挑战上，作为SA的更广泛问题[31]。Word2vec[32]和Glove[33]是文本转换中最常用的两种词嵌入模型。Word2Vec建立在两种模型（连续词袋（CBoW）和Skip-gram模型）的基础上[34]。CBoW根据其上下文预测单词，而Skip-gram根据中心单词或目标单词预测单词。另一方面，GloVe嵌入方法是一种全局对数双线性回归模型，用于基于单词共现和矩阵分解方法生成向量。0传统的嵌入模型专注于语义和句法特征。0特征，这对SA应用来说是不够的[35]。尽管这些高效的方法有一些必须解决的局限性。Word2vec和GloVe模型需要大量语料库进行训练，并为每个单词生成嵌入[36]。这些嵌入方法仅为单词生成特征向量。0在它们的词汇中找不到并且无法处理词汇外（OOV）的单词[37]。这些模型的另一个局限性是不同句子中的相似单词可能具有相似的向量表示[38]。此外，在这种类型的技术中，相反的情感词如“坏”和“好”可能具有最接近的向量[39]。这可能导致情感和上下文丢失。Twitter是最常用的社交媒体网站之一，每天处理近2亿条推文。由于推文非常简短，人们在发推文时经常出错。有时，很难应对社交媒体中使用的拼写错误和其他不一致之处。此外，缺乏现成的带注释数据，使分类任务具有挑战性。因此，有必要提出一个高效且可扩展的模型，没有任何领域依赖性约束，可以专注于句法和语义特征，并提取情感和上下文特征。0为了解决上述问题，提出了增强的基于BERT的0建议使用CBRNN模型以增强句子级SA的性能。其重要贡献包括：0•  首先，使用零-shot算法对数据进行注释，和0使用BERT模型生成语义和上下文嵌入。0•  使用扩张的CNN模型提取局部和全局情感0使用不同的扩张率从嵌入特征中提取心理特征。0•  使用Bi-LSTM模型以利用学习长期0长文本中单词序列之间的双向依赖关系。0•  为了修改所提出模型的参数，进行网格搜索0CV算法被利用。0•  进行比较分析以检查所提出模型的性能0提出的基于BERT的CBRNN模型。0本文的其余部分安排如下：第2节描述相关工作，第3节包含背景的详细信息，第4节讨论了SA的提出方法，第5节包括实现细节，第6节包含本文的结论和未来方向。02. 文献综述0本节回顾了以前在0文本分类。文献综述可分为两部分。第一部分将讨论词嵌入和最先进的变压器。第二部分将讨论SA的分类模型。02.1. 词嵌入和变压器0特征提取是文本挖掘或SA中的重要阶段0以及用于提取特征的方法显著地影响结果。深度学习模型最近已被采用在SA领域用于学习词嵌入。词嵌入旨在捕捉单词之间的相似性及其语言联系[4]。广泛使用的无监督词嵌入是word2vec[40]和glove嵌入[41,42]。这些方法建立在这样一个假设的基础上，即包含相似上下文的单词具有相同的含义，它们应相应地创建相似的特征或向量[43]。然而，这一假设的根本问题是，某些语义上不相似的单词的获得向量是相似的，这些单词通常在有限的区域中共同出现。通常，这些方法将相反的单词投影到最近的向量中，但实际上它们具有非常相反的含义，例如两个不相似单词“like”和“dislike”的向量。30数组14（2022）1001570S.T. Kokab等人0提出了一种新颖的基于神经词嵌入的方法0由[44]用于跨多个领域的SA。他们解决了现有方法的主要局限性，即在非训练领域中表现不佳。他们的新技术通过实现更高的性能而胜过了旧技术。然而，这些方法需要大量的训练语料库来生成准确的向量。2019年，另一种词嵌入向量由[30]提出。他们称之为改进的词向量（IWV）模型，它是词性标注方法、word2vec/glove模型、基于词典的方法和词本地化算法的组合。这个模型在准确性上有一些改进，并且需要高计算能力，因为训练这个嵌入模型使用了四个GPU。同样，[39]提出了一种word2sent情感嵌入模型。该模型结合了CBoW和senti-wordnet-lexicon模型，用于从其相邻上下文单词中发现每个单词的嵌入。它在隐式捕获情感的同时保留了句法和语义特征。因此，使用CNN分类器进行了四个数据集的句级分类。然而，所有这些方法的主要缺点是在内置词汇表中找到所有单词的意见/情感倾向的成本。此外，可能会因领域的不同而导致情感/意见倾向术语的变化。0传统的嵌入式模型用于情感分析无法0处理OOV单词并可能丢失情感信息。这些技术还有一个缺点，即它们将来自不同句子的相似单词视为相同的上下文。然而，显然来自不同句子的单词会有不同的上下文[45]。在过去的两年中，基于变压器的词嵌入模型已为许多文本分类任务生成了向量。同样，一个在中文维基百科语料库上训练的BERT模型，被用于通过全连接层[45]和BiGRU[46]提高中国股票评论的性能。在[47]中，作者们开发了一种基于BERT嵌入的人格识别技术。他们发现，使用BERT模型从文本中识别人格可能显著提高准确性。[38]中的作者使用不同的嵌入比较了各种深度模型用于药物评论的SA。他们应用了预训练的临床BERT与LSTM的嵌入，并获得了妥协的结果。在突尼斯SA上进行了word2vec和BERT的比较研究，并得出结论，BERT与CNN在准确性方面取得了最高的结果[48]。0总之，先前的研究表明传统词嵌入模型存在一定的缺陷，可以通过基于变压器的方法来解决0嵌入模型存在一定缺陷，可以通过基于变压器的方法来解决。表1呈现了传统嵌入模型和基于变压器的模型之间的差距。02.2. 情感分类0深度学习模型已经在句子级SA中被广泛使用0多年来，深度学习模型在不同领域的句子级SA中得到了广泛应用，以克服传统机器学习模型的限制。CNN和LSTM模型已经与分布式词表示word2vec[34]、GloVe[49]和FasText[33]一起用于社交媒体数据的SA。然而，CNN对于短文本数据很有用，但对于长文本评论可能不太适用[2,50]。另一方面，LSTM能够处理长文本数据。然而，对于具有非常长期依赖的数据可能会有挑战[51]。为了处理句子的非常长期依赖，已经使用了Bi-LSTM[52,53]。0几项研究建议采用混合模型进行SA0由于深度学习模型组合效果比单独使用效果更好[54]。CNN和LSTM已经结合起来，以从两者中获益，用于对药物评论进行两类（积极和消极）极性检测[55]。每个评论都包含了1-5的评分，显示了药物使用者的满意程度。在[56]中，使用了CNN和LSTM模型与Word2vec嵌入方案相结合，用于检测IMDB的更细粒度极性。0表1 词嵌入模型的关键分析0模型句法语义上下文词汇外0模型句法语义上下文词汇外0和亚马逊评论。混合模型CNN-LSTM在两个数据集上均达到了91%的准确率。在另一项研究中，[57]提出了一个混合的卷积双向RNN模型。其中，两层CNN与双向门控循环单元（Bi-GRU）连接，用于IMDB数据集的SA。CNN提取了大量的句子级特征，而Bi-GRU利用长期依赖获取了时间特征。这些模型是特定领域的，并且在指定领域表现良好。因此，[58]提出了基于Convolution-LSTM（CO-LSTM）的混合模型，可以在不同领域中以可伸缩的方式运行。采用深度卷积网络来提取重要特征，使用池化层，而LSTM用于对长文本进行顺序分析。尽管这些模型可以处理任意长度的序列，但将它们应用于深度神经网络的特征提取层会增加特征空间的维度。这些模型的另一个局限性是它们同等看待不同的特征。表2是相关工作的表格表示。0为了弥补先前研究的差距，[59]提出了一个0Bi-LSTM和自注意力方法的组合模型。该模型应用了多个通道来获取文档级文本分类的重要特征。Bi-LSTM从多特征通道接收输入，然后学习所有句子的表示，之后应用自注意力方法来聚焦表示的情感极性信息。[19]中的作者提出了一个基于注意力的模型，结合了卷积和RNN，用于处理长短句。使用两个独立的Bi-LSTM和Bi-GRU层来提取特征的过去和未来的上下文信息。之后，使用注意力来确定不同单词的价值。尽管以前的工作表明基于CNN的模型被广泛用于目标情感分类，但仍然存在一些局限性。[60]中的作者指出，广泛使用的经典CNN在卷积核的大小方面存在局限性，这导致社交媒体SA中出现了两个主要问题。第一个问题是，就语义而言，CNN只能捕捉短期依赖模式。随着卷积核的扩展，参数数量大幅增加。提出了另一种CNN变体称为扩张CNN（D-CNN）[61]来处理经典CNN的问题。0因此，可以得出结论，传统技术简单0理解，需要最少的硬件需求，并且在小型数据集上表现良好，但在处理复杂的分类问题时会遇到困难，并且需要专业知识来构建情感词典。基于深度学习的技术可以减少对手动特征的依赖，从而解决传统方法的局限性。然而，SA类似于顺序建模，基于CNN的方法需要多个CNN层来处理长期上下文依赖性。同样，基于RNN的方法非常复杂，难以准确提取长距离上下文中它们之间的依赖关系。因此，基于CNN的方法在短文本评论中表现良好，基于RNN的方法在长文本评论中表现良好。CNN和RNN架构的组合可能克服每种方法的一些局限性，但存在40数组14（2022）1001570S.T. Kokab等人0表2 文献综述摘要。0参考文献方法准确性限制0[ 62 ] 随机抽样，CNN 77.6% 需要大语料库。[ 30 ] IWV，CNN 86.5% 顺序和上下文丢失。[ 63 ] TF-IDF，投票分类器 79.1% 需要更好的特征工程。[ 56 ]Word2vec，CNN，LSTM 91.2% 多极性词的归一化。[ 64 ] Glove，GRU 84.8% 需要强大的循环模型。[ 46 ] 中国BERT，Bi-GRU NA 领域特定。[ 59 ] CBOW，CNN87.2% 提取重要特征。[ 57 ] Word2vec，CNN，Bi-GRU 86.2% 需要增强的相似性度量。[ 65 ] Glove，Bi-GRU 71.1% 缺乏棘手的隐含知识。[ 38 ] 临床BERT，LSTM90.4% 语料库的注释。[ 39 ] SentiWordNet，CNN 86.5% 寻找观点词的成本。[ 58 ] Word2vec，CNN，LSTM 94.9% 丢失重要特征。[ 66 ] Word2vec，LSTM 85.0%高影响力词的特定权重。[ 67 ] BOW，TF-IDF，ETC 93.1% 语义和综合信息的丢失。[ 68 ] 中国BERT-FC 92.6% 需要在大型数据集上进行验证。0丢失上下文和情感信息的机会。此外，如果模型想要学习高级上下文特征，它需要利用多个卷积核，这可能会增加模型的复杂性。因此，在本研究中，引入了基于扩张的CNN和Bi-LSTM的长文本和短文本评论的文本SA分类模型。03. 背景细节03.1. 词嵌入0词嵌入是一种将文本转换为数字的技术0从[ 36]形式，也被称为词表示技术。词嵌入在文本挖掘中起着至关重要的作用，因为机器学习技术无法处理文本数据。从技术上讲，词嵌入技术通过使用词汇将单个词转换为数值表示。它可以通过应用神经网络在大语料库上进行训练。有各种类型的嵌入技术。这些技术分为两类，即基于频率和基于预测的嵌入。基于频率的嵌入方法通过计算频繁出现的单词的频率生成文本向量[ 69 ]，例如TF-IDF、共现矩阵和CV[ 70 ]。而基于预测的嵌入方法使用先前的知识和神经网络对单词进行向量化[ 71]。Skip-gram和CBOW是这种方法的广泛使用模型[ 72 ]。03.2. WordPiece分词器0分词是一种将句子、短语、段落等分割成最小单元的技术0或任何其他文本材料转换为称为标记的最小单元[ 73]。有各种类型的标记器，WordPiece标记器是其中之一，在[ 74]中概述，最初创建包含训练数据中找到的所有字符、子词和单词的词汇表。词汇表包括四个内容：0• 完整的单词。•出现在单词开头或孤立的子词（例如，“searchability”中的“se”与“go getse0示例，‘‘se’’在‘‘searchability’’中与‘‘go getse’’中的独立字母序列‘‘se’’被赋予相同的向量）。0• 不是单词开头的子词，并且前面有0‘##’表示这种情况。0• 单个字符。0在这种方法中，分词器首先验证单词是否0在词汇表中或不在词汇表中。如果不在词汇表中，那么它会尝试将单词分解为词汇表中可用的最大数量的子词，作为最后的选择，它将单词分解为单个字符。因此，一旦词汇表建立，我们就将其应用于标记化。0BERT分词器是使用WordPiece算法构建的0如上所述。因此，在执行这些步骤后，BERT分词器返回标记ID和注意力掩码。然后，分词器的输出将用作BERT模型的输入，以生成上下文嵌入。03.3. BERT0迁移学习是机器学习中的一种新范式，0专注于利用从一个任务中获得的信息来解决其他类似的任务。2018年，谷歌提出了一种新型的转换器[75]，即预训练的BERT模型。由于BERT是一个顺序语言模型。BERT以语言格式� =（�0，…，��）的序列输入，并输出上下文化的向量表示�=（�0，…，��）用于输入序列的元素。作为一个高度通用的语言表示框架，它通过编码器完成任务。编码器是从变压器中采用的神经网络架构，用于创建文本的编码表示。预训练的BERT-Mini有四个编码器层。每个编码器块有两个子层，即多头注意力和前馈。0每个编码器层由两个子过程组成，可以0如图1所示。第一个是多头自注意力层，它采用了一系列度量操作。编码器的输入首先通过多头自注意力层，以提取最重要的语言特征。提取后，特征将使用残差连接进行归一化，并输入到前馈层。现在，前馈层的输出将输入到编码器的第二层，然后对下一个编码器层重复相同的过程。0多头注意力由几个并行运行的头组成0并行，并且每个头都由自注意力表示。自注意力识别给定短语中所有单词之间的关系。为了更好地理解，重要的是解释自注意力过程[76]。图2显示了自注意力机制的图示表示。0� = ������0（���√0� �0�（1）0因此，方程（1）显示：Q = 查询向量，K = 关键向量，V = 值0向量，��表示k的维度。0• 为了计算相似性分数，需要计算0• 然后，将关键矩阵（���）除以√0��。0• 然后，使用softmax函数进行归一化和0获得分数矩阵。0• 最后，通过将注意力矩阵Z与V相乘得到0分数矩阵与V。50数组14（2022）1001570S.T. Kokab等0图1. 编码器块的示意图。0图2.自注意力机制的示意图。0同样，多头注意力使模型能够关注不同位置的各种表示和子空间，而单一注意力头的平均化则阻止了这一点。方程（2）描述了多头注意力，用��表示。0��(�,�,�)=������(�0,�1,�2,……….��)(2)0前馈由两个线性变换组成，中间由ReLU激活分隔。它在每个位置上都是独立且相同地使用。从数学上讲，它可以描述为：0��=���(0,��1+�1)�2+�2,(3)03.4.卷积神经网络0CNN通常建立在可以在不同层上运行的卷积和子采样技术之上[71]。CNN在NLP中用于提取局部特征。CNN的组成层包括卷积、池化和全连接层。卷积层通常应用于输入数据的特征。如果应用于文本数据，它有助于从句子或短语级表示中提取特征。池化层的功能是缩小从卷积层获得的特征图的大小。这是一种减少高维输入数据可训练参数数量的有效技术。池化操作可以以不同的方式进行：最大池化、平均池化或总和池化等。在特征图池化中，通过称为最大池化的池化过程选择滤波器特征图区域中的最大值。这意味着在最大池化层之后，结果将是具有前一个特征图的最重要特征的特征图。平均池化考虑滤波器特征图区域中特征的平均值。最大池化提供了补丁中最重要的方面，而平均池化提供了补丁中所有方面的平均值。在池化层完成其工作后，结果被组合以创建一个池化特征向量。获得的向量然后被转发到一个全连接层。池化可以为卷积核提供更广泛的感受野0在经典CNN中，尽管它不是CNN的必需组件。另一种改进版本的CNN称为扩张CNN，已经提出[61]来处理传统CNN的局限性。它具有各种扩张率，已经在音频处理、计算机视觉和自然语言处理等多个领域中使用。扩张卷积具有扩展感受野的优势，而无需池化，使得每个卷积结果都包含广泛的信息。它已被用于需要更长的序列信息依赖性的问题，如图像和文本。图3显示了使用3×3内核大小的扩张卷积在不同扩张率1、2和3下的情况。本质上，这是一种更传统的卷积，但它可以用于从输入特征中收集越来越全局的上下文，而无需增加参数的数量。这也可能有助于通过增加输出的数量来扩展输出的空间大小。然而，这里最重要的是注意到，当层数增加时，感受野的大小也会增加。03.5.长短期记忆0LSTM是RNN的一种高级形式，专门用于序列建模。它最常用于文本数据。当两个相关单词之间的距离增加时，RNN的有效性经常下降，并且梯度值大大降低。LSTM解决了这个问题，并在长期依赖情况下有效地工作。在LSTM中，只有数据的一个重要部分被发送到下一层，而不是整个数据。LSTM有两个变体，分别是单向LSTM和双向LSTM，两者都在机器学习中使用。它的信息保留仅限于它从先前输入中学到的知识，这是因为单向LSTM只看到先前的输入。另一方面，双向LSTM以两种方式处理输入，即向前和向后。研究人员发现，Bi-LSTM模型在预测准确性方面击败了LSTM模型[77]。LSTM单元由60第14卷（2022年）1001570S.T. Kokab等人0图3.系统化的1-D扩张卷积。0图4.社交媒体数据的社会分析提出模型。0一个记忆块  � � ，它在无限时间段内保持其状态。它包括输入  � � ，遗忘  � � 和输出  � �门。这三个门旨在控制信息流。0� �  =  � ( � � [ � � −1 , � � ] +  � � ) , (4)0其中  � 用于Sigmoid函数，W和b表示权重及其偏差，  � ��单元的输入由  � �表示，前一个LSTM单元的输出由  � � −1 表示。在方程（4）中，通过使用  � � 和  � −1 参数，  � � 可能决定要忽略哪些信息。0� �  =  � ( � � [ � � −1 , � � ] +  � � ) , (5)0�� �  =  ���� ( � � [ � � −1 , � � ] +  � � ) , (6)0� � 确定要更新哪些信息，� � �表示候选单元的信息。根据方程（7），输入门通过计算  � � 并将其与 � � �合并来决定要存储哪些信息。0� �  =  � �  �  � � −1  +  � �  � � � � , (7)0� � 通过  � �  和  � � −1 决定输出的状态，然后LSTM单元的结果  � � 通过将  � � 相乘来确定。0� �  =  ���� ( � � [ � � −1 , � � ] +  � � ) , (8)0� �  =  � �  �  ���� ( � � ) , (9)0最后，Bi-LSTM结合正向（从右到左）  � � � 和反向（从左到右）  � � �隐藏层。这导致网络中时间的双向流动，以及网络之间的改进学习。04.社会分析的提出方法0所提出的工作包括数据预处理、标记化和填充、数据转换以及使用BERT模型提取上下文嵌入。在这项研究中，BERT模型已被用于完成两项主要任务：对数据进行注释和从输入数据中提取嵌入。图4显示了用于社交大数据社会分析的提出模型的示意图。在完成清理数据的必要步骤后，使用零-shot分类方法来识别注释的强度。一旦提取了嵌入，BERT模型就用于生成特征向量，然后传递到三个扩张卷积层以生成特征映射。之后，所有层都被串联，并对它们进行全局最大池化操作，以从中提取最相关的特征。7nepredefined conditions. If the negative score of the review is more thanneutral and positive scores, then the review is labelled as negative. Ifpositive class contains the highest score than other two classes, thenit is labelled as positive. Thus, at the end, this method produced fullypre-processed data that is used for generating numerical form of thesetex0第14卷（2022年）1001570S.T. Kokab等人0新创建的特征映射。Bi-LSTM用于捕获池化特征之间的顺序依赖关系。在这一层中，包括0.2的丢失率以防止出现过拟合情况。Bi-LSTM的结果被送入隐藏层，然后传递到全连接或Sigmoid层进行预测。在Sigmoid层中通常使用二元交叉熵作为损失函数来评估结果。算法1显示了所提出的技术所遵循的所有必要步骤。0步骤1：预处理在大多数情况下，社交平台的评论包含非结构化的0在这一步中，使用特征表示技术将非结构化数据转换为结构化形式。在执行任何文本分类任务之前，有必要清洁数据，因为原始数据包含许多不规则之处，可能会导致嵌入模型在标记化过程中混淆。由于社交媒体中使用非正式语言，社交媒体数据容易受到噪音的影响。这可能包含拼写错误、特殊字符、超链接、符号等。我们使用正则表达式和文本英雄库来清理数据并保留相关信息。之后，所有评论都转换为小写，因为文本挖掘方法是大小写敏感的方法。进行探索性数据分析（EDA）以找到单词之间的关系并可视化数据。使用NLTK库执行词形还原等文本规范化步骤。词形还原是使用单词的基本形式或词元来简化单词的替代形式的过程，以减少自然情况下经常使用的单词数量。例如，尽管“go”、“going”和“gone”是完全不同的单词，但在这种情况下，“go”将作为它们的词元形式。完成所有必要的数据清理步骤后，使用给定的评论来创建标签，使用零-shot-BERT。零-shotBERT是一种常用的评分系统，通常用于将评论划分为积极或消极。零-shot不仅限于计算积极和消极分数，还提供有关情感强度的信息，即包含多少积极分数或消极分数。它非常快速，可以用于通过互联网传输流数据，而不会遭受显著的速度与性能之间的折衷，这是罕见的。图4描述了我们在提出的工作中使用的所有预处理过程。0步骤2：标记和填充单词必须被矢量化并提交进行分类0在数据经过清洗和标记之后，根据预定义条件对每条评论进行标记。如果评论的负面得分高于中性和积极得分，则将评论标记为负面。如果积极类包含最高得分，则将其标记为积极。因此，最终，该方法生成了完全预处理的数据，用于生成这些文本评论的数值形式。0步骤3：BERT模型0算法1 BERT-based CBRNN模型的伪代码。输入：评论数据集  � �输出：情感类别（积极，消极）01：对于每个评论  �  在  � �  中做 2：使用零-shot BERT分类计算极性得分  ( � �� � , ��� � , ��� �)03：如果  � �� �  > ��� � && � �� �  > ��� �  则04：分配标签=积极05：否则06：如果  ��� �  > � �� � && ��� �  > ��� �  则07：分配标签=消极08：否则09：分配标签=中性010：结束如果011：结束如果012：结束对 13：对于每个  �  ∈  预处理  � �  做14：执行WordPiece标记器的操作，生成标记id和注意力掩码015：使用BERT模型提取词嵌入向量  � ��016：结束对 17：将数据拆分为  � ����� ���� ���� 18：对于每个  �  ∈  � �����  做19：应用扩张卷积  � �  = 1 , � �  = 2  和  � �  = 3020：连接上一步骤的输出021：从最大池化层获取重要特征022：使用Bi-LSTM执行序列操作023：具有dropout=0.2的dropout层024：扁平化层025：密集层026：使用Sigmoid计算标签的概率027：结束对 28：对于每个  �  ∈  � ����  做 29：使用训练模型将  �分类为情感030：显示输出（积极或消极）031：结束对0BERT模型从tok-获取标记id和注意力掩码0如图4所示的标记器。BERT相对于Word2Vec模型的主要优点是能够生成上下文化的词嵌入。Bert创建的单词表示受其周围单词的动态影响，而word2vec对于每个单词都有固定的表示，独立于其出现的上下文。另一个观点是，从参数的角度来看，为特定任务训练BERT是低效的。但是，由于计算成本的问题，我们采用了预训练的BERT模型。在这个实验中，我们使用了Bert-Mini模型，它包含四个编码器层，四个注意力头，并且具有256的维度。每个编码器的输出被发送到上面的编码器，最终编码器为特定源句子生成上下文嵌入/向量。0S.T. Kokab等。8and sentences. After obtaining the feature maps from these three layers,the concatenation of all these feature maps are held for getting a singlefeature map. A single feature map is created when the feature mapsfrom these three layers have been concatenated together in order tocreate a single feature map, as shown in Fig. 5. The output will be:𝑋 = 𝑥1, 𝑥2, … ..., 𝑥𝑛 where 𝑥𝑛 is the 𝑛𝑡ℎ word vector.Step 5: pooling layerThe concatenation layer generates a feature matrix of 𝑛 × 𝑚 dimen-sions, after which the max-pooling operation is performed using a 2 × 2dimension filter. When the filter is traversed in max-pooling mode, thehighest or biggest value at each patch of the filter is selected as a resultof the selection. As a result, the output of the max-pooling layer wouldbe a pooled feature map that contained the most prominent/importantℎ𝑛𝐵𝑖−𝐿𝑆𝑇 𝑀 = [ℎ𝑓𝑛 , ℎ𝑏𝑛](10)𝑝𝜎(𝑐𝑗) =𝑒𝑜𝑗𝑜𝑗 ,(11)𝑙𝑜𝑠𝑠 = −𝑟𝑗=1𝐴(𝑐𝑖) × 𝑙𝑜𝑔𝑃 𝜎(𝑐𝑖),(12)16320.0001321632640.000016432641280.00002128641282560.000055121281. Airline reviews: Us-airline datasets are originally collected fromKaggle. It was scrapped in February 2015 [81]. This dataset has11,517 tweets for six different United States (US) airlines andcontains their positive, negative, and neutral sentiments.2. Self-driving car reviews: Self-driving car dataset [82] has 7156tweets with three attributes twitter id, reviews, and sentimentsassociated with each review.3. US presidential election reviews: US presidential election dataset[83], was the first GOP for the first 2016 GOP presidentialdebate, which contains 10,729 reviews and 21 attributes.4. IMDB: IMDB is a large movie review dataset that was col-lected from Kaggle. This is a balanced dataset and contains50,000 reviews. It contains 25,000 positive and 25,000 negativereviews.0数组14 (2022) 1001570图5. 膨胀卷积块。02 .步骤6：Bi-LSTM将最大池化层的输出馈送到Bi-LSTM层，该层在正向和反向方向上顺序分析生成的特征向量，例如正向和反向方向。该层使用128个LSTM单元和0.2%的丢失率。Bi-LSTM可以用以下方程表示：0其中  � � � 表示正向LSTM， � � �表示反向LSTM。因此，从Bi-LSTM获得的结果特