汉语文本情感分类模型：DTGCN结合句法与图卷积神经网络

埃及信息学杂志23（2022）1全文结合中文文本句法和图卷积神经网络的刘晓阳、唐婷、丁楠重庆理工大学计算机科学与工程学院，重庆400054阿提奇莱因福奥文章历史记录：收到2020年2021年3月1日修订2021年4月19日接受2021年4月30日在线提供保留字：情感分类图卷积神经网络文本语法单词嵌入A B S T R A C T鉴于目前文本情感分类的研究大多集中在利用深度学习模型来获取英文文本的情感特征中文文本的情感分析很少涉及，只考虑语句的上下文信息，很少考虑语句的语法信息。本文提出了一种新的情感分类模型（依赖树图卷积网络，DTGCN），它结合了汉语语法依赖树和图卷积。首先，双向GRU（双向门控递归单元）模型用于学习给定文本的上下文特征表示。其次，构造文本的句法依赖树结构，根据句法依赖树得到文本的邻接矩阵，并将从双向门控网络中提取的初始特征输入到图卷积神经网络（GCN）中，提取文本的情感特征;然后将获得的情感特征输入到分类器SoftMax中进行文本情感极性分类。最后将该数据集与主流神经网络模型进行了比较。实验结果表明，所提出的DTGCN模型在数据集上的准确率为90.51%，召回率为90.34%。与基准模型（LSTM，CNN，TextCNN和Bi-GRU）相比，DTGCN模型在准确性方面具有4.45%的优势实验结果表明，DTGCN模型能够有效地利用中文文本的语法信息挖掘语句中的隐含关系，提高中文文本情感分类的准确率。此外，DTGCN模型不仅提高了本文的情感分类性能，也为社会网络舆情识别提供了一种新的研究方法©2022 The Bottoms. 由Elsevier B.V.代表计算机学院出版，开罗大学新闻处这是一篇CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by-nc-nd/4.0/）上提供。1. 介绍1.1. 背景情感分析是自然语言处理领域的一个热点问题，也是近年来的研究热点。情感分析是一个自动分析文本并解释其背后情感的过程。通过*通讯作者。电子邮件地址：lxy3103@163.com（X. Liu）.开罗大学计算机和信息系负责同行审查。制作和主办：Elsevier机器学习和文本分析算法，文本可以根据句子情感分为积极，消极和中性类别。随着移动互联网的普及，网络用户已经习惯于在互联网上表达自己的意见和建议，如对电子商务网站商品的评价，对品牌、产品、政策等的社交媒体评论等。网络用户如何感知和感受现实世界，他们所做的任何选择都受到其他人如何感知现实世界的影响。因此，将对意见进行挖掘和分析以及网民对自己感兴趣的事物所表达的情感，并将研究成果应用于舆情分析、市场调研、客户体验分析等领域，这就是情感分析的研究意义文本情感分析技术主要研究如何自动分析文本中表达的观点、情感、立场和态度等主观信息从海量文本中识别人们根据文本的粒度https://doi.org/10.1016/j.eij.2021.04.0031110-8665/©2022 THE COURORS. Elsevier B.V.代表开罗大学计算机和信息学院出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表埃及信息学杂志杂志主页：www.sciencedirect.comX. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）12情感分析可分为三个层次：词情感分析、句情感分析和文档情感分析。词语情感分析的对象是出现在特定句子中的词语和短语。表达情感的词语多为名词、动词，副词和形容词的情感倾向可分为积极、消极和中性三类。情感强度和语境模式进行了分析。句子情感分析的对象是特定语境中出现的句子。其目的是分析句子中的各种主观信息。提取与情感倾向相关的各个元素，实现对句子情感倾向的判断.文本情感分析的对象是一篇完整的文章，从整体上分析文章的情感倾向。由于文本情感分析是一个文本分类问题，因此通常使用机器学习来解决文本情感分析问题。本文主要针对社交网络平台的短文本，因此本文的工作属于句子情感分析。句子情感分析研究的难点在于任何人工生成的句子都包含多层意义。人们表达意见的方式很复杂，而诸如讽刺、挖苦和暗示等修辞会影响情感分析的最终结果。现有的句子情感分析方法大多是基于深度学习，对短文本进行整体编码。它忽略句子的句法结构，只利用相邻词的语义信息，是对特定词的上下文感知表示，而不能确定非相邻词所描述的情感。近年来的研究表明，[1例如，Luo H[4]提出了一种双向依赖树网络，将分别从自底向上和自顶向下传播获得的两个表示进行显式合并，解决了方面提取问题。Ahmed M[5]为句法依赖树和短语结构树设计了一个通用的注意力框架。ZhangJ[6]利用图神经网络建立了沿依赖弧的相互作用模型。利用基于语法的自注意，可以直接操作语法图以获得结构信息。除了情感分析，句法依赖树还使神经网络在自然语言生成[7]和对话理解[8]等NLP任务中得到了极大的改进。由于树的特殊结构，本文引入了图卷积网络（GCN）来捕获树的高层语义信息。图卷积首先被提出来解决社交网络、知识图和信息网络中的非欧结构数据目前，它被广泛应用于图像检测[9]、用户推荐[10]和图像分类[11]。Wan S[12]提出将GCN网络用于文本分类。该图是在整个语料集上构造的，图中的词和文章数作为节点，图中的边是利用共现信息构造的。然后将文本分类问题看作节点分类问题，取得了较好的效果[13]。为了整合语法信息，充分利用句子中的句法结构，提出了一种基于句法依赖树的GCN模型来检测情感极性。首先对每个词覆盖一个Bi-GRU进行特征提取，然后将词的特征和依赖于解析树的邻接矩阵融合到GCN中，并通过最大池化层进行特征最后通过SoftMax函数得到实验结果。1.2. 我们的主要贡献本文的主要贡献如下：(1) 对给定的中文文本构造句法依赖树，利用句法依赖树分析文本中词与词之间的语法关系，挖掘词与词之间的隐含关系。(2) 提出了一种基于汉语句法依赖树的图卷积网络情感分类模型（DTGRU）。该模型将Bi-GRU提取的初步特征与句子的句法树获得文本的综合特征，从而实现中文文本的情感分类。(3) 提出的DTGRU模型与六个基线模型（CNN，LSTM，CNN +LSTM，TextCNN，Bi-GRU + GCN）进行了比较。以准确率、精确率、宏观平均F1值（MacroF1）和召回率（Recall）作为实验评价指标。通过对比实验，DTGRU模型和MacroF 1值的精度分别比基准模型提高了4.45%和3.71%。验证了利用语法信息和长期词依赖的重要性，证明了DTGRU模型在情感分类中的有效性。2. 相关工作2.1. 用于情感分类的目前，情绪分析的分析技术主要有三种：基于规则的方法、机器学习方法和深度学习方法。基于规则的方法使用一组人工规则来帮助识别句子情感极性。例如，定义正极性和负极性的单词列表，并计算给定文本中的极性数量。如果正极性词的个数大于负极性词的个数，则返回正极性判断结果，反之亦然。如果两个极性的出现次数相同，则返回中性判断。该方法原理相对简单，但过程繁琐且没有考虑单词句子序列中的组合方式，词性表更新复杂，需要不断维护。在基于机器学习的方法中，情感分析任务通常被建模为图1中的分类。1.一、在训练过程中，模型从训练中使用的测试样本中学习，将特定的输入（即文本）与相应的输出（标签）相关联。特征向量将输入文本转换为特征向量。特征向量和标记对、输入机器学习算法（例如，朴素贝叶斯[1]，SVM[14]（支持向量机）和LR[14]（逻辑回归））用于生成模型。在预测过程中，特征提取器将文本输入转换为特征向量，然后将其输入到模型中，生成预测标签（例如正面，负面或中性）。基于深度学习的方法分为两步：首先，将需要分类的评论语料表示为语义词向量;其次，使用不同的语义合成方法获得句子或文档的相应特征表达，最后，通过深度神经网络进行分类[14]。目前，情感分析中常用的深度学习模型包括卷积神经网络（CNN）[15，16]，递归神经网络（RNN）[17]，长期记忆神经网络（LSTM）[18]。X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）13XXFig. 1. 机器学习分类器。Kim[19]使用卷积神经网络（CNN）对预先训练的词向量进行了一系列关于句子级别文本分类的实验。因此，它表明，一个简单的CNN可以在多个基准测试中获得出色的结果，只需少量的超级参数调整和静态向量。Makoto[20]提出通过将空间金字塔池与Max Pooling结合并使用门控CNN来对客户评论进行情感分类。Meng[21]提出了一种基于多层卷积神经网络的迁移学习方法。从源域提取特征，在源域和目标域样本之间的卷积层和池化层中共享权重。除了单独使用CNN外，也有研究者将CNN与RNN相结合，以达到更好的分类效果。Jiang[22]将LSTM 和CNN结合起来，利用LSTM处理远程依赖和CNN识别本地特征的能力LSTM提取的特征将通过卷积和池化操作再次过滤Luo[23]提出可以使用具有门控循环单元的CNN作为分类器。根据输入特征矩阵，GRU-CNN增强字与字、文本与文本的关系，实现情感的高精度分类。Abid[24]将单词嵌入作为深层神经结构的输入，三个循环减少，计算效率更高。需要较短的培训时间在单向神经网络结构中，状态总是从前到后输出。GRU模型的单个时间步长的内部结构如图所示。 二、图 2、r是复位门并判断是否忽略前一时间步的隐藏状态ht-1如果激活权重下降，则当前时间步长捕获短时间跨度的更多相关当复位门激活接近0时，当前时间步的输入xt将在更大程度上影响隐式状态h0的输出，从而忘记长时间跨度的依赖性的结果更新门z选择是否用新的候选隐藏状态h0更新输出隐藏状态ht。GRU模型的每个时间步分别具有重置门r和更新门z。每个时间步的隐藏节点将学习捕获不同时间跨度下不同依赖信息的特征。在文本情感的分类中，如果当前时刻可以联系到前一时刻的状态和下一时刻的状态，就像填空一样，从空白的上下文中推断出空白中的单词在这种情况下，需要Bi-GRU来建立这种连接。Bi-GRU是一种神经网络模型，由一个单向、相反方向的GRU组成，其输出由两个GRU状态共同决定。在每个时刻，输入提供两个相反的GRU，输出由两个单向GRU决定表1显示了GRU研究论文在文献调查中的研究比较。2.3. GCN图卷积网络的基本思想是根据相邻节点的信息生成基于图的结构可以生成任何多层，其中节点的信息可以与节点本身的特征一起传递。图3显示了一个简单的图卷积示例，xi表示要研究的节点，xj表示xi的邻居中的节点，Aij表示节点之间的连接。我们可以通过研究xi的相邻节点来研究xi的特性，如等式（1）所示：神经网络，即Bi-LSTM，GRU和Bi-GRU，它们是RNN模型的变体，用于捕获长期依赖性。上述工作不使用依赖关系解析树来总和j2邻居Aij xj 1训练深度学习网络，忽略语法信息，文本的作用。依赖分析树可以揭示同义词结构的句话更准确也很清楚与此同时，我们必须考虑到节点本身，因此我们可以通过添加自循环来添加回它自己的特征，以获得等式（2）因此，本文将Bi-GRU模型与图形卷积神经网络相结合，可以增强对短文的情感理解。2.2. GRU总和j2邻居Aij xjxi 2为了缓解传统RNN的长距离依赖问题及其在反向传播过程中的梯度消失和梯度爆炸问题，LSTM在RNN的基础上增加了输入门、遗忘门和输出门来控制输入值、记忆值和输出值。通过这种方式，网络可以选择性地丢弃或保留历史信息。GRU是对LSTM的GRU用更新门取代了LSTM中的遗忘门和输入门。由于GRU参数较少，代码易于修改和维护，训练网络参数过程中的计算量大大减少图二. GRU的内部结构X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）14表1GRU研究现状比较。号年研究研究方法目标[24日][25日]20182018Minh等人Hongo等通过研究财经新闻的隐性情绪对投资者的影响，建立了财经专业的语言数据集，最终对股价走势进行预测提高了具有特定Lexicon，StockTwits，Bi-GRUBi-GRU，基于情感分析的情感分析情感分类，意见提取，[26]2018Bleiweiss等人建模对句子的影响将描述情绪的句子分类，新型注意力集中GRU和CNN细粒度情感分析从用户言语信息中提取特征[27日]2019Chen等人通常由花表达的情感，因此隐含地预测花束使用GRN来建模情感关系，例如词汇，旨在提高准确性[28日]2019Lee等人递归体系结构使用GRU对中文进行细粒度分类LSTM和GRUGRU加强《公约》[29日]2019Yu等人产品评论网络文本情感化注意，毕格鲁GRU从数据[30个]2020Sachin等人信息用于在线意见发现基于情感/语义的情感LSTM，GRU结合情感和语义特征[三十一]2020Fagui等人检测长文本建模和探索注意，研究利用句子和元素2DCNN，Bi-GRU不同过滤长度的贡献和把握其在句子图三. GCN的例子总而言之，尽管有越来越多的研究是关于如何从在线文本中识别特定主题的积极和消极情绪然而，这些研究大多集中在英语文本的情感分析上，而汉语情感分析领域因此，为了更好地了解汉语句子的情感特征和句子语法中隐藏的信息，提出了一种基于句法依存树的图一方面，句法依存树用于将句法信息聚合到上下文和体词的表示另一方面，通过Bi-GRU网络提取句子的初步特征，并嵌入到句法依存树中。最后，将依赖于语法的树输入图与网络进行卷积，以获得最终的情感特征。3. 该方法在社交网络中，大多数短文本具有多种情感倾向，而有些文本根本不表达情感。在心理学研究或用户情感画像等实际应用中，社交网络的情感分析是必要的。本文设计的DTGCN网络模型由五层组成。①输入层：主要负责对句子进行一些预处理;②双向GRU：利用双向GRU层提取文本中隐藏的语义;③语法层：通过分析句子中的语法关系，得到语法依赖树;③图卷积层：嵌入特征将从编码层提取的向量插入到语法相关树的节点中。图卷积网络直接对文本的句法依赖树进行操作，获得给定文本的情感特征;输出层：Softmax层根据图卷积的输出结果预测对应的情感极性，最后将输出进行分类得到最终结果。情感分类模型DTGCN的结构与语法依赖树图卷积，如图所示。四、3.1. 输入层(1)正常化社交网络中的文本大多为网络文本，其中存在大量无 用 的价值信息，如'' ~ @#¥%。......你好。. .&*"，特殊字符。中文情感分析模型中不会加入有意义的信息，这些特殊字符的加入会使分析结果复杂化，不利于句子切分，因此可以使用正则表达式去除无效字符。由于网络文本的长度不是固定的，为了避免点积相似度计算中表示不一致的问题，将情感小句的变化维数重构为大小一致的特征向量，即句子长度小于指定值。默认情况下，后面自动填充特殊符号（本文填充0）;如果句子长度大于指定值，则截断大于指定值的部分。本文数据集的句长分布如图5所示。从图5中可以看出，很少有句子超过170。很少有句子超过200，大多数都在150以内，这与社交网络平台上较短的中文文本相符。其中，140个左右的句子出现频率最高，所以本文的评分值为140，也就是说，当句子长度大于140时，超出的部分将从模型训练中剔除。(2)令牌化分词或原始文本的标记化是许多NLP任务的标准预处理步骤。英语分词X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）15---见图4。 提出的DTGCN模型。图五.句子长度分布。通常可以与空格分开。对于汉语来说，汉语语篇具有一些不同于英语语篇的特点也就是说，写作风格是连续的，没有空格。为此，根据分词标准，确定了将中文文本划分为一系列词本文选择了Jieba，一个处理中文分词的Python包它的工作原理是首先标记单个字符，然后在返回完整的句子之前将标记与空格连接起来。(3) 嵌入句子是人类认知过程中大多数机器学习模型，包括神经网络，不能处理原始形式的文本，并且需要数字作为输入。因此，要将字典中的每个单词或短语都映射到实数域中的一个向量本文采用随机初始化的方法，用一个随机向量来表示每个词，并在网络训练过程中不断更新向量。在上述三个步骤之后，输入数据变成了在索引方面与词向量相对应的词矩阵。3.2. Bi-GRU层编码层的主要任务是使用Bi-GRU分别学习句子和属性子句的上下文信息，并获得相应的特征表示。Bi-GRU的结构如图所示。第六章对于Bi-GRU的前向传播算法，首先，当前时间步的输入xt和隐藏状态输出ht！1可以用于计算原始预反馈输 出：^zt¼WzxxtWzhht-1bz3然后，输出结果被分成两部分，即^zt;H1和^zt;H2，它们分别被激活rt<$r^zt;H1复位门复位门zt<$r^zt;H2更新门X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）16×ð Þ×^-2½]四分之一] ¼不t-1不JJ1/1经验主义基于嵌入有特征向量的依赖关系树对给定文本进行切分。对于一个图G V;E，输入X是一个N D的矩阵，N表示节点数，D表示输入特征数，矩阵中的值是图的每个节点的特征和邻接矩阵A。输出一个NF特征矩阵Z，它表示学习到的每个节点的特征表示，其中F是表示的维度（在分类问题中，F是所需类别的数量）。对应于本文提出的DTGCN模型，输入矩阵X是从Bi-GRU层训练的每个文本的特征矩阵，矩阵A是从语法层获得的语法依赖树的邻接矩阵Adj，特征矩阵Z是通过图卷积提取的文本特征.等式（9）是图卷积的初始状态。图卷积的单层前向传播如公式（10）所示.每个神经网络层可以被写为等式（11）中的非线性函数。H0X 9fHðlÞ1;一个200万美元的U盘2AD^-1HülhwenðlÞÞ ð10Þ见图6。 Bi-GRU的内部结构然后使用当前时间步长的复位门输出rt和原始输入xt计算另一个中间前馈输出：at¼Wax xtWarhttba60中间前馈输出at的双曲正切激活可以表示为：h^ttanhat7以更新门的输出为开关，可以得到当前时间步的隐态输出：Hl1fHl;A11其中Relu是激活函数，D^表示依赖树的度矩阵和培训及其有效3.5. 输出层3.5.1. MaxPooling抽样也被称为子抽样。它只是减少了矩阵的大小，而不改变三维张量的深度。池化层通过减少整个神经网络的参数数量，减少全连接层的节点数，缓解过拟合风险本文采用最大池法从图卷积神经网络的输出！啊！1-zð8Þ只有具有最大得分的值才被作为池图层保留值，而所有其他要素值将被丢弃。3.3. 语法层有两种形式的依赖。一种是直接在句子上标记依存关系箭头和语法信息。二是把句子的语法关系做成树形结构。本文使用依存箭头来表示句子的语法关系。具体地说，句子的语义树是通过获取-3.5.2. Softmax使用Softmax分类器构造每个情感标签的条件概率分布，输出微博文本的最终情感标签。输出标签和情感的预测值的数学表达式在等式（12）和（13）中示出。yj<$softmaxwHb12通过对给定的依赖关系和语法信息的分析，短信了句子的语义树被存储为邻接矩阵，给定文本中所有单词的顶点集Np/Pexp/pð13Þ本文的矩阵表示为Adj2RN×N。如果两个单词i和j由箭头连接，则Adji;j1，Adjj;i1。 根据Kipf [32]，假设边的集合包含自迭代的AdjAdjI，thatis，AdjV;V]1foran y vertexv.3.4. 图卷积层图卷积层的任务是使用图卷积网络来生成情感特征，其中yj是输出标签，w和b分别是通过训练学习的权重和偏差，J表示情感类别的数量，并且pj表示j情感的预测值3.5.3. L2正则化泛化能力是指准确预测训练数据以外的数据的能力。为了提高DTGCN模型的泛化能力。本文在损失函数中加入了约束L2范式不X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）17XP-¼ðÞMX¼英寸Þ¼FG1/1微型P¼1/1微型P¼1/1J损失率<$-ySpjkkh k214j1表3混淆矩阵。混淆矩阵预测类其中，j≠ 1yS pj是建议的DTGCN的初始损失函数正负模型，k表示L2的正则化系数，h表示所有可训练参数。4. 实验和分析实验环境为Ubuntu 16.04LTS操作系统，CPU为CoreI 5 - 8300h，64 GB内存，2 TB硬盘，GPU为Nvidia GeForce GTX 1060。实验基于深度学习框架Pytorch，实验中使用的开发语言是Python。4.1. 数据集为了验证DTGCN模型的有效性，本文抓取了99,300条有效微博数据。它们被标记为积极的，消极的和中性的。训练集和测试集以8：2的比例划分。用于模型训练和模型测试。的实际类别阳性TP FP负FN TN领养的宏F1值是指在混淆矩阵上分别计算查准率和查全率，然后取平均值。微F1首先对每个混淆矩阵的相应元素求平均值，得到TP、FP、TN、FN的平均值。查全率和查准率是根据这些平均值计算的对于单个类别，设TP为正确预测样本，FP为另一类别被判断为当前类别的样本，FN为当前类别被误判为另一类别的样本，则准确率P、召回率和F1值可计算如下：PTP15TPFFN数据集中情绪极性的具体分布如表2所示。实验中数据的情感类别用独热向量表示，如正独热向量为召回TP公司简介[1.0，0.0，0.0]。为了更直观地观察术语在数据集中的分布，对前300个关键词的词云进行了对比。F1¼ 2×P×RecallPRecall17Þ如图7所示。在图7中，词云中的词的字体大小与数据集中的词的数量成正比。越自由-数字出现的次数越多，单词的字体越大分别定义了精度Acc和宏F1、微F1如：PmTPiM在图7中。从单词云可以看出，4.2. 业绩计量混淆矩阵，也称为错误矩阵，是一种标准准确度评估格式。矩阵的每一列表示-�P于�Macro F11F119mi¼1PmTPiMM发送预测值。每一行代表实际的类别。经典混淆矩阵如表3所示。为评价的提出DTGCN模型，评价Pi¼1TPiPi¼1FPiPmTPiMM准确度等指标精确率P，宏观平均值F1值（宏观F1）和微观平均F1值（微观F1）是表2Pi¼1TPiPi¼1FNiMicro F12×Micro P×Micro R微型P型微型R型4.3. 超参数设置ð22Þ见图7。 数据集词云。通常情况下，深度学习算法需要通过优化（模型调整）来获得参数的最优值，或者改变所选模型数据的预处理，以提高模型达到最优的验证精度，并在迭代过程中调整和评估训练模型的性能。这通常需要重复实验来改变模型的超参数，或者包括/排除特定的预处理步骤。然后，验证集的性能进行评估。根据实验的准确性，调整损失率，直到参数达到最高的验证性能。经过几次迭代后，实验超级参数如表4所示。为了研究GCN层数对DTGCN最终性能的影响将GCN层数设为L，依次取集合1; 2; 3; 4; 6; 8; 12中的值，检查数据集DTGCN与宏平均F1的对应精度。结果如图所示。 八、ðACC18Þð20Þð21Þ数据集。积极中性负火车20,00146,76412,675测试537110,2654224X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）18¼¼表4参数设置。参数值嵌入尺寸300Bi-GRU隐藏神经元180Bi-GRU隐藏层2GCN网络大小[360，3]GCN激活函数Relu学习率0.001优化器亚当见图8。 GCN层的影响。从图中可以看出。 8.增加了图中的层数。 8并不一定能提高模型的准确性。反之，当层数大于4时，精度会随着层数的增加而降低。这是因为当模型的网络结构比较复杂时，训练得分很高，但测试得分很低，存在所谓的过拟合。在图8中，当L2，也就是图卷积网络的层数为2时，模型的准确率比L1的准确率高0.2%，但本文只使用了单层，因为模型训练的效率。图9显示了Bi-GRU的隐藏神经元对模型F1的影响可以看出，当Bi-GRU见图9。 隐藏神经元的影响。由于模型学习中的参数数量较多，很容易过拟合。因此，为了解决过拟合的问题，在输入层中加入dropout层，即按照给定的概率随机选取要丢弃的节点。在前向传播过程中，这些被忽略的节点对下游节点的贡献暂时丢失，而在反向传播过程中，这些节点没有任何权重更新。为了找到适合模型的dropout值，对数据集进行了实验。实验结果如图所示。 10.从图 10（a）图 10（d），可以看出，当脱落值为0. 7时，红线的准确性迅速增加。但经过5次迭代后，数值增长缓慢，波动较大，不能得到模型的最佳结果。当dropout值为0.3时，虽然粉红线的波动相对稳定，但没有得到模型评价指标的最优值当dropout值为0.5时，蓝线在训练期间的波动小于其他线。而且，蓝线与其他线模型相比可以获得更高的指标平均值，即模型的最佳性能因此，本文实验的脱落率设定为0.5。为了验证依赖解析器对模型的影响，本文使用以下三个解析器对同一个句子进行LTP：“语 言 云 ” 基 于 哈 工 大 社 会 计 算 与 信 息 检 索 研 究 中 心 开发 的 “ 语 言 技 术 平 台 （ LT P ） ” ， 为 用 户 提 供 高 效 、 准 确 的 中文 自 然 语 言 处理 云 服 务 。Stanford Parser：Stanford Parser是斯坦福NLP团队提供的一系列工具之一，用于完成语法分析任务Stanford Parser可以发现句子中单词之间的依赖关系信息，并以Stan- ford Dependency格式输出，包括有向图和树。Berkeley Parser：Berkeley Parser是一个由伯克利大学自然语言处理小组开发的开源语法分析器。目前支持的语言主要有英语、中文、德语、阿拉伯语、保加利亚语、法语等。在这四个结果中，图11（a）和图11（b）是LTP和StandfordParser对同一句子的依赖语法分析，图11（c）和图11（d）是StanfordParser和Berkeley Parser对句子成分的分析。通过对比图11（a）和图11（b）可以发现，由于不同的分类器对句子成分之间依赖关系的判断规则不同，所以句子成分之间的依赖关系是相同的;虽然BerkeleyParser只能分析句子成分类型，但是通过对比图11（c）和图11（d）与Standford Parser的句子成分分析结果，也可以看出不同的分析器对句子成分分析的相似性。为了量化解析工具对模型的影响，对三个解析器处理的数据进行了实验，结果如下：通过比较表中最后三行数据，可以看出，虽然三个结果之间存在细微差异，但依赖分析工具对模型的整体影响有限。因此，可以得出结论，建议DTGCN模型是不敏感的依赖分析的性能。4.4. DTGRU模型通过数据清洗的预处理步骤对数据集进行整理，然后加载模型进行数据处理。该模型训练每个句子级别来分配情感标签（积极，消极，中性）。评估模型性能X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）19见图10。 丢弃对模型结果的影响。见图11。 依赖解析器的影响。根据准确率（Acc）、准确率P、召回率和宏平均F1值（MacroF1），对每一个样本进行分类。如表6所示。具体的数字图像如图所示。 12个。从表5和图5中可以看出， 12、该模型可以达到较高的精度和Macro_F1的宏观均值。实验证明，DTGRU模型能更好地提取情感特征中文短文本。它可以更准确地分析网民在社交网络中表达的情感。4.5. 不同模型为了更好地验证DTGCN模型的有效性，本文选取了几种常用的情感分类算法作为基线。包括传统的深度学习方法和最先进的神经网络结构，模型结果如表7所示。模型1：LSTM，它只使用单层LSTM网络来建模句子。所有隐藏状态的平均值被视为最终的句子表示。模型2：CNN，卷积神经网络是一种具有深层结构的前馈神经网络，包含卷积计算。它也是NLP任务中的经典模型。模型3：CNN + LSTM。这种结构类似于本文中的模型，但使用LSTM代替GRU来提取文本特征。CNN代替GCN用于提取综合特征。模型4：TextCNN，通常被认为是计算机视觉方向的工作，YoonKim[33]对CNN的输入层进行了一些变形，并提出了文本分类模型TextCNN来处理NLP。型号5：Bi-GRU + GCN。该模型没有引入中文短文本的同义词信息，而是直接采用Bi-GRU进行建模。将文本特征输入GCN，实现情感分析。X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）1表510在NLP CC2013和NLP CC2014数据集上比较不同的依赖解析工具。模型NLP CC20131NLP CC20142ACCF1P召回ACCF1P召回DTGCN（LTP）89.9089.8589.8989.8188.5488.5188.4788.56DTGCN（Standford Parser）88.5488.5388.6188.7786.2686.0886.6785.88DTGCN（Berkeley Parser）88.6188.4388.6388.4286.0685.8986.3985.72表6模型评价指标ACCP召回宏_F1Micro_F190.5190.7590.3490.4790.24表7中每个标签类别的模型性能基于准确率（Acc）、宏观平均F1值（Macro F1），将精确率P与召回率进行比较从表7可以看出，基于语法的图卷积神经网络（DTGCN）模型在每个标签的情感分类中表现良好在macro-averageMacro F1中，DTGCN模型执行比其他比较模型更好。模型试验1和模型2表明，单个神经模型（如LSTM）CNN在实验中）。由于其自身网络效果的局限性，它不能更好地学习文本的情感特征。因此，仅通过调整网络参数很难提高情感分类的精度. Model 3的实验是在CNN模型的基础上增加LSTM模型，输入LSTM进行语义特征提取。LSTM的输出作为CNN的输入，用于进一步的特征提取。最后给出了分类结果。实验结果表明，虽然模型1和模型2有所改进，模型3的精度在其它模型结果中仍然较低见图12。DTGCN模型性能图。表7极性分类结果的比较。模型积极中性负加速F1P召回ACCF1 P召回ACCF1P召回SVM63.93 65.7661.1271.1576.7676.94 79.3874.6454.5555.1254.88 53.36LSTM73.93 67.8362.6673.9377.8078.76 77.2473.9454.5654.4147.56 63.56CNN71.7171.2970.1476.9478.41 77.9373.5664.8865.1664.91 63.24CNN + LSTM79.61 79.8079.4378.7380.4880.99 80.0279.8978.1378.7477.48 77.53TextCNN81.17 80.4780.5680.4881.7682.42 80.6481.0979.2879.3079.41 78.02Bi-GRU + GCN86.24 86.9885.7685.6487.2287.71 88.2985.9484.7185.5085.38 84.95DTGCN90.41 90.3389.5190.2391.2191.22 90.8190.8789.9389.8789.23 89.92X. Liu，T. Tang和N. 丁埃及信息学杂志23（2022）111表8NLP CC2013和NLP CC2014测试数据集上不同模型的比较。模型NLP CC2013NLP CC2014ACCF1P召回ACCF1P召回SVM53.2046.0154.5355.6152.9644.8246.6449.87LSTM66.2967.1866.4569.3365.2166.1065.4364.15CNN63.4063.3164.6165.1362.1763.8862.4763.08CNN + LSTM72.4870.8172.6772.0571.5669.9270.1771.73TextCNN77.4376.7276.4578.3376.7176.2174.6776.47BiGRU + GCN84.8684.1985.4484.7883.2982.7683.1082.21DTGCN（LTP）89.9089.8589.8989.8188.5488.5188.4788.56表9比较依赖关系的不同用法方法ACCF1依赖嵌入+DTGCN78.8772.01Dependency Embedding + BiGRU81.7380.94DTGCN90.5190.47Model 6的Bi-GRU + GCN模型是DTGCN模型的简化版本。实验6中的模型缺乏输入样本的句法信息，即GCN中邻接矩阵中的所有元素都被分配值1。的准确性通过实验验证，DTGCN模型比Bi-GRU + GCN模型的计算结果高4.45%因此，句法信息在情感分类中的重要性就凸显出来.在DTGCN模型中，“neutral”和Macro_F1的识别准确率数据的不平衡是造成这一结果的部分原因。由于中性样本的数量相对较多，因此训练后的中性样本所得到的特征更加丰富，从而具有更高的准确度和精度。为了验证该模型的泛化能力，本文选取了NLP& CC 2013和NLP& CC 2014两个数据集，在不改变模型参数的情况下，将各模型在这两个数据集上的性能绘制成表8。从表8中可以看出，DTGCN模型在不同数据集上的分类效果有所同时，本文还介绍了使用相同的基于句子依赖的词嵌入[34]的对比实验，实验结果如表9所示。将表中第一行的数据与第三行的数据进行比较，我们发现基于依赖关系的词嵌入的DTGCN模型并没有提高模型的准确率，反而降低了准确率，因 此 我 们 考 虑 模 型 是 否 过 于冗 余 ， 因 此增 加 了 一 组 对 比 测 试DependencyEmbed-dings + BiGRU，从表中第二行的数据可以看出，精度和宏观平均F1都有所提高，但并不比本文中的模型表现得更好。5. 讨论本节讨论本文所实现的价值首先，通过对社交网络情感分析中的中文短文本进行微博数据抓取，建立了99,200个大规模中文情感分析语料库;其次，将高效的双层门控神经网络与图卷积神经网络相结合，建立了DTGCN模型。在数据集上，DTGCN模型达到了90.51%的准确率和90.34%的召回率。与其他最先进的深度学习技术LSTM和CNN相比，这一结果得到了更好的改善，因为在以前的研究中，像Bi-LSTM这样的模型只能成功捕获上下文信息。在本文中，卷积在synterdependent树优化Bi-GRU嵌入，并获得句子结构和上下文信息。因此，DTGCN模型在处理同样的问题时，要优于更复杂和更新的模型。最后，本文提出的DTGCN模型不仅可以处理中文文本的情感分析，而且可以对文本进行情感分析如果获得相应的语言语料，并在数据集中添加适当的标签，它可以更好地分析其他语言的情感极性，如英语。这可以提供更详细，更深入的情感分析。6. 结论句子的属性情感分类是近年来自然语言处理领域的一个研究热点然而，与英文文本相比，中文文本情感分类的研究相对薄弱本文针对目前相关研究中只考虑属性的上下文信息而没有结合句法依存树的现象提出了一种基于句法的图像卷积情感分类模型DTGCN。这为社会网络中中文短文本的情感分析研究提供了一个新的方向最后，为了验证DTGCN模型的有效性，在数据集上进行了实验，其准确率和MacroF1分别为90.51%和90.47%.此外，在多个基准模型的对比实验中，DTGCN和Macro_F1的预测精度分别比基准模型高出4.45%和3.71%实验结果表明，DTGCN模型能够同时利用句法信息和长距离词依赖关系，获得汉语样本的情感特征。提高了情感分类的整体性能接下来，本研究