埃及信息学杂志23（2022）47审查基于深度学习的人格预测KamalEl-Demerdash，Reda A.El-Khoribi，Mahmoud A.Ismail Shoman，Sherif Abdou埃及开罗大学计算机和人工智能学院信息技术系阿提奇莱因福奥文章历史记录：收到2021年2021年4月6日修订2021年5月8日接受2021年6月4日在线提供保留字：NLP个人特质ELMoULMFiTBERT大五模型分类器融合A B S T R A C T从文本数据中自动检测人格特质已经出现，并在情感计算和情感分析的主题领域获得了很大的关注以前的工作主要集中在特征工程，如语言风格和心理语言学数据库，与个性相关。最近，自然语言处理受到基于特征提取和微调预训练语言模型的迁移学习的显著影响。我们提出了一种新的基于深度学习的模型，用于使用数据和分类器级别的融合进行个性预测和分类。该模型通过领先的预训练语言模型（即Elmo，ULMFiT和BERT）从自然语言处理中的迁移学习中受益。所提出的模型证明了所介绍的方法是一个有前途的人格预测模型的强大功能。在评估所提出的方法时，结果显示，与两个黄金标准Essays和myPersonality数据集的最新结果相比，具有竞争力和显着的准确性提高了约1.25%和3.12%。©2022 The Bottoms.出版社：Elsevier B.V.代表计算机与信息学院开罗大学。 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http：//creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.一、导言. 471.1.研究动机482.相关工作。...........................................................................................................................................................................................................................................................482.1.NLP中的迁移学习2.1.1.ELMo 492.1.2.ULMFiT 492.1.3.BERT 493.A.方法. 503.1.分类器级融合503.2.数据级融合504.实验装置504.1.数据集描述514.2.实验配置514.3.结果和讨论514.3.1.比较研究结果4.3.2.模型结果525.结论和今后的工作参考文献53*通讯作者。电子邮件地址：k. grad.fci-cu.edu.eg（K. El-Demerdash）。https://doi.org/10.1016/j.eij.2021.05.0041110-8665/©2022 THE COURORS. Elsevier B.V.代表开罗大学计算机和信息学院出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表埃及信息学杂志杂志主页：www.sciencedirect.comK. El-Demerdash，R.A. El-Khoribi，硕士Ismail Shoman等人埃及信息学杂志23（2022）47481. 介绍人格是指人类在思想、情感和行为的特征模式方面的变化[1]。它是一个人的情感、态度和一般特征的综合体人格特征和特质对我们的生活有着重要的影响;它们影响着我们对生活方式、奢侈品、健康和许多其他欲望的选择[3]。人们通常使用社交网络来分享他们的运动、活动、观察以及对问题和不同问题的具体观点。这些痕迹主要以文字形式出现，如公开的帖子和评论，以及其他媒体，如视频和图片。现在，在阅读本文的同时，互联网上数十亿用户正在产生大量的文本数据。这是一个丰富的信息来源，使我们能够掌握人类的需求，欲望和情感状况，此外，它被认为是识别人格特质的丰富来源[4]。像这样的数据可以为人格特质检测提供新的智能，这将成为心理学世界的新趋势。相反，这些发现可以直接加强和增加目前关于个性特质的假设。除此之外，最近的计算能力革命使计算机模型在预测个人行为方面比人类更先进。所有这一切都将影响到无限的领域，如招聘，刑事调查，健康和福祉。因此，人们关于个性的信息允许我们基于经验和情境获得关于情感的预测，从而增强推荐系统[5]，社交网络分析[6]以及情感计算和情感分析[7]。1.1. 研究动机由于预训练语言模型（LM）提供的迁移学习能力，NLP的语用应用已经变得更加便宜，更快，更准确。当从基本任务中获得的特征是通用的并且可以转移到另一个任务时，迁移学习的有效性是可见的。迁移学习使NLP科学家能够在扩展的文本数据上训练模型，之后，他们可以轻松地微调和调整模型以适应其他NLP任务[4]。我们论文中的主要研究关注点是通过在NLP中使用最先进的基于深度学习的模型来从文本数据中发现和分类人格特质，而不管数据源、语言风格和所使用的心理语言学特征在本文中，我们有三个贡献。首先，我们应用分类器级融合方法来提高整体个性分类性能，通过 关 注 NLP 中 三 个 领 先 的 预 训 练 LM ， 即 ELMO ， ULMFiT 和BERT。其次，我们对两个基准人格数据集应用数据级融合，以生成比任何单个数据集更可靠、更精确和更有用的特征。第三，我们提出了这三个著名的模型之间的比较研究，并报告我们的结果在两个基准人格数据集。融合数据集遵循五大人格模型[8]，以从文本数据中识别和探索个人特征。 它是一个非常合理的模型，因为它通过五个维度测量和计算人格，包括外向性（EXT），神经质（NEU），可接受性（AGR），自觉性（CON）和开放性（OPN）。所提出的模型在两个基准人格数据集上的实证结果表明，与最先进的结果相比，统计准确性大幅提高。本文其余部分的安排如下：在第二节中，我们解释了相关工作的历史，并在第三节中介绍了方法和模型架构设计。我们在第4节中阐明并分析了实验设置和基本结果。第5节概述了调查结果和可能开展的工作。2. 相关工作情感计算和情感分析已经成为人工智能（AI）的一个关键和新兴分支[7]。情感计算的重点是介绍新的技术，开发和应用情感推理工具，在多模态和不同的语言情感检测总体目标是创建解释和适应人类无形资产的系统，如思想，情绪，感觉，人格特质，情绪，情感和气质，这些无形资产被认为是可检测和可测量的，以提供直观和情感上的响应[7]。情绪在决策过程中具有独特的功能，例如提供关于快乐和痛苦的信息，在时间压力下快速做出决定，将注意力集中在问题的特定方面，并产生对决策的奉献精神。人格特质对人们的生活有重大影响，并影响他们的态度，欲望和决定[10]。人格可以被描述为影响一个人的行为、思想和情感模式的心理因素，这些因素将人物彼此区分开来[11]。在社交平台上经常交换的文本数据确实是人们将内心的想法和情感转化为他人可以理解的形式的最直接和可靠的方式。通过这种方式，社交媒体文本将显示个人个性的各个方面因此，研究利用了多个经验指标，包括语言线索，句法特征以及手动或自动生成的语义词典[13]。因此，不再需要使用诸如大五量表之类的问卷，因为语言标记显示了个体的个性相反，从非结构化文本中解释个性化YashMehta等人对人格预测领域的现代趋势和演变进行了全面的研究调查[3]的第11段。关于文本模态，他们宣称文本处理，从文本中捕捉有价值的特征，并采用正确的技术是非常有用的步骤，可以产生很好的结果。在这一背景下，一些研究者进行了全面的研究，发现了一些有用 的 文 本 特 征 ， 如 语 言 查 询 和 字 数 统 计 （ LIWC ） [14] ，Mairesse[15]。然而，发现与用户个性紧密联系的有用文本特征一般来说，从文本中提取特征以输入到传统的机器学习分类器，如支持向量机（SVM）[17]。一些以前的研究，从纯文本的性格预测是由詹姆斯Pennebaker等人。[18]基于他们流行的Essays数据集。作者收集了著名的黄金标准Essays Dataset，用于广泛的人格特质检测研究实验除此之外，他们还通过使用LIWC特征来定义文章与个性之间的相关性[14]。Francois Mairese等人添加了其他功能[15]为了增强同一数据集上的结果，该数据集被称为Mair-存在基线。Saif Mohammad等人[17]应用特征集的组合以优于[15]中的结果。Sun等人提出了一种新模型。[16]使用双向长短期记忆（LSTM）网络与卷积神经网络（CNN）连接，并应用于同一数据集。作者成功地利用文本的结构特征，通过引入合并密切相关的句子的基本特征的集合的想法来检测人格特质在前-K. El-Demerdash，R.A. El-Khoribi，硕士Ismail Shoman等人埃及信息学杂志23（2022）4749经过NLP培训的LMs， Majumder et al.[1]在Essays数据集上应用深度学习CNN模型，该模型超过了所有特征的基线结果。除了Essays数据集，Farnadi et al.[19]通过使用著名的文本社交媒体myPerson- ality数据集[20]进行了基于社交媒体状态的性格预测研究。作者在预测过程中使用了LIWC和社会网络分析等功能。Park等人使用该数据集。[21]使用单独的回归对每个特质进行分类，从文本中进行自动人格检测。羽马尔可夫[22]通过使用与同一数据集上的平均池化层对齐的CNN模型来改进结果。 YangLi等人。[23]提出了一种基于CNN的新型多任务学习框架，用于同时检测人格特质和情绪，作者使用myPersonality数据集，并建立在人格特质 和 情 绪 行 为 之 间 的 已 知 相 关 性 基 础 上 。 Tandera 等 人 [24] 为myPersonality数据集实现了多层感知器（MLP）深度学习架构，这种人格预测模型在所有五个特质上的平均准确率超过了先前研究的70.78%2.1. NLP中的迁移学习迁移学习是当今NLP中最有趣的方法之一最近，几篇论文介绍并讨论了在NLP中使用预训练的LM的迁移学习[25将迁移学习技术应用于NLP，推动了理解和生成语言的界限。因此，目前在NLP领域提供最佳结果的最新趋势是将预训练的LM应用于各种下游NLP任务。您可以在特定任务中使用自己的数据微调这些模型，或者使用这些模型从文本数据中获得高质量的LM特征。在以前的一些研究中，预先训练的LM的最新进展被应用于人格检测领域。在[4]中通过利用ULMFiT[26]技术解决了个性特征分类的问题。作者使用了Essays数据集，并且在[1]中所有性状的平均准确性结果都优于平均准确性结果。此外，作者强调，当使用预训练的LM特征时，在分类之前不需要进行特征工程阿斯兰[10]使用ELMo嵌入[25]以及三个完全链接的基于转录特征的网络层，创建了一个多模态框架，以识别基于不同模态的人格特质。 BERT[27] 模型在应用于 Yash Mehta 等人的Essays数据集时优于最先进的准确性结果。[28]所有五个性状的平均准确率为60.6%作者开发了一个模型，利用语境化嵌入和心理语言学特征来预测人格特质然而，他们的结果表明，LM功能BERT与MLP击败了传统的心理语言学特征。在同样的背景下，为了提高这种心理学研究的准确性，Erik Cambria 等人[29]提出了一个新版本的SenticNet（用于情感分析的常识知识库），通过符号和子符号AI工具的集合作者使用了一种自上而下的知识表示方法，因为它利用语义网络等符号模型来编码含义，而自下而上，因为它使用BERT等子符号方法来隐式地从数据中学习语法模式[30]中提出了另一种计算效率高的基于深度学习的模型，作者将BERT嵌入到基于SVM的集成方法中，以提高Essays数据集的准确性结果。据我们所知，在撰写本文之前，在现有文献中没有使用预先训练的LM与myPersonality数据集[20]进行过研究在这里，我们要重点强调这三个预先训练好的在人格检测任务中使用的LM。在除此之外，这些模型是NLP新趋势的核心。2.1.1. Elmo单词嵌入是一种机制，其中单独的单词在预定义的向量区域中被符号化为实值向量[31]。有一些流行的方法可以发现单词嵌入并将它们作为向量提供，例如GloVe和Word2Vec[31，32]。它们是一种分布式表示或文本内容，在困难的NLP问题上具有出色的深度学习策略执行能力。但是，它们都有一个缺点，即不能在不同的载体上表达一词多义。这意味着，对于同一个词，即使它在上下文中有不同的含义，它的向量也是不变的。这对于许多NLP任务的性能要求来说是不可接受的。从LM或ELMo嵌入[25]是以一种考虑到整个背景的方式创造的。创建ELMo是为了考虑文本的完整上下文。具体来说，它被开发用于对深度双向LM的内部状态的权重进行求和，并在大型文本语料库上进行在解决多义词的问题，ELMo产生更好的性能，优于以前的技术。除了ELMo在基于句法的关系中的表现之外，它还捕捉语义或意义相关的关系。此外，ELMo为NLP的预培训迈出了重要一步2.1.2. ULMFiT微调LM的第一个有用的方法是通用语言模型微调方法[26] 或ULMFiT。该模型提出了通过使用ASGD Weight-Dropped LSTM LM（AWD-LSTM）的最新阶段来微调LM的重要程序[33]。该模型基于相同的内部结构设计，除了调整dropout参数外，没有改变超参数。LM是在一个广泛的公共领域语料库上进行预训练的，Wikitext-103由28，595篇预处理的维基百科文章和1.03亿个单词组成。为了进行预训练，该模型使用了自动编码器目标和从左到右的LM。基础LM编码器之上的分类器层只是一个池化层（最大池和平均池），后面是一个完全连接的线性层块。作者证明了几种新技术的重要性，包括区分微调，倾斜三角学习率和逐渐解冻，以保留以前的知识，避免灾难性的遗忘在微调。2.1.3. 伯特TransformerBidirectionalEncoderRepresentations ， 或BERT[27]，是一种现代前沿模型，它使用自我注意层来理解每个单词相对两侧的含义它是第一个深度双向的，无监督的语言表示，从无标签的文本，通过共同调节在所有层的左，右上下文。两个主要的成功因素是屏蔽输入标记以防止单词间接“看到他们自己”的循环和预先训练句子关系模型。BERT也是一个非常大的模型，在一个巨大的语料库上训练。它是用图书语料库（8亿字）和维基百科（2,500万字）进行预训练的。BERT是第一个基于微调的表示模型，它在一系列NLP任务中实现了最先进的结果，展示了巨大的潜力。的微调方法。根据模型的架构大小 ，我们有 两种类型 的BERT 预训 练版本。BERT 基础 ：12层（Transformer块）、12个关注头和1.1亿个参数，BERT-Large：24层（transformer块）、16个关注头和3.4亿个参数。对于微调，BERT模型首先用预训练的参数初始化，并且所有参数都使用来自下游任务的标记数据每个下游任务K. El-Demerdash，R.A. El-Khoribi，硕士Ismail Shoman等人埃及信息学杂志23（2022）4750MFGMMJX有一个单独的微调模型，即使它们是用相同的预训练参数初始化的。只需一个额外的输出层，就可以对预训练的BERT模型进行微调，为各种任务创建最先进的模型，而无需过多的特定于任务的架构更改。3. 方法简而言之，ELMo、ULMFiT和BERT已经引入了由预训练的LM支持的每个模型都有不同的机制，但它们都使用单词嵌入和微调技术。这些模型在NLP任务中有相当大的贡献。然而，确定哪种方法适用于特定的NLP任务并不是一项简单的任务。确切的输出取决于特定的数据集。在这种情况下，融合策略可以在不同的级别上实现，例如数据级、特征级、分类器级和决策级。融合策略可以提高分类的平均效率，提高预测精度。我们提出的模型包括数据级和分类器级的融合策略，以提高整体的人格预测性能。我们采用了三个预先训练的LM，ELMo，ULMFiT和BERT。我们使用Essays和myPersonality数据集的融合来进一步微调所提出的模型[35]。目标是当使用不同的算法时，会出现多样性的限制[39]。此外，使用多个分类器进行特征提取在NLP中更重要[40]。因此，我们选择了用于多个不同分类器融合的固定规则方法，它适用于组合独立分类器以及计算成本较低的方法[41]。基本分类器输出有三个评估级别[42]，抽象级别（分类器输出是每个类别的类别标签），排名级别（分类器输出是类别标签的排名列表）和测量级别（分类器输出是每个类别的后验概率）。在二进制任务中，抽象和度量水平通常用于分类器组合作为输出。抽象层的组合规则被称为投票，顾名思义，输出的类是所有分类器投票结果中最多的类。在测量水平的情况下，使用流行的代数规则（如平均值、最大值和乘积规则）计算类输出。给定一n级分类问题：y2fc1;c2;c3;. ;c ng，m分类器fh1;h2;h3;.. . ;h mg在fea中训练-真实空间D：x1;x2;x3;. ;x k 组合规则定义如下：P平均fc ijx1;x2;x3;.. . ;x kg/1P hfc ijx1;x2;x3;.. . ;x kg1j1以提高性能并推广所提出的个人-Pfc j x; x; x;. ; x g ¼ max Pfc j x; x; x;. ; xg独立于数据源的城市预测模型。所提出的用于个性预测的模型的高级架构如图所示。1.一、在下面的小节中，我们将描述模型的主要组成部分。Max我123khjj1Ymj1我123K3.1. 分类器级融合融合的最终结果主要取决于每个分类器的效率以及分类器之间决策的多样性。实际上，即使相同的预训练模型具有不同的微调参数，也具有不同的性能。因此，我们认为，决定哪个模型将导致数据集上的最佳性能是棘手的。包围学习是指用于训练多个预测器并组合其输出的过程 。 预 测 器 的 集 合 通 常 被 称 为 委 员 会 机 器 [36] 。 Bagging[37] 和boosting[38]是两种流行的委员会机器。但是，bagging和boosting基于相同的分类算法，集中于数据样本的多样性Fig. 1.建议模型的高体系结构级别。从前面的公式中可以看出，每个分类器hj都有它的后概率Phj，融合后的预测是基于这些融合固定规则给出的其中m个分类器的后验平均概率是P均值，m个分类器的后验最大概率是Pmax，m个分类器的后验乘积概率是P乘积。根据后验概率的大小，最终的预测结果是负性性状为0，正性性状为1。3.2. 数据级融合数据融合是将来自多个来源的数据和知识进行整合，以生成比任何单一数据源提供的结果更可靠、更精确和更有效的结果[43]。数据级融合的过程发生在不同的级别[44]，数据融合过程有三个级别，低，中间和高级别。低级数据融合将多个原始数据源组合起来以产生新的原始数据。已经注意到，单个预训练LM的性能偏向于其训练中使用的文本长度[3，16，35]。一些模型对短文本提供更好的结果，而另一些模型对长文本提供更好的结果。因此，我们采用低级融合来利用深度学习模型的特征工程能力。这种来自同一领域不同来源的数据组合为我们提供了更深入的信息，更高的准确性和更具体的推断。期望的是，来自不同来源的数据集的融合使预训练的LM能够训练更多的任务特征，这是使用任何一个单一数据集都不可能实现的。这反过来可以产生优于任何单个分类器的分类器。4. 实验装置在本节中，我们展示了本文中使用的数据集，实验配置，每个预训练的性能评估P积f c i j x1; x2; x3;.. . ; x k g¼Phjfcijx1;x2;x3;.. . ;xkg3K. El-Demerdash，R.A. El-Khoribi，硕士Ismail Shoman等人埃及信息学杂志23（2022）4751-¼ ð Þ表1数据集的细节表3Essays数据集的分布。名称源记录话值EXTNEUAGRCONOPN散文学生2，467篇论文1,900,000是的12761233131012531217myPersonalityFacebook9，917状态143,600没有11911234115712141196表2大五人格特质[4]五个特征描述外向性（EXT）是一个外向、健谈、精力充沛的人与保守和孤独相比呢神经质（NEU）是人敏感和紧张，安全和自信吗可信赖性（AGR）是指一个人值得信赖，直率，慷慨、谦虚与不可靠、复杂、贫乏和自夸？尽责性（CON）是一个有效率和有组织的人，马虎大意开放性（OPN）是一个有创造力和好奇心的人，教条而谨慎在LM上进行了比较研究，并将所提出的模型性能用于人格预测.4.1. 数据集描述本文使用的语料库是由两个数据集组成的，这两个数据集是人格预测研究中常用的数据集，有关数据集的详细信息见表1。第一数据集是myPersonality数据集[20]，它是从myPersonality项目[45]样本数据中获得的原始文本的Facebook状态帖子，myPer- sonality是允许其用户参与心理研究的Facebook应用程序。应用程序myPersonality1在2007年至2012年期间处于活跃状态，积累了大量数据，可以根据请求访问。我们的研究基于myPersonality原始数据集的样本。第二个数据集是著名的Essays数据集[18]。该数据集由James Pennebaker等人编辑。[18]用于在文本数据中进行组合人格分类。这些有效的身份不明的文章是从志愿者那里收集的，他们在一个受控的环境中写意识流文章。通过使用作者自己的五大模型问卷，两个数据集都注释了作者myPersonality数据集包含比Essays数据集更短的文本。表3和表4显示了基于人格特质类型的两个数据集的分布。如表3所示，Essays数据集中的所有特质都是平衡的，同时在表4中，我们看到NEU和OPN两个特征不平衡。保持原始文本信息以保留所有特征可以进一步有助于深度学习，以用于作为二进制分类任务的个性检测。因此，三个模型的输入数据是相同的原始数据。4.2. 实验配置我们尝试了不同的微调技术以及ELMo，ULMFiT和BERT，以达到三个分类器的最佳性能。我们注意到，1https://sites.google.com/michalkosinski.com/mypersonality/home? authuser=0表4MyPersonality数据集的分布。值EXTNEUAGRCONOPN是的42103717526845567370没有57076200464953612547这些技术并报道了三种模型的最佳结果。首先，对所有模型进行微调，并使用每个数据集进行测试，以进行比较研究。其次，我们将三个模型分别微调到融合数据集，然后分别预测每个数据集，以探索每个数据源的数据级融合性能以及每个分类器的性能贡献。第三，我们将融合方法应用于每个数据集的三个分类器的分类结果，以获得所提出的模型的最终结果。对 于 ELMo ， 我 们 使 用 了 由 ELMo AllenNLP 官 方 发 布 的 基 于PyTorch的版本。下面的动作是在提取嵌入之后显式地学习从数据集中识别人格特质。与所有其他网络相反，不需要LSTM网络或递归神经网络（RNN）的任何其他变体，因为通过ELMo中的双向LSTM单元，单词序列的特征预先编码到嵌入中。因此，在这个LM之上添加了一些额外的层来训练神经回归网络，该网络可以从数据集中识别人格特质。对于ULMFit，我们使用Pytorch构建整个模型，并利用Fastai库来微调LM。我们使用反向传播通过时间80，以允许LM的长文本序列的梯度传播。我们在训练部分使用了128的批量大小，我们在GPU上将训练速度提高了2到3倍分类器使用的我们对分类器进行了5个时期的微调，因为我们注意到模型在那之后停止了改进对于BERT，我们使用PyTorch-pretrained-bert包中的“bert-base-uncased”模型进行微调。正如BERT的官方文件所述，所有句子都被填充或截断，单个固定长度，最多512个标记，最小批量为32，学习率为2e 5，训练时期的数量为3。对于ELMo和BERT，我们添加了一个用于性状分类的MLP分类器在每个实验中，五个独立的网络都使用相同的结构来训练所有五种人格特质。对于评估操作，我们将每个数据集分别以90：10的训练：测试比率数据进行分割，我们随机留出10%的训练数据来构建所有模型的验证集。4.3. 结果和讨论结果将使用准确性度量作为关键性能指标进行评估，这是文献中用于大五人格特质预测的官方度量，作为二元分类任务。准确率是在所有数据分类中正确的分类百分比。量化二进制精度的公式为：精度TPTF4TPTF FPFNK. El-Demerdash，R.A. El-Khoribi，硕士Ismail Shoman等人埃及信息学杂志23（2022）4752其中：TP =真阳性; FP =假阳性; TN =真阴性; FN =假阴性4.3.1. 比较研究结果通过使用Elmo，ULMFiT和BERT获得的所有分类结果，分别使用每个数据集进行微调和测试，可以在表5和表6中看到。表5显示了通过使用Essays数据集和三个模型获得的结果。BERT的微调显示EXT性状的 准 确 率 最 高 ， 为 59.95% ， CON 性 状 为 58.93% ， OPN 性 状 为64.30%。ELMo模型对NEU性状的预测精度最高，为61%，ULMFiT模型对AGR性状的预测精度最高，为59.25%。BERT的平均准确率最高，为60.43%，表6显示了使用myPersonality数据集和三个模型获得的结果。BERT 在 EXT 、 NEU 和 OPN 三 个 性 状 中 的 识 别 率 最 高 ， 分 别 为79.50%、 78%和80%然而，使用ULMFiT获得的CON性状的最高准确率为64.55%，ELMo以62.75%的准确率优于AGR性状所有性状的平均准确率最高这项比较研究的观察结果是，一方面，OPN特质的预测，在两个数据集的所有模型中，OPN特质的预测准确率最高，这表明它具有在文本数据中最容易预测的明显线索。另一方面，BERT模型在EXT和OPN特质上获得了最高的准确性，在两个数据集上所有特质的平均准确性也最高，但没有一个预先训练好的模型可以控制所有的大五人格特质。因此，BERT已被证实是大数据可用的行业环境中的一个很好的选择。当我们必须预测五大人格特质时，BERT也是比ELMo或ULMFiT更合适的选择。4.3.2. 提出的模型结果在对每个数据集分别设计和实验了三个模型并确定了三个分类器的最佳性能之后，我们将它们应用于融合数据集（Essays训练数据+myPersonality训练数据），以了解每个模型在使用不同数据源进行微调时分类结果的准确性。除此之外，为了使用如第3.1节所示的固定规则方法执行分类器融合，通过预测概率为0，分别获得每个特质分类结果以及每个分类器代表消极特质，1代表积极特质。然后，我们申请每个文本数据点的融合规则后验概率，测试数据集，并在此之后将其转换为预测标签。我们注意到这些融合固定规则的性能相似，并报告了平均融合方法，这是最好的结果表5每个模型的Traits Accuracy Fine-Tuning和Essays数据集的测试。模型EXTNEUAGRCONOPN平均Elmo59.2361.0058.3157.3262.6859.71ULMFiT58.8959.9259.2557.9763.3659.88伯特59.9560.1658.8058.9364.3060.43表6每个模型的Traits准确性微调和myPersonality数据集上的测试。模型EXTNEUAGRCONOPN平均Elmo76.5977.5862.7563.3579.0071.85ULMFiT77.0076.2562.3564.5578.3571.70伯特79.5078.0061.0062.0080.0072.10表7每个模型的Traits准确度在融合数据集上进行微调，并在Essays数据集上进行测试。模型EXTNEUAGRCONOPN平均Elmo59.2361.5058.6157.7263.1860.00ULMFiT59.5960.2959.2558.4763.2660.17伯特60.8560.7559.8058.9065.3061.10提出61.1562.2060.8059.5265.6061.85SOTA[28]60.0060.5058.8059.2064.6060.60表8每个模型的特质准确度在融合数据集上进行微调并在myPersonality数据集上进行测试。模型EXTNEUAGRCONOPN平均Elmo76.5978.0063.3063.7579.6072.25ULMFiT77.3176.4562.8064.7578.6572.00伯特79.9578.3561.5062.2580.4072.50提出80.5579.0063.6965.3181.0073.91SOTA[24]78.9579.4956.5259.6279.3170.78对于所提出的模型。通过使用Elmo，ULMFiT和BERT获得的所有分类和融合结果，使用融合数据集进行微调并分别使用每个测试数据集进行测试，可以在表7和8中看到。通过将表7中的每个性状的准确度与表5中的相应值进行比较，并且同样地将表8中的每个性状的准确度与表6进行比较，发现当每个预先训练的模型在融合数据集上进行微调时，大多数性状的准确度都有所提高。然而，在融合数据集的情况下，具有ELMo的EXT特质然而，在融合数据集的情况下，每个模型的所有性状的平均准确度从表7和表8中所示的基于每个模型的融合数据集的平均准确度结果的改善，我们可以表明，使用更多的数据源增加了LM的预测准确度，因此改善了结果。这种改进可能因模型而异，因为它还取决于用于预测的模型架构在此背景下，我们将分类器融合方法应用于三种模型，以进一步提高分类结果。根据表7所示的实验结果，我们可以看到，所提出的模型在所有五大人格特质的准确性上都占主导地位，并且优于所有五大人格特质。所有性状的最高平均准确率是通过使用我们在我们提出的模型中使用的平均融合方法获得的，为61.85%。同样，表8中的结果表明，所提出的模型对所有性状具有最高的平均准确率，为73.91%。从表7和表8中可以看出，所提出的模型性能优于单独的三个模型的性能此外，我们使用类别准确度与最先进的准确度结果进行头对头比较，首先，关于Yash Mehta等人报告的Essays数据集。[28]参见表7，其次，关于Tandera等人的myPersonalty数据集。[24]参见表8。所提出的模型优于所有的平均精度对于金标准Essays数据集，具有约1.25%的竞争统计边际，对于金标准myPersonality数据集，具有约3.12%的显著统计与表中所示的最新准确度结果相比K. El-Demerdash，R.A. El-Khoribi，硕士Ismail Shoman等人埃及信息学杂志23（2022）4753如图7和图8所示，所提出的模型在准确性方面被证明是一个明亮而强大的基于深度学习的人格预测模型，而不管所使用的数据源、语言和心理语言特征如何5. 结论和今后的工作在本文中，我们介绍了一个有效的和可解释的模型，用于人格分类任务的基础上预先训练的LM特征和融合技术的迁移学习。我们使用预先训练的LM来训练人格特质分类器。具体来说，我们利用了预先训练好的ELMo、ULMFiT和BERT模型，在两个黄金标准数据集上进行了实验所提出的模型显示了所有五个性状的最先进的平均精度结果的精度提高。我们的研究结果表明，来自不同五大个性数据源的足够数据的融合，以及通过最先进的预训练LM如Elmo，ULMFiT和BERT进行微调，然后采用适当的分类器融合方法，可以在不使用外部特征集的情况下优于以前的个性预测结果我们的方法比最好的单一分类器表现得更好，并且比Essays数据集的当前最先进的结果高出1.25%，比myPersonality数据集高出3.12%。这些结果表明，迁移学习和融合方法在文本人格特征检测中的成熟关于未来的工作，我们计划在本文中的工作进行实验，以其他情感概念和主观性术语，如意见，情绪，情感和情绪，以达到一个通用的模型，用于社会网络领域。引用[1] Majumder N，Jesus S，Gelbukh A，Cambria E.基于深度学习的文档建模，用于从文本中进行个性检测。IEEE Intell Syst2017;32（2）：74-9.[2] Yilmaz T，Ergil A，Ilgen B.基于深度学习的文档建模，用于土耳其语文本中的个性检测。在未来技术会议（FTC）的会议记录。[3] [10]杨文，李文，李文. 基于深度学习的人格检测的最新趋势。Artiff Intell Rev2019。https://doi.org/10.1007/s10462-019-09770-z. .[4] El-Demerdash K，El-Khoribi RA，Shoman MAI，Abdou S.基于通用语言建模的心理人类特征检测。埃及Inf J2020.[5] Lambiotte R，Kosinski M.追踪个性的数字足迹。在：电气和电子工程师协会（PIECE）的会议记录。p. 一九三五年到一九三九年。[6] 杨文辉，王文辉，王文辉.人格特质如何影响在线社交网络中用户之间的交流？在线Inf Rev2014;38（1）：136-53。[7] CambriaE，P. S，Gelbukh A，Thelwall M. 情绪分析是一个大箱子。IEEE IntellSyst 2017;32（6）：74-80.[8] Digman J.人格结构：五因素模型的出现。In AnnRev Psychol 1990;41：417-40.[9] Pfister H-R，Böhm G.情绪的多样性：决策中情绪功能的框架。判决决策2008;3（1）：5.[10] Aslan S，Güdükbay U.基于长短期记忆和卷积神经网络的多模态视频表观人格识别。1911.00381; 2019..[11] Rr M，Op J.五因素模型及其应用介绍。J Pers1992;60（2）：175-215.[12] Xue D，WLHZ e a.基于深度学习的在线社交网络文本帖子的个性识别2018;48：4232-4246..[13] HowladerPrantik等人通过灵活的回归分析技术，基于状态和语言特征预测facebook用户的个性。在：第33届年度ACM应用计算研讨会论文集。[14] 放大图片作者：Martha F.语言调查与字数统计。 Lawrence Erlbaum Associates，Mahway，vol. 71岁。[15] Mairese F，Walker MA，Mehl MR，Moore RK.使用语言线索自动识别对话和文本中的个性。 J Artif Intell Res2007;30：457-500.[16] 孙 X ， 刘 B ， 曹 J， 罗 J ，沈 X. 我 是 谁 ？ 基 于 深 度 学 习 的 文 本 个 性 检 测 。 IEEEInternational Conference on Communications（ICC）美国电气与电子工程师协会。p. 1比6[17] Mohammad S，Kiritchenko S.使用主题标签从推文中捕捉精细的情感类别。Computat Intell2015;31（2）：301-26.[1
我的内容管理
展开
