深度学习在自然语言处理中的新兴方法和应用

阵列14（2022）100138Special issue “Deep Learning for Natural Language Processing: Emerging methodsand在过去的十年中，深度学习的使用已经允许在自然语言处理（NLP）领域的许多重要任务上实现相当大的改进，例如机器翻译[1]，阅读理解[2，3]，信息检索[4]和情感分析[5，6]，以及构建问答系统[7尽管如此，尽管深度学习的成功数量解决不同的NLP任务，研究人员对这一研究领域表现出越来越大的兴趣[13系统不如人类，并且深度学习模型的复杂性朝着经验选择的方向发展[16本特刊概述了自然语言处理领域正在进行的研究，重点关注新兴的深度学习方法和方法，用于单一和多种语言学习，理解，生成和接地，文本处理和挖掘，问答和信息检索，以及它们在不同领域的应用，以及资源有限的设备，赋予解释性。为此，该特刊汇集了在各个领域具有广泛专业知识的研究人员，讨论他们的前沿工作以及对这一令人兴奋的领域未来发展方向的看法。在这一研究领域的理论和实践、技术和体系等方面都有独创性的本特刊选择了4篇文章，代表了以下NLP领域的进展和潜在应用：多语言和跨语言神经语言模型。 在 参考文献[22]，作者面临的问题是，多语言使用者倾向于在文本中混合X种不同的语言，并且在同一个词中切换来自不同语言他们创造了第一个注释的阿拉伯语-英语语料库，用于词内语言识别 任务 沿着与 一 基于web 应用 用于数据注释，并且他们使用分段递归神经网络实现了一个模型，该模型相对于基线模型实现了最高性能。自然语言理解、生成和基础。[23]的作者关注自动文本复杂度评估来衡量文本的可理解性等级，它可以支持https://doi.org/10.1016/j.array.2022.1001382022年3月15日网上发售自动文本简化，以满足特定的读者需求。因此，他们提出了一个基于深度学习的系统，能够根据复杂性对意大利语和英语句子进行分类，通过利用Treetagger注释工具，两个长短期记忆（LSTM）神经单元层和一个完全连接的神经单元层，以获得句子属于简单或复杂类的概率。实验结果表明，该方法对两种语言的有效性，与几个基线机器学习方法相比。情感分析、情感检测和意见挖掘。 在参考文献[24]中，作者首次使用孟加拉语进行情感分析，使用扩展的词典数据字典和基于规则的情感评分算法提取极性，与预处理文本一起用作不同深度学习模型的训练样本，包括他们提出的一些模型，即，基于层次注意力的LSTM、基于动态路由的胶囊神经网络与Bi-LSTM和BERT-LSTM。作者测试了他们的性能，表明所提出的模型在执行情感分析任务时具有很高的准确性。应用于科学、工程、医学、保健、金融、商业、法律、教育、工业、运输、零售、电信和多媒体。[ 25 ]的作者专注于教育，特别是简短答案的自动评分，他们介绍了第一个基于深度学习的阿拉伯语简短答案评分系统，以提供一个可靠的系统，帮助阿拉伯世界的教师提高该地区的学习质量。他们以经验为基础研究不同的技术，并提出性能最佳的系统，显示阿拉伯语NLP工具的改进。竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢这期特刊的成功要归功于所有作者的宝贵贡献，敬业的评审员，以及Array的编辑团队。2590-0056/© 2022作者。爱思唯尔公司出版这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。可在ScienceDirect上获得目录列表阵列期刊主页：www.sciencedirect.com/journal/array····M. Esposito et al.引用[1] 谭志，王S，杨志，陈刚，黄旭，孙明，刘勇。神经机器翻译：方法、资源和工具综述。AI Open2020;1：5-21.[2] Marulli F，Pota M，Esposito M.意大利语词性标注双向lstms中字符和词嵌入的比较。In：De Pietro G，Gallo L，Howlett RJ，JainLC，Vlacic L，editors. 智能交互式多媒体系统和服务。Cham：Springer International Publishing; 2019。第14-23页。[3] [10]杨文，李文.ELECTRA用于意大利语中的神经共指消解 IEEE Access 2021;9：115643-54.[4] Guarasci R，Damiano E，Minutolo A，Esposito M，Pietro GD.基于词汇语法的 意 大 利 语 自 然 语 言 句 子 开 放 信 息 抽 取 。 Expert Syst Appl 2020;143：112954.[5] 杨文龙，王晓梅，王晓梅.基于伯特的推文情感分析预处理的多语言评估。 ExpertSyst Appl 2021;181：115119.[6] [10]杨文，王文，王文.基于子词的深度学习方法用于政治推文的情感分析。In：Proceedings of the 201832nd International Conference on Advanced InformationNetworking and ApplicationsWorkshops（WAINA），Krakow，Poland，16-18May 2018; 2018.[7] Pota M，Fuggi A，Esposito M，Pietro GD.认知系统中问题分类的压缩特征集抽取：比较研究。2015年第10届P2P、并行、网格、云和互联网计算国际会议（3PGCIC），波兰克拉科夫，2015年11月4日至6日。IEEE; 2015年。[8] EspositoM，Damiano E，Minutolo A，Pietro GD，Fujita H.混合查询扩展在问答中使用词汇资源和词嵌入进行句子检索。Inf Sci2020;514：88-105.[9] Pota M，Esposito M，Pietro GD，Fujita H.卷积神经网络用于问题分类的最佳实践。应用科学2020;10：4710.[10] Minutolo A，Esposito M，Pietro GD.一个基于知识图谱的对话聊天机器人，用于事实模拟医学问题。In：Proceedings of the 16th InternationalConference onIntelligent Software Methodology，Tools and Techniques，KitaKyu-shu，Japan，26-28 September 2017; 2017.[11] 杨文龙，李晓梅.用于查询意大利患者信息传单和提高健康素养的会话代理。计算机生物医学2021;141：105004。[12] 贝尔巴托娃湾基于内容的图书推荐系统的NLP技术综述。在：与RANLP-2019，瓦尔纳，保加利亚，2019年9月2日至4日相关的学生研究研讨会的Roceetum;2019。[13] Yadav A，Vishwakarma D.使用深度学习架构的情绪分析：综述。人工智能修订版2020;53：4335-85。[14] YuanA，Zhang Y，TangJ，HallW，Cabot`aJ. 社区问题中的EXpert发现答：一个回顾。 ArtifIntell Rev 2020;53：843-74。[15] 王毅，王明，藤田.词义消歧：一个综合知识开发框架。知识库系统2020;190：105030。[16] Laha A，Raykar V.对双序列分类任务的各种深度学习架构的经验评估。In：Proceedings of the COLING 2016，the 26thInternational Conference onComputational Linguistics：Technical Papers，Osaka，Japan，11-16December 2016; 2016. p. 2762-73。阵列14（2022）100138[17] Nguyen V，ChengJ，Yu Y，Thai V.一种基于深度学习网络的架构研究了集成经验模态分解在轴承振动信号精确识别中的应用。J Mech SciTechnol 2019;33（1）：41-50.[18] 郭强，陈S.一项针对不同框架和平台的深度学习开发和部署的实证研究。在：ASE'19：第34届IEEE/ACM 自动化软件工程国际会议论文集，2019年11月; 2019年。p. 810- 22[19] [10]杨文，李文.多语言词性标注基 于 字 符 级 特 征 和 动 态 丰 富 词 嵌 入 的 复 合 深 度 架 构 。 知 识 库 系 统2019;164：309-23。[20] 验证与确认AA。EMNLP关于低资源NLP深度学习的研讨会。Stroudsburg（PA.）： 计算语言学协会; 2019年。[21] ZohuriB，Moghoun M.深度学习的局限性和缺陷现代方法Mater Sci Short Commun2020;2：241[22] SabtyC，MesabahI，MesabahG，AbdennadherS. 阿拉伯语-英语词内语码转换的语言识别阵列2021;12：100104。[23] 放大图片作者：Bristol G，Schicchi D. DeepEva：一种用于评估意大利语和英语句子复杂性的深度神经网络架构。阵列2021;12：100097。[24] Bhowmik NR，Awanzzaman M，Mondal MRH.使用扩展词典和深度学习算法对孟加拉语文本进行情感分析。阵列2022;13：100123。[25] Nael O，ELmanyalawy Y，Sharaf N. Arascore：一个基于深度学习的阿拉伯语简答题评分系统。阵列2022;13：100109。Massimo Esposito意大利国家研究委员会-高性能计算和网络研究所（ICAR），ViaPietro Castellino 111，80131，意大利那不勒斯藤田见堂日本岩手县立大学意大利AnielloMinutolo国家研究委员会-高性能计算和网络研究所（ICAR），ViaPietro Castellino 111，80131，意大利那不勒斯Marco Pota*意大利国家研究委员会-高性能计算和网络研究所（ICAR），ViaPietro Castellino 111，80131，意大利那不勒斯*通讯作者。电子邮件地址：marco. icar.cnr.it（M. 波塔）。2