宗卡语下一个音节预测系统的开发与应用

沙特国王大学学报使用长短期记忆的宗卡语下一个音节预测系统Karma Wangchuk、Panomkhawn Riyamkol、Rattapoom Waranusast泰国彭世洛那瑞宣大学工程学院电子与计算机工程系阿提奇莱因福奥文章历史记录：收到2020年2020年12月21日修订2021年1月2日接受2021年1月13日在线提供保留字：宗卡语音节循环神经网络（RNN）长短期记忆（LSTM）自然语言处理（NLP）A B S T R A C T宗喀巴打字很费时间。宗卡语中的一个词由单个音节或多个音节组成。一个单音节的词（财产）和多音节的词（财产） 阴天（多云）分别需要6和22次按键。同样，大多数音节和单词需要几个按键。迄今为止，音节预测的研究还没有进行。此外，文本语料库的缺乏也是一个挑战。本研究的目的是开发一个下一音节预测系统，以减少重复和打字时间。所提出的系统采用单个音节并预测接下来的前五个可能的音节。选择最合适的音节来形成单词，随后，单词预测下一个可能的音节。该语料库由不丹宗卡发展委员会和Kuensel在线收集的不同流派组成。该数据集包括31，199个句子和222，844个音节。使用n-gram方法，从数据集中生成了195，998个序列，包括2，929个独特的音节。使用词嵌入将文本序列转换为向量，并使用递归神经网络的变体进行单层长短期记忆的128个记忆单元获得了最好的训练准确率为78.33%。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言38002.相关工作。...................................................................................................................................................................................................................................................... 38013.方法学38023.1.系统概述38023.2.数据集38023.3.字嵌入38023.4.模型架构38034.结果与讨论38035.结论3805竞争利益声明确认3805参考文献3805*通讯作者。电子邮件地址：panomkhawnr@nu.ac.th（P.Riybankol）。沙特国王大学负责同行审查1. 介绍在计算机时代，键盘布局和打字设施一直激励着作家和研究人员。学者们普遍可以按照自己的节奏撰写和记录他们的发现https://doi.org/10.1016/j.jksuci.2021.01.0011319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comK. Wangchuk，P. Riyabikol和R.瓦拉努萨斯特沙特国王大学学报3801ྱྱ表1一个音节/单词所需的音节数、字符数和按键单词翻译音节字符按键联系我们Date 1 3 3中国台湾富1 6 7给我1 5 7家庭2 5 6敌人3 9 14情人4 12 15ས་སྱྨག་སྱྤབས་སབྱྤ 广州多云41622蜡烛4 12 17和意愿。此外，学生们正在利用计算机的力量进行研究，如编写报告，模拟，训练模型和无缝上网计算机还用于玩视频游戏，并通过向系统提供不同的输入来体验具有增强现实的键盘是用于向计算机输入 数 据 的 标 准 数 据 输 入 装 置 键 盘 布 局 是 基 于 手 动 打 字 机 的“QWERTY”（Harbaugh，1996）开发的尽管有人提出了替代性的布局，但它并不能取代现有的布局。然而，人们看到了现有布局的演 变 （ Harbaugh ， 1996 ） （ August and Dealey ， 1936 ）（Gardner，1985）（Kuhlenschild，1997）。该解决方案是由August和Dealey于1936年提出的，用于“QWERTY”布局的限制用英语打字很方便，但非英语语言，如Dzongkha，打字很困难。Dzongkha是不丹的官方和民族语言。它是从藏语“chokey”衍生而来的 。Dzongkha 有 30 个 辅 音 ， 四 个 主 要 元 音 和 一 个 固 有 元 音（Tshering和Van Driem，2019）。书写风格与藏文相同。它被归类为汉藏语（Chungku et al.，2010年）。与梵语、印地语和东南亚语言类似，宗卡语也是音节的（Norbu等人， 2010年）。一一个单词由一个（音节=给予）音节或多个音节（蜡烛）组成，由称为“tsheg”的点（点）分隔， 单音节可以由一个或多达六个字符组合而成（Chungku等人， 2011年）。 单音节词（额头）由五个字（，）组成。这些音节的组合形成了不同的单词和句子（非常感谢），但indi-vidually音节可以独立地是一个词（天空=天空，无意义=缺席，土壤=土壤，无意义=缺席，命令=命令，恩惠=恩惠，伟大=伟大）。宗卡是从左到右连续书写的，类似于泰语和印地语的脚本（ཚད་ཡར་འཕེལ་དང་但是，如果你想知道，你可以在这里找到一个非常好的工作，你可以在这里找到一个非常好的工作。被称为“shad”的竖线（竖线）用作句子终止符，空格用作短语边界或逗号（Norbu等人，2010年）。宗喀巴打字很费时间。一个音节需要几个键的组合，打字很费力唯一的西拉-ble word字母需要七次按键，这七次按键构成了四个字符（、）和一个元音（）。一个有多个音节的单词需要按22个键。艰苦的打字使人们不愿用宗文写作哈。然而，自然语言处理的发展为这些问题提供了解决方案。语言翻译器、文本到语音和语音到文本、拼写检查器、光学字符识别和下一个单词建议应用程序支持了人性化。下一个音节预测系统减少了打字时间，鼓励人们写作。本研究旨在通过使用n-gram，单词嵌入和长短期记忆（LSTM）来提出Dzongkha中的下一个音节预测。文章的其余部分组织如下。相关工作已在第2节中讨论。第3节解释了模型的方法，然后在第4中讨论了实验结果。第5介绍了结论，随后是致谢和参考文献。2. 相关工作人工神经网络（ ANN ）的灵感来自于人类大脑中的神经元（McCulloch和Pitts，1943）。人工神经网络可以学习并做出类似于人类的决策（Lake等人，2017年）。人工智能（AI）通过最近在深度学习方面的突破实现了最先进的性能，具有更高的准确性和更智能的自动化系统（Fadlullah等人，2017年）。计算能力和诸如并行处理、AI加速器GPU和TPU、巨大数据集的可用性等技术的进步已经扩大了机器学习系统（Miikkulainen等人，2019），并赋予机器人类似人类的能力（Olofsson和Fakih，2015）。2017年初，一款名为Google AlphaGo的深度学习应用程序击败了世界冠军围棋选手 ， 让 世 界 感 到 惊 讶 （ DeepMind ， 2015 ） 。 深 度 神 经 网 络（DNN）为机器提供了类似人类的能力（Lake等人， 2017年，帮助人类走得更近，更远。使用堆叠在一起的层数以及各种激活函数、正则化技术和优化器来设计不同类型的DNN（Cheng等人，2017年）。用于文本分析的最流行的DNN是卷积神经网络（CNN）和递归神经网络（RNN）（Wang等人，2016年）。使用词嵌入、CNN和RNN的文本情感分析获得了显著的结果（Wang等人，2016年）。尽管如此，CNN在计算机视觉中实现，用于模式识别，对象检测和分析空间信息的图像分割。然而，顺序文本数据需要分析空间和时间信息。 与CNN相比，RNN更适合分析时间序列数据。根据（Yin等人，2017年），RNN被发现更有效自然语言处理（NLP）任务的情感分析。然而，RNN具有长期依赖性。下一个单词是根据前面的单词预测的，但随着句子长度的增加，依赖性问题就会出现（Colah，2015）。被称为LSTM的特殊类型的RNN能够学习长期依赖关系。通过设备上的帮助词建议，可以进行即时消息传递。LSTM模型的变体用于下一个单词的预测（Hochreiter和Schmidhuber，1997）。类似地，在Barman和Boruah，2018中，使用LSTM提出了从阿萨姆语的给定当前单词集预测下一个单词。他们已经取得了88.20%和72.10%的准确性此外，在（Yu等人，2018年），单词预测-K. Wangchuk，P. Riyabikol和R.瓦拉努萨斯特沙特国王大学学报3802Fig. 1. 系统概述解释了使用基于RNN的语言模型的设备他们实现了由单词嵌入、循环隐藏层和softmax层组成的传统模型，优化了运行时内存和实时预测环境。该模型的平均预测时间为6.47 ms，优于现有的方法。然而，在（Ouyang等人，2017年），移动键盘输入是使用有限状态传感器解码的，该传感器扩展了单词完成、文字解码、下一个单词预测和自动校正的功能LSTM模型从过去的数据中学习长期依赖关系，并预测未来的任务。然而，在语言建模应用程序中考虑上下文信息也很重要（Colah，2015）。双向LSTM在两个方向上跟踪上下文信息，支持模型从过去和未来的顺序数据中学习。在（Yao和Huang，2016）中，作者解释了经典方法的手工制作要求的特征。然而，Bi-LSTM不需要先验知识和特征的预先设计。在（Sharma等人，2019年），LSTM和Bi-LSTM都被用来预测印地语中的下一个单词。他们发现LSTM和Bi-LSTM的准确率分别为59.46%和81.07%。然而，在这项研究中，LSTM提供了比Bi-LSTM更高的准确性。3. 方法3.1. 系统概述所提出的系统的概述工作流程如图1所示。该系统有五个主要阶段：数据获取、文本预处理、词嵌入、模型训练和部署。 文本数据是系统的输入，并且一些可能的预测的下一个音节是期望的输出。将预处理后的文本以向量的形式提供给词嵌入以进行知识表示。然后将矢量化文本序列输入LSTM模型进行训练。单词嵌入和LSTM的超参数被微调以获得更高的准确度。该模型被训练，直到达到预期的精度。在达到预期精度后，保存用于部署。该模型使用Django Web框架与Bootstrap和JavaScript进行部署。3.2. 数据集DzoSyll1数据集包括从不丹宗卡发展委员会（DDC）和Kuensel在线收集的短篇小说，新闻和散文。该语料库由255，519个音节组成，包括数字和符号。通过从语料库中删除所有数字，符号，tsheg和shad来准备数据集。预处理的数据集包括222，844个音节，31，199个句子和2929个独特的音节。使用n-gram方法从句子中生成所有可能的序列。序列的生成创建了音节和上下文之间的关系，为单词提供了语义和句法意义。根据句子中音节的个数，从二元组开始生成n-1g的序列。在DzoSyll数据集中有195，998个从不同句子创建的序列。3.3. 单词嵌入人工智能模型将数字数组（向量）作为输入。词嵌入是文本矢量化的方法之一。它是一个高效且密集的向量，可以学习具有浮点值的单词的向量表示，如图2所示。它将单词转换为向量，其中具有相同含义的单词具有相似的表示。根据（Levy和Goldberg，2014）（Liu等人，2015），词嵌入被设计为捕获词之间的语义和句法关系。DzoSyll数据集中的最小和最大序列长度分别为1和171大多数序列（195431）的序列长度低于70。只有567个序列的序列长度在70到172之间。因此，将70的固定序列长度作为输入馈送到所提出的系统。对于小于或大于70个音节的序列，分别进行零填充或修剪，以使序列长度相同。所有的序列都用向量大小编码，K. Wangchuk，P. Riyabikol和R.瓦拉努萨斯特沙特国王大学学报3803不不ðtÞ2ð Þtt¼þ图二.模型训练管道。300 ， 如 研 究 人 员 通 常 实 践 和 使 用 的（ Mikolov 等 人 ， 2013 ）（Pennington等人，2014）（Bojanowski等人，2017）（Li等人，2017年）。更高维度的嵌入向量大小提供了词之间更好的关系然而，更高的维度增加了模型的复杂性，增加了延迟并影响了训练时间（Yin和Shen，2018）。3.4. 模型架构在NLP中，研究人员已经认识到RNN是语言建模的基础模型（Yuet al.，2018）（Wang et al.，2016）（Yin等人， 2017年）。RNN的主要行为是记住先前单词的所有历史信息以预测下一个单词（Karpathy，2015）（Colah，2015）。为了计算下一个单词xt1，将输入xt1和前一个状态xt-11加到隐藏的根据格雷夫斯（格雷夫斯，2012），大门要么关闭，要么打开。该选项允许存储单元记住或忘记。当遗忘门打开而输入门关闭时，第一个输入被记住输出门决定哪些信息应该从单元状态中丢弃，输入门存储新的信息。单元状态中的更新信息由输出门确定（Li和Qian，2016）。根据（Chen et al.，2015），LSTM解决了长距离依赖关系，并将以前的重要信息保留在内存单元中。信息，如图所示。 3，通过迭代以下方程（Colah，2015）来保留或丢弃：ft¼ r. [2019- 03 -23] 2019年12月28日星期五Cf¼Ct-1ωft4状态对于给定的输入序列x1;x2;x3;··· ;xn，RNN计算x红黄5输出序列y1;y2;y3;···;ym，通过在每个时期中重复以下等式。t1/2i½t-1;t]我的宝贝1.wxxtwhxt-1ba1了c0¼我[001pdf1st-31files]tanh0y1/4克。wy htby2Ct Ctωit其中g1和g2是激活函数，wx，wh和wy是CtCfCi- 在训练期间学习的临时权重系数ð8Þing，ba和by是偏置。然而，RNN存在长期依赖性问题（Colah，2015）。理论上，处理任何长度的输入，但随着输入序列长度的增加，由于梯度消失，信息丢失（Colah，2015）。长句的信息不能被记住和保存，因为随着网络的更深层，乘法梯度呈指数级下降或增加（Alese，2018）（Pascanu等人，2013年）的报告。RNN的另一个缺点是它不能考虑任何未来的输入与当前状态来学习单词的上下文然而，长期短期记忆和双向LSTM旨在解决RNN的缺点（Alese，2018）（Colah，2015）。LSTM神经网络记住序列数据中的短和长上下文依赖信息。它估计的条件概率的输入序列p=y1;y2;y3;···;y mjx1;x2;x3;···;x n。输出序列长度m不同于n（Sutskever等人，2014年）。LSTM的架构类似于RNN，除了隐藏层求和单元被存储单元取代。LSTM有一个单元状态，隐藏状态和三个门：输入门，遗忘门和输出门，如图所示在图3中。隐藏状态和细胞状态分别是LSTM的短期记忆和长期记忆协议-Otrwo½ht-1;xt]bo9ht¼OtωtanhCt104. 结果和讨论本文介绍了使用LSTM神经网络的Dzongkha下一个音节预测系统。从句子中生成的序列然后将矢量化的文本作为LSTM的输入使用的LSTM单元数为128。第一个密集层使用ReLU激活函数。然而，第二密集层使用softmax激活函数来提供预测音节的概率分布。首先显示概率最高的音节，然后根据分数显示其余音节。该模型使用图形用户 界面 （ GUI ） 进行 部署 ，该 界面 分别 使用 Django 3.0.7 和Bootstrap 4.5.0 Web和CSS框架设计。表2显示了在名为DzoSyll的Dzongkha语料库上训练的不同模型的评估。最高误差和训练K. Wangchuk，P. Riyabikol和R.瓦拉努萨斯特沙特国王大学学报3804图3.第三章。 一个LSTM单元结构和门表2使用Dzongkha数据集评估RNN模型的变体。模型早期停止时期培训时间损失准确度（%）LSTM12730570.711078.33GRU8519350.732677.98CNN + LSTM12025521.038669.90CNN + GRU13227800.887374.20Bi-LSTM7525610.734478.12CNN + Bi-LSTM17242390.844275.33分别用CNN + LSTM（1.0386）和CNN-Bi-LSTM（4239 s）记录时间。已经观察到，具有128个单元的单层LSTM给出了78.33%的最佳准确度和0.7110的最低损失。它优于其他型号。已保存模型以进行部署。图4显示了不同时期的模型精度和损失。准确度急剧上升，直到60个纪元，然后保持在同一水平。不过，亏损在前40个纪元骤降，之后逐渐下降。实施了早期停止技术，训练在127个时期停止。训练准确率为78.33%，错误率为0.7110。模型已保存并部署。最初GUI显示空文本区域。在文本区域中需要输入最初的输入音节。当输入音节的第一个字符时，按钮会出现，上面有预测的随机音节。如图5所示，通过输入完整的音节字符，在按钮上显示适当的预测。从选项中选择最佳音节来组成单词和句子。表3示出了输入音节和前五个预测输出。音节一直预示着、，好吧这些音节中的任何一个都可以用音节来选择ས ྱབབto form a word: ས ྱླ ྱབ བ ་ང(study), ས ྱླ ྱབ བ ་དཔབན (teacher), སྱླ བ ་(school), and ས ྱླ ྱབ བ ་ ག(student).见图4。 模型的准确性和损失。K. Wangchuk，P. Riyabikol和R.瓦拉努萨斯特沙特国王大学学报3805图五、下一个音节预测：（a）按钮上的第一个音节和下五个预测音节，（b-d）通过点击按钮选择预测音节表3前五个预测下一个音节的初始输入音节。预测下一个音节1 2 3 4 5སབབངདཔའིགཁིིས ཁངངྱིད ལགསགཟའ པ སར ཕ ཉིི ཕརཔན གཞབན འཐན ཧིང ཟ ལགཉེནབའདི ནི གི ིའགགིལིིབདལའགབ འདེན བཙགས དང དཔབན ཁིདཔལི ས འདི ལགས ཁརའཡངསགསའབེལགསཁབ བསབིསཤེས རིག ཡ ཚད རབ ི5. 结论本文介绍了一种语音下一音节预测系统宗卡语中的一个词由一个或多个音节组成，需要几个音节，这使得宗卡语的打字负担很重，令人厌烦。本研究提出了一个系统的发展，解决了相关问题的宗卡分型。实现LSTM神经网络来训练机器学习模型。该模型采用从句子生成 的 序 列 来 学 习 语 言 的 语 义和 句 法 。 该模 型 的 训 练 准 确 率 为78.33%，最低错误率为0.7110。该模型使用Django Web框架部署。所提出的系统预测几个最可能的下一个音节从最初的输入音节。这些看似合理的预测音节被选择来形成具有最少按键的单词和句子这使得宗卡打字快速，容易，可以成为作家的生命线。然而，这项研究也有局限性。该模型对音节的预测是基于文本和小数据集。符号和数字可能有影响。如果在模型训练期间所提供的初始音节不存在于数据集中，则系统可能无法预测适当的音节。在未来，可以通过使用更多来自不同流派（如诗歌，歌曲和散文）的数据来提高准确性。接下来的宗喀巴字预测是一个有趣的话题，可以进一步研究，以加强这一系统。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。致谢我们感谢不丹宗卡发展委员会提供了宗卡数据集。我们亦向陈先生表示丹增·南杰信息和通信技术干事（DDC）提供支持和及时通信。这项研究是在他的指导下按时完成的。引用Alese ， E. ， 2018. 消 失 的 爆 炸 梯 度 的 奇 怪 情 况 [WWW 文 档 ] 。 网 址https://medium.com/learn-love-ai/the-curious-case-of-the-vanishing-exploiting-gradient-bf 58 ec 6822 eb（访问时间：2020年12月20日）。August，D.，Dealey，W. L.，一九三六年打字机键盘。二百零四万零二百四十八...酒保P.P. Boruah，A.，2018.基于RNN的阿萨姆语音标下一个单词预测方法。Procedia计算Sci. 143，117-123。Bojanowski，P.，格雷夫，E.，Joulin，A.，Mikolov，T.，2017.用子词信息丰富词向量。TACL 5，135-146.陈旭，邱，X.，Zhu，C.，中国科学院，Liu，P.，（1986 - 1990），中国科学院院士，黄X-J.，2015年。用于中文分词的长短期记忆神经网络，收录于2015年自然语言处理经验方法会议论文集。pp. 1197- 1206.郑，Y.，Wang，D.，中国科学院，Zhou，P.，中国科学院院士，张，T.，2017.深度神经网络模型压缩与加速研究综述。arXiv.Chungku，C.，Rabgay，J.，Choejey，P.，2011. Dzongkha Text Corpus，in：Conferenceon Human Language Technology for Development.pp. 34-38号。Chungku，C.，Rabgay，J.，Faawei，G.，2010.为宗卡建立NLP资源：一个标记集和一个标记语料库，在：第八届亚洲语言资源研讨会论文集。pp. 103-110Colah，2015.了解LSTM 认识DeepMind，2015. AlphaGo |DeepMind [WWW文档]. Google.Fadlullah ， Zubair Md. ， Tang， Fengxiao ， Mao ， Bomin ， Kato ， Nei ， Akashi ，Osamu，Inoue，Takeru，Mizutani，Kimihiro，2017.最先进的深度学习：将机器 智 能 发 展 为未 来 的 智 能 网 络 交通 控 制 系 统 。 IEEE 通 信 监 视 器Tuesday 19（4），2432-2455.加德纳，K.E.， 1985.打字机键盘布局。4,519,721.格 雷夫 斯 ，A. ， 2012. 监 督序 列 标记 。 上一 篇 ： Supervised Sequence LabellingwithRecurrent Neural Networks施普林格，pp. 5比13K. Wangchuk，P. Riyabikol和R.瓦拉努萨斯特沙特国王大学学报3806Harbaugh，G.B.，一九九六年。计算机键盘布局。五百五十八万四千五百八十八。Hochreiter，Sepp，Schmidhuber，Jürgen，1997年。长短期记忆。神经元计算9（8），1735-1780。卡帕西，A.， 2015.递归神经网络的不合理有效性。网页Kuhlenschlön，R.E.， 1997.儿童Lake，B.M.，Ullman，T. D.，Tenenbaum，J.B.，Gershman，S.J.，2017.建造像人一样学习和思考行为举止。脑科学四十Levy，O.，Goldberg，Y.，2014.稀疏和显式单词表示中的语言学习，收录于：第十八届计算自然语言学习会议论文集。pp. 171-180。Li，D.，钱，J.，2016.基于长短期记忆的文本情感分析，2016年第一届IEEE计算机通信和互联网国际会议（ICCCI）。IEEE，pp. 471-475Li，Minglei，Lu，Qin，Long，Yunfei，Gui，Lin，2017. 从词嵌入推断词的情感意义。IEEE Trans.情感计算 8（4），443-456。Liu，Y.，刘志，Chua，T.-美国，孙，M.，2015.主题词嵌入，在：第二十九届AAAI人工智能会议。Citeseer。McCulloch，Warren S.，皮特，沃尔特，1943年。对神经活动中不可或缺的观念的逻辑演算。Bull. 数学Biophys. 5（4），115-133。Miikkulainen河，梁杰，Meyerson，E.，Rawal，A.，芬克，D.，Francon，O.，Raju，B.，Shahrzad，H.，Navruzyan，A.，Duffy，N.，2019.进化的深度神经网络，在：神经网络和脑计算时代的人工智能。爱思唯尔，pp. 293-312Mikolov，T.，陈凯，Corrado，G.，Dean，J.，2013.向量空间中词表示的有效估计arXiv准备arXiv1301.3781.Norbu，S.，Choejey，P.，Dendup，T.，侯赛因，S.，Muaz，A.，2010.宗卡语分词，载于：第八届亚洲语言资源研讨会论文集。pp. 95比102Olofsson，N.，Fakih，N.，2015.基于机器学习的人机对话行为分类：对话行为评价分类与机器人Furhat和用于教育的社会机器人的市场分析。欧阳，T.，Rybach，D.，Beaufays，F.，Riley，M.，2017年。移动键盘输入解码与有限状态传感器。arXiv准备arXiv1704.03987.帕斯卡努河Mikolov，T.，本焦，Y.，2013.关于训练递归神经网络的难度，见：第30届国际机器学习会议，ICML 2013。彭 宁 顿 ， J. ， Socher 河 ， 哥 伦 比 亚 特 区 曼 宁 2014. Glove ： Global vectors for wordrepresentation，in：Proceedings of the 2014 Conference on Empirical Methods inNatural Language Processing（EMNLP）. pp. 1532-1543年。夏尔马河，巴西-地Goel，N.，Aggarwal，N.，考尔，P.，普拉卡什角2019年。使用深度学习技术进行印地语单词IEEE，pp. 55比60萨茨克弗岛，巴西-地维尼亚尔斯岛，澳-地Le，Q.V.，（英国）2014.用神经网络进行序列到序列学习。高级神经信息过程系统、3104-3112Tshering，K.，van Driem，G.，2019年。Dzongkha的语法受阻。语言学家十八岁王，X.，姜维，罗志2016.结合卷积和递归神经网络进行短文本的情感分析，见：COLING 2016会议录pp. 2428-2437Yao，Y.，（1996 - 1997），美国，黄志，2016年。双向LSTM递归神经网络用于中文分词，在：神经信息处理国际会议。施普林格，pp. 345-353尹，W.，Kann，K.，余，M.，Schütze，H.，2017. cnn与rnn在自然语言处理中的比较研究。arXiv准备arXiv1702.01923.Yin，Z.，沈，Y.，2018.关于词嵌入的维度，在：神经信息处理系统的进展。Yu，S.，Kulkarni，N.，李，H.，金，J.，2018.基于设备上神经语言模型的单词预测，在：第27届计算语言学国际会议论文集：系统演示。pp. 128比131