埃及信息学杂志20（2019）89：自然语言处理自动评分系统的发展和比较分析

埃及信息学杂志20（2019）89一个有效的旁遮普语Tarandeep Singh Waliaa，Mr.，Gurpreet Singh Josanb，Amarpal SinghcaIKG PTU，Kapurthala，Punjab，Indiab印度旁遮普省帕蒂亚拉旁遮普大学印度旁遮普邦古尔达斯普尔BCET阿提奇莱因福奥文章历史记录：2018年7月9日收到2018年10月28日修订2018年11月19日接受在线发售2018年保留字：自然语言处理自动评分系统歧义A B S T R A C T自动评分是一项发展中的技术。这些系统的准确性和可靠性已被证明要高得多。除了节省时间和金钱之外，还有一些研究正在进行，以提供各种反馈，不仅在语法问题上，而且在语义相关问题上。这不但可减轻教师的纸张负担，亦可减少教师评核的在本文中，我们删除了这些哑音符箱，从而有183个维度。我们通过将其与经三阶滤波的光谱图的一阶差分连接来增强输入。我们观察到转录性能的显着增加与此添加。与前馈神经网络相比，递归神经网络（RNN）能够学习序列数据的时间依赖性，这是音乐答案评分中发现的属性。此外，长短期记忆（LSTM）单元具有仅在输入或遗忘门打开时更新的记忆块，并且梯度可以通过记忆单元传播，而无需在通过后向层和前向层，网络可以访问给定时间帧的历史和未来。对比分析表明，所提出的技术优于现有的技术。©2018制作和主办由Elsevier B.V.代表开罗计算机和信息学院大学这是一篇CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍答案评分被定义为由人类评分者对答案分配分数的行为。自动评分系统已成为自然语言处理领域的研究热点。自动评分是通过从学生答案和参考答案中提取语法关系和语义关系来实现的。与人类评分员相比，它正在成为一种一致的评分工具，在人类评分员中，一个评分员得分很高的答案可能会从另一个评分员那里得到很低的分数[1]。 一比三不同的分数可以由同一个评分者在不同的时间为同一个答案分配。因此，答案*通讯作者。电子邮件地址：taran_walia2k@yahoo.com（T.S. Walia）。开罗大学计算机和信息系负责同行审查。制作和主办：Elsevier分级不能保证。另一方面，自动评分将执行公平评分，并且可以一次又一次地重复一致性[3]。这一方向的研究将为研究人员开辟新的领域，因为它是一项跨学科的工作。如果在任何一种印度语言中开发出这样的系统，它将为其他类似的印度语言打开大门。它以前主要是用特定领域的问题解决系统的接口来实现的[5]。1.1. 自动评分和NLP本文回顾并比较了基于NLP的自动答案评分方法。语义相似性在自然语言处理、信息检索、文本挖掘、问答系统、文本相关的研究和应用领域中起着至关重要的作用[7]。今天，自动评分仍然是人工智能和自然语言处理研究人员的一个困难和有趣的问题，尽管已经提出和开发了许多英语自动评分系统，但收效甚微[8]。NLP通过将学生的答案映射到一个正式的世界模型来确保最可靠的分数。自然语言处理的主要任务有语篇分析、形态切分、句法分析、词义消歧和信息抽取等[10]。https://doi.org/10.1016/j.eij.2018.11.0011110-8665/©2018制作和主办由Elsevier B. V.代表开罗大学计算机和信息学院这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表埃及信息学杂志杂志主页：www.sciencedirect.com文档语料库信息检索基于统计的基于规则的简答题自动评分方法文件或句子答案抽取问题90秒Walia et al./Egyptian Informatics Journal 20（2019）89-96Fig. 1. 简答题自动评分方法。谐音多义单词同义词语义歧义形态学上位词一般性句话多重含义图二. 歧义类型答复图三.问答系统的体系结构。自动评分可以从NLP中选择一些任务进行评分。 自动评分系统是各种技术的组合，如自然语言处理（NLP）、语言学、人工智能（机器学习）、统计学和网络技术等[12]。目前的自动论文评分机制依赖于两个方面，如机器学习技术和质量的语法措施。然而，没有一个确定文本中的意义陈述（命题）因此，它被证明是一个不合适的评分答案的内容[13]。1.2. 歧义类型在SQA中出现歧义是因为一个词或一个句子在同一种语言中可能有多个意思或多个词可以有相同的含义。语义歧义与单词和句子的含义有关[14]。一个词、一个短语或一个句子在特定的情况下可能有不止一个意思词汇歧义的产生有以下几个原因：同音异义词：同音异义词是指一个词有不止一个意思。多义性：这是另一种情况下，一个词有一个以上的与同音异义词不同，词的意义具有相同的概念。同义词：当两个或两个以上的词具有相同的含义时，就出现了同义词词法：词法是指一个词的歧义。上位词：具有子类型的名词或实例也是名词。概括性：一个词相对于另一个词是概括性的。如果一个句子中有多个意思，那么整个句子就会出现语义歧义。1.3. 现有系统有不同的AES系统覆盖各个方面来评估许多不同的功能[19]。目前有四个主要的自动作文评分开发商，被大学，学校和测试公司广泛使用，即：Project Essay Grader（PEG）[23]，Intelligent Essay Assessor（IEA），E-rater和IntelliMetric[24]。1.4. 现有应用程序这种应用的一些例子是：在托福考试和研究生入学考试（GRE）分析写作部分。目前，少数自动评分系统是可用的，但很少成功地自动评估人类书面（打字）论文。2. 相关工作不同的自动评分系统有不同的方法。但总的来说，与这项研究最相关的方法包括：2.1. 无监督方法Chen等人（2010）[7]演示了AES，它使用基于无监督学习方法的为了建立计算学习模型，他们使用了一种不使用任何参考文本的无监督他们的方法是在一组由不同的人写的关于同一主题的文章的机器学习方法语料库方法信息提取方法概念图方法●●●●●●●T.S. Walia等人 /埃及信息学杂志20（2019）89-9691评分方案依赖于进一步的信息和文章之间的相似性。Arijit De，Sunil Kumar（2011）[8]讨论了一种无监督的技术，该技术使用“词但它不需要深度解析。该方法是讨论使用Kullback-Liebler分歧的帮助下，用于文本挖掘应用程序中计算文章之间的相似性。准确率较低，为30%。非监督方法的优点是它可以应用于任何语言，因为它不使用任何特定的语言特征。这种方法的局限性在于它没有考虑风格、组织和语法特征。2.2. 监督方法Hongbo Chen，Ben He，Baobin（2012）[9]介绍了一种基于排名的AES学习方法。他们讨论了监督学习问题的详细步骤。文章还讨论了如何将学习排序应用于作文自动评分，如特征提取和评分。它将自动作文评分视为一个排名问题，并计划通过学习排名算法来解决这个问题。学习排名，自动构建排名模型或函数来对对象进行排名。2.3. 简答计分法本文的研究领域是封闭式的简答题评分，因为简答题的评分在很大程度上只依赖简答作文的评分不同于自由文本作文的评分，后者的分数是风格和内容的总和。一些与简短回答相关的工作是：MohdJuzaiddin，Dato（2009）[19]讨论了对简短答案的评分，通过比较答案脚本和评分方案来衡量句子的相似性的论文类型考试。简答作文的评分很大程度上只依赖于文章它由以下模块组成i. 浅句法分析ii. 代词坚决iii. 形态iv. 形态学与否定v. 匹配vi. 填补语义空白答案将在映射模块中自动映射。映射模块可以对具体的想法进行评分。它不适用于开放式作文的评分。Luis Tandalla（2012）[16]讨论了Scoring Short answer Essay。在他们的系统中，概念被分解成最小的单元，这些单元是预先定义的，专业地编写模型，回答封闭式问题。它们的依赖性通过标记结果概念及其依赖性来自动测量。重复性是与评分方案相匹配的模式。每个学生都重复这个过程来回答。Ali Muftah Ben Omran和MohdJuzaiddin Ab Aziz（2013）[3]证明了最复杂的领域之一是自动标记短文答案，因为它严重依赖于语义相似性。他们的研究提出了两种方法：第一种方法是替代句子生成器方法，它使用同义词词典来生成替代模型答案。第二种方案在匹配阶段采用最长公共子序列（LCS）、公共词（COW）和语义距离（SD）三种算法的组合。2.4. 问答方式自动回答评分通常基于问答（QA）系统。问答是一种从大量文献中定位准确答案的技术问答是一种以信息需求为特征的复杂的信息检索形式，是人类计算机交互的最自然形式之一与经典的信息检索相比，完整的文档被认为与信息请求相关，在问答中，特定的信息片段作为答案返回。自动问答的最终目的是为用户指定的自然语言问题检测准确的答案。重点讨论了信息抽取、自然语言处理和信息检索之间的相互作用。QA系统架构具有问题分析模块，其处理用户提出的问题。它构造IR模块使用的查询，以及AE模块使用的答案类型信息。IR模块从语料库中检索文档或段落，并将它们传递给AE模块。我们的系统架构如图所示，虽然它没有一个单独的问题分析模块，但它也紧密地遵循了这种模式。问题处理是IR和AE模块的一个组成部分，只涉及标记化和停止词的去除Oleksandr Kolomiyets等人（2011）[20]从信息检索的角度描述了一种问答技术。讨论了不同层次的处理，产生词袋，以及更复杂的表征，包括语义角色，话语分析，POS，预期答案类型的分类，将问题翻译成SQL类语言或逻辑表征。Kong Joo Lee等人（2011）[13]为学习英语作为第二语言的学生引入了一个自动英语句子评估系统首先，对输入的句子进行分析，以检测可能的错误，例如句法错误和拼写错误。其次，将输入的句子与给定的答案进行比较，以将差异识别为错误。然后，系统评估的性能和系统产生的输出与人类ratters给出的结果进行比较。该系统仍然存在大多数NLP系统遇到的问题。这些问题主要表现在歧义消解、句法分析失败处理、词典不完整等方面。Paloma Moreda等人（2011）[21]描述了在问答系统中组合他们的研究涉及两个方案，即基于语义规则和基于WordNet的方案，即在通用的开放领域问答系统中抽取答案他们研究的主要目标是将提取的答案与现有的具有命名实体（NE）的QA系统进行比较。马蒂亚斯·HHeie等人（2012）[17]使用统计语言模型解释问答他们的工作是为不同的语言开发强大的系统，克服对高度调整的语言模块的需求。他们在TREC 2006年QA评估中嵌入了这个框架和实现只要有适当的训练数据，这个系统可以迅速适应任何语言。Min-Chul Yang et al.（2015）[18]使用语义嵌入空间解释了基于知识的问题回答在他们的研究中，语义嵌入空间用于实现回答任何领域中的问题的目标，其中嵌入编码单词的语义和逻辑属性。这种基于嵌入式推理的问答方法允许在知识库的指导下，以正确答案的自然语言本体表示提出的事实问题的92T. S. Walia et al./Egyptian Informatics Journal 20（2019）89-96Sofian Hazrina等人。（2016）[25]描述了语义问答系统中消歧的进步。 在任何语义问答（SQA）系统中，歧义都是一个明显的问题。因此，当语言三元组与多个基于知识（KB）的概念匹配时，SQA系统必须选择正确的意义和消歧解决方案。 系统在语言三元组与任何基于知识（KB）的概念不匹配的Boris Galitsky等人（2017）[5]引入了用于开放域问题回答的匹配解析厚集，它支持复杂的问题回答，其中包括多个句子，以处理该问题中表达的尽可能多的约束。在这项研究中，他们探索了如何匹配问题和答案的解析丛。他们证明了使用语篇层次分析来回答复杂问题的必要性。KajaZupanc等人（2017）[11]通过提出对现有自动论文评估系统的扩展，纳入了额外的通过将文章的连续部分转换到语义空间中，并评估它们之间的变化来评估文本的连贯性，从而设计了新颖的2.5. 基于规则的方法这种方法的优点是易于将领域知识融入语言知识中，从而提供高精度的结果。Kevin，Eileen Robert等.2010年，他们探索如何通过利用NLP（NLP）实现文本数据的完全或半自动编码。特别是，他们将人类开发的NLP规则的性能与机器学习算法推断的性能基于规则和基于机器学习的自动编码似乎都总体而言，基于规则的方法比机器学习方法表现得更好，特别是对于那些训练实例很少的代码张强等（2014）[28]描述了网络自动作文评分系统在大学英语写作课程中的应用以网络作文自动评分系统为例，介绍了网络作文自动评分系统的开发过程，并对大学英语写作课堂教学的优化设计进行了尝试。最后，本文提出了作文自动评分系统存在的一些问题，并对大学英语写作教学提出了本文将传统的过程写作法与作文自动评分系统有效地结合起来，为学生创造了一个高效的2.6. 潜在语义分析法LSA是一种用于自动文档索引和检索的统计方法。潜在语义分析（LSA）是NLP中的一种技术。en.wikipedia.org/wiki/Natural_language_processing 与其他索引技术相比，它的优势在于创建了一个潜在的语义空间。潜在语义索引是一种特殊的数学技术的应用，称为奇异值分解或SVD，一个词的文档矩阵。LSA假设含义接近的单词将出现在类似的文本中。LSA的限制，其中文本表示为无序的单词集合。Xinming Hu et al.（2010）[26]讨论了基于LSI（Latent SemanticIndexing）的主观题自动评分系统。具体来说，LSI是一种统计方法，它分析术语并识别其中重要的关联模式。Pantulkar Sravanthi et al.（2017）[22]解释了“句子之间的语义相似性”。在这方面，他们评估和测试了三种不同的语义相似性方法，如余弦相似性，基于路径的方法和基于特征的方法。他们提出了一种无监督的方法来自动计算句子级别的相似性，基于单词级别的相似性，而不使用任何外部知识。戈文纳奇河（2015）[8]在本文中，作者提出了一种新的方法来自动化短文评分使用潜在语义分析和自然语言处理。在大多数其他基于LSA的系统上，需要为系统提供预先标记的培训论文。这个动态语义空间是使用向量空间模型（即LSA）计算的，它是根据每个论文问题集利用学生答案动态构建的。本研究的未来方向是将本研究扩展到处理除英语之外的其他语言，并使用大数据集对系统进行评估。2.7. 统计或向量空间模型（VSM）方法统计模型，即VSM，用于查找学生答案和参考答案之间的语义相似性，并计算分配给学生答案的分数的概率。以下是与VSM相关的一些工作：Li Bin等人。（2008）[15]使用AES的K-最近邻（KNN）算法。每个向量由词频和逆文档频率（TF-IDF）权重表示。信息增益（IG）和TF的方法被用来选择功能由预定义的功能。论文自动评分的KNN算法基于成熟的文本分类模型。采用不同的特征选择方法，它们能够达到76%的准确率。Yonghong Yan et al.（2012）[27]演示了使用向量回归的AES系统每一篇文章都由向量空间模型（VSM）表示。为了实现该系统，对多个特征进行评分，包括字数、句数、平均词长、平均句长等表面特征。和复杂的功能，如语法检查，句子。词和词性标记都被考虑。他们使用简单模型和CVA（内容向量分析）模型。他们得到了86%的精度给予两个分数的偏差com-costs人类老鼠。Jovita，Linda等人（2015）[10]介绍了在问题分类系统中使用向量他们研究的目的是用向量空间模型来表示知识，并检索给定问题的答案。通过测量它们的相似性将查询与知识库进行比较。因此，它建议未来的改进，使用主题建模或其他方法，如潜在语义分析，以构建模型的文档表示。Alzahrani等人。（2015）[2]开发并比较了完成自动评分任务的NLP技术的数量。他们的研究基于向量空间模型（VSM），其中在归一化之后，基线系统用向量表示每个答案，然后使用它与模型答案的向量之间的余弦相似性来计算其分数Badr HSSINA et al. （ 2016 ） [4] 在 他 们 的 研 究 该 系 统 使 用WordNet词汇数据库，并根据其含义将单词向量空间模型的优点是它允许计算相似度、文档排序和部分匹配等。向量空间模型最适合于简短的问题回答。T.S. Walia等人 /Egyptian Informatics Journal 20（2019）89-9693但缺点是长文档的表示效果不好，不支持不同的词汇表2.8. 总结毫无疑问，有许多现有的自动评分系统及其方法，如本研究中上述。但这使得评分成为一项复杂的任务，同时这些系统的语义特征的适当整合和相关性不完全可能，从而给出不准确的结果。因此，将有一个这样的系统，它将结合所有上述表格列出的方法，给出的结果将是平等的，几乎等于人类评级表1。确保自动评分实施的质量以下是自动评分实施质量的衡量标准。评分：1. 自动评分是可靠和公平的。2. 自动评分对报告分数的影响是可以理解的。3. 自动生成的分数是有意义的和可以理解的。4. 自动评分与专家评分员的评分一致。5. 当以与人工评分相同的方式对照外部测量进行检查时，自动评分具有有效评分。3. 拟议工作3.1. 问题定义自动评分是一项发展中的技术。这些系统的准确性和可靠性已被证明要高得多。除了节省时间和金钱之外，还有许多研究正在进行，以提供反馈的多样性，不仅在语法问题上，而且在语义相关问题上。这不但可减轻教师的纸张负担，亦可减少教师评核的目前，许多自动评分系统是可用的，但很少成功地自动评估人类书面（打字）论文，而且没有一个是旁遮普语的。所提出的框架如图4所示。左手代表两个独立的AMT系统，分别返回88个音符或色度输出和色度起始输出。通过动态时间规整（DTW）将输出与分数对齐。由于我们的主要思想不是提高AMT系统的性能，而是利用一个基于神经网络的系统，产生自动答案评分的功能，我们借用了最先进的AMT系统亲，”（注6）。然而，我们为了我们的目的稍微修改了训练集。 五、3.2. 预处理如前所述，我们的AMT系统是基于现有的模型。因此，我们在模型中使用了相同的多分辨率STFT，并使用了100倍间隔的对数压缩。它首先接收答案评分作为输入，并计算两种类型的短时傅立叶变换（STFT），一种具有短窗口（2048个样本，46.4 ms），另一种具有长窗口（8192个样本，185.8 ms），具有相同的重叠（441个样本，10 ms）。具有短时间窗口的STFT给出时间敏感的输出，而具有较长窗口的STFT提供更好的频率分辨率。在STFT之前对信号应用汉明窗。我们只取STFT的幅度，从而获得100帧/秒的频谱图为了应用声强的对数特性，对频谱图的幅度应用具有乘法因子1000的对数状压缩然后，我们通过使用半色调滤波器组进行滤波来降低输入的维数。中心频率按88个音符的频率分布该过程不仅对于减小输入的大小有效，而且对于通过合并相邻频率仓来抑制钢琴调音中的方差也有效。在低频中，由于频谱图的低频率分辨率，一些音符仓变为完全零或相邻音符的我们把那些假的纸币箱去掉，这样就有了183个尺寸-总的来说。我们通过将输入与经三阶滤波的频谱图的一阶差分连接来增强输入。我们观察到一个显着增加的转录性能-与此同时，Bock和Schedl模型使用了一个递归-使用长短期记忆（LSTM）架构的RNN。与前馈神经网络相比，RNN能够学习序列数据的时间依赖性，这是在音乐答案评分中发现的属性此外，LSTM单元具有仅在输入或遗忘门打开时才更新的存储块，并且梯度可以通过存储单元传播而无需在每个时间步长上相乘。这个属性使LSTM能够学习长期依赖。在我们的任务中，LSTM预计将学习音符内的起始，维持和偏移的连续性以及音符之间的关系。LSTM单元也被设置为双向的，这表明输入序列不仅按顺序呈现，而且还以相反的方向呈现。通过后向层和前向层，网络可以访问给定时间帧的历史和未来。虽然Büock和Schedl模型使用的是一个单一的网络，预测88个音符，我们使用两种类型的网络;一种预测88个音符或12个色度，另一种预测12个色度起始。在表1各类自动评分系统的比较分析。现有办法优点局限性/今后的工作无监督可以应用于任何语言，不受语言特定功能的限制组织、风格和语法特征监督算法的监督使用复杂性简短答案评分内容评分所需准确问答（QA）信息提取、NLP和信息检索需要一种评分机制来对答案进行基于规则的方法语言知识与统计方法的协作和集成潜在语义分析统计/数学方法含义提取需要更多地关注语义特征统计或向量空间模型（VSM）相似度、文档排序和部分匹配不适合长的答案不同的句法和语义特征的协作和整合没有一个在印度语言对准特征提取94T. S. Walia et al./Egyptian Informatics Journal 20（2019）89-96见图4。 建议的自动答案评分系统的流程图。在88音符网络中，我们将其大小减少到两层，每层200个LSTM单元，因为它在我们的实验中表现得更好。在12- chroma中，我们进一步缩小了它的尺寸，在第一层上有100个LSTM单元在LSTM网络之上，添加了一个带有sigmoid激活单元的全连接层作为输出层。每个输出单元对应于一个音符或色度（即，第二音符的音高等级图五. 不同评分方法之间的相关性。3.3. 对准AMT系统返回两种类型的MIDI级功能。所得到的特征通过与88音符或12色度AMT输出特征级联来组合。相应的分数也被转换成88个音符（或色度），并且色度起始在组合之前以相同的方式被拉长。 我们使用欧氏距离来衡量两个组合表示之间的相似性。然后，我们将FastDTW算法[8]应用于动态时间弯曲（DTW），这是一种近似方法。FastDTW使用窗口约束的迭代多级方法来降低复杂度。由于特征的帧速率很高，因此需要采用低成本的算法。虽然原始DTW算法具有O（N2）的时间和空间复杂度，但FastDTW以O（N）的复杂度运行，几乎同样的准确性。 Müuler等[9]也检查了一个类似的多层次的DTW的自动答案评分任务，并报告了类似的结果相比，原来的DTW。在我们的实验中，fastDTW算法中的半径参数被设置为10，该参数定义了为每个分辨率细化找到最佳路径的窗口大小。4. 结果通 过 与 Jaccard 系 数 （ JC ） 、 Dice 系 数 （ DC ） 、 余 弦 系 数（Cosine Coefficient）的计算结果进行比较，验证了比较结果见表。该表显示了系统产生的分数与评估员给出的分数的相关值评价者的预处理答案评分色度起始-组合模板评分（Midi）对齐路径DTW对齐组合特征BLSTM网络BLSTM网络T.S. Walia等人 /Egyptian Informatics Journal 20（2019）89-9695表2Jaccard系数、Dice系数和Cosine系数的比较分析。问题数Jaccard系数Dice系数余弦系数10.740.700.7920.480.440.4530.190.190.2140.260.200.2650.300.200.3360.670.650.6070.480.450.4480.600.600.6290.400.430.41100.300.280.30从两个评价者给出的分数的平均值获得分数。通过将系统产生的输出与人类评分员给出的结果进行比较来评估系统的性能。计算了相关系数，证明了系统评分和人工评分之间高度相关，即接近1（正相关）。人类评分员之间的值非常接近人类评分员和系统之间实现的评分一致性 该表显示了50名学生的最后得分由该系统授予表3.下面的图6清楚地示出了50个学生答案的最终分数与5个人类评分者给出的分数的比较。该图表明，该系统产生的结果是相同的人的评分。一个小的偏差可以方便地忽略，证明了这个系统的准确性。该系统产生的分数在人类评分员给出的分数范围内，这表明该系统的准确性和可靠性。表350名学生的最终分数表。学生系统人类评分员1人类评分员2人类评分员3人类评分员4人类评分员518.7988.59727.27677.56.531091087845.78666.57502012167.56.58678743524589101088898.5797.58.58.510210202118968.59712344.5543.51388686.5814463665.5155.55644.56167.568688..49020121508.58686.58相关性系数（r）0.900.890.870.860.94见图6。 50名学生答案的系统评分与5名人工评分者的系统评分比较。96T. S. Walia et al./Egyptian Informatics Journal 20（2019）89-965. 结论在本文中，我们通过将输入与经卷积滤波的频谱图的一阶差分连接来增强输入。我们观察到转录性能的显着增加与此添加。与前馈神经网络相比，RNN能够学习序列数据的时间依赖性，这是在音乐答案评分中发现的属性。此外，LSTM单元只有在输入或for- get门打开时才更新内存块，并且梯度可以通过内存单元传播，而不会在每个时间步长上相乘。这个属性使LSTM能够学习长期依赖。在本文中，LSTM有望学习音符内的起始、维持和偏移的连续性以及音符之间的关系。LSTM单元也被设置为双向的，这表明输入序列不仅按顺序呈现，而且还以相反的方向呈现。通过后向层和前向层，网络可以访问给定时间帧的历史和未来。对比分析表明，该技术优于现有技术。资金这项研究没有得到任何组织的资助利益冲突作者声明他们没有利益冲突引用[1] Arzt G，Widmer S，Dixon.通过实时机器收听为音乐家自动翻页。在：ECAI 2008会议论文集：第18届欧洲人工智能会议，1。p. 241-5 1.一、[2] AlzahraniAhmed ， AlzahraniAbdulkareem ， AlArfajFawazK ，AlmohammadiKhalid. AutoScor：一个自动化的作文问题评分系统 Int J SocSciEduc（IJHSSE）2015;2（5）.[3] 阿里·穆夫塔·本穆罕默德·朱扎伊丁AES用于英语中的简短答案。J Comput Sci 2013;9（10）ISSN：1549-3636。[4] HSSINA Badr，Bouikhalene Belaid，Mebouha Abdelkrim.基于文本语料库的向量空间模型语义相似度评 价 。 第十三届国际会议计算机图形，成像和可视化。IEEE;2016.[5] 加利茨基·鲍里斯开放域问题回答的匹配解析丛。107&.第107章. Elsevier; 2017.p.24- 50[6] 作者：陈彦宇，刘建良，张道兴，李家煌.一个无人监督的自动作文评分系统。IEEE智能系统2010.[7] 克尔·迪尔德哈米德 使用NLP提取语义信息的自动短文评分。 J Natl Center ResEval，Standards，Stud Test（CRESST）2013.[8] Perera Govinnage R，Perera Deenuka N，Weerasinghe AR.一种动态语义空间建模的短文评分方法。新兴区域信息和通信技术进展国际会议。p. 043- 9[9] 陈洪波，何奔。AES通过最大化人机协议。自然语言处理经验方法国际会议论文集p.1741- 1752年[10] Jovita，Linda，Hartawan Andrei，Suhartono Derwin.向量空间模型在问答系统中的应用。Procedia Comput Sci 2015;59：305由ICCSCI 2015 Elsevier出版。[11] 祖潘·卡加，博思尼·佐兰. 具有语义分析的自动论文评估基于知识的系统，120。Elsevier; 2017. p.118比32[12] 凯文，刘晓忠，艾伦艾琳，赫克曼罗伯特。机器学习和基于规则的定性数据自动编码。Pittsburgh，PA，USA：ASIST; 2010.[13] 李江珠崔永锡金贞恩为英语作为第二语言学习的学生建立一个自动化的英语句子评估系统。计算机语言与语音25 Elsevier; 2011. p. 246比60[14] Kosseim Leila Yousefi Jamileh利用语义等价的回答模式提高问答系统的性能。在：数据&知识工程，66。爱思唯尔; 2008年。p.53比67[15] 李斌，陆俊，姚健。使用KNN算法的自动论文评分。IEEE Comput Soc 2008;1.[16] 坦达拉·路易斯简答作文的评分。Int J Comp Sci Tech（IJCST）2012;2（1）.[17] Heie Matthias H，Whittaker Edward WD，Furui Sadaoki.使用统计语言模型回答问题。 在：计算机语音和语言，26。Elsevier; 2012. p.193-209.[18] 杨敏哲李道吉朴素英林海昌使用语意嵌入空间之知识型问答系统。在：专家系统与应用，42。Elsevier; 2015. p.9086- 104[19] AbAziz MohdJuzaiddin，Dato' Ahmad Jummah.简答考试自动阅卷系统（AMS-SAE）。 Int J Adv Comput Sci Appl（ISIEA），IEEE2009;3（11）.[20] Kolomiyets Oleksandr，Moens Marie-Francine.从信息检索的角度对问答技术的综 述 。 在：信息科学. Elsevier; 2011. p.5412- 34[21] 莫瑞达·帕洛玛，洛伦斯·赫克托，萨奎特·埃斯特拉，帕洛玛·曼纽尔. 在问答系统中结合语义信息。在：信息处理和管理，47。Elsevier; 2011. p.870比85[22] Sravanthi Pantulkar，Srinivasu B.句子之间的语义相似性。IntRes J Eng Technol（IRJET）2017;04（01）.[23] Williams RJ，Peng J.一种基于梯度的递归网络轨迹在线训练算法。 出现神经计算1990;2：490-501。[24] Semire DIKLI。自动化essay scoring土耳其在线J远程教育TOJDE2006;7（1）。ISSN 1302-6488，文章：5。[25] Hazrina Sofian ， MohdSharef Nurfadhlina ， Ibrahim Hamidah ， AzmiMuradMasrah Azrifah，Mohd Noah Shahrul Azman. 语义问答系统中消歧技术的研究进展。在：信息处理和管理。Elsevier; 2016. p.1比18[26] 胡新明，夏火松。基于LSI的主观题自动评分系统。第三届智能信息技术与安全信息学国际研讨会。IEEE; 2010年。doi：https：//doi. org/10.1109/IITSI.2010.76。[27] 李亚丽，严永红。一个有效的自动化论文评分系统使用支持向量回归。智能计算技术与自动化国际会议（ICICTA）湖南：IEEE计算机学会; 2012。[28] 杨 对计算机自动评分的验证策略的回顾，15. Lawrence Eribaum Assocaites，Inc.; 2002.四、