2020年自然语言处理期末考题回忆与解析

"2020年自然语言处理期末真题回忆版，来自重庆某双一流大学，由VayneDuan回忆整理。考试时间为2020年12月19日，试卷整体简单，允许携带计算器。主要内容包括填空题、简答题、计算题和应用分析题，涉及自然语言处理的基础概念、模型和应用。" 本文将详细讨论这份自然语言处理期末真题中涵盖的知识点。 一、基础概念 1. 组合型歧义：在自然语言处理中，组合型歧义是指一个短语或句子由于词汇的组合方式产生了多种可能的解释。例如，“他将来学校讲学”，可能意味着他将来到学校进行演讲，也可能意味着他未来会在学校担任教学工作。 2. 支持向量机（SVM）：SVM是一种监督学习模型，其目标是找到一个最大化两类样本间隔的超平面，以实现最佳分类效果。 3. 互信息与困惑度：在评估语言模型时，互信息用于衡量两个随机变量之间的关联程度，而困惑度则表示模型对给定序列的概率预测的不确定性。 4. 信息熵：信息熵是信息理论中的一个重要概念，用于度量信息的不确定性，通常用于描述一个随机变量的平均信息含量。 5. 向量空间模型：在文本表示中，向量空间模型将文本转换为多维空间中的向量，每个维度对应一个特征词，通过词频或其他权重来量化文本与特征词的关系。 6. 基于语义词典的消歧：这种方法利用词的语义范畴来解决词汇歧义问题，如通过词的义项匹配来确定最合适的词义。 7. 朴素贝叶斯：朴素贝叶斯模型假设各个特征之间相互独立，且特征对类别条件概率的先验概率已知。在文本分类中，它假定上下文的词语独立于文本类别。 二、模型与原理 1. 数据平滑：在统计建模中，数据平滑用于处理训练数据不足或零频率问题，通过引入小概率避免了概率为零的情况，提高模型的泛化能力。 2. 生成式模型与判别式模型：生成式模型学习数据的联合分布，能生成新的数据；而判别式模型直接学习条件分布，关注的是输入到输出的映射关系。 3. n元模型分词：n元模型是统计语言模型的一种，通过考虑前后n-1个词来预测当前词，用于中文分词，通过最大匹配、动态规划等方法实现。 4. 生预料与标注预料：生预料是未经过人工标注的原始文本数据，用于训练模型；标注预料则是带有标签的训练数据，用于监督学习，能提供精确的边界和类别信息。 三、计算与应用 1. 计算题通常涉及实际的计算过程，如概率计算、矩阵运算等，具体题目未给出，但提及了“<BOS>他是研究生物的<EOS>”这样的句子，可能涉及到序列标注或词性标注的问题。 2. 应用分析题涉及文本分类和语义消歧的实际应用。文本分类的主要任务是将文本自动归类到预定义的类别中，常见的模型包括朴素贝叶斯、支持向量机、深度学习模型等。设计方案通常包含数据预处理、特征提取、模型选择和训练验证等步骤。语义消歧的任务是确定词汇在特定上下文中的确切含义，基于有监督的方法利用标注数据训练模型，而基于词典的方法则依赖于词典资源和规则来消除歧义。 总结，这份真题涵盖了自然语言处理的基础概念、模型原理和实际应用，反映了对学生的综合能力要求，包括理解、分析和解决问题的能力。学习者可以通过解答这些题目来巩固和深化对自然语言处理的理解。