基于SVD和SGNS的汉语子词向量构建与评测分析

资源摘要信息: "nlp作业分别基于SVD分解以及基于SGNS两种方法构建汉语子词向量并进行评测python源码.zip" 本文件描述了如何使用两种不同的方法来构建汉语子词向量，并对这些向量进行评测。涉及到的关键知识点包括自然语言处理（NLP）、Singular Value Decomposition（SVD）分解、Skip-Gram with Negative Sampling（SGNS）、余弦相似度计算，以及Python编程。以下是详细的说明： 1. 子词向量构建与词表处理： - 子词（subword）是指语言中的一种语言单位，它可能是词的一部分或复合词中的一个组件。在构建词向量时，子词可以提供比整个词更丰富的语义和结构信息。 - 作业首先需要根据第一次编程作业中获得的子词词表来构建向量。这意味着需要利用已有的子词数据集作为基础来生成向量表示。 2. 语料库处理： - 使用的语料库是corpus.txt，它是第一次编程作业中的训练和测试集的并集。这个语料库是用于学习子词向量的输入文本数据。 - 在资源有限的情况下，可以从整个语料库中选取一个子集来运行算法，但需要明确评测时不区分是否使用了完整语料库。 3. SVD分解方法： - SVD分解是一种数学方法，用于将矩阵分解为三个特定的矩阵的乘积，可以用于降低数据的维度。 - 在本作业中，SVD用于获得高维的语义表示，并通过降维生成子词向量vec_sta。降维后向量的维数是自定的，通常选择一个介于20到300之间的值。 - 降维后，计算pku_sim_test.txt中同一行两个子词的余弦相似度sim_svd。余弦相似度是一种度量两个向量在方向上相似度的方法。 - 如果测试集中某个词没有在语料库中出现过，则该词的向量为空，其与其他词的相似度sim_svd设置为0。 4. SGNS方法： - SGNS是一种在神经网络语言模型中常用来学习词向量的技术。它结合了skip-gram模型和负采样技术。 - 在本作业中，窗口大小K=2，表示每个子词的上下文范围为前后各一个词。同样，子词向量的维数是自定的。 - 使用SGNS方法得到子词向量vec_sgns后，计算pku_sim_test.txt中同一行两个子词的余弦相似度sim_sgns。 - 如果测试集中某个词没有向量表示，则其与其他词的相似度sim_sgns也设置为0。 5. 输出结果格式： - 输出的格式需要严格遵循给定的规则，这是为了确保机器判定的准确性。具体输出的格式没有在描述中给出，但从描述推断，应当是将相似度的计算结果按照一定的顺序和格式输出到文件中。 6. Python编程： - 本作业的实现需要使用Python语言，可能涉及到的库包括用于矩阵操作的NumPy、用于文件读写的文件I/O操作、以及可能用于自然语言处理的NLTK或spaCy库等。 - 实现过程中可能还需要用到数据预处理、矩阵分解、相似度计算等算法实现。 7. 标签信息： - 标签“自然语言处理”指出这项作业与NLP领域紧密相关，是其子领域之一。 - 标签“python”表明编程语言为Python。 - 标签“软件/插件”可能表明最终的目标产物是某种软件或插件形式，但具体实现细节未在描述中给出。 8. 压缩包子文件的文件名称列表： - 列表中的"code"表明作业中包含了Python源码文件。 总体而言，本文件是关于构建汉语子词向量并使用特定方法进行评测的作业说明，涉及到NLP、矩阵分解、向量计算和Python编程等多个知识点。对于学生来说，完成这项作业需要掌握相关的理论知识，以及能够熟练使用Python进行编程实现。