北大NLP课程：词向量深度解析

"北大语言学 自然语言处理课程 NLP系列课程 10_词向量 共38页.pptx" 词向量是自然语言处理中的关键概念，它将词语转换为低维向量形式，使得具有相似含义或语法特性的词在向量空间中的距离相近。这种表示方式有助于捕捉词的语义和句法特性，是许多NLP任务的基础，如文本分类、情感分析、机器翻译等。 预测式词向量学习模型是词向量训练的常见方法，主要包括Collobert & Weston模型以及CBOW（Continuous Bag of Words）和Skip-Gram模型。Collobert & Weston模型是早期尝试将词向量与深度学习结合的模型，它不仅考虑了词的上下文，还进行了多任务学习。CBOW模型通过上下文词来预测目标词，而Skip-Gram则是反过来，用目标词去预测上下文词。这两种模型都利用大规模的未标注语料库，通过最大化条件概率来学习词向量。 矩阵分解式词向量学习模型，如SVD（奇异值分解）和GloVe（Global Vectors for Word Representation），则采用了不同的方法来获得词向量。SVD通过对词共现矩阵进行分解来提取词向量，而GloVe则试图捕获全局统计共现信息，优化目标函数以达到词向量的最优表示。 词向量的评价通常涉及类比词预测和相似度评价。类比词预测是通过考察如“男人：女人 = 哥哥：妹妹”这样的关系，检查是否可以通过向量运算得出正确答案。相似度评价则是衡量两个词向量的余弦相似度，看它们在向量空间中的距离是否反映了语义上的接近程度。 词的one-hot编码是一种简单的表示方法，但其稀疏性和高维性导致它无法有效表达词与词之间的关系。词向量的引入解决了这个问题，通过将词映射到低维连续空间，使得词汇间的语义和句法关系得以体现。例如，“木头桌子”和“木头椅子”的向量乘积可能是非零的，表明它们有共同的属性，而“木头学习”的乘积为零，表明它们在语义上不兼容。 词向量是自然语言处理中极其重要的工具，它允许计算机理解人类语言的内在结构，从而提升各种NLP任务的性能。通过学习模型如CBOW、Skip-Gram和GloVe，我们可以从大量的文本数据中提取出丰富的词汇表示，这些表示能够捕捉到词汇的上下文关联和语义特性。