word2vec算法详解：从CBOW到Skip-gram

"word2vec算法梳理" 在自然语言处理领域，word2vec是一种著名的算法，它能够学习到词的向量表示，使得语义相似的词在向量空间中距离相近。word2vec主要分为两种模型：Continuous Bag of Words (CBOW) 和 Continuous Skip-gram Model。本文主要梳理了基于Skip-gram的word2vec算法。 1. Skip-gram模型概述： Skip-gram模型的目标是通过当前词（中心词）预测其上下文词（上下文窗口内的词）。它的主要优化点在于减少了传统神经语言模型的计算复杂性，特别是隐层与输出层之间的矩阵运算以及输出层的归一化操作。 2. Skip-gram模型结构： - 输入层：输入层仅包含当前样本的中心词，每个词都由一个固定长度的词向量表示，维度为\(d\)。 - 投影层：这一层将输入层的所有词向量进行求和，形成一个单一的向量，用于后续的预测计算。 - 输出层：输出层对应于一个词汇树，这个树的叶子节点是语料库中出现的词，非叶子节点则根据词的频率构建。树的结构有助于高效地查找和计算上下文词的概率。 3. 梯度计算与参数更新： 在Skip-gram模型中，目标是最大化中心词到上下文词的概率。梯度计算涉及到从根节点到目标词的路径，路径上的每个节点都有对应的编码和向量。模型采用随机梯度上升法优化目标函数。对于词向量\(w_i\)的更新，是根据所有上下文词的梯度计算结果进行的。而投影层的参数更新则相对简单，通常采取直接取所有词向量的叠加平均。 4. 算法伪代码： 在训练过程中，word2vec算法会迭代地更新词向量和树结构中的参数，以逐渐提高预测准确性和模型性能。每个迭代步骤涉及对词典中每个词进行处理，计算其与上下文词的梯度，然后更新相关参数。 5. CBOW与Skip-gram对比： CBOW模型与Skip-gram的主要区别在于预测方向，CBOW是通过上下文词来预测中心词，而Skip-gram则是反过来。CBOW通常在训练速度上较快，但Skip-gram在捕捉长距离的依赖关系和稀有词的语义上有优势。 通过word2vec，我们可以得到高质量的词向量，这些向量可以用于各种NLP任务，如文本分类、情感分析、机器翻译等，极大地提升了这些任务的性能。