斯坦福深度学习课程：NLP讲座3 - Skip-gram模型与词向量优化

在斯坦福大学的深度学习课程中，Richard Socher教授深入讲解了自然语言处理（NLP）中的一个重要概念——Word2Vec模型。这门讲座是第三讲，主要回顾了简单版的word2vec模型，其核心在于理解词向量的表示和预测上下文单词的概率。 在word2vec模型中，成本函数J的主要目标是寻找一个词在句子或文档中的语义相关词汇，特别是通过skip-gram模型来实现这一点。skip-gram模型的基本形式定义了条件概率p(wt+j|wt)，即给定中心词（target word）wt预测周围词（context word）wt+j的概率。这个概率计算公式是： p(wt+j|wt) = (v'_{w_t+j})^T v_{w_t} / Z 其中，v_{w_t}和v'_{w_t+j}分别代表中心词和上下文词的向量表示，Z是对所有可能的词对进行归一化的常数。公式表明，词向量的相似度决定了上下文词出现的可能性。 在实际应用中，计算这个概率时，需要处理非常大的矩阵W，其中包含词汇表中所有词的向量。由于矩阵W的大小通常在10^5到10^7之间，这就可能导致计算时间和内存消耗较大。因此，优化方法是仅计算与当前上下文词相关的部分梯度，而不是整个矩阵。 计算梯度的过程涉及到每个中心词向量v的梯度更新。这部分涉及到了softmax函数和负采样技术，它们可以有效地降低计算复杂性，使得训练过程在可接受的时间内完成。通过对每个中心词向量v的梯度进行计算，模型能够调整词向量，使得词与词之间的关系更加准确，从而提升在诸如文本分类、情感分析等NLP任务中的表现。 这一节的内容重点在于理解word2vec模型的工作原理，包括梯度计算的优化策略以及如何利用深度学习方法来增强词向量的表示能力，以便更好地捕捉词语之间的语义和语法关系。这对于理解和应用深度学习在NLP领域的实际应用具有重要意义。