GloVe词嵌入模型详解

"GloVe模型的理论与应用" GloVe（Global Vectors for Word Representation）是一种广泛使用的词嵌入方法，由斯坦福大学的Jeffrey Pennington、Richard Socher和Christopher D. Manning在2014年提出。GloVe的主要目标是通过捕获词汇间的共现统计信息来生成词向量，这些向量能够保留词汇的语义和语法特性。 1. 共现矩阵 共现矩阵是GloVe模型的基础，它记录了语料库中每个单词对共同出现的次数。例如，对于语料库 "iloveyoubutyoulovehimiamsad" 和窗口宽度为5，我们可以计算出每个单词对在同一窗口内出现的频率。例如，"i"和"love"可能在一个窗口内共同出现多次，对应的共现矩阵元素Xi,j就会有相应的值。 2. GloVe模型的代价函数 GloVe模型的目标是最小化损失函数，以使词向量表示与共现矩阵的统计信息一致。损失函数通常表示为所有单词对的平方误差和，即： \[ J = \sum_{i,j} f(X_{i,j})(v_i^T v_j + b_i + b_j - \log(X_{i,j}))^2 \] 其中，\( v_i \) 和 \( v_j \) 分别是单词i和j的词向量，\( b_i \) 和 \( b_j \) 是偏置项，\( f(X_{i,j}) \) 是权重函数，用于考虑某些单词对出现频率较高的情况，\( N \) 是词汇表的大小。 3. 条件概率与比率 GloVe模型还涉及到了条件概率 \( P_{i,k} = \frac{X_{i,k}}{X_i} \)，表示单词k在以单词i为中心的窗口内的概率，以及比率 \( ratio_{i,j,k} = \frac{P_{i,k}}{P_{j,k}} \)。作者发现这个比率在不同单词对之间有一定的规律性。目标是找到合适的词向量和函数 \( g(v_i, v_j, v_k) \)，使得计算出的比率接近于实际观测到的比率，以优化模型。 4. 函数近似与优化 为了简化模型，作者假设可以通过词向量 \( v_i, v_j, v_k \) 计算 \( ratio_{i,j,k} \) 的函数 \( g \) 应该满足： \[ \hat{ratio}_{i,j,k} = \frac{\hat{P}_{i,k}}{\hat{P}_{j,k}} = \frac{f(v_i, v_j, v_k)}{f(v_j, v_i, v_k)} \] 并且使用差平方作为损失函数来衡量两者之间的差异。然而，原始形式的模型涉及三重循环，计算复杂度为 \( O(N^3) \)，这非常耗时。为了解决这个问题，作者提出了线性化的近似，如利用 \( vi-vj \) 来考虑单词i和j的关系，以减少计算复杂度。 GloVe的训练过程包括迭代优化，通过梯度下降等方法更新词向量和偏置项，以最小化损失函数。最终，得到的词向量可以用于各种自然语言处理任务，如文本分类、情感分析、词义相似度计算等，因为它们能够捕捉词汇间的语义和句法关联。