word2vec 算法推导

Word2Vec是一种用于将单词映射到向量的技术，它被广泛用于自然语言处理任务，例如文本分类、情感分析、机器翻译等。Word2Vec使用神经网络来学习单词之间的语义关系，它的基本思想是将单词表示为在高维空间中的向量，使得相似的单词在空间中距离更近。

下面是Word2Vec的算法推导过程：

1. Skip-gram模型

Skip-gram模型的思想是给定一个中心词，预测它周围的上下文单词。我们用一个训练集D表示为{(w, c)}来表示单词和上下文单词的对应关系，其中w是中心词，c是上下文单词。Skip-gram模型的目标是最大化给定训练集D的条件概率：
$$P(D|\theta)=\prod_{(w,c)\in D}P(c|w,\theta)$$

其中$\theta$表示模型参数，即中心词和上下文单词之间的权重。

2. Softmax函数

为了计算条件概率$P(c|w,\theta)$，我们使用Softmax函数将向量转化为概率分布。假设我们有一个向量$z$，则Softmax函数的定义如下：
$$Softmax(z)_i=\frac{e^{z_i}}{\sum_{j=1}^{k}e^{z_j}}$$

其中$k$是向量$z$的维数。

3. 神经网络模型

Skip-gram模型使用一个神经网络来计算条件概率$P(c|w,\theta)$。假设我们有一个中心词$w$，我们将其表示为一个向量$x_w$。我们还有一个上下文单词$c$，我们将其表示为一个向量$y_c$。我们将$x_w$和$y_c$传递到一个神经网络中，该神经网络将它们组合起来，输出一个向量$z_{wc}$。我们使用Softmax函数将$z_{wc}$转换为概率分布，即：
$$P(c|w,\theta)=Softmax(z_{wc})$$

4. 目标函数

我们使用交叉熵作为目标函数，该函数度量了模型预测的概率分布与实际分布之间的差异。假设我们的训练集D包含n个样本，我们定义交叉熵损失函数如下：
$$J(\theta)=-\frac{1}{n}\sum_{(w,c)\in D}\sum_{i=1}^{k}1(c=i)log(P(c|w,\theta))$$

其中1(c=i)是一个指示函数，当上下文单词$c$等于第$i$个单词时为1，否则为0。

5. 梯度下降

我们使用梯度下降算法来最小化目标函数$J(\theta)$。我们需要计算损失函数对模型参数$\theta$的导数，然后使用该导数来更新参数。假设$z_{wc}$是神经网络的输出向量，我们可以计算损失函数对权重矩阵$W$和输入向量$x_w$的导数：
$$\frac{\partial J}{\partial W}=(P(c|w,\theta)-1)y_c$$
$$\frac{\partial J}{\partial x_w}=W(P(c|w,\theta)-1)$$

然后我们可以使用这些导数来更新模型参数：
$$W\leftarrow W-\alpha\frac{\partial J}{\partial W}$$
$$x_w\leftarrow x_w-\alpha\frac{\partial J}{\partial x_w}$$

其中$\alpha$是学习率。

6. Hierarchical Softmax

当词汇表很大时，计算Softmax函数的代价很高。为了解决这个问题，我们可以使用分层Softmax函数，它使用一棵哈夫曼树来表示每个单词的概率分布。这样，我们可以在树上进行逐层的二分类，从而减少计算量。

这就是Word2Vec算法的推导过程。通过训练神经网络，我们可以得到每个单词的向量表示，从而用于自然语言处理任务。