Word2Vec深度解析：从NNLM到高效训练策略

"本文主要介绍了Word2Vec模型，它是Google在2013年提出的一种自然语言处理（NLP）工具，旨在将大量单词高效、高质量地转化为向量表示。Word2Vec受到Bengio在2003年提出的NNLM（Neural Network Language Model）模型的启发，但通过简化和优化提高了训练效率。文章详细阐述了Word2Vec的模型结构、训练策略以及与NNLM的关系。" Word2Vec模型的核心在于通过神经网络将单词转换为低维向量，使得语义相似的词在向量空间中的距离更近，同时能够保持一些线性关系，如“国王 - 男人 + 女人 = 国王”。这种向量表示方法对于许多NLP任务非常有用，如词性标注、情感分析、机器翻译等。 模型的构建基于两个关键思想：一是分布式假设，即上下文相似的词具有相近的语义；二是简化NNLM模型以提高训练效率。Word2Vec有两种训练策略：Continuous Bag of Words (CBOW) 和 Skip-Gram。在CBOW中，模型尝试使用上下文词来预测中心词，而Skip-Gram则是反过来，用中心词预测其上下文词。这两种方法都旨在捕捉词汇之间的上下文关联。 在NNLM模型中，有三个主要层次：映射层、隐藏层和Softmax输出层。映射层通过一个共享权重矩阵将One-Hot编码的词转化为词向量，隐藏层使用tanh激活函数，Softmax层则将向量映射到概率分布。然而，由于庞大的参数空间，训练速度较慢。Mikolov的改进包括： 1. 舍弃隐藏层，这大大减少了计算量。 2. 将上下文词向量求和代替NNLM的拼接操作，降低了模型复杂度。 3. 引入Hierarchical Softmax和Negative Sampling策略，以减少Sigmoid函数的计算成本。Hierarchical Softmax使用二叉树结构来快速计算概率，Negative Sampling则是在训练时随机选择一些负样本，简化了优化过程。 通过这些优化，Word2Vec能够在大规模数据集上快速训练出高质量的词向量，为后续的NLP任务提供了强大的基础。