CBOW和skip_gram

CBOW（Continuous Bag-of-Words）和Skip-gram是两种常见的词向量表示模型，用于将单词表示为连续向量空间中的向量。

CBOW模型的目标是根据上下文单词来预测当前单词。它通过将上下文单词的词向量进行平均，然后输入到一个隐藏层，最后输出当前单词的词向量。CBOW模型适用于训练数据较大、单词出现频率较高的情况。

Skip-gram模型则是与CBOW相反的过程，它的目标是根据当前单词来预测上下文单词。Skip-gram模型通过输入当前单词的词向量，经过隐藏层后输出上下文单词的词向量。Skip-gram模型适用于训练数据较小、单词出现频率较低的情况。

这两种模型都是基于神经网络的方法，通过学习上下文单词之间的关系来得到单词的分布式表示。它们在自然语言处理任务中广泛应用，如词义相似度计算、文本分类、机器翻译等。