引言
欢迎来到我的 word2vec 电子书。无论你是正在学习机器学习先进理论的学
生、或者是正在探索新技术和新想法的研究员、又或是有着构建新产品和新功
能的远大理想的工程师，我希望本书能帮助你对算法有更深入的理解，让你能
够更快实现自己的目标以及更好的产出。
以下是本书的内容概要：
第 1 章：词向量及其应用
l 本章将会回答两个问题：“什么是词向量？”，“它们如何有用？”。我会解释
词向量是如何衡量两个词语的意思的相似度，以及词向量在大量实际应用中
的价值。如果你已经很熟悉词向量的动机和应用，可以跳过这部分内容。
第 2 章：Skip-gram 模型架构
l 在了解了词向量的价值之后，本章会从概念和实现两个方面讲述 word2vec
是如何对词的意思进行学习、编码。
第 3 章：采样
l 第二章描述的架构虽然概念很好，但是实现起来的代价太大了。Negative
Sampling 是对训练过程的微调，大大提高了速度的同时又能生成质量更高
的结果。
第 4 章：模型的变化
l 为了完整性起见，本章描述了 Continuous-Bag-of-Words (CBOW)模型，
（可以作为 Skip-gram 的替代技术，在 word2vec 原论文中也有提到），以
及 Hierarchical Softmax (Negative Sampling 的一种替代技术) 。
第 5 章：常见问题
l 该部分问答了几个关于 word2vec 的常见问题（还有一些常见的误解）。
第 6 章：资源
l 该部分列出了有助于进一步深入的资源：
1. 原论文和代码实现
2. 解释数学公式的几篇文章
3. word2vec 几个代码实现的简要调查
示例代码
l 大部分章节都配有简单的 python 示例代码。每一章的最后都附有相应代码
的小结。
¡ 我们的代码以 Jupyter Notebook 方式提供（能够很好地将代码和解
剩余27页未读，继续阅读
评论0