词向量基础：从One-Hot到分布式表示

"第四章（1）：词向量的定义与意义——介绍词向量在自然语言处理中的重要性，以及词的两种主要表示方式：离散表示（包括One-Hot独热编码和ngram特征表示）和分布表示。" 在自然语言处理（NLP）领域，词向量是将词汇转换成数值向量的关键技术，使得计算机能够理解和处理人类语言。词向量的定义简单来说，就是将每一个单词映射到一个固定维度的实数向量，这个向量能够捕捉单词的语义和上下文信息。通过这种方式，复杂的语言信息可以被量化，便于机器学习算法进行处理和分析。 **1. 词的表示** **1.1 离散表示** **1.1.1 One-Hot独热编码** One-Hot编码是最基础的词表示方法，它将每个单词转化为一个二进制向量，向量中只有一个元素为1，其余为0，对应于词典中单词的索引。例如，对于词表“苹果”，“橘子”，“芒果”，“葡萄”，对应的One-Hot编码分别是 [1,0,0,0]，[0,1,0,0]，[0,0,1,0]，[0,0,0,1]。虽然这种编码方式清晰明了，但它存在两个主要缺点：一是高维度，导致存储需求大；二是无法体现词与词之间的相似性，因为任何两个词的欧氏距离都是固定值。 **1.1.2 ngram特征表示** ngram特征表示则考虑了词序信息，通过对连续的n个词进行编码来捕获短语或序列的上下文。例如，二元语法（bigram）会记录相邻的词对，三元语法（trigram）会记录连续的三个词。这种方法在一定程度上缓解了One-Hot编码的不足，但依然面临维度问题，并且不能完全捕捉到更复杂的语义关系。 **1.2 分布表示** 为了克服离散表示的局限性，词向量的另一种形式——分布表示应运而生。其中最具代表性的是Word2Vec、GloVe和FastText等模型。这些模型通过训练神经网络，学习到每个词的低维向量表示，使得相似语义的词在向量空间中距离较近，不同语义的词距离较远。例如，Word2Vec的CBOW和Skip-gram方法，通过预测上下文词来学习词向量，从而揭示词的语义和语法结构。 **2. 词向量的意义** 词向量的意义在于它们能够捕获词汇的语义和上下文信息，使得机器学习模型能够理解和处理自然语言。这些向量可以用来计算词与词之间的相似度，帮助模型进行分类、聚类、翻译等各种任务。通过使用词向量，NLP模型的性能得到了显著提升，同时减少了对大量人工特征工程的依赖。 词向量的应用广泛，包括情感分析、文本分类、问答系统、机器翻译等。它们是现代NLP技术的基石，极大地推动了人工智能在理解和生成自然语言方面的发展。 词向量的定义和意义对于理解NLP领域的核心技术至关重要，它们不仅简化了语言数据的表示，还为模型提供了丰富的语义信息，从而提高了算法的效率和准确性。