吴恩达NLP课程：N-gram模型与词嵌入解析

"吴恩达的NLP课程涵盖了N-gram模型和平滑处理，以及词嵌入的概念，包括CBOW模型的推导和评估方法。课程介绍了如何构建语言模型，用以前的单词预测下一个单词的概率，并处理未见过的词汇。此外，还讨论了混淆度量在选择最佳语言模型中的应用。" 在吴恩达的NLP课程中，首先讲解了N-gram模型的基础。N-gram是一个基于单词顺序的序列模型，它可以是单个单词（unigram）、两个相邻单词（bigram）、三个相邻单词（trigram）等。在处理文本时，标点符号被视为单词，而其他特殊字符会被忽略。然而，直接计算文本序列的概率在实际中存在局限性，因为自然语言的多样性导致某些序列可能在训练数据中未出现，从而导致概率为零的问题。 为了解决这个问题，课程提到了平滑处理技术。平滑技术允许模型对训练集中未出现的单词或序列进行概率估计，而不是简单地赋予它们零概率。这种方法假设每个单词和短语至少在训练语料库中出现一次，以避免概率计算时的困扰。 接着，课程转向词嵌入的话题，这是现代NLP中的关键概念。词嵌入是一种将单词表示为向量的方法，这些向量能够捕捉到词汇的语义和语法信息。课程介绍了独热编码（one-hot encoding）作为基础，然后过渡到词嵌入，如Word2Vec的连续词袋模型（CBOW）。CBOW通过上下文单词预测目标单词，这涉及到清理语料库、令牌化过程，以及将单词转换为向量的步骤。课程详细推导了CBOW的架构、正向传播、反向传播和梯度下降算法，以及如何提取词嵌入向量。 评估词嵌入的质量至关重要，课程中提到了两种评估方式：内部评估和外部评估。内部评估通常关注嵌入向量的数学特性，如余弦相似性和线性可分性；外部评估则涉及使用预训练的词嵌入在特定任务（如情感分析、命名实体识别）上的性能。 最后，课程介绍了混淆度量，这是比较和选择最佳语言模型的工具。混淆矩阵可以帮助理解模型在不同类别上的预测表现，从而指导模型优化和改进。 吴恩达的NLP课程深入浅出地介绍了N-gram模型、平滑处理、词嵌入及其评估，为理解和实践自然语言处理提供了坚实的基础。