NLP入门：文本预处理与语言模型详解

在这个关于NLP的第二阶段的学习资源中，主要关注了文本预处理和循环神经网络的基础应用。文本预处理是NLP任务中的关键步骤，它涉及将文本中的单词或字符转化为数值表示，即词向量。早期的one-hot编码方法导致数据稀疏，随后出现了更高效的词嵌入技术，如word2vec、ELMo、BERT和GPT，这些方法通过捕捉词义和上下文关系来减少稀疏性。 任务2"NLP初识"着重于词汇管理，通过建立字典类（如Vocab类）来统计词频并创建词与索引的映射，包括idx_to_token（根据索引查找词）和token_to_idx（根据词查找索引）。分词是另一个重要环节，对于英文，spaCy和NLTK是常用工具；中文则用jieba和NLTK的中文分词包。语言模型的核心是评估文本序列的合理性，通过n-gram（如bi-gram和tri-gram）方法来估计词的概率及其条件概率，但高阶n值的模型在实际中通常效果不佳且效率低。 循环神经网络（RNN）在此处被介绍为预测文本序列的一个基本模型，它利用当前输入和历史状态来生成下一个字符的预测。RNN的核心结构包括输入门、遗忘门和输出门，通过非线性激活函数（如sigmoid或ReLU）处理输入Xt、上一时刻的隐藏状态Ht-1，并更新当前时刻的隐藏状态Ht。这种结构允许模型捕捉到序列的长期依赖关系，是深度学习在NLP任务中的重要组成部分。 总结起来，这个资源涵盖了NLP入门所需的基础知识，从文本预处理的技巧到模型选择（如RNN），以及实际操作中的关键概念，如词向量、n-gram模型和循环神经网络的工作原理。对于想要深入学习NLP的人来说，这是个很好的起点。