深度学习模型详解：从神经网络到NLP应用

本资源是一份来自北京大学语言学研究所的自然语言处理(NLP)系列课程中的一个章节，专门讲解"常见深度学习模型"。课程旨在帮助学生深入理解自然语言处理领域的核心技术，适合初学者入门或需要复习该领域的专业人士。 课程首先回顾了神经网络的历史发展，从上世纪40年代的人工神经网络概念，如Frank Rosenblatt的感知机，到60年代Marvin Minsky对感知机局限性的认识，以及随后几十年神经网络的兴衰。重点提到，尽管SVM等模型在90年代受到更多关注，但2006年后神经网络方法，特别是深度学习(Depth Learning)，因其强大的非线性学习能力重新崛起。 深度学习模型的核心是神经网络，它通过输入向量(特征向量) \( x \) 和输出向量 \( y \) 来捕捉潜在的非线性关系。相比于最大熵模型(MaxEnt)和支持向量机(SVM)，神经网络模型具有更高的表达能力，能够通过单隐藏层的非线性激活函数逼近任何连续函数。然而，这种强大的表达能力并不意味着模型一定能成功，因为学习过程可能陷入局部最优，并且表示学习（即特征层次结构）在深度学习中的重要性不容忽视。 深度学习中的特征表示是分层的，底层特征代表简单的概念，而高层特征则对应更抽象的概念。每层特征都是一种输入 \( x \) 的不同表示形式，这在传统机器学习中通常涉及特征工程，而在深度学习中，这些特征由模型自动学习得到。课程还提到了特征表示的两种类型：原子特征和组合特征，以及常见的One-hot编码方式。 本章节详细介绍了几种常见的深度学习模型，包括前馈神经网络(Feedforward Neural Networks)、卷积神经网络(Convolutional Neural Networks)和循环神经网络(RNN)，这些都是深度学习中不可或缺的基础组件。通过学习这些模型，学生将掌握如何在自然语言处理任务中利用深度学习的优势，实现诸如文本分类、情感分析、机器翻译等复杂任务的高效处理。整个系列课程提供了一个从基础到进阶的完整学习路径，对于想要深入了解NLP并运用深度学习技术的人来说，这是一份宝贵的资源。