国科大NLP期末复习要点：激活函数与神经网络优化

本复习提纲主要涵盖了自然语言处理(NLP)的一些核心概念和算法，针对国科大的期末考试进行了整理，预计能帮助学生提高复习效率并达到较高的考试命中率。以下是大纲中的重点知识点： 1. 激活函数：Sigmoid、Tanh和ReLU是神经网络中的关键非线性函数，它们的作用在于增加网络的表达能力，引入非线性元素，从而提高模型拟合复杂数据的能力。 2. 参数学习方法： - 梯度下降法：这是最基础的优化算法，包括全量梯度下降（遍历整个数据集计算损失后再更新）、随机梯度下降（每次迭代处理一个样本）和 mini-batch梯度下降（划分小批量数据进行更新）。 3. 卷积神经网络(CNN)： - 结构特点：包括卷积层（利用局部感受野减少参数）、池化层（通过采样缩小网络规模）和全连接层（处理池化层输出）。 4. RNN的改进与变形： - LSTM和GRU：为了解决RNN的长程依赖问题，提出了长短期记忆(LSTM)和门控循环单元(GRU)，它们分别优化了输入门、输出门和更新门等机制。 - BiLSTM：双向LSTM捕捉上下文信息更全面，对语义理解有优势。 5. 语言模型： - 概率语言模型：如最大似然估计，用以学习词或序列的概率分布。 - 常见模型：NNLM (基于BP的神经网络语言模型)，RNNLM (递归神经网络语言模型，用BPTT训练)，C&W (基于pairwise的评分模型)，CBOW (上下文预测目标词) 和 Skip-gram (目标词预测上下文)。 - RNNLM优点：能够保留词的历史信息，引入词向量后避免了数据平滑的需要。 6. 传统注意力机制： - 由查询(Q)、键(K)和值(V)三部分组成，计算注意力权重后再加权求和。 - 普通模式和键值对模式的区别，以及软注意力（概率分布）和硬注意力（固定分配）两种类型。 这些知识点是期末复习的核心内容，理解和掌握它们对于理解和应对NLP相关的考试至关重要。复习时要注意理解激活函数的数学原理，掌握各种参数优化算法的适用场景，理解CNN在序列数据处理中的作用，熟悉RNN及其变体的结构和应用场景，以及语言模型特别是注意力机制的不同形式和应用。