北航人工神经网络基础复习

北航的人工神经网络基础复习通常会涵盖以下几个核心主题：

1. **神经元模型**：理解生物神经元如何工作，并将其简化为计算单元（如Sigmoid函数、ReLU等），学习输入、权值、阈值和输出的关系。

2. **神经网络结构**：包括前馈神经网络（FFNN）、卷积神经网络（CNN）、循环神经网络（RNN）和深度学习网络（如深度信念网络、长短时记忆网络等）的基本架构。

3. **激活函数**：不同类型的激活函数的作用，如线性、sigmoid、tanh、ReLU及其变种，以及它们在不同层中的选择原则。

4. **权重初始化和优化算法**：如随机初始化、Xavier或He初始化，梯度下降、随机梯度下降、Adam、SGD等优化算法的工作原理。

5. **损失函数**：常用的损失函数如均方误差、交叉熵等，它们在训练过程中的作用和计算方法。

6. **反向传播**：理解如何通过链式法则计算梯度并更新网络参数。

7. **深度学习理论**：浅谈深度学习背后的机理，如特征学习、表示学习、过拟合和欠拟合的概念。

8. **典型应用**：了解神经网络在图像识别、自然语言处理、推荐系统等领域的实际应用案例。