前馈神经网络学习笔记

前馈神经网络（Feedforward Neural Network）是一种最基本的神经网络模型，也被称为多层感知机（Multilayer Perceptron，MLP）。它由输入层、隐藏层和输出层组成，信息在网络中只能向前传播，不会进行反馈。

前馈神经网络的学习过程主要包括两个阶段：前向传播和反向传播。

1. 前向传播：
在前向传播过程中，输入数据从输入层经过隐藏层逐层传递，最终到达输出层。每个神经元都会对输入进行加权求和，并通过激活函数进行非线性变换，然后将结果传递给下一层。这个过程一直持续到输出层，输出层的结果即为网络的预测结果。

2. 反向传播：
反向传播是指根据网络的预测结果和真实标签之间的差异来调整网络参数的过程。首先计算输出层的误差，然后通过链式法则逐层向前计算隐藏层的误差。接着使用梯度下降法更新网络中的权重和偏置，使得网络的预测结果与真实标签更加接近。

前馈神经网络学习笔记的内容可以包括以下几个方面：
1. 前馈神经网络的基本原理和结构；
2. 前向传播和反向传播的数学推导过程；
3. 常用的激活函数和损失函数；
4. 权重初始化和正则化技术；
5. 优化算法，如梯度下降、随机梯度下降等；
6. 超参数的选择和调优方法；
7. 常见的前馈神经网络模型，如全连接神经网络、卷积神经网络等。