BP神经网络的原理及公式

BP（Backpropagation，反向传播）神经网络是一种基于梯度下降算法的前馈型神经网络，用于训练深层模型。其基本原理是通过迭代的方式调整网络权重，使得网络的预测输出尽可能接近实际标签，以此来最小化预测误差。

核心步骤包括前向传播和反向传播两部分：

1. **前向传播**（Forward Propagation）：输入数据沿着网络层向前传递，每一层神经元对输入信号进行加权求和并加上偏置，然后通过激活函数（如sigmoid、ReLU等）转换为非线性输出。最终得到网络的输出。

2. **计算损失**（Loss Calculation）：将网络的输出与目标值进行比较，通常使用均方误差（Mean Squared Error, MSE）作为损失函数，衡量两者之间的差距。

3. **反向传播**（Backward Propagation）：从输出层开始，计算每个权重对损失函数的贡献，然后逐层向输入层反向传播误差，并使用链式法则更新权重和偏置。这个过程就是梯度下降的一部分，目的是减小损失函数。

4. **权重更新**（Weight Update）：使用学习率（Learning Rate）乘以当前层的梯度和权重，按照梯度的方向调整权重，以降低损失。

公式涉及的主要有梯度和权重更新公式：
对于单个权重 \(w_{ij}\) 和偏置 \(b_j\)，在反向传播阶段，误差项 \(e_j\) 的导数 \(dE/dw_{ij}\) 和 \(dE/db_j\) 可以表示为：
\[ dE/dw_{ij} = \frac{\partial E}{\partial z^j} * \frac{\partial z^j}{\partial w_{ij}} = (y_j - t_j) * a^{(i-1)} \]
\[ dE/db_j = \frac{\partial E}{\partial z^j} * \frac{\partial z^j}{\partial b_j} = y_j - t_j \]

其中 \(a^{(i-1)}\) 是前一层的激活值，\(z^j\) 是第\(j\)个神经元的总和，\(y_j\) 是该节点的实际输出，\(t_j\) 是期望输出。