反向传播算法公式推导

反向传播算法是人工神经网络训练过程中用于更新权重的一种常用方法。其核心思想是通过计算损失函数对每个权重的梯度来进行权重调整。这里简要概述一下基本步骤：

1. **前向传播**：首先，输入数据经过神经网络的一系列线性和非线性变换，生成预测结果。

2. **误差计算**：将模型的预测值与真实标签比较，得到预测误差（通常是均方误差或交叉熵等）。误差通常表示为E。

3. **链式法则求梯度**：从输出层开始，计算每个节点（包括权重）对于误差的贡献，也就是梯度。这涉及到了链式法则的应用，逐层逆序地计算导数。

- 对于输出层的权重 \( w_{out} \)，梯度 \( \frac{\partial E}{\partial w_{out}} = \delta_{out} \cdot a^{(L-1)} \)，其中 \( \delta_{out} \) 是输出层的激活函数导数与预测误差的乘积，\( a^{(L-1)} \) 是前一层的输出。

- 对于隐藏层，假设我们正在处理的是第i层，其输出 \( z_i \) 和激活 \( a_i \)，则其梯度为 \( \frac{\partial E}{\partial w_i} = \delta_i \cdot a^{(i-1)} \)，其中 \( \delta_i \) 是根据当前节点和下一个节点之间的关系（如ReLU、sigmoid等）计算得出的导数。

4. **权重更新**：根据学习率 \( \eta \) 以及梯度，更新权重 \( w \) 的方向和大小，即 \( w_j = w_j - \eta \cdot \frac{\partial E}{\partial w_j} \)。