前向传播与梯度下降法详解：成本函数求导与优化

在本节内容中，我们主要探讨了神经网络训练中的两种关键算法：前向传播和梯度下降法。前向传播在深度学习中用于计算模型预测结果与实际标签之间的成本函数J，如在逻辑回归中的交叉熵损失\(ℒ(𝑦 ̂,𝑦)\)，其中\(\hat{y}\)由sigmoid激活函数\(σ(z)\)决定，\(z\)则是线性组合\(wTx+b\)的结果。计算\(ℒ\)的过程涉及到链式法则的应用，例如对于权重\(w_1\)的偏导数\(\frac{\partialℒ}{\partial w_1}\)，可以通过链式法则逐步分解，最终得到\(\frac{\partialℒ}{\partial w_1} = x_1(\hat{y} - y)\)。 后向传播是求解成本函数关于模型参数的梯度的关键步骤，它通过从输出层开始，沿着神经元之间的连接逐层反向传播误差，以计算每个权重和偏置的梯度。对于逻辑回归，计算成本函数对权重\(w_i\)和偏置\(b\)的偏导数，例如\(\frac{\partialℒ}{\partial w_i}\)的计算过程涉及到了链式法则的运用，以及利用激活函数\(σ(z)\)的导数特性，简化了计算。在实际Python编程中，这些偏导数会被存储在变量如`dw1`, `dw2`, `db`等中，然后通过梯度下降法更新模型参数，即通过迭代更新公式： \[ w_i := w_i - \alpha \cdot \frac{\partialℒ}{\partial w_i} \] \[ b := b - \alpha \cdot \frac{\partialℒ}{\partial b} \] 其中，\(\alpha\)是学习率，控制着参数更新的步长。这种方法适用于凸型成本函数，但需注意在实际应用中可能需要调整学习率、选择适当的优化算法（如批量梯度下降、随机梯度下降或动量梯度下降）以达到更好的收敛性能。 总结来说，这部分内容强调了神经网络训练中前后向传播的作用，特别是如何利用链式法则计算成本函数的梯度，并在Python代码中实现权重和偏置的更新过程。这对于理解和实现简单的神经网络模型至关重要。