深度学习课程：反向传播算法详解与应用

"反向传播算法PPT，基于吴恩达机器学习课程的总结，涵盖了BP算法的核心内容和常用激活函数的优缺点" 反向传播算法（Backpropagation, BP）是深度学习和神经网络中的核心算法，用于计算损失函数相对于每个参数的梯度，以便于通过梯度下降法更新网络的权重，从而最小化预测误差。这个过程涉及到对整个神经网络的权重进行迭代调整，以提高模型的预测性能。 在反向传播算法中，数据首先从前向传播通过网络，每一层的神经元根据输入和当前权重计算其输出。然后，损失函数被计算出来，通常使用的是均方误差或交叉熵等。接下来，反向传播开始，从输出层开始，计算每个神经元的偏导数，即梯度，然后将这些梯度反向传播到前面的隐藏层。每层的权重更新是基于该层所有神经元的梯度之和，乘以学习率和链式法则的乘积。 在选择激活函数时，有多种常用的函数，如Sigmoid、tanh和ReLU。 1. Sigmoid函数：Sigmoid函数将任何实数值映射到(0,1)之间，具有平滑且单调递增的特性，适合二分类问题。然而，Sigmoid函数存在两个主要问题：(a) 随着输入远离中心，梯度接近于0，导致“梯度消失”现象，使得深层网络的学习变得困难；(b) 输出不是以0为中心的，这可能影响网络的训练效果。 2. tanh函数：tanh函数与Sigmoid类似，但输出范围在(-1,1)，并且是以0为中心的。这使得它在某些情况下能更好地捕捉输入的线性关系。尽管如此，tanh函数同样受到梯度消失问题的影响。 3. ReLU（Rectified Linear Unit）函数：ReLU函数解决了Sigmoid和tanh的饱和性问题，当输入为正时，其导数始终为1，极大地加速了训练过程。然而，当输入为负时，ReLU函数的导数为0，可能导致“神经元死亡”现象，即某些神经元的权重永远不会更新，这在训练过程中可能成为问题。 在实际应用中，为了克服这些问题，人们发展出了各种变体，如Leaky ReLU、Parametric ReLU (PReLU) 和ELU (Exponential Linear Units)，这些激活函数试图在保留ReLU优点的同时，减少“神经元死亡”现象。 在进行反向传播时，还需要注意权重的初始化。合理的初始化可以防止网络在训练初期陷入局部最优，常见的初始化方法包括Xavier初始化和He初始化，它们根据网络结构和激活函数的特性来设定初始权重的分布。 反向传播算法是深度学习中的基石，而激活函数的选择则直接影响网络的训练效率和性能。理解这些概念对于理解和优化神经网络模型至关重要。