深度学习AI优化算法详解：从参数初始化到RMSprop

"deeplearning.ai学习笔记" 这篇学习笔记主要涵盖了深度学习中的一些关键概念，特别是神经网络参数的调试和优化算法。以下是笔记的主要内容： 1. **神经网络参数初始化**： 参数初始化对神经网络的训练至关重要，因为它影响到梯度的传播，可能导致梯度消失或爆炸问题。Xavier初始化（也称为Glorot初始化）和He初始化是两种常用的策略，都是针对ReLU激活函数设计的。Xavier初始化考虑了输入和输出节点的数量，而He初始化则更侧重于输入节点的数量。 - **Xavier初始化**：参数分布的标准差为`σ = √(2 / (ninputs + noutputs))`。 - **He初始化**：参数分布的标准差为`σ = √(2 / ninputs)`。 2. **最优化算法**： - **指数加权平均（Exponential Weighted Average）**：用于平滑过去的数据，其名称源于指数衰减特性，通过指数递归公式`vt = βvt-1 + (1 - β)θt`计算，其中`β`是衰减率。当`β`接近1时，它会更加重视近期的数据。 - **偏差修正（Bias Correction）**：由于初始时刻的指数加权平均会有偏差，因此需要进行修正，如`vt := vt / (1 - β^t)`。但在实际应用中，通常不关注早期的数据，所以这种修正并不常用。 - **动量（Momentum）**：引入了动量项，通过`vdw = βvdw + (1 - β)dw`和`vdb = βvdb + (1 - β)db`更新参数，然后使用`w := w - αvdw`和`b := b - αvdb`进行权重和偏置的更新。动量可以加速梯度下降过程，减少震荡并帮助跳出局部最小值。 - **RMSprop（Root Mean Squared Propagation）**：RMSprop结合了动量和梯度平方的指数加权平均，以适应不同参数的尺度变化。更新规则为`w := w - α * dw / √(βsdw + (1 - β)dw²)`和`b := b - α * db / √(βsdb + (1 - β)db²)`，它有助于平滑噪声，同时加速在最优化方向的梯度更新。 这些优化算法的目的是提高学习效率，使模型能够更快地收敛到最优解，同时避免过拟合或欠拟合等问题。理解并选择合适的参数初始化方法和优化算法对于深度学习模型的性能至关重要。在实践中，往往需要根据具体任务和数据集调整这些参数，以便找到最佳的训练策略。