学习率调度策略有哪些？

学习率调度策略是在训练神经网络时用来动态调整学习率的方法。下面是几种常见的学习率调度策略：

1. 固定学习率：训练过程中保持不变的学习率。这种策略简单直接，但可能无法适应不同阶段的训练需求。

2. 学习率衰减：随着训练的进行，逐渐降低学习率。常见的学习率衰减方法有：
- 常数衰减：按照固定的衰减率或步长进行衰减。
- 周期性衰减：在训练的每个周期或一定步数后进行衰减。
- 指数衰减：按照指数函数进行衰减，如指数衰减学习率。

3. 学习率重启：在训练过程中周期性地重置学习率。这种策略可以帮助跳出局部最优解，重新搜索更好的解。

4. 学习率预热：在训练开始时先使用较小的学习率，然后逐渐增加到设定的学习率。这样可以帮助模型更好地收敛。

5. 自适应学习率：根据模型的训练情况自动调整学习率。常见的自适应学习率方法有：
- 动量法：根据梯度的方向和大小来调整学习率。
- AdaGrad：根据参数的历史梯度信息来调整学习率。
- RMSProp：结合AdaGrad和动量法的优点，对学习率进行自适应调整。