CosineAnnealingLR

CosineAnnealingLR 是 PyTorch 中的一个学习率调整器，用于动态调整神经网络中的学习率。它基于余弦函数的形式，周期性地调整学习率，以达到更好的训练效果。在训练过程中，学习率会逐渐减小，直到最小值，然后再逐渐增加回初始值，循环往复。这个过程可以帮助网络避免陷入局部最优解，从而更好地优化模型。你可以通过设置初始学习率、周期数、学习率下降率等参数来控制学习率的调整过程。