学习率调度策略polylr
时间: 2024-05-26 10:08:20 浏览: 115
pytorch学习笔记(十五)————动量与学习率衰减
5星 · 资源好评率100%
Polylr是一种学习率调度策略,它会根据训练轮数来不断地调整学习率。具体来说,它将初始学习率乘以一个系数(通常为1 - epoch / max_epoch)的幂,其中epoch为当前训练轮数,max_epoch为总的训练轮数。这样做可以在训练初期使用较大的学习率,加快模型收敛速度,而在后期使用较小的学习率,使模型收敛到更好的局部最优解。
阅读全文