yolo v5的学习率

YOLOv5使用的学习率策略是 Cosine Annealing with Warmup，即先进行 Warmup 阶段，然后使用余弦退火策略进行学习率下降。

具体来说，Warmup 阶段是指在前几个 epoch 中，将学习率线性地从初始值 $lr_0$ 增加到目标值 $lr_t$，使网络可以逐渐适应数据集，并防止出现梯度消失等问题。而余弦退火策略则是在 Warmup 阶段后，按照余弦曲线的形式将学习率从 $lr_t$ 逐渐下降到最小值 $lr_{min}$，最后结束训练。

具体的学习率计算公式如下：

$$
\mathrm{lr}(t)=\frac{1}{2}\left(lr_{t}+lr_{\min}\right)+\frac{1}{2}\left(lr_{t}-lr_{\min}\right) \cos \left(\frac{T_{\operatorname{mult}} \cdot(t-t_{\operatorname{start}})}{T_{\operatorname{max}}-T_{\operatorname{start}}}\right)
$$

其中，$lr_t$ 是 Warmup 阶段的目标学习率，$lr_{min}$ 是余弦退火阶段的最小学习率，$T_{mult}$ 表示余弦周期的倍数，$T_{max}$ 和 $T_{start}$ 分别表示余弦退火的结束和起始时间。在 YOLOv5 中，$lr_t$ 的默认值为 0.01，$lr_{min}$ 的默认值为 0.0001，$T_{mult}$ 的默认值为 1，$T_{max}$ 的默认值为 300，$T_{start}$ 的默认值为 0。

在训练过程中，可以通过 `--lr` 参数来指定初始学习率 $lr_0$ 的值，也可以通过 `--warmup-epochs` 参数来指定 Warmup 阶段的 epoch 数量。默认情况下，$lr_0$ 的值为 $lr_t$，即 0.01，Warmup 阶段的 epoch 数量为 3。