PyTorch深度解析：五种常用学习率调整策略

29 浏览量更新于2024-08-31 收藏 265KB PDF 举报

在PyTorch的学习笔记系列中，第四篇着重讲解了如何调整模型在训练过程中的学习率，这对于优化算法性能和防止过拟合至关重要。本文基于环境配置OS macOS Mojave，Python版本3.7，以及PyTorch版本1.4.0，使用IDE PyCharm展开讨论。首先，介绍的是`torch.optim.lr_scheduler`模块，这是PyTorch提供的一套用于自动调整学习率的工具包，它包含十种不同的调度器，如本篇提到的几种： 1. **StepLR**（步长学习率调整器）：这是一个按照预设的固定间隔周期改变学习率的策略。其核心是设置`step_size`参数表示每个周期调整的步长，以及`gamma`参数定义学习率下降的系数。例如，当`gamma=0.1`，每经过10个周期，学习率会乘以0.1。示例代码展示了如何创建`StepLR`对象，记录学习率变化，并可视化学习率随时间的变化。 2. **MultiStepLR**：这种调度器根据多个特定的迭代次数将学习率下降到新的值。与StepLR不同，这里的下降不是均匀的，而是集中在指定的点上。 3. **ExponentialLR**：按照指数函数的方式逐渐减小学习率，每次调整都是前一次的`gamma`倍。 4. **ReduceLROnPlateau**：这是一种基于验证指标（如准确率或损失）的动态学习率调整器，当验证指标不再改善时，学习率降低。这对于防止过拟合很有帮助，因为它会自动适应模型性能的变化。 5. **LambdaLR**：允许用户自定义学习率衰减函数，提供了极大的灵活性，可以根据具体问题设计个性化的学习率调整策略。在实际应用中，选择合适的调度器取决于具体的任务需求、模型复杂度以及数据集特性。理解这些基本的调度器原理有助于在深度学习项目中更好地控制模型的训练过程，从而提高模型性能。记得查阅PyTorch官方文档以获取更详细的信息和最新更新。在编写代码时，结合实际场景调整参数，不断试验以找到最优的学习率策略。

PyTorch学习笔记（四）调整学习率学习笔记（四）调整学习率

Environment

OS: macOS Mojave

Python version: 3.7

PyTorch version: 1.4.0

IDE: PyCharm

文章目录文章目录0. 写在前面1. StepLR1.1 scheduler 常用的属性1.2 scheduler 常用的方法2. MultiStepLR3. ExponentialLR4. ReduceLROnPlateau5. LambdaLR

0. 写在前面写在前面

PyTorch 在 torch.optim.lr_scheduler 中提供了十种调整学习率的类，它们的基类为 torch.optim.lr_scheduler._LRScheduler。

这里记常用的一些。详尽的参考 PyTorch 官方文档。

1. StepLR

StepLR 类，按固定间隔调整学习率

lr=lr×gamma

lr = lr imes gamma

lr=lr×gamma

import matplotlib.pyplot as plt

import seaborn as sns

import torch

from torch.optim import SGD

from torch.optim.lr_scheduler import StepLR

# config

learning_rate = 1.

num_epochs = 50

# create weight, optimizer and scheduler

weight = torch.randn((1,), dtype=torch.float32)

optimizer = SGD([weight], lr=learning_rate, momentum=0.9)

scheduler = StepLR(

optimizer=optimizer,

step_size=10, # 设定间隔数

gamma=0.1, # 系数

last_epoch=-1

)

# train-like iteration

lrs, epochs = [], [] for epoch in range(num_epochs):

lrs.append(scheduler.get_lr())

epochs.append(epoch)

pass # iter and train here

scheduler.step()

# visualize

sns.set_style('whitegrid')

plt.figure(figsize=(10, 6))

plt.plot(epochs, lrs, label='StepLR')

plt.legend()

plt.show()

下载后可阅读完整内容，剩余4页未读，立即下载

weixin_38692122

粉丝: 13
资源: 960

PyTorch深度解析：五种常用学习率调整策略

笔记pytorch学习笔记

Pytorch入门实战学习笔记

pytorch学习笔记（十五）————动量与学习率衰减

pytorch学习笔记（十五）————Early Stop，Dropout

Pytorch、NLP学习笔记

PyTorch学习：调整学习率策略详解

PyTorch目标检测学习笔记

训练一个图像分类器demo in PyTorch【学习笔记】.doc

pytorch_notebooks：PyTorch笔记本的集合，用于学习和练习深度学习

pytorch-lr-explorer:Jupyter笔记本探索用于训练深度神经网络的复杂学习率策略

最新资源