MultiplicativeLR用pytorch举例

MultiplicativeLR是PyTorch中的一个学习率调整器，它将学习率乘以一个因子，从而动态地调整学习率。

以下是一个使用MultiplicativeLR的简单示例：

import torch
import torch.optim as optim
from torch.optim.lr_scheduler import MultiplicativeLR

# 定义模型和优化器
model = torch.nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 定义学习率调度器
scheduler = MultiplicativeLR(optimizer, lr_lambda=lambda epoch: 0.1)

# 训练模型
for epoch in range(10):
    # 更新学习率
    scheduler.step()
    
    # 计算损失
    loss = torch.nn.functional.mse_loss(model(torch.randn(1, 10)), torch.randn(1, 1))
    
    # 反向传播和优化
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    # 打印学习率和损失
    print('Epoch:', epoch, 'Learning Rate:', optimizer.param_groups[0]['lr'], 'Loss:', loss.item())

在这个示例中，我们定义了一个包含10个输入和一个输出的线性模型，使用随机梯度下降（SGD）作为优化器，初始学习率为0.1。我们还定义了一个MultiplicativeLR调度器，将初始学习率与一个lambda函数相乘，这个lambda函数将在每个epoch更新时被调用。在训练循环中，我们在每个epoch之前使用scheduler.step()更新学习率，并计算损失、反向传播和优化。最后，我们打印学习率和损失。