pytorch中ADAM优化器

Adam是一种自适应梯度下降优化算法，它可以自适应地调节每个参数的学习率。在PyTorch中，可以使用torch.optim.Adam()函数来创建Adam优化器。下面是一些常用的参数：

- lr：学习率。
- betas：用于计算梯度和梯度平方的指数衰减率。默认值是(0.9, 0.999)。
- eps：用于数值稳定性的小数值。默认值是1e-8。
- weight_decay：L2正则化的系数。默认值是0。

使用示例：

import torch
import torch.optim as optim

# 定义模型和损失函数
model = ...
criterion = ...

# 定义Adam优化器
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 训练模型
for epoch in range(num_epochs):
    for input, target in data:
        optimizer.zero_grad()
        output = model(input)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

在每个epoch中，我们使用Adam优化器来更新模型参数。在每个batch中，我们首先将梯度清零，然后计算损失和梯度，并使用optimizer.step()函数来更新参数。