optimizer momentum

在Pytorch中，优化器的momentum通常用于加速SGD的收敛速度。通俗地说，momentum可以帮助优化器在参数更新过程中保留之前更新方向的信息，使得在当前更新方向和之前更新方向有所不同时，依然能够顺利更新。这样就可以使得收敛速度更快，同时也能够防止在深度学习模型优化过程中停滞在局部极值点。

下面是一个使用SGD优化器和momentum参数的例子：[^1]

import torch
import torch.nn as nn
import torch.optim as optim

# 创建模型和数据
model = nn.Linear(10, 1)
data = torch.randn(32, 10)

# 创建优化器，设置momentum参数为0.9
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# 使用optimizer进行优化
for i in range(10):
    optimizer.zero_grad()
    output = model(data).sum()
    output.backward()
    optimizer.step()

在上面的例子中，参数`momentum=0.9`表示使用动量为0.9的momentum优化器，这将会加速模型的收敛速度。