class Momentum: """Momentum SGD""" def __init__(self, lr=0.01, momentum=0.9): self.lr = lr self.momentum = momentum self.v = None def update(self, params, grads): if self.v is None: self.v = {} for key, val in params.items(): self.v[key] = np.zeros_like(val) for key in params.keys(): self.v[key] = self.momentum*self.v[key] - self.lr*grads[key] params[key] += self.v[key]

这段代码是Momentum优化算法的实现。Momentum是随机梯度下降法的一种变体，旨在加速模型的收敛。

在初始化方法中，`lr` 参数表示学习率（learning rate），`momentum` 参数表示动量因子。`v` 是一个字典，用于保存每个参数的动量。

`update` 方法用于更新模型参数。它接受两个参数：`params` 是一个字典，保存了模型的参数；`grads` 也是一个字典，保存了参数的梯度。

在第一次调用 `update` 方法时，会初始化 `v` 字典，将其与 `params` 字典中的每个参数对应的动量初始化为零矩阵，保持与参数形状相同。

在后续调用中，它遍历 `params` 字典的键，并根据动量公式更新每个参数和对应的动量。具体来说，它使用参数的梯度 `grads[key]` 乘以学习率 `self.lr`，然后减去动量 `self.momentum` 乘以对应参数的动量 `self.v[key]`。然后，将计算得到的更新值加到对应的参数上，并更新参数的动量。

Momentum算法通过在梯度更新中引入动量，可以加速模型的训练过程，并且有助于跳出局部最小值。