sgdm优化器和adam优化器

以下是关于SGDM优化器和Adam优化器的介绍：

1. SGDM优化器（Stochastic Gradient Descent with Momentum）是一种基于梯度下降的优化算法，它在更新参数时考虑了之前的梯度信息。具体来说，SGDM优化器引入了一个动量项，用于加速参数更新的过程。动量项可以看作是之前梯度的加权平均，它使得参数更新具有惯性，从而在参数空间中更快地找到最优解。SGDM优化器的伪代码如下[^1]：

v = 0  # 初始化动量项
learning_rate = 0.01  # 学习率
beta = 0.9  # 动量系数

for t in range(num_iterations):
    # 计算梯度
    gradient = compute_gradient()
    
    # 更新动量项
    v = beta * v + (1 - beta) * gradient
    
    # 更新参数
    parameters = parameters - learning_rate * v

2. Adam优化器（Adaptive Moment Estimation）是一种结合了动量项和自适应学习率的优化算法。它不仅考虑了之前的梯度信息，还根据梯度的一阶矩估计和二阶矩估计来自适应地调整学习率。具体来说，Adam优化器维护了两个动量项，分别是梯度的一阶矩估计（平均梯度）和二阶矩估计（梯度的方差）。这两个动量项分别用于调整参数更新的方向和大小。Adam优化器的伪代码如下：

m = 0  # 初始化一阶矩估计
v = 0  # 初始化二阶矩估计
beta1 = 0.9  # 一阶矩估计的指数衰减率
beta2 = 0.999  # 二阶矩估计的指数衰减率
epsilon = 1e-8  # 避免除零错误的小常数
learning_rate = 0.001  # 学习率

for t in range(num_iterations):
    # 计算梯度
    gradient = compute_gradient()
    
    # 更新一阶矩估计和二阶矩估计
    m = beta1 * m + (1 - beta1) * gradient
    v = beta2 * v + (1 - beta2) * (gradient ** 2)
    
    # 纠正偏差
    m_hat = m / (1 - beta1 ** t)
    v_hat = v / (1 - beta2 ** t)
    
    # 更新参数
    parameters = parameters - learning_rate * m_hat / (sqrt(v_hat) + epsilon)