Adam算法伪代码latex

Adam (Adaptive Moment Estimation) 是一种常用的优化算法，用于梯度下降过程中的参数更新。它的核心思想是结合动量法（Momentum）和RMSprop算法的优点。以下是Adam算法的基本伪代码，使用LaTeX格式表示：

\begin{algorithm}[H]
\caption{Adam Algorithm}
\label{alg:adam}

\SetAlgoLined
\KwIn{
$\theta$: 参数向量,
$m_0$: 初始动量项 $m$ 的初始值 (通常设为0),
$v_0$: 初始平均平方梯度项 $v$ 的初始值 (通常设为0),
$\beta_1$: 动量衰减率,
$\beta_2$: 平方梯度的指数移动平均衰减率,
$\epsilon$: 防止除数为零的小值,
$lr$: 学习率
}
\For{$t = 1, 2, \dots, T$}{
    $\hat{m}_t = \beta_1 m_{t-1} + (1 - \beta_1) \nabla f(\theta_{t-1})$ \tcp*{计算动量估计}
    $\hat{v}_t = \beta_2 v_{t-1} + (1 - \beta_2) (\nabla f(\theta_{t-1}))^2$ \tcp*{计算动量平方估计}
    
    $\hat{\alpha}_t = \frac{lr}{\sqrt{\hat{v}_t} + \epsilon}$ \tcp*{修正的学习率}
    
    $\theta_t = \theta_{t-1} - \hat{\alpha}_t \cdot \hat{m}_t$ \tcp*{更新参数}
    $m_t = \beta_1 \hat{m}_t + (1 - \beta_1) \nabla f(\theta_t)$ \tcp*{更新动量项}
    $v_t = \beta_2 \hat{v}_t + (1 - \beta_2) (\nabla f(\theta_t))^2$ \tcp*{更新动量平方估计}
}
\end{algorithm}