详细写出adam优化器的公式

Adam优化器是一种自适应学习率的优化算法，它的更新公式如下：

$$
m_t = \beta_1 m_{t-1} + (1-\beta_1) g_t \\
v_t = \beta_2 v_{t-1} + (1-\beta_2) g_t^2 \\
\hat{m_t} = \frac{m_t}{1-\beta_1^t} \\
\hat{v_t} = \frac{v_t}{1-\beta_2^t} \\
\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v_t}}+\epsilon} \hat{m_t}
$$

其中，$t$ 表示迭代次数，$\theta$ 表示参数，$\eta$ 表示学习率，$\epsilon$ 是为了数值稳定性而添加的常数，通常取 $10^{-8}$。$g_t$ 表示当前迭代的梯度，$m_t$ 和 $v_t$ 分别表示一阶和二阶矩估计值，$\beta_1$ 和 $\beta_2$ 是衰减率，通常取 $0.9$ 和 $0.999$。