adam优化器优化公式

Adam优化器是一种常用的梯度下降算法，它结合了动量法和自适应学习率的特性，能够有效地优化神经网络模型的参数。Adam优化器的更新公式如下：

1. 初始化参数：
- 学习率（learning rate）：通常设置一个较小的值，如0.001。
- 动量参数（beta1）：通常设置为0.9，用于计算梯度的一阶矩估计。
- 二阶矩估计参数（beta2）：通常设置为0.999，用于计算梯度的二阶矩估计。
- 小数值（epsilon）：通常设置一个很小的数值，如1e-8，用于避免除零错误。

2. 对于每个参数θ的更新：
- 计算梯度g：通过反向传播算法计算参数θ对应的梯度g。
- 更新一阶矩估计m：m = beta1 * m + (1 - beta1) * g
- 更新二阶矩估计v：v = beta2 * v + (1 - beta2) * g^2
- 纠正一阶矩估计的偏差：m_hat = m / (1 - beta1^t)，其中t表示当前迭代次数。
- 纠正二阶矩估计的偏差：v_hat = v / (1 - beta2^t)
- 更新参数θ：θ = θ - learning_rate * m_hat / (sqrt(v_hat) + epsilon)

这个更新公式中，m表示梯度的一阶矩估计，v表示梯度的二阶矩估计，t表示当前迭代次数。Adam优化器通过不断更新一阶矩估计和二阶矩估计来自适应地调整学习率，从而更好地优化模型参数。