Nesterov 算法

Nesterov动量优化算法是一种改进的梯度下降方法，由Yuri Nesterov于1983年提出。它在梯度下降的基础上引入了一个前瞻性的策略，通过利用历史梯度信息预测未来的最优方向，以此来加速收敛过程。

Nesterov算法的核心思想是在每一次迭代时，不仅考虑当前位置的梯度，还基于上一次迭代位置和预计的下一步位置来计算更新步骤。这使得算法在搜索过程中能够更快地接近局部最优解，并减少震荡。其公式一般表示为：

\[
x_{t+1} = x_t - \alpha * (m_t + g_t) \\
m_{t+1} = m_t + \beta * (x_t - x_{t+1}) \\
\]

其中，\( x_t \) 是当前点，\( g_t \) 是当前位置的梯度，\( m_t \) 是动量项，\( \alpha \) 是学习率，\( \beta \) 是动量衰减系数（通常设置小于1）。