随机梯度下降优化器SGD

随机梯度下降（Stochastic Gradient Descent，简称SGD）是一种基本的优化算法，在机器学习和深度学习中广泛用于求解模型的参数。SGD的核心思想是在每次迭代中仅使用单个样本来估计整个数据集的梯度，然后更新模型参数。

具体步骤如下：
1. **初始化**：随机设置模型的初始参数值。
2. **遍历数据**：对于每一个训练样本，计算该样本对应的数据点或小批量数据的梯度。
3. **更新参数**：基于当前样本的梯度，按照一定的学习率（learning rate）减小模型参数，即参数 = 参数 - 学习率 * 梯度。
4. **重复过程**：不断重复步骤2和3，直到达到预设的迭代次数或满足早停条件。

由于SGD每次只处理一个小数据块，所以它的计算速度相对较快，适合大规模数据集。然而，它可能会导致模型在训练过程中有较大的波动，因为每次更新都是基于随机选取的一个样本。