sgd 随机梯度下降是什么

随机梯度下降（Stochastic Gradient Descent，SGD）是一种常用的优化算法，尤其适用于大规模机器学习模型训练。它在每次迭代过程中，并不是计算整个数据集的梯度，而是随机选择一个样本来更新模型的权重。这样做显著减少了计算量，特别是在数据集非常大或者计算资源有限的情况下。

SGD的基本步骤如下：
1. 初始化模型参数。
2. 随机抽取一个训练样本。
3. 计算该样本对应损失函数对模型参数的梯度。
4. 使用梯度方向调整模型参数，通常会乘以一个学习率（learning rate），控制步长大小。
5. 重复这个过程，直到达到预设的迭代次数或者收敛条件。

SGD的优势包括计算速度快、适合在线学习等，但也可能导致训练不稳定，因为每次迭代都是基于单个样本的更新。