SGD随机梯度下降法

SGD（Stochastic Gradient Descent）是一种常用的优算法，特别适用于大规模数据集和深度学习模型的训练。它是梯度下降法的一种变体，通过随机选择一小部分样本来估计整体样本的梯度，并利用该梯度来更新模型参数。

SGD的基本思想是在每次迭代中，从训练集中随机选择一小批样本（称为mini-batch），计算这些样本的损失函数关于模型参数的梯度，并利用该梯度来更新模型参数。相比于传统的梯度下降法，SGD每次迭代只使用了一小部分样本，因此计算速度更快，尤其适用于大规模数据集。

SGD的更新公式如下：
θ = θ - α * ∇J(θ, x)

其中，θ表示模型参数，α表示学习率，∇J(θ, x)表示损失函数关于模型参数的梯度。

SGD的优点是计算速度快，尤其适用于大规模数据集和深度学习模型。然而，由于每次迭代只使用了一小部分样本，因此估计的梯度可能存在较大的噪声，导致收敛速度较慢。为了解决这个问题，还有一些改进的SGD算法，如Mini-batch SGD和Momentum SGD等。