小批量随机梯度下降(Mini-batch Stochastic Gradient Descent,Mini-batch SGD)。
时间: 2023-06-27 15:06:14 浏览: 248
随机梯度下降sgd
小批量随机梯度下降(Mini-batch SGD)是一种梯度下降法的变体,它是一种介于批量梯度下降(Batch Gradient Descent)和随机梯度下降(Stochastic Gradient Descent)之间的方法。Mini-batch SGD 取样一小部分训练集数据来计算梯度并更新模型参数,这个小部分被称为 mini-batch。
相比于批量梯度下降,Mini-batch SGD 可以更快地更新模型参数,因为它每次只考虑一小部分数据。而相比于随机梯度下降,Mini-batch SGD 可以更稳定地更新模型参数,因为它计算的是一小部分数据的平均梯度,而不是单个数据的梯度。
通常,在实践中,Mini-batch SGD 的 mini-batch 大小通常在几十到几百之间。
阅读全文