mini-batch gradient descent

小批量梯度下降是一种优化算法，用于训练神经网络。它是梯度下降算法的一种变体，通过将训练数据分成小批量来减少计算量和内存占用。在每个小批量中，计算梯度并更新模型参数。这种方法通常比批量梯度下降更快，因为它可以在每个小批量上进行更新，而不是等到整个数据集都处理完毕。