Mini-Batch Gradient Descent

Mini-Batch Gradient Descent是一种优化神经网络训练的方法，它是梯度下降算法的一种变体。在Mini-Batch Gradient Descent中，每次迭代时不是使用整个训练集进行梯度下降，而是将训练集分成若干个小批次（mini-batch），然后针对每个小批次计算梯度并更新参数。这样做的好处是可以减少内存消耗，同时加速模型的训练过程。

具体来说，Mini-Batch Gradient Descent的步骤如下：

1. 将训练集分成若干个小批次。

2. 针对每个小批次，计算损失函数关于参数的梯度。

3. 根据梯度更新参数。

4. 重复2-3步骤直到收敛。

需要注意的是，选择小批次的大小是一个需要调参的超参数，通常情况下，小批次大小越大，收敛速度越快，但是内存消耗也越大。