介绍批量梯度下降和随机梯度下降

批量梯度下降（Batch Gradient Descent）和随机梯度下降（Stochastic Gradient Descent）都是常用的优化算法，用于在机器学习模型中找到最小化损失函数的参数。

批量梯度下降是指在每次迭代中使用整个训练集来更新模型参数，即对所有样本求解梯度后再进行参数更新。这种方法可以保证每次迭代都朝着全局最优解的方向前进，但计算代价较大，尤其在大规模数据集上，每一步的计算代价都非常高。

随机梯度下降是指在每次迭代中只使用一个样本来更新模型参数，即对每个样本单独求解梯度后进行参数更新。这种方法计算代价较小，但由于每次只更新一个样本的参数，可能会导致模型在参数空间中来回跳动，难以达到全局最优解。

为了综合两种方法的优点，还有一种折中的方法叫做小批量梯度下降（Mini-batch Gradient Descent），即每次在训练集中随机抽取一小部分样本来更新模型参数。这种方法可以减少计算代价，同时也可以更稳定地朝着全局最优解方向前进。