批量梯度下降 随机梯度下降

批量梯度下降和随机梯度下降都是梯度下降法的变种，用于求解机器学习模型中的参数。批量梯度下降是指在每次迭代时，使用所有的训练样本来计算损失函数的梯度，并更新模型参数。这种方法可以得到全局最优解，但计算代价较大，不适用于大规模数据集。而随机梯度下降则是在每次迭代时，随机选择一个训练样本来计算损失函数的梯度，并更新模型参数。这种方法计算代价较小，适用于大规模数据集，但可能会导致收敛到局部最优解。另外，还有一种介于批量梯度下降和随机梯度下降之间的方法，叫做小批量梯度下降，即每次迭代时，使用一部分训练样本来计算损失函数的梯度，并更新模型参数。这种方法可以平衡计算代价和收敛速度。