批量梯度下降法原理是什么

批量梯度下降法是一种常用的优化算法，用于求解损失函数的最小值。其原理是在每次迭代时，使用所有样本（即整个训练集）计算梯度，并更新模型参数。具体来说，假设有n个样本，损失函数为L(w)，其中w表示模型参数，那么批量梯度下降法的更新公式为：

w = w - α * ∇L(w)

其中α为学习率，∇L(w)为损失函数L(w)对模型参数w的梯度。在每次迭代中，批量梯度下降法都会计算整个训练集的损失函数梯度，因此可以保证收敛性和稳定性。但是，由于需要计算所有样本的损失函数梯度，因此在数据量较大时，计算复杂度较高，难以实现在线学习和实时预测。