常见梯度下降法可以分成几种 分别描述一下
时间: 2023-06-01 17:05:50 浏览: 176
常见的梯度下降法有三种。分别是批量梯度下降法(Batch Gradient Descent),随机梯度下降法(Stochastic Gradient Descent)和小批量梯度下降法(Mini-Batch Gradient Descent)。
批量梯度下降法将所有训练数据作为一个整体来进行梯度的计算和参数的更新。随机梯度下降法则是将每一个样本数据分别作为一个整体来进行梯度和参数的更新。小批量梯度下降法则是折中,在每一次迭代时,利用一小部分训练数据来进行梯度和参数的更新。
阅读全文