SGD会更新哪些模型参数

SGD会更新模型中所有可训练的参数，也就是说，所有需要通过训练学习得到的参数都会被SGD更新。在深度学习中，模型的参数通常包括权重和偏置等。

具体来说，设模型有 $L$ 层，第 $l$ 层的权重为 $W^{(l)}$，偏置为 $b^{(l)}$，则模型的参数为：

$$
\theta = \{W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)}, ..., W^{(L)}, b^{(L)}\}
$$

在使用SGD进行模型训练时，每次迭代都会更新所有可训练参数的值，使得模型的损失函数逐渐降低。具体来说，SGD会利用训练数据中的一个或一小批样本计算损失函数关于参数的梯度，然后根据梯度的方向和大小来更新模型参数。在实际操作中，我们通常会设置一个学习率来控制每次迭代的步长，以避免梯度下降过快或过慢导致优化效果不佳。

需要注意的是，SGD只能保证找到局部最优解，而无法保证找到全局最优解。在训练过程中，我们通常会采用一些技巧来优化SGD的性能，如学习率衰减、批标准化、权重初始化等。同时，还可以使用一些高级的优化算法，如带动量的随机梯度下降（Momentum SGD）、自适应矩估计（Adagrad、Adadelta、Adam等）等，以更快地收敛并提高模型的性能。