SGD优化器的参数设置

1. 学习率（learning rate）：决定了每次参数更新的步长，通常需要进行调整，常见的学习率设置有0.1、0.01、0.001等。

2. 动量（momentum）：决定了更新参数时的加速度，可以平滑参数更新过程，防止参数震荡。通常设置为0.9。

3. 权重衰减（weight decay）：用于防止过拟合，即在损失函数中添加对模型参数的惩罚项，通常设置为0.0001。

4. 学习率衰减（learning rate decay）：随着训练次数的增加，学习率逐渐降低，可以帮助模型更好地收敛。常见的学习率衰减方式有按指数衰减、按步长衰减等。

5. 批量大小（batch size）：每次迭代用于更新参数的样本数量，通常设置为32、64等。

6. 前向传播和反向传播的数量（num_steps）：用于控制每个batch被分为多少个小batch，通常设置为1。

7. 梯度截断（gradient clipping）：用于防止梯度爆炸，即限制梯度的最大值，通常设置为5.0。

8. 参数初始化方式（weight initialization）：用于初始化神经网络的参数，通常使用高斯分布或均匀分布随机初始化。