Tensorflow优化器

TensorFlow提供了一系列优化器（Optimizer），它们用于在训练神经网络模型时调整权重，以便最小化损失函数。常见的优化器有：

1. **SGD (Stochastic Gradient Descent)**：随机梯度下降的基本形式，每次更新使用一个小批量的数据点计算梯度。

2. ** Momentum**: 加入动量项，可以加速收敛并减少摆动，利用了过去梯度的方向信息。

3. **Adagrad**: 自适应学习率算法，根据每个参数的历史梯度动态调整学习率。

4. **RMSprop**: Root Mean Square Propagation，对动量进行了改进，引入了历史平方梯度的衰减。

5. **Adam**: 非常受欢迎的一种优化器，结合了Momentum和RMSprop的优点，并自适应地调整每个参数的学习率。

6. **Adadelta**: 类似于RMSprop，但它不需要设置学习率，而是通过自身的动态规则调整。

7. **L-BFGS**：基于拟牛顿法的优化器，适用于小规模数据和低维参数空间。

选择哪种优化器通常取决于问题的特性和需求，如速度、内存消耗、稳定性等。在TensorFlow中，你可以使用tf.train模块中的相应类实例化一个优化器，并将其传递给tf.GradientTape()进行反向传播。例如：

optimizer = tf.keras.optimizers.Adam()
trainable_variables = model.trainable_variables
grads_and_vars = tape.gradient(loss, trainable_variables)
optimizer.apply_gradients(zip(grads_and_vars, trainable_variables))