优化 TensorFlow 训练流程：学习不同的优化器选择和调优策略

# 1.1 随机梯度下降（SGD）

SGD（Stochastic Gradient Descent）是最简单的优化器之一，它通过每次迭代使用一个随机数据样本来更新模型参数。SGD的优点在于其简单性和计算效率，但它也可能导致训练不稳定和收敛缓慢。

import tensorflow as tf

# 创建一个 SGD 优化器
optimizer = tf.keras.optimizers.SGD(learning_rate=0.01)

# 使用优化器更新模型参数
optimizer.minimize(loss_function, variables=model.trainable_variables)

# 2. 优化器选择与调优策略

### 2.1 梯度下降优化器

#### 2.1.1 随机梯度下降（SGD）

**定义：**
SGD是最简单的优化器，它每次使用一个样本计算梯度并更新权重。

**算法：**

w = w - lr * grad

其中：
- `w` 是权重向量
- `lr` 是学习率
- `grad` 是梯度

**特点：**
- 收敛速度慢
- 容易陷入局部最优
- 对噪声敏感

#### 2.1.2 动量优化器

**定义：**
动量优化器通过引入动量项来加速SGD的收敛速度，动量项保存了梯度的历史信息。

**算法：**

v = beta * v + (1 - beta) * grad
w = w - lr * v

其中：
- `v` 是动量项
- `beta` 是动量系数

**特点：**
- 加速收敛速度
- 减少噪声的影响
- 提高稳定性

#### 2.1.3 AdaGrad

**定义：**
AdaGrad是一种自适应学习率优化器，它根据每个参数的历史梯度大小来调整学习率。

**算法：**

g_t = grad
g_t_squared = g_t ** 2
g_squared = g_squared + g_t_squared
lr = lr / sqrt(g_squared)
w = w - lr * g_t

其中：
- `g_t` 是当前梯度
- `g_t_squared` 是当前梯度的平方
- `g_squared` 是历史梯度的平方和

**特点：**
- 自动调整学习率
- 适用于稀疏梯度
- 可能导致学习率过小，收敛速度变慢

### 2.2 自适应学习率优化器

#### 2.2.1 RMSProp

**定义：**
RMSProp是AdaGrad的改进版本，它通过使用指数加权移动平均来估计梯度的历史平方和。

**算法：**

g_t = grad
g_t_squared = g_t ** 2
g_squared = decay * g_squared + (1 - decay) * g_t_squared
lr = lr / sqrt(g_squared)
w = w - lr * g_t

其中：
- `decay` 是指数加权移动平均的衰减系数

**特点：**
- 结合了SGD和AdaGrad的优点
- 收敛速度快
- 稳定性好

#### 2.2.2 Adam

**定义：**
Adam是RMSProp和动量优化器的组合，它结合了自适应学习率和动量项。

**算法：**

m = beta1 * m + (1 - beta1) * grad
v = beta2 * v + (1 - beta