如何使用内置的torch.cuda.amp

`torch.cuda.amp`是PyTorch库中用于混合精度训练的模块，它允许你在保持模型精度的同时加速训练过程。以下是使用`torch.cuda.amp`的基本步骤：

1. **安装和导入**:
首先，确保已经安装了`apex`（Accelerate，一种封装了`torch.cuda.amp`的库），如果尚未安装，可以使用pip安装：

   pip install apex

然后，在代码中导入`FusedAutogradScaler` 和 `amp`：

   from torch.cuda.amp import autocast, FusedAutogradScaler

2. **创建`FusedAutogradScaler`实例**:
这是用来管理梯度的动态范围压缩和恢复的工具：

   scaler = FusedAutogradScaler()

3. **开启混合精度模式**:
在计算密集型的forward pass前，需要启用`autocast()`上下文管理器：

   with autocast():
       # 在此块内进行运算，将自动转换为半精度(float16)
       output = model(input)

4. **梯度积累**:
训练过程中，使用`scaler.step(optimizer)`来完成一个优化周期内的梯度更新：

   loss.backward()
   scaler.step(optimizer)  # 对loss求导并使用优化器更新权重
   scaler.update()          # 更新scaler的状态，准备下一次循环

5. **关闭模式**:
训练结束后，记得关闭混合精度模式：

   scaler.disable_auto_cast()  # 如果不再需要，关闭自动转换