paddle.enable_static()多GPU

在PaddlePaddle 2.0及以上版本中，可以使用`paddle.distributed.spawn`函数实现多GPU训练。这个函数可以根据指定的进程数量，自动将模型分布在多个进程及相应的GPU上进行训练，具体步骤如下：

1. 导入相关库

import paddle
import paddle.nn.functional as F
from paddle.distributed.spawn import spawn

2. 定义模型和优化器

# 定义模型和优化器
class MyModel(paddle.nn.Layer):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc = paddle.nn.Linear(10, 1)

    def forward(self, x):
        return self.fc(x)

model = MyModel()
optimizer = paddle.optimizer.SGD(learning_rate=0.1, parameters=model.parameters())

3. 定义训练函数

# 定义训练函数
def train():
    # 定义数据集
    train_data = paddle.vision.datasets.MNIST(mode='train')

    # 定义数据读取器
    train_loader = paddle.io.DataLoader(train_data, batch_size=32)

    # 开始训练
    for epoch in range(10):
        for batch_id, (data, label) in enumerate(train_loader()):
            # 前向计算
            pred = model(data)

            # 计算损失
            loss = F.binary_cross_entropy_with_logits(pred, label)

            # 反向传播
            loss.backward()

            # 更新参数
            optimizer.step()
            optimizer.clear_grad()

            # 打印日志
            if batch_id % 100 == 0:
                print("epoch: {0}, batch_id: {1}, loss: {2}".format(epoch, batch_id, loss.numpy()))

4. 使用`paddle.distributed.spawn`函数启动多进程训练

# 使用 paddle.distributed.spawn 启动多进程训练
spawn(train, nprocs=2)

其中，`nprocs`参数指定启动的进程数量，也就是使用的GPU数量。在这个例子中，我们启动了两个进程，因此使用了两个GPU进行训练。在训练过程中，每个进程会自动分配相应的GPU并进行训练。