pytorch ddp mp.spawn 启动多机多卡训练

PyTorch支持使用分布式数据并行（DDP）和多进程训练（mp）来实现多机多卡训练。以下是使用PyTorch进行多机多卡训练的步骤：

1. 安装必要的软件和库。您需要安装PyTorch和Horovod（或其他分布式训练库），以便能够使用DDP和mp。

2. 编写代码。您需要编写一个PyTorch脚本，该脚本使用DDP和mp启动多机多卡训练。您可以使用以下代码片段来启动多机多卡训练：

import torch
import horovod.torch as hvd
from torch.nn.parallel import DistributedDataParallel
from torch.utils.data.distributed import DistributedSampler
from torchvision import datasets, transforms

# Initialize Horovod
hvd.init()

# DistributedSampler to split the dataset among the workers
train_sampler = DistributedSampler(
    datasets.MNIST(
        './data',
        train=True,
        download=True,
        transform=transforms.Compose([
            transforms.ToTensor(),
            transforms.Normalize((0.1307,), (0.3081,))
        ])
    ),
    num_replicas=hvd.size(),
    rank=hvd.rank()
)

# DataLoader to load the dataset
train_loader = torch.utils.data.DataLoader(
    datasets.MNIST(
        './data',
        train=True,
        download=True,
        transform=transforms.Compose([
            transforms.ToTensor(),
            transforms.Normalize((0.1307,), (0.3081,))
        ])
    ),
    batch_size=64,
    sampler=train_sampler
)

# Setup the model
model = ...
model = DistributedDataParallel(model)

# Define the optimizer
optimizer = ...

# An optimizer is instantiated for each worker with a copy of the model and its gradients
optimizer = hvd.DistributedOptimizer(optimizer, named_parameters=model.named_parameters())

# Train the model
for epoch in range(10):
    train(epoch, model, train_loader, optimizer, hvd.rank(), hvd.size())

3. 启动多机多卡训练。您需要在多台计算机上启动多个进程来运行PyTorch脚本。以下是一个简单的启动脚本示例：

mpirun -np 4 \
    -H server1:2,server2:2 \
    -bind-to none -map-by slot \
    -x NCCL_DEBUG=INFO -x LD_LIBRARY_PATH \
    python train.py

上述命令将在两台计算机上启动4个进程（每台计算机上有两个进程），并将它们连接起来进行多机多卡训练。请注意，您需要将“server1”和“server2”替换为您的计算机名称或IP地址。

4. 监视训练进度。您可以使用TensorBoard等工具来监视训练进度，并在训练期间进行实时分析。