pytorch DDp

PyTorch的分布式数据并行（DistributedDataParallel, DDP）是一种在多个GPU上进行模型训练的方法。在PyTorch中，有两种常用的方式来启动DDP模式，即使用`torch.distributed.launch`和`torch.multiprocessing.spawn`。

使用`torch.distributed.launch`时，需要在终端中运行以下命令：

python -m torch.distributed.launch --nproc_per_node 4 main.py

这个命令将在4个进程上启动`main.py`脚本，并为每个进程分配一个`local_rank`参数。

而使用`torch.multiprocessing.spawn`时，只需在`main.py`中添加以下代码：

import torch.multiprocessing as mp
if __name__ == '__main__':
    mp.spawn(main, nprocs=4, args=(arg1, arg2, ...))

这样可以直接使用`python main.py`来启动DDP模式，不需要使用`torch.distributed.launch`。

`mp.spawn`和`torch.distributed.launch`各有利弊。如果你的算法程序是提供给别人使用的，使用`mp.spawn`可能更方便，因为它不需要解释`torch.distributed.launch`的用法。而如果你自己使用，使用`torch.distributed.launch`可能更有优势，因为你的内部程序会更简单，同时支持单卡和多卡DDP模式也更简单。