torch.distributed.init_process_group如何初始化并且只用本机

要在本机上使用 torch.distributed.init_process_group() 初始化进程组，需要设置两个参数：backend 和 rank。

backend 参数指定使用的分布式后端，本机上使用 torch.distributed.launch 启动时，可以使用 "nccl" 或 "gloo"。rank 参数指定当前进程所属的进程组中的排名。

以下是使用 torch.distributed.init_process_group() 初始化本机进程组的示例代码：

import torch
import torch.distributed as dist

# 设置参数
backend = "gloo"
rank = 0

# 初始化进程组
dist.init_process_group(backend=backend, rank=rank)

注意，这里的 rank 参数需要根据实际情况设置，如果在本机上启动多个进程，则需要为每个进程设置不同的 rank。