多卡训练torchrun

在PyTorch中，`torchrun`是一个命令行工具，用于并行化训练过程，特别是在使用多GPU或分布式计算环境中。它允许你通过简单的命令行界面配置模型、数据加载、优化器和其他训练选项，并在多台机器上启动训练任务。`torchrun`通常配合`torch.distributed`库一起使用，这个库支持多种分布策略，如DataParallel（数据并行）、DDP（进程分布式）等。

当你想要在多个GPU之间进行训练时，可以这样做：

# 示例命令
torchrun -n <world_size> --nnodes <nnodes> --node_rank <node_rank> --rdzv_id <rdzv_id> --rdzv_backend torch --master_addr <master_address> --master_port <master_port> train_script.py

这里的参数含义如下：
- `-n` 或 `--world_size`: 总共有多少个参与训练的工作进程。
- `--nnodes`: 训练集群中有多少个节点。
- `--node_rank`: 当前运行训练的节点编号。
- `--rdzv_*` 参数是 rendezvous 指令，用于节点间通信和同步。
- `train_script.py` 是包含训练逻辑的脚本。