torch DDP NCCL 1080ti 2080ti

PyTorch DDP (DistributedDataParallel) 是 PyTorch 中的一种分布式训练方式，支持多种通信后端，其中包括 NCCL。NCCL 是 NVIDIA 提供的一种高性能 GPU 间互联通信库，可以用于分布式深度学习训练中。

在使用 PyTorch DDP 进行分布式训练时，可以选择使用 NCCL 作为通信后端。对于 NVIDIA 的 1080ti 和 2080ti 显卡，它们都支持 NCCL，因此可以使用 NCCL 来进行 GPU 间通信，加速分布式训练。

具体使用方法可以参考 PyTorch 官方文档中的分布式训练部分，其中包括使用 NCCL 的配置和示例代码。需要注意的是，在使用 NCCL 时，需要确保所有的 GPU 都能够相互通信，因此需要在网络环境和代码实现上做好相关的配置。