我有四张显卡，但我指定用0，1，3号

如果你有四张显卡，并想在训练过程中使用0、1和3号显卡，你可以通过设置CUDA_VISIBLE_DEVICES环境变量来指定可见的GPU。这会告诉PyTorch只使用指定的GPU资源。以下是如何操作的Python代码示例：

import os
os.environ['CUDA_DEVICE_ORDER'] = 'PCI_BUS_ID'
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,3'

# 创建模型时，它会自动分配到这三个GPU中
model = YourModel().cuda()

# 训练时，模型将会并行分布在这些GPU上，如果数据集可以很好地切分到每个GPU
optimizer = torch.optim.Adam(model.parameters())
for epoch in range(num_epochs):
    for data, target in dataloader:
        data, target = data.cuda(), target.cuda()
        # ...其他训练步骤...

在这个例子中，`CUDA_DEVICE_ORDER='PCI_BUS_ID'`确保设备名称按照它们在系统中的物理顺序排列，`CUDA_VISIBLE_DEVICES='0,1,3'`则指定了要使用的显卡ID。