python如何设置pytorch，cuda的max_split_size_mb

可以使用torch.backends.cudnn.benchmark = True来自动调整max_split_size_mb，也可以手动设置。

手动设置max_split_size_mb的方法如下：

1. 打开pytorch的配置文件torch/csrc/cuda/Module.cpp

2. 找到如下代码：

static int get_max_split_size() {
  static const int kMaxSplitSizeMB = parseMaxSplitSizeMB();
  return kMaxSplitSizeMB * 1024 * 1024;
}

这里的parseMaxSplitSizeMB()是用来解析环境变量PYTORCH_CUDA_MAX_SPLIT_SIZE_MB的值的。

3. 设置环境变量PYTORCH_CUDA_MAX_SPLIT_SIZE_MB的值即可。

例如，在Linux系统上，可以使用如下命令来设置环境变量：

export PYTORCH_CUDA_MAX_SPLIT_SIZE_MB=1024

这里设置的max_split_size_mb为1024MB。

相关问题

在PyTorch中设置max_split_size_mb参数

在PyTorch中设置max_split_size_mb参数，可以通过以下方式：

import torch

# 设置max_split_size_mb参数为256
torch.backends.cuda.max_split_size_mb = 256

需要注意的是，该参数只在使用PyTorch的DataLoader进行数据加载时有效。在使用其他方式加载数据时，需要手动将数据分割成小块，并在训练时逐块加载数据。

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 6.00 GiB total capacity; 5.25 GiB already allocated; 0 bytes free; 5.28 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

这个错误表示您的GPU内存不足，无法分配足够的内存来执行当前的操作。在PyTorch中，可以通过调整一些参数来尝试解决这个问题。

首先，您可以尝试减少模型的批量大小（batch size），这样每次分配给GPU的内存需求就会减少。您可以尝试将批量大小减小到一个较小的值，看看是否能够解决问题。

另外，您可以尝试释放已经分配的显存。可以使用以下代码片段来清除GPU内存：

import torch
torch.cuda.empty_cache()

如果问题仍然存在，您可以尝试设置`max_split_size_mb`参数来避免内存碎片化。可以在PyTorch初始化之前添加以下代码：

import torch
torch.cuda.set_per_process_memory_fraction(0.5, 0)

这将设置`max_split_size_mb`为0.5GB，可以根据您的实际情况进行调整。

最后，如果您的显存仍然不足，可能需要考虑更大的显卡或使用更小的模型。

希望这些解决方案能帮助您解决问题。如果还有其他疑问，请随时向我提问。