torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 950.00 MiB (GPU 0; 24.00 GiB total capacity; 21.32 GiB already allocated; 69.81 MiB free; 21.62 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.

这个错误是由于你的GPU内存不足而导致的。它提示你尝试分配了950.00 MiB的内存，但是GPU的总容量为24.00 GiB，已经分配了21.32 GiB的内存，只剩下了69.81 MiB的空闲内存。此外，PyTorch总共预留了21.62 GiB的内存。

这个问题通常有几种解决方法：
1. 减少模型的内存占用：你可以尝试减少模型的大小，例如选择一个更小的模型、减少批次大小（batch size）或者减少输入数据的维度。
2. 减少预留内存：你可以尝试减少PyTorch预留的内存，通过设置`torch.cuda.empty_cache()`来释放一部分预留内存。
3. 限制GPU内存使用：通过设置`torch.cuda.set_per_process_memory_fraction()`或者`torch.cuda.set_per_process_gpu_memory_fraction()`来限制每个进程使用的GPU内存比例。
4. 在多个GPU间分配内存：如果你有多个GPU，你可以尝试在多个GPU间分配内存，从而减轻单个GPU的负担。
5. 使用更大的GPU：如果你的任务需要更多的内存，你可以尝试使用具有更大内存容量的GPU。

希望这些方法对你有所帮助！如果还有其他问题，请随时提问。

相关问题

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 4.56 GiB (GPU 0; 24.00 GiB total capacity; 15.26 GiB already allocated;

这个错误表示在尝试分配4.56 GiB的内存时，出现了CUDA内存不足的问题。GPU 0的总容量为24.00 GiB，已经分配了15.26 GiB的内存。这意味着还剩余8.74 GiB的可用内存。

要解决这个问题，你可以尝试以下几种方法：

1. 减少模型的内存占用：可以考虑使用更小的模型或者减少批次大小(batch size)来降低内存需求。

2. 释放已分配的内存：在代码中，你可以通过调用`torch.cuda.empty_cache()`来手动释放一些已分配的内存。

3. 使用更大的GPU：如果你有多个GPU可用，尝试切换到具有更大内存容量的GPU。

4. 检查代码中是否存在内存泄漏：确保你的代码中没有任何内存泄漏问题，比如没有正确释放不再使用的变量或张量。

希望以上方法能够帮助你解决CUDA内存溢出的问题！如果还有其他疑问，请随时提问。

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 148.00 MiB (GPU 0; 4.00 GiB total capacity; 5.23 GiB already allocated;

torch.cuda.OutOfMemoryError是指在使用PyTorch时，尝试在CUDA显存中分配内存时出现错误，因为显存已经被其他操作占用完毕。其中引用和引用提到了相同的错误信息和可能的解决方法。根据这些引用内容，可以推测解决此错误的方法是通过设置max_split_size_mb参数来避免内存碎片化。你可以参考PyTorch的Memory Management和PYTORCH_CUDA_ALLOC_CONF文档了解更多的信息。引用也提到了类似的错误信息，但给出了不同的显存容量和已分配内存的数值。这说明出现该错误的具体原因可能因系统配置不同而有所不同。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0； 2.00 ...](https://blog.csdn.net/qq_41185868/article/details/131015210)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *3* [报错记录torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 90.00 MiB (GPU 0； 7.93 ...](https://blog.csdn.net/gongkeguo/article/details/127674524)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]