RuntimeError: CUDA out of memory. Tried to allocate 36.00 MiB (GPU 0; 8.00 GiB total capacity; 6.32 GiB already allocated; 0 bytes free; 6.60 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

这个错误是因为你使用的显存已经满了，程序无法再分配更多的显存。解决方法有以下几个：

1. 减少batch size，使用更小的batch size可以减少显存的使用。

2. 减少模型的参数量，可以使用更小的模型或者使用稀疏矩阵等技术减少参数量。

3. 使用更高端的GPU，显存更大的GPU可以提供更好的性能。

4. 使用分布式训练，将模型的训练分散到多个GPU上，每个GPU只需要负责部分数据和部分模型，从而减少显存的使用。

5. 使用混合精度训练，使用半精度浮点数可以减少显存的使用，但需要注意数值精度的问题。

相关问题

RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 8.00 GiB total capacity; 6.77 GiB already allocated; 0 bytes free; 7.

这个错误是由于CUDA内存不足导致的。当你的程序尝试分配更多的内存时，CUDA会抛出这个错误。这可能是因为你的GPU内存已经被其他进程或程序占用，或者你的程序需要的内存超过了GPU的总容量。

解决这个问题的方法有几种：
1. 减少你的程序所需的内存：你可以尝试减少你的模型的大小，或者减少你的数据集的大小，以减少内存的使用量。
2. 释放已经分配的内存：你可以在每次使用完GPU后手动释放已经分配的内存，以便为后续的操作腾出空间。可以使用`torch.cuda.empty_cache()`函数来释放已经分配的内存。
3. 使用更大的GPU：如果你的程序需要更多的内存，你可以尝试使用更大容量的GPU来解决内存不足的问题。
4. 使用分布式训练：如果你的模型和数据集都非常大，你可以考虑使用分布式训练来将计算任务分配到多个GPU上，以减少每个GPU的内存使用量。

请注意，这些解决方法并不是适用于所有情况的，具体的解决方法取决于你的具体情况和需求。

RuntimeError: CUDA out of memory. Tried to allocate 75.00 MiB (GPU 0; 4.00 GiB total capacity; 3.32 GiB already allocated; 0 bytes free; 38.88 MiB cached)

这是一个内存不足的错误，可能是由于你的程序在使用 GPU 时申请了过多的内存导致的。你可以尝试减小模型的 batch size，或者使用更大的 GPU（比如 8GB 或者 16GB 的 GPU）来解决这个问题。同时，你也可以使用 PyTorch 的内置函数来释放缓存中的内存。例如，可以使用 `torch.cuda.empty_cache()` 来释放缓存中的内存。