RuntimeError: CUDA out of memory. Tried to allocate 1.16 GiB (GPU 0; 3.81 GiB total capacity; 1.06 GiB already allocated; 1.17 GiB free; 1.10 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

这是一个CUDA内存不足的错误。它表示在尝试分配1.16 GiB的内存时，GPU已经使用了1.06 GiB的内存，剩余1.17 GiB的空闲内存不足以满足要求。同时，还有1.10 GiB的内存被PyTorch保留。

如果保留的内存远大于已分配的内存，可以尝试设置max_split_size_mb参数来避免内存碎片化。有关更多信息，请参阅PyTorch的内存管理和PYTORCH_CUDA_ALLOC_CONF文档。

相关问题

RuntimeError: CUDA out of memory. Tried to allocate 96.00 MiB (GPU 0; 2.00 GiB total capacity; 1.65 GiB already allocated

这个错误信息表示在训练模型时，尝试分配96.00 MiB的内存，但GPU显存容量为2.00 GiB，已经分配了1.65 GiB，只剩下35.03 MiB的空闲内存。这造成了CUDA显存不足的错误。

为了解决这个问题，你可以尝试以下几个方法：
1. 将batch_size减小。减小每个批次的大小可以减少显存的使用量。
2. 使用item()属性来获取torch变量的标量值。这将释放与计算图相关的显存。
3. 在测试阶段，可以添加代码来释放不需要的变量和缓存，以释放显存。

请注意，这只是一些常见的解决方法，具体的解决方法可能因情况而异。你可以根据实际情况和实验结果来选择最适合你的方法。

RuntimeError: CUDA out of memory. Tried to allocate 3.76 GiB (GPU 0; 24.00 GiB total capacity; 20.30 GiB already allocated; 0 bytes free; 20.30 GiB reserved in total by PyTorch)

这个错误提示说明在尝试分配显存时，CUDA（用于GPU计算的软件平台）已经没有足够的内存可用。

具体而言，错误信息显示尝试分配3.76 GiB的内存，但GPU的总容量为24.00 GiB，已经分配了20.30 GiB，没有剩余内存可用，总共保留了20.30 GiB的内存供PyTorch使用。

这种情况下，有几个可能的解决方案：

1. 减少显存需求：优化模型、减少批量大小或图像尺寸等，以减少对显存的需求。
2. 使用更大的GPU：如果有其他GPU可用，尝试切换到容量更大的GPU。
3. 释放已分配显存：使用`torch.cuda.empty_cache()`释放已分配的显存，然后重新运行代码。
4. 重新启动计算机：在某些情况下，重新启动计算机可以释放被占用的显存。

根据具体情况采取适当的解决方案，以确保能够成功分配足够的显存。