RuntimeError: CUDA out of memory. Tried to allocate 114.00 MiB (GPU 0; 7.93 GiB total capacity; 6.16 GiB already allocated; 140.06 MiB free; 6.59 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

这个错误提示是因为你的程序在运行时需要申请的GPU显存超过了当前可用的显存。你可以尝试以下几种方法来解决这个问题：

1. 减少你的模型参数量：可以通过减少模型的宽度或深度，使用更小的embedding size等方式来减小模型参数量。

2. 减小batch size：可以通过减小batch size来减少每个batch需要占用的显存大小。

3. 使用float16精度：可以通过使用float16精度来减小显存的占用，但需要注意float16可能会对模型的精度产生一定的影响。

4. 升级显卡或增加显存：如果以上方法都无法解决问题，那么可以考虑升级显卡或增加显存来解决问题。

相关问题

RuntimeError: CUDA out of memory. Tried to allocate 96.00 MiB (GPU 0; 2.00 GiB total capacity; 1.65 GiB already allocated

这个错误信息表示在训练模型时，尝试分配96.00 MiB的内存，但GPU显存容量为2.00 GiB，已经分配了1.65 GiB，只剩下35.03 MiB的空闲内存。这造成了CUDA显存不足的错误。

为了解决这个问题，你可以尝试以下几个方法：
1. 将batch_size减小。减小每个批次的大小可以减少显存的使用量。
2. 使用item()属性来获取torch变量的标量值。这将释放与计算图相关的显存。
3. 在测试阶段，可以添加代码来释放不需要的变量和缓存，以释放显存。

请注意，这只是一些常见的解决方法，具体的解决方法可能因情况而异。你可以根据实际情况和实验结果来选择最适合你的方法。

RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 3.94 GiB total c

这个错误是由于你的CUDA GPU内存不足引起的。你可以尝试以下几种方法解决这个问题：

1. 减小模型的批量大小（batch size）：减小每次传入模型的样本数量，以减少内存占用。

2. 缩小输入数据的尺寸：如果输入数据的尺寸太大，可以将其调整为更小的尺寸。

3. 使用更小的模型：如果你在使用一个非常大的模型，可以尝试使用一个小一些的模型，以降低内存要求。

4. 使用更高的GPU内存：如果你有多个GPU，可以尝试切换到具有更高内存容量的GPU。

5. 清理GPU内存：在每个训练迭代或推理之后，通过释放不再使用的变量来手动清理GPU内存。

6. 在CPU上运行：如果你的CUDA GPU内存仍然不足，你可以尝试在CPU上运行模型，虽然速度可能会变慢。

希望这些方法能够帮助你解决CUDA内存不足的问题！