torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 1.96 GiB total ...
时间: 2023-08-27 10:13:25 浏览: 94
这个错误提示意味着你的CUDA显存不足,无法分配所需的内存。有几种方法可以解决这个问题:
1. 降低batch size:减少一次传入模型的输入数据量,从而减少显存的使用。
2. 减少模型参数量:可以通过更改模型结构、减少隐藏层节点数或减少层数等方式来降低模型参数量。
3. 降低输入数据维度:可以通过将输入数据缩小尺寸或者使用更小的数据类型(如float16)来降低显存占用。
4. 使用更大的显卡:如果你的显卡不够大,可以考虑使用更大的显卡来解决这个问题。
5. 使用分布式训练:如果你有多个显卡,可以使用分布式训练来将模型参数分布到多个显卡上训练,从而减少显存占用。
阅读全文