CUDA out of memory. Tried to allocate 98.00 MiB

回答: 当出现CUDA out of memory错误时，可以尝试以下几种解决方法。首先，可以减少批量大小（batch size），这样每次处理的数据量就会减少，占用的内存空间也会减少。其次，可以释放GPU上已经占用的内存空间，例如使用torch.cuda.empty_cache()来清空缓存，或者关闭其他占用的程序。另外，可以考虑使用更大的GPU，或者使用多个来分配计算任务，这样可以增加可用的内存空间。最后，可以设置max_split_size_mb参数，这样可以避免内存碎片化，提高内存利用率。例如使用os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'max_split_size_mb:100'来设置参数。如果需要切换到其他显卡上，可以在程序最上方添加import os os.environ["CUDA_VISIBLE_DEVICES"] = '1'来指定使用的显卡。[1][2][3]

相关问题

RuntimeError: CUDA out of memory. Tried to allocate 98.00 MiB

这个错误通常表示您的CUDA显存不足。CUDA显存是用于在CUDA设备上执行计算的内存空间。当您的程序尝试分配更多显存时，但可用显存已被耗尽时，就会出现这个错误。

有几种方法可以解决这个问题：
1. 减少显存需求：您可以尝试减少您的模型或数据集的大小，以减少对显存的需求。例如，可以缩小输入图像的尺寸或减少网络层数。
2. 减少批处理大小：通过减少每个批次中的样本数量，可以降低对显存的需求。将批处理大小设置为较小的值，直到不再出现内存错误。
3. 使用更大的显卡：如果您使用的是较小的显卡，考虑升级到具有更大显存容量的显卡。
4. 使用混合精度训练：混合精度训练是一种技术，可以通过将某些计算转换为低精度来减少显存需求。这可以使用NVIDIA的混合精度训练工具库（例如APEX）来实现。

请注意，这只是一些常见解决方案，具体取决于您的情况和代码实现。

CUDA out of memory. Tried to allocate 64.00 MiB

当你在运行代码时遇到"CUDA out of memory. Tried to allocate 64.00 MiB"的错误，这表示你的GPU显存不足以分配所需的内存。这可能是由于你的代码中使用了太多的显存或者batch size设置过大导致的。

解决这个问题的方法有几种。首先，你可以尝试减小batch size的大小。通过减小每个batch的样本数量，你可以减少GPU所需的显存。这可能会导致训练速度变慢，但可以确保显存不会超出限制。

另外，你还可以使用item()属性来获取torch变量的标量值，而不是直接使用变量本身。使用item()属性可以释放掉不必要的显存。

如果以上方法无效，你可以尝试换一个显存更大的GPU，或者终止正在占用GPU的其他程序。请注意，在终止其他程序时要慎重操作，因为其他程序可能是其他用户正在运行的或者重要的程序。你可以使用命令行中的"nvidia-smi"命令来查看当前正在占用GPU的程序。

总结起来，解决"CUDA out of memory"错误的方法包括减小batch size、使用item()属性来获取标量值以释放显存、更换显存更大的GPU或终止正在占用GPU的其他程序。根据具体情况选择适合的解决方法。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [【报错笔记】pytorch RuntimeError: CUDA out of memory.](https://blog.csdn.net/qq_55407202/article/details/123695015)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
- *2* [pytorch模型提示超出内存RuntimeError: CUDA out of memory.](https://download.csdn.net/download/weixin_38552305/14884908)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
- *3* [解决：RuntimeError: CUDA out of ... Tried to allocate 64.00 MiB (GPU 0； 4.00 GiB total capacity； 2](https://blog.csdn.net/universe_R/article/details/124551674)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
[ .reference_list ]