pytorch如何释放gpu

在PyTorch中释放GPU主要有两种方法：

1. 使用`torch.cuda.empty_cache()`函数：这个函数会清空当前GPU上的缓存，释放被占用的内存。可以在模型训练或者推理的过程中的适当位置调用该函数，例如在每个批次或者迭代之后。示例如下：

import torch

# 执行模型训练或者推理等操作

# 释放GPU内存
torch.cuda.empty_cache()

2. 使用`torch.cuda.synchronize()`函数：这个函数会等待当前GPU上的所有操作完成，并将GPU内存释放。通常在不再需要使用GPU的时候调用该函数。示例如下：

import torch

# 执行模型训练或者推理等操作

# 同步并释放GPU内存
torch.cuda.synchronize()

需要注意的是，在PyTorch中，GPU内存的释放是由Python的垃圾回收机制自动完成的，即当没有对GPU上的Tensor或模型对象的引用时，它们会被垃圾回收并释放对应的GPU内存。因此，通常情况下不需要手动释放GPU内存，除非遇到特殊情况，比如在循环中使用了大量的中间变量导致内存不足。