pytorch 清理缓存

在PyTorch中，清理缓存可以通过调用torch.cuda.empty_cache()函数来实现。这个函数的作用是释放PyTorch的缓存区，从而清除掉无用的显存资源，以便在后续的代码中能够更高效地使用显存。如果显存资源比较紧缺，可以在每个epoch开始时调用torch.cuda.empty_cache()来释放不用的显存资源。

此外，还有一种自行实现的动态链接库可以实现释放显存，这个库可以与PyTorch等AI框架无关。通过导入这个库并调用其reset_cuda()函数，即可释放显存。这个库支持pytorch、tensorflow、onnxruntime等cuda运行环境。

需要注意的是，PyTorch有一个缓存区的设置，即使一个Tensor被释放了，进程也不会立即将空闲的显存还给GPU，而是等待下一个Tensor来填入这片被释放的空间。因此，使用nvidia-smi或gpustat等工具观察显存占用时，并不会立即看到显存的占用减少。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>