grad_checkpoint
时间: 2023-08-18 16:11:43 浏览: 224
Checkpoint
Grad_checkpoint是什么?Grad_checkpoint是一种PyTorch模型优化技术,它可以将模型参数拆分成小块,然后分别计算梯度和更新,以减少在内存中保存模型参数所需的空间。这使得可以训练更大的模型或使用更大的批次大小,以获得更好的性能。Grad_checkpoint可用于所有基于PyTorch的深度学习任务,如图像分类、目标检测、自然语言处理等。
阅读全文