torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 1.96 GiB total ...

这个错误通常是由于GPU内存不足导致的，你可以尝试以下几种方法来解决这个问题：

1. 减少batch size，使用更小的batch size来降低GPU内存的占用；
2. 减小模型的参数规模，可以通过减少模型的层数或减少每层的节点数来降低模型的参数规模；
3. 开启混合精度训练，使用混合精度训练可以降低内存的占用；
4. 使用更高内存的GPU，如果你的GPU内存较小，可以考虑使用内存更大的GPU。

希望这些方法可以帮到你。