torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 1.96 GiB total ...

这个错误表示你的GPU内存不足以处理你的模型和数据。有几种方法可以解决这个问题：

1. 减小batch size，减少每次传入GPU的数据量。
2. 减小模型的大小，可以尝试使用更小的模型或减少模型的层数。
3. 使用更高的GPU显存，可以考虑使用更高显存的显卡。
4. 使用分布式训练，可以将训练分布到多个GPU上来减少每个GPU的负担。
5. 释放不需要的GPU内存，可以通过 `torch.cuda.empty_cache()` 来释放不需要的GPU内存。

你可以根据你的实际情况尝试以上方法来解决这个问题。