torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 1.96 GiB total ...

这个错误表示 CUDA 已经用完了显存，试图分配更多的显存，但是无法完成分配，因为没有足够的空间。

有几种方法可以解决这个问题:

1. 减少批量大小（batch size），这样可以降低模型的显存需求。

2. 减小模型的大小，可以通过减少模型的层数或参数数量来实现。

3. 使用更高的显存 GPU，如果你的硬件预算允许，可以考虑购买更高显存的显卡。

4. 释放无用的显存，在每个迭代结束后，使用 `torch.cuda.empty_cache()` 来清空不必要的 GPU 内存。

5. 如果你使用了多个 GPU，可以尝试使用 `torch.nn.DataParallel` 或 `torch.nn.parallel.DistributedDataParallel` 来利用多个 GPU 进行训练，这样可以增加总的显存量。

希望这些方法能够帮助你解决问题。