os.environ['CUDA_LAUNCH_BLOCKING']='1'

这段代码是用来启用 CUDA 异常检查的。在使用 CUDA 进行深度学习训练时，如果遇到程序出现 CUDA 异常而导致程序崩溃的情况，可以通过设置 CUDA_LAUNCH_BLOCKING 环境变量为 1 来启用 CUDA 异常检查，以便更好地定位和解决问题。当 CUDA_LAUNCH_BLOCKING 设置为 1 时，每次 CUDA 调用都会进行异常检查，如果出现异常就会立即停止程序并输出异常信息。但是，由于 CUDA 异常检查会严重影响程序的运行速度，因此在正式训练时应该关闭此功能，即将 CUDA_LAUNCH_BLOCKING 设置为 0。

相关问题

os.environ['CUDA_LAUNCH_BLOCKING'] = '1'

This line of code sets the environment variable `CUDA_LAUNCH_BLOCKING` to `'1'`.

In CUDA programming, launching a kernel is an asynchronous operation. This means that the CPU can continue with other tasks while the GPU is processing the kernel. However, sometimes we want to ensure that the kernel has finished executing before moving on to the next task.

Setting `CUDA_LAUNCH_BLOCKING` to `'1'` forces the CPU to wait for the kernel to finish before continuing with other tasks. This can be useful for debugging, as it allows us to see the exact point at which the kernel finishes executing. However, it can also slow down performance, as the CPU has to wait for the GPU to finish processing before moving on to other tasks.

如何在jupyter notebook中设置CUDA_LAUNCH_BLOCKING=1

要在 Jupyter Notebook 中设置 CUDA_LAUNCH_BLOCKING=1，您可以按照以下步骤进行操作：

1. 在 Jupyter Notebook 中打开一个新的 Notebook。

2. 在第一个代码单元格中输入以下代码：

   import os
   os.environ['CUDA_LAUNCH_BLOCKING'] = '1'

这将设置 CUDA_LAUNCH_BLOCKING 环境变量并将其值设置为 1。

3. 运行代码单元格以应用设置。

现在，当您运行使用 CUDA 的代码时，它将在调用 CUDA 内核时等待内核完成并返回结果，而不是异步返回并继续执行其他代码。请注意，这会降低您的代码的执行效率，因为它会阻塞代码的执行，直到 CUDA 内核完成。因此，您应该仅在需要调试 CUDA 内核错误时使用这种方式。