watch 查看nvidia-smi

在使用TensorFlow跑深度学习时，我们经常会遇到显存不足的情况，为了随时查看GPU的使用率，可以使用watch命令来周期性地执行nvidia-smi命令[^1]。

watch命令是一个用于周期性执行命令并显示结果的实用工具。它可以在终端中以指定的时间间隔重复执行给定的命令，并将结果输出到终端上。对于查看nvidia-smi命令的输出，可以使用以下命令：

watch -n 1 nvidia-smi

上述命令中，-n 1表示每隔1秒执行一次nvidia-smi命令，并将结果输出到终端上。这样就可以实时查看GPU的使用情况了。

另外，除了使用watch命令，还可以使用nvitop工具来交互式地查看Nvidia-GPU进程[^2]。nvitop是一个灵感来自于htop的交互式Nvidia-GPU进程查看器，它可以提供更丰富的nvidia-smi输出，并具有强大的交互式GPU监控功能。你可以通过以下命令安装nvitop：

pip install nvitop

安装完成后，可以直接在终端中运行nvitop命令来查看GPU的使用情况。