watch -n 0.5 nvidia-smi

如何使用 watch 命令配合 nvidia-smi 实现实时监控
通过组合命令工具可以实现对 NVIDIA GPU 的实时状态监控。具体来说，watch 是 Linux 系统中的一个实用程序，用于定期执行指定的命令并显示其输出。当将其与 nvidia-smi 结合使用时，可以通过设置刷新间隔来实现实时更新。
以下是具体的实现方法：
使用 watch 和 -n 参数
为了使 GPU 状态每 0.5 秒刷新一次，可以运行以下命令：
watch -n 0.5 nvidia-smi
登录后复制
上述命令中，-n 0.5 表示每隔 0.5 秒重新执行一次 nvidia-smi 命令[^1]。这使得终端能够动态展示当前 GPU 的各项指标，例如风扇转速 (Fan)、温度 (Temp)、性能状态 (Perf)、功耗 (Pwr)、显存使用率 (Memory-Usage)，以及 GPU 利用率 (Volatile GPU-Util)[^2]。
需要注意的是，虽然理论上支持任意小的时间间隔，但实际操作中过短的刷新周期可能会增加 CPU 负载，影响系统的整体表现。

示例输出解释
假设某台机器有四块 NVIDIA GeForce RTX 3080 显卡，在执行以上命令后可能看到如下信息片段：

GPU
Fan (%)
Temp (°C)
Perf
Pwr: Usage / Cap (W)

0
N/A
45
P2
120 / 320

1
N/A
47
P2
125 / 320

此表展示了各 GPU 当前的状态摘要，其中 Temperature 反映了设备的工作环境；Performance State 描述了 GPU 正处于何种性能等级下工作（从最高性能 P0 至最低能耗 P12 不等）。Power Consumption 数据则分别列出了已消耗功率和额定上限之间的对比关系。
此外，还可以观察到 Memory-Usage 字段所记录的内容——即分配给应用程序使用的显存量及其百分占比情况。而 Volatile GPU-Util 提供了一个即时衡量标准用来评估图形处理器核心忙碌程度的比例数值[^3]。

注意事项
尽管这种方法简单有效，但也存在一些局限性和潜在风险：

高频率查询可能导致额外开销：频繁调用 nvidia-smi 或者其他类似的诊断工具会带来一定的系统负担。
精确度依赖于硬件响应速度：某些字段如风扇速度可能是估算值而非瞬态读数。

因此建议依据实际情况调整合适的轮询频率以平衡监测需求与资源节约之间矛盾。