grad_norm 是什么意思

`grad_norm` 是指梯度的范数。在深度学习中，我们通常使用反向传播算法来计算模型的梯度，并使用梯度下降等优化算法来更新模型参数。梯度的范数是一个用来衡量梯度大小的指标，通常用来判断模型是否存在梯度消失或梯度爆炸等问题。

具体来说，对于一个 $n$ 维向量 $\mathbf{g} = (g_1, g_2, \cdots, g_n)$，它的 $p$ 范数（$p$-norm）定义为：

$$
\left\|\mathbf{g}\right\|_p = \left(\sum_{i=1}^n |g_i|^p\right)^{\frac{1}{p}}
$$

其中 $p$ 是一个正实数。当 $p=2$ 时，称之为欧几里得范数（Euclidean norm）或二范数（2-norm）；当 $p=1$ 时，称之为曼哈顿范数（Manhattan norm）或一范数（1-norm）。

在实际应用中，我们通常使用梯度的二范数来衡量梯度的大小。如果梯度的二范数过大，说明模型存在梯度爆炸的问题；如果梯度的二范数过小，说明模型存在梯度消失的问题。因此，我们通常需要监控模型的梯度范数，以判断模型是否稳定。