ReLU函数的梯度是什么

ReLU函数的梯度在输入为负数时为0，在输入为正数时为1。具体地，设ReLU函数为$f(x)=max(0,x)$，则其导数为：

$$
f'(x) =
\begin{cases}
0, & \text{if}\ x<0 \\
1, & \text{if}\ x\geq 0
\end{cases}
$$

在神经网络中，ReLU函数作为一种激活函数常被使用。使用ReLU函数作为激活函数有助于缓解梯度消失问题，并且具有计算简单的优点。